Ru / En

Новинки:

Сайт подключен к Orphus. Если вы заметили опечатку, выделите слово и нажмите Ctrl+Enter. Спасибо!

ENGLISH VERSION

Субъективное сравнение современных видеокодеков

MSU Graphics & Media Lab (Video Group)

Руководитель: Дмитрий Ватолин
Проведение: Александр Паршин, Олег Петров
Обработка, перевод: Олег Петров
Проверка: Александр Паршин, Артем Титаренко


О сравнении


Протестированные кодеки:

Битрейты:

Количество последовательностей: 4

Количество экспертов: 50

Скачать Субъективное Сравнение Современных Видеокодеков (33 страницы в PDF, 1.56 MB)


Задача субъективного тестирования кодеков


Нашей лабораторией на протяжении долгого времени проводились различные тестирования кодеков для видео, изображений и звука. Все они использовали объективные метрики, такие как PSNR или VQM и SSIM, что часто вызывало вопрос о том, насколько адекватны объективные замеры субъективно воспринимаемому качеству - ведь именно субъективное впечатление от качества сжатого видео является самой главной характеристикой кодека.
Задачами нашего тестирования были субъективное сравнение новых версий популярных кодеков, сравнение результатов с данными объективных метрик и отработка технологии субъективного тестирования.

Основные части сравнения:

  1. Субъективное сравнение видеокодеков.
  2. Замер объективных метрик и анализ их результатов.


Субъективное сравнение видеокодеков


Главный показатель качества для кодека - субъективное впечатление людей, просматривающих сжатое этим кодеком видео. В этом и состоит суть субъективного тестирования - оценкой качества сжатой последовательности является среднее мнение группы экспертов о ее качестве (MOS, Mean Opinion Score).
Существует множество методик субъективного сравнения - правил показа видеопоследовательностей и сбора субъективных оценок. В нашем тестировании используется методика SAMVIQ, разработанная EBU (European Broadcasting Union), также ее описание содержится в PDF с тестированием. Следуюший график - усредненное по всем фильмам и битрейтам мнение экспертов, чем выше субъективная оценка, тем лучше. Возможно, результат кодека XviD мог бы улучшиться после включении алгоритма деблокинга во время декодирования (по умолчанию он выключен).

средний MOS
Средние субъективные оценки кодеков

На следующем графике изображен средний MOS для всех последовательностей и битрейтов с 95% доверительным интервалом.

средний MOS
Средний MOS для кодеков и битрейтов


Замер объективных метрик и анализ их результатов


Для всех последовательностей были измерены метрики PSNR, VQM и SSIM. Их измерение проводилось при помощи MSU Video Quality Measurement tool , описание этих метрик можно найти на этой странице. Следует учитывать, что метрика VQM - это реализация алгоритма Feng Xiao, а не метрика, предложенная комитетом VQEG. Следующие графики иллюстрируют соответствие между субъективным мнением и объективной метрикой: чем ближе набор точек к прямой линии, тем более точна метрика (значения PSNR и SSIM были приведены к диапазону субъективных оценок).

PSNR VQM
SSIM
Видно, что на нашем тестовом набре SSIM был гораздо более адекватен субъективному мнению, чем PSNR и VQM


Содержание HTML-версии (English)


  • Introduction
  • Gratitude
  • Comparison abstract
  • Overview
  • Rules and goals
  • Sequences
  • Codecs
  • Results of subjective comparison
  • Analysis of objective and subjective results
  • MOS+PSNR/bitrate graphs
  • MOS+PSNR graphs, grouped by bitrate
  • Evaluation of objective metrics
  • Correlation of objective metrics and subjective scores
  • Conclusions
  • Average MOS for all codecs
  • General conclusions

  • Download


    Связаться с нами можно по адресу: 

    Call for Codecs 2012!(New!)
    Полный список сравнений видео кодеков

    Сравнения видео кодеков в МГУ:


    Другие материалы


    Материалы по видео

    Выложены:

    Общедоступные видеофильтры
    Доступные фильтры для VirtualDub и AviSynth. Обычно мы разрабатываем семейства фильтров. Свяжитесь с нами для получения версий, оптимизированных под ASIC/FPGA/DSP.
    Коммерческие видеофильтры
    Мы работаем с Intel, Samsung, Real Networks и другими компаниями над адаптацией наших фильтров для специфических видеопотоков и аппаратного обеспечения, такого как телевизоры, видеокарты и т.д. Свяжитесь с нами, если Вам нужна лицензия на такие фильтры.
    Сравнения кодеков
    Объективные и субъективные сравнения качества
    видеокодеков и кодеков изображений.
    Call for MPEG4-AVC/H.264 codecs 2012
    Метрики качества видео
    Различные реализации объективных и субъективных метрик качества видео.
    Проекты по видеокодекам
    Проекты по исследованию и разработке видеокодеков.
    Разное
    Другая информация.

    Статьи по темам




    Смотрите также материалы:
    - По цветовым пространствам
    - По JPEG
    - По JPEG-2000

    Rambler's Top100 Рейтинг@Mail.ru