| ENGLISH VERSION |
MSU Perceptual Video Quality tool
Часто задаваемые вопросы
MSU Graphics & Media Lab (Video Group)
Проект, идеи: Дмитрий Ватолин
Реализация: Олег Петров
Список вопросов
- [0] О чем эта страница?
- [1] Для чего эта программа?
- [2] Что такое "субъективное качество видео"?
- [3] Как измерить "субъективное качество видео"?
- [4] Какие методы субъективного тестирования наиболее часто используется?
- [5] Что такое "task file"?
- [6] Какие видеоформаты поддерживаются в программе?
- [7] Как эксперт сравнивает видео?
- [8] В каком виде сохраняются результаты эксперта?
- [9] "Task file" содержит разные версии одной последовательности, но в сравнениях обычно используется несколько последовательностей; как с этим быть?
- [10] Хорошо, эксперты прошли все задания; как усреднить результаты?
- [11] В каком диапазоне лежат оценки?
Ответы на вопросы
Q: О чем эта страница?
A: Эта страница - список часто задаваемых вопросов о MSU Perceptual Video Quality tool.
A: Эта программа помогает проводить субъективное тестирование качества видео.
Q: Что такое "субъективное качество видео"?
A: Качество видео можно попытаться оценить при помощи какой-нибудь метрики, например PSNR
или более сложные VQM и SSIM. Они реализованы в
MSU Video Quality Measurement tool,
полученные с их помощью результаты можно назвать "объективным" качеством видео.
Но результаты объективных измерений не всегда коррелируют с субъективным впечатлением от качества,
поэтому единственный способ предсказать среднее мнение людей - спросить их!
Оценки качества видео, которые получены после усреднения мнений экспертов, называются
"субъективным" качеством видео.
Q: Как измерить "субъективное качество видео"?
A: Для получения стабильных и правдивых результатов необходимо следовать рекомендациям по субъективным сравнениям (ITU-R BT.500), основные этапы сравнения:
- Выбрать видеопоследовательности для тестирования (часто называются SRC).
- Выбрать настройки систем, которые вы хотите сравнить (часто называются HRC).
- Выбрать метод тестирования (как видео демонстрируется экспертам и как собирается их мнение).
- Пригласить достаточное количество экспертов (рекомендуется не меньше 15).
- Основываясь на их мнении, посчитать оценку для каждой HRC.
Q: Какие методы субъективного тестирования наиболее часто используется?
A: Часто в сравнениях используется DSCQS type 2 (например, "Subjective Quality Assessment of The Emerging AVC/H.264 Coding Standard"). Также часто используется SAMVIQ ("Subjective Quality of Internet Video Codecs", проведенное нами "Субъективное Сравнение Современных Видеокодеков") и DSIS.
A: "Task file" создается "MSU PVQ - task manager". "Task" это набор видео файлов + информация о том, как они показываются экспертам. В одном "task file" все видео - разные версии одной последовательности. В некоторых методах тестирования необходимо выбрать "task reference"; это неиспорченная (несжатая) версия последовательности.
Q: Какие видеоформаты поддерживаются в программе?
A: Программа поддерживает формат .avi и .avs (скрипты AviSynth). Через AviSynth можно проигрывать множество других форматов видео, за дополнительной информацией смотри страницу AviSynth.
Q: Как эксперт сравнивает видео?
A: Эксперт запускает "MSU perceptual video quality player", вводит свое имя и открывает task file (эту процедуру можно упростить; см. следующий вопрос). Когда эксперт завершает задание, папка с его именем создается в папке, содержащий сам файл задания. В этой папке хранятся результаты всех экспертов. Для каждого из них результаты хранятся в файле "имя_эксперта".csv.
В каком виде сохраняются результаты эксперта?
A: Результаты каждого эксперта хранятся в файле "имя_эксперта".csv и имеют вид:
| task type, | [строка с типом задания] | |
| average framerate, | [0|1] | //включено ли усреднение framerate |
| pause allowed, | [0|1] | //включена ли пауза |
| rewind allowed, | [0|1] | //включена ли перемотка |
| one to each, | [0|1] | //тест типа "один ко всем" |
| number of tests, | [количество тестов] | |
| number of videos, | [количество фильмов] | |
| reference video, | [референсное видео (если есть)] | //только для тестов "один ко всем" |
| video, | mark | |
| [имя видео], | [оценка] | //запись оценок зависит от метода тестирования |
| screen resolution, | [информация о разрешении] | |
| video, | decompressor | |
| [имя видео], | [декомпрессор] | //записывается, как разжималось видео |
| time of assessment, | [время] | //информация о времени прохождения теста |
A: Можно создать .tsk для каждой последовательности, которая используется в сравнении. Затем создайте файл .bat со следующим текстом:
"MSU perceptual video quality player.exe" "c:\tasks\task1.tsk" "c:\tasks\task2.tsk" ...
Когда эксперт его запустит, он должен будет пройти через все указанные .tsk файлы, и эксперту не понадобится их открывать.
Q: Хорошо, эксперты прошли все задания; как усреднить результаты?
A: Результаты для всех экспертов сохраняются в подпапке с именем задания в директории, содержащей файл задания. Для того, чтобы усреднить результаты по экспертам, откройте файл задания и нажните кнопку "count results". Результаты будут сохранены рядом с результатами экспертов в файле "average mark.csv".
Q: В каком диапазоне лежат оценки?
A: Для каждого эксперта диапазон оценок зависит от метода тестирования. В усредненных результатах все оценки принадлежат от 0 до 10, чем выше, тем лучше.
Download
MSU Video Quality Measurement Tools
- MSU Video Quality Measurement Tool (program for objective comparison)
- MSU Human Perceptual Quality Metric (several metrics for exact visual tests)
| e-mail: |  |
Other resources
Video resources:
Call for MPEG4-AVC/H.264 codecs 2012
Add to Del.icio.us
Digg It
reddit
| Last updated: 25-August-2011 |
|
|
Project updated by
Server Team and MSU Video Group
Project sponsored by YUVsoft Corp.
Project supported by MSU Graphics & Media Lab
