Compression project >> Video Area Home

Проект, идеи: Дмитрий Ватолин
Реализация: Олег Петров

Список вопросов

• [0] О чем эта страница?
• [1] Для чего эта программа?
• [2] Что такое "субъективное качество видео"?
• [3] Как измерить "субъективное качество видео"?
• [4] Какие методы субъективного тестирования наиболее часто используется?
• [5] Что такое "task file"?
• [6] Какие видеоформаты поддерживаются в программе?
• [7] Как эксперт сравнивает видео?
• [8] В каком виде сохраняются результаты эксперта?
• [9] "Task file" содержит разные версии одной последовательности, но в сравнениях обычно используется несколько последовательностей; как с этим быть?
• [10] Хорошо, эксперты прошли все задания; как усреднить результаты?
• [11] В каком диапазоне лежат оценки?

Ответы на вопросы

Q: О чем эта страница?

A: Эта страница - список часто задаваемых вопросов о MSU Perceptual Video Quality tool.

Q: Для чего эта программа?

A: Эта программа помогает проводить субъективное тестирование качества видео.

Q: Что такое "субъективное качество видео"?

A: Качество видео можно попытаться оценить при помощи какой-нибудь математической формулы, например PSNR или более сложные VQM и SSIM. Эти методы реализованы в MSU Video Quality Measurement tool, полученные с их помощью результаты можно назвать "объективным" качеством видео. Но результаты объективных измерений не всегда коррелируют с субъективным впечатлением от качества, поэтому единственный способ предсказать среднее мнение людей - спросить их!
Оценки качества видео, которые получены после усреднения мнений экспертов, называются "субъективным" качеством видео.

Q: Как измерить "субъективное качество видео"?

A: Для получения стабильных и правдивых результатов необходимо следовать рекомендациям по субъективным сравнениям (ITU-R BT.500), основные этапы сравнения:

1. Выбрать видеопоследовательности для тестирования (часто называются SRC).
2. Выбрать настройки систем, которые вы хотите сравнить (часто называются HRC).
3. Выбрать метод тестирования (как видео демонстрируется экспертам и как собирается их мнение).
4. Пригласить достаточное количество экспертов (рекомендуется не меньше 15).
5. Основываясь на их мнении, посчитать оценку для каждой HRC.

Q: Какие методы субъективного тестирования наиболее часто используется?

A: Часто в сравнениях используется DSCQS type 2 (например, "Subjective Quality Assessment of The Emerging AVC/H.264 Coding Standard"). Также часто используется SAMVIQ ("Subjective Quality of Internet Video Codecs", проведенное нами "Субъективное Сравнение Современных Видеокодеков") и DSIS.

Q: Что такое "task file"?

A: "Task file" создается "MSU PVQ - task manager". "Task" это набор видео файлов + информация о том, как они показываются экспертам. В одном "task file" все видео - разные версии одной последовательности. В некоторых методах тестирования необходимо выбрать "task reference"; это неиспорченная (несжатая) версия последовательности.

Q: Какие видеоформаты поддерживаются в программе?

A: Программа поддерживает формат .avi и .avs (скрипты AviSynth). Через AviSynth можно проигрывать множество других форматов видео, за дополнительной информацией смотри страницу AviSynth.

Q: Как эксперт сравнивает видео?

A: Эксперт запускает "MSU perceptual video quality player", вводит свое имя и открывает task file (эту процедуру можно упростить; см. следующий вопрос). Когда эксперт завершает задание, папка с его именем создается в папке, содержащий сам файл задания. В этой папке хранятся результаты всех экспертов. Для каждого из них результаты хранятся в файле "имя_эксперта".csv.

В каком виде сохраняются результаты эксперта?

A: Результаты каждого эксперта хранятся в файле "имя_эксперта".csv и имеют вид:

task type,	[строка с типом задания]
average framerate,	[0|1]	//включено ли усреднение framerate
pause allowed,	[0|1]	//включена ли пауза
rewind allowed,	[0|1]	//включена ли перемотка
one to each,	[0|1]	//тест типа "один ко всем"
number of tests,	[количество тестов]
number of videos,	[количество фильмов]
reference video,	[референсное видео (если есть)]	//только для тестов "один ко всем"
video,	mark
[имя видео],	[оценка]	//запись оценок зависит от метода тестирования
screen resolution,	[информация о разрешении]
video,	decompressor
[имя видео],	[декомпрессор]	//записывается, как разжималось видео
time of assessment,	[время]	//информация о времени прохождения теста

Q: "Task file" содержит разные версии одной последовательности, но в сравнениях обычно используется несколько последовательностей; как с этим быть?

A: Можно создать .tsk для каждой последовательности, которая используется в сравнении. Затем создайте файл .bat со следующим текстом:

"MSU perceptual video quality player.exe" "c:\tasks\task1.tsk" "c:\tasks\task2.tsk" ...

Когда эксперт его запустит, он должен будет пройти через все указанные .tsk файлы, и эксперту не понадобится их открывать.

Q: Хорошо, эксперты прошли все задания; как усреднить результаты?

A: Результаты для всех экспертов сохраняются в подпапке с именем задания в директории, содержащей файл задания. Для того, чтобы усреднить результаты по экспертам, откройте файл задания и нажните кнопку "count results". Результаты будут сохранены рядом с результатами экспертов в файле "average mark.csv".

Q: В каком диапазоне лежат оценки?

A: Для каждого эксперта диапазон оценок зависит от метода тестирования. В усредненных результатах все оценки принадлежат от 0 до 10, чем выше, тем лучше.

Download

See also MSU Video Quality Metric

MSU Video Quality Metrics
• MSU Video Quality Metric - program for objective comparison
  • Features
  • Setting & screenshots
  • FAQ
  • Metrics info
  • PRO-version
  • Download & purchase
  • Plugins & Plugin SDK
    • MSU Brightness Flicking Metric
    • MSU Brightness Independent PSNR
    • MSU Drop Frame Metric
    • MSU Noise Estimation Metric
    • MSU Scene Change Detector
• MSU Human Perceptual Quality Metric - several metrics for exact visual tests
  • Implemented metrics short info:
    ITU-R BT.500-11: DSIS, DSCQS I & II, SCACJ; EBU: SAMVIQ; MSUCQE
  • MSU PVQ Metric Tool FAQ
  • MSU Perceptual Video Quality Tool PDF

Other resources

Video resources:

Public MSU video filters Here are available VirtualDub and AviSynth filters. Commonly we develop a whole family of some kind of a filter. Generally there are also versions optimized for PC and hardware implementations (ASIC/FPGA/DSP). These optimized versions can be licensed to companies. Please contact us for details via video(at)graphics.cs.msu_ru. MSU Cartoon Restore (New!) MSU Cartoon Restore (New!) MSU Noise Estimation (New!) MSU Frame Rate Conversion (New!) MSU Image Restoration (New!) MSU Denoising (Top!) MSU Old Cinema MSU Deblocking (Top!) MSU Smart Brightness and Contrast (Top!) MSU Smart Sharpen (Top!) MSU Noise generation MSU Noise estimation MSU Motion Estimation Information MSU Subtitles removal MSU Logo removal (Top!) MSU Deflicker (Top!) MSU Field Shift Fixer AviSynth plug-in MSU StegoVideo MSU Cartoonizer (Top!) MSU SmartDeblocking (Top!) MSU Color Enhancement MSU Old Color Restoration MSU filters FAQ (Read me!) MSU filters statistics	MSU filters for companies We are working with Intel, Samsung, RealNetworks and other companies on adapting our filters other video processing algorithms for specific video streams, applications and hardware like TV-sets, graphics cards, etc. Some of such projects are non-exclusive. Also we have internal researches. Please let us know via video(at)graphics.cs.msu_ru if you are interested in acquiring a license for such filters or making a custom R&D project on video processing, compression, computer vision. Automatic Objects Segmentation (New!) Semiautomatic Objects Segmentation New Frame Rate Conversion (New!) New Deinterlacer (New!) MSU-Samsung Deinterlacing Project Digital TV Signal Enhancement Old Film Recovery Tuner TV Restore Panorama Video2Photo SuperResolution SuperPrecision MSU-Samsung image and video resampling MSU-Samsung Frame Rate Conversion Motion Phase filter Deshaker (video stabilization) Film Grain/Degrain filter Deblurring filter Video Content Search
Codecs comparisons Objective and subjective quality evaluation tests for video and image codecs 4-th MPEG4-AVC/H.264 Comparison (New!) Lossless Video Codecs Comparison 2007 (New!) 3-rd MPEG4-AVC/H.264 Comparison HD Photo and JPEG 2000 Comparison MPEG-2 Decoders Crash Test (Top!) Subjective Compar. of 4 Modern Codecs (Top!) 2-nd MPEG-4 AVC/H.264 Comparison (Top!) FAQ of 2-nd H.264 Comparison 1-st MPEG-4 AVC/H.264 Codecs Comparison FAQ of 1-st H.264 Comparison JPEG 2000 Image Codecs Comparison (Top!) Lossless Video Codecs Comparison 2004 MPEG-4 SP/ASP Codecs Comparison (Top!) Video codecs comparison (old) Ext. link: x264 parameters efficiency comparison	Video quality metrics Programs with different objective and subjective video quality metrics implementation MSU Video Quality Metric - objective metrics for codecs and filters comparison (Top!) Implemented metrics short info: PSNR, Delta, MSAD, MSE, SSIM, VQM, MSU Blurring, MSU Blocking MSU Brightness Flicking Metric MSU Brightness Independent PSNR MSU Drop Frame Metric MSU Noise Estimation Metric MSU VQM Metric Tool FAQ MSU Human Perceptual Quality Metric - several metrics for exact visual tests (Top!) Implemented metrics short info: ITU-R BT.500-11: DSIS, DSCQS I & II, SCACJ; EBU: SAMVIQ; MSUCQE MSU PVQ Metric Tool FAQ
Video codecs projects Different research and development projects on video codecs MSU Lossless Video Codec (Top!) MSU Screen Capture Lossless Codec (Top!) MSU MPEG-2 Video Codec x264 Codec Improvement	Other Other information Crazy gallery (filters screams :) License for commercial usage of MSU VideoGroup Public Software (please be careful: some soft like metrics has another license!)

Bookmark this page:   Add to Del.icio.us     Digg It     reddit
 

Last updated: 12-October-2007

---

Search (Russian): Server size: 7489 files, 920Mb (Server statistics)

Project updated by
Server Team and MSU Video Group

Project sponsored by YUVsoft Corp.

Project supported by MSU Graphics & Media Lab