Сайт о сжатии >> Раздел по видео

WIN | KOI | LAT

Проект: Улучшение сжатого видео
MSU Digital TV Signal Enhancement

MSU Graphics & Media Lab (Video Group)

Проект:	Дмитрий Ватолин
Алгоритм, реализация:	Максим Махиня
Реализация:	Калинкина Дарья

В ходе данного проекта был разработан новый быстрый и гибкий метод для подавления шума в изображениях и видео. Данный метод может быть легко использован для улучшения видео, имеющего артефакты сильного сжатия. Разработанный метод можно легко адаптировать для использования в алгоритмах подавления блочности (de-blocking), а также в алгоритмах подавления эффекта Гиббса (de-ringing). Разработанный метод использует распространенный подход в шумоподавлении – усреднение соседних точек изображения, которые в некотором смысле похожи на текущую обрабатываемую точку, при этом качество и скорость предложенного метода превосходят аналогичные показатели других известных алгоритмов. Одно из преимуществ разработанного метода заключается в том, что используется локальное окно небольшого радиуса, это позволяет подавлять шум средней амплитуды, другое преимущество в достаточно простой метрике определения похожести точек, это свойство используется как для пространственного, так и для временного шумоподавления. Также в ходе проекта было показано, как предложенные методы могут быть оптимизированы для работы на DSP-подобных процессорах.

Результаты

Мы протестировали быстрый вариант предложенного пространственного метода шумоподавления на нескольких цветных последовательностях после добавления нормально распределенного шума различной амплитуды. Подобная процедура позволяет сравнивать видео после шумоподавления с исходным незашумленным видео. Мы использовали распространенную меру PSNR для вычисления качества шумоподавления, для каждой видео последовательности данная мера была подсчитана для каждого кадра, после чего усреднена. Усредненные по последовательностям результаты сравнения с другими хорошо известными методами представлены ниже. Было использовано шесть разных видеопоследовательностей и три уровня шума для каждой из них. Первые три-пять букв в названиях на графике являются аббревиатурами соответствующих тестовых последовательностей, числа означают интенсивности добавленного шума. Предложенный метод показывает хорошие результаты на всех последовательностях.

Численное сравнение предложенного алгоритма с другими хорошо известными методами

В дополнение к высоким значениям меры PSNR предложенный алгоритм показывает хорошее визуальное качество.

Следующий пример показывает исходный кадр из последовательности “shattered”, а также сравнение увеличенных фрагментов кадров, обработанных различными методами. Данный пример доказывает, что предложенный метод может эффективно подавлять шум без уменьшения общей резкости изображения и размытия деталей.

Исходный кадр последовательности "shattered"

Увеличенная часть исходного кадра последовательности "shattered"	Фрагмент, обработанный предложенным алгоритмом
Фрагмент, обработанный методом Monte-Carlo	Фрагмент, обработанный методом шумоподавления FUZZY
Фрагмент, обработанный методом шумоподавления KNN	Фрагмент, обработанный методом шумоподавления FUELS

Следующие два примера показывают то, как разработанный метод может быть использован для подавления артефактов сжатия.

Исходный кадр

Увеличенная часть исходного кадра с оригинальными артефактами

Пример восстановленного фрагмента с использованием предложенного метода

Это наглядный пример того, как данный метод может быть использован в алгоритмах подавления блочности (de-blocking). Для достижения этого результата параметр силы подавления шума был установлен в максимальное значение.

Следующий пример показывает другое полезное свойство алгоритма – подавление эффекта Гиббса (ringing), который часто встречается в окрестностях резких границ изображения при использовании высокой степени сжатия. Также хотим отметить интересное свойство разработанного метода: пример показывает, что избавленное от артефактов изображение выглядит даже более резко, чем оригинал. Для достижения подобного результата метод шумоподавления был применен дважды.

Исходный кадр
Увеличенная часть исходного кадра с оригинальными артефактами	Пример восстановленного фрагмента с использованием предложенного метода

Благодарности

Выражаем благодарность корпорации Интел за поддержку данной работы и персонально Tiehan Lu и Walid Ali. Также благодарим Лабораторию Компьютерной Графики и Мультимедиа Московского Государственного Уиверситета, а также лично Баяковского Юрия за оказанную в ходе проекта помощь.

Ссылки

1. H.B. Mitchell and N. Mashkit, “Noise smoothing by a fast k-nearest neighbour algorithm” // Signal Processing: Image Communication, vol. 4, pp. 227–232, 1992.
2. Ruifeng Xu and Sumanta N. Pattanaik, “A Novel Monte Carlo Noise Reduction Operator” // IEEE Computer Graphics and Applications, 2005
3. C. Tomasi and R. Manduchi, “Bilateral Filtering for Gray and Color Images,” Proc. IEEE 6th Int’l Conf. Computer Vision (ICCV), IEEE CS Press, 1998, pp. 839-846.
4. Torsten Seemann and Peter Tischer, “Structure Preserving Noise Filtering of Images using Explicit Local Segmentation” // IEEE Pattern Recognition, 1998, 16-20 Aug, Vol. 2, pp.1610-1612
5. Dimitri Van De Ville, Mike Nachtegael, Dietrich Van der Weken, Etienne E. Kerre Wilfried Philips, and Ignace Lemahieu, “Noise Reduction by Fuzzy Image Filtering” // IEEE Transactions On Fuzzy Systems, Vol. 11, No. 4, August 2003 429

Download

Данный проект был разработан в рамках эксклюзивного договора с компанией Интел. Данная технология не доступна публично по условиям договора.

Другие материалы

Материалы по видео

Общедоступные видеофильтры Доступные фильтры для VirtualDub и AviSynth. Обычно мы разрабатываем семейства фильтров. Свяжитесь с нами для получения версий, оптимизированных под ASIC/FPGA/DSP. MSU Cartoon Restore (New!) MSU Noise Estimation (New!) MSU Frame Rate Conversion (New!) MSU Image Restoration (New!) MSU Denoising (Top!) MSU Old Cinema MSU Deblocking (Top!) MSU Smart Brightness and Contrast (Top!) MSU Smart Sharpen (Top!) MSU Noise generation MSU Noise estimation MSU Motion Estimation Information MSU Subtitles removal MSU Logo removal (Top!) MSU Deflicker (Top!) MSU Field Shift Fixer AviSynth plug-in MSU StegoVideo MSU Cartoonizer (Top!) MSU SmartDeblocking (Top!) MSU Color Enhancement MSU Old Color Restoration Частые вопросы (Прочти меня!) Статистика фильтров (New!)	Коммерческие видеофильтры Мы работаем с Intel, Samsung, Real Networks и другими компаниями над адаптацией наших фильтров для специфических видеопотоков и аппаратного обеспечения, такого как телевизоры, видеокарты и т.д. Свяжитесь с нами, если Вам нужна лицензия на такие фильтры. Automatic Objects Segmentation (New!) Semiautomatic Objects Segmentation New Frame Rate Conversion (New!) New Deinterlacer (New!) MSU-Samsung Deinterlacing Project Digital TV Signal Enhancement Old Film Recovery Tuner TV Restore Panorama Video2Photo SuperResolution SuperPrecision High quality image and video resampling Frame Rate Conversion Motion Phase filter Deshaker (video stabilization) Film Grain/Degrain filter Deblurring filter Fast/Hi-Fi Face Detection
Сравнения кодеков Объективные и субъективные сравнения качества видеокодеков и кодеков изображений. 4-е ежегодное сравнение видеокодеков MPEG4-AVC/H.264 (New!) Сравнение кодеков без потерь 2007 (New!) 3-е ежегодное сравнение видеокодеков MPEG4-AVC/H.264 Windows Meda Photo vs JPEG-2000 Сравнение декодеров стандарта MPEG-2 на потоках с ошибками (Top!) Субъективное сравнение современных видеокодеков (Top!) Второе ежегодное сравнение видеокодеков стандарта MPEG-4 AVC/H.264 (Top!) FAQ 2-го сравнения H.264-x Первое ежегодное сравнение видеокодеков стандарта MPEG-4 AVC/H.264 FAQ 1-го сравнения H.264-x Сравнение 9 кодеров JPEG 2000 (Top!) Сравнение видеокодеков без потерь 2004 Сравнение кодеков MPEG-4 SP/ASP (Top!) Сравнение видеокодеков (старое) См. также (старые) сравнения аудиокодеков: Сравнение аудиокодеков на 32 kbps Сводное тестирование 10 кодеков по разным метрикам ("тест метрик")	Метрики качества видео Различные реализации объективных и субъективных метрик качества видео. MSU Video Quality Measure - объективные метрики для сравнения кодеков и видеофильтров. (Top!) Краткая информация по реализованным метрикам: PSNR, Delta, MSAD, MSE, SSIM, VQM, MSU Blurring, MSU Blocking MSU Brightness Flicking Metric MSU Brightness Independent PSNR MSU Drop Frame Metric MSU Noise Estimation Metric MSU VQM Metric Tool FAQ MSU Perceptual Quality Metric - несколько метрик для измерения субъективного качества видео (Top!) Краткая информация по реализованным метрикам: ITU-R BT.500-11: DSIS, DSCQS I & II, SCACJ; EBU: SAMVIQ; MSUCQE MSU PVQ Metric Tool FAQ
Проекты по видеокодекам Проекты по исследованию и разработке видеокодеков. MSU Lossless Video Codec (Top!) MSU Screen Capture Lossless Codec (Top!) MSU MPEG-2 Video Codec Улучшение кодека x264 FAQ по кодеку x264	Разное Другая информация. Crazy gallery (приколы с фильтрами :-) Лицензия на ПО Видеогруппы Около 1000 слайдов лекций курса "Методы сжатия и обработки медиаданных" (Top!) Страница курса на ВМиК МГУ "Методы сжатия данных"
Статьи по темам Фильтрация: Deinterlacing Фильтрация: Шумоподавление Фильтрация: Предобработка видеопотока Фильтрация: Постобработка видеопотока Фильтрация: Преобразование частоты кадров Фильтрация: Масштабирование видео Преобразования: Использование DCT и альтернативных преобразований Преобразования: Квантование Преобразования: Wavelet для видео Bitrate: Управление битрейтом Bitrate: Сильное сжатие (Low Bitrate) Метрики: Общие сведения и метрики для изображений Метрики: Измерение качества видео	Hardware: Аппаратное ускорение видео Hardware: Особенности работы на разных дисплеях Энтропийное сжатие и видео Компенсация движения Преобразование форматов видео Сегментация и индексирование видео Потоковая передача видео Стереоскопичеcкое и 3D видео "Объектный" подход к видео Разное

Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000

Последнее обновление: 12-October-2007