Video Resize Shootout

[thedeemon]

Выложили сегодня большое сравнение разных методов и утилит для увеличения видео и картинок. В сравнении приняли участие:
3 метода из VirtualDub (bicubic, Lanczos3, Lanczos3+sharpen),
3 плагина для AviSynth (Spline36, EEDI3, NNEDI3),
2 плагина для Adobe After Effects (InstantHD, Boris FX Uprez),
1 плагин для Фотошопа (Genuine Fractals),
5 самостоятельных приложений: CinemaHD, vReveal, Video Enhancer, SAR Image Processor (4 разных алгоритма), SmartEdge.

Получилось 17 разных методов, которые сравниваются на 10 разных видеофайлах и 10 отдельных кадрах из них. Для всех полученных файлов посчитан PSNR, графиками которого и предлагается полюбоваться вместе с тремя сотнями картинок-сэмплов (разные кадры увеличенные разными методами).

Для успешного любования нужен Flash. Трафик: полмега сразу и примерно по мегу на каждое выбранное видео (до 20 мегов в сумме). Выложено сравнение здесь:
Video resize shootout

Из графиков отчетливо видно превосходство подхода super resolution, который увеличивает кадр с использованием накопленной информации из других кадров. Визуально разница особенно хорошо видна на файлах bjorn и avatar1 (третий вариант). Если выбрать Video Enhancer, потом какой-нибудь другой метод, и затем жать много раз на (previous), хорошо видно, как super resolution восстанавливает высокочастотные детали, пропавшие при уменьшении картинки.

Кому лень чего-то нажимать, может просто полюбоваться демонстрацией работы super resolution на этой страничке: Super Resolution for VirtualDub (тоже нужен Flash). Там показаны фрагменты из реальных файлов, полученных этой технологией.

Все исходные видеофрагменты высокого и низкого разрешения будут скоро выложены.

Comments

[fas-tm.livejournal.com]

Правильно я понимаю, что super resolution будет давать такие результаты только на более или менее статических сценах. Ведь если сцена будет довольно динамичной, у алгоритма не будет достаточно данных из прошлых кадров для накопления информации ?
Неплохо было бы поглядеть на использование памяти/процессорного времени для понимания затрат которыми все это достигается(чудес же не бывает).
Спасибо за проделанную работу - на самом деле интересно.

[thedeemon.livejournal.com]

Действительно, далеко не на всяком видео результаты так хороши. Если движение очень сильное или наоборот отсутствует, super resolution'у делать нечего. И если видео сильно пожато, то тоже плохо, т.к. слишком много информации потеряно.
http://www.infognition.com/articles/when_super_resolution_doesnt_work.html

Про скорость забыл написать. Последняя версия Video Enhancer'a на Quad Core 2.33 GHz показывает такую скорость:
640x360 -> 1280x720: 15-25 кадров в секунду в режиме RGB (в зависимости от выбранного режима качества) и 23-37 FPS в режиме YV12.
960x540 -> 1920x1080: 6-11 FPS в RGB, 11-20 FPS в YV12.
Т.е. еще не везде рилтайм, но уже приближаемся.
Ближайший "конкурент" по качеству - SmartEdge (разработка товарищей с моего факультета) - примерно в 700 раз медленнее. Но это скорее чисто научная разработка, не продукт для широких масс.
Американский vReveal, в котором тоже заявлен super resolution, с CUDA работает шустро (нет цифр под рукой), а без CUDA раза в полтора медленнее самого медленного режима Video Enhancer'a.

Памяти наша реализация SR ест в районе 40 мегов для 720p. Там больше пары кадров в памяти не держится, просто в процессе задействовано несколько буферов в том числе с float'ами для RGB значений.

[(Anonymous)]

Очень здорово!

Советую пересмотреть Blade Runner и реализовать остальные фишки :) :
http://www.youtube.com/watch?v=QkcU0gwZUdg

[thedeemon.livejournal.com]

:)

[soonts.livejournal.com]

Лично мне показалось шо SmartEdge чотче чем Video Enhancer.
Правда смотрел только bjorn и avatar1, уж не помню какие из вариантов.
Все остальные сливают, да.

[thedeemon.livejournal.com]

Мне тоже SmartEdge очень нравится. Но две с половиной минуты на кадр - это для фанатов.

[b00ter.livejournal.com]

Круто (почти как в шпионских кинах с приближением вплоть до).
А для ffmpeg плагина не будет?

[thedeemon.livejournal.com]

Чтобы на нем зарабатывал не я, а китайцы, которые на базе ffmpeg делают свои многочисленные конвертеры? Нет, спасибо. :)

[b00ter.livejournal.com]

Ну, можно самому конвертеры делать. :)

[aka-rider.livejournal.com]

Интересно, можно подумать над алгоритмом компрессии на основании super resolution.

[thedeemon.livejournal.com]

Да, тоже такая мысль приходила.

[djonline.livejournal.com]

На примере кадра Аватар на Instant HD и Smart Edge отчётливо видно смещение картинки на 1px влево и вверх, отсюда неверный заниженный PSNR, хотя на глаз эти алгоритмы конкретно в этом случае отработали лучше, особенно Smart Edge. У genius fractal тоже смещение на 1px вниз и вправо, хоть он и не лидер по качеству, но PSNR от этого падает.
Хотелось бы увидеть тесты PSNR без смещения.

[thedeemon.livejournal.com]

Там у многих смещения получаются, но мы PSNR меряли с учетом смещений: двигали в разные стороны на 1-2 пикселя и искали минимум PSNR. Он и показан.

[djonline.livejournal.com]

Тогда для удобства выровнять все картинки, чтобы не было смещений.
Кстати я правильно понимаю, что Smart Edge - не анализирует соседние кадры ?

[thedeemon.livejournal.com]

Картинки по-честному показаны такими, какими их те программы делают. Делают со смещением - значит будет со смещением, скрывать это не стоит. Да и размеры тогда чуть-чуть разные получатся, сравнивать будет неудобно.

Да, SmartEdge на независимых картинках работает, не на видео.