В настоящее время большому числу приложений, использующих в своей работе изображения или видео, требуются изображения в высоком разрешении. Стремление к высокому разрешению изображений проистекает из двух основных областей применения: улучшение графической информации для человеческого восприятия; улучшение представления графической информации для автоматических машинных методов обработки и анализа изображений. Разрешение изображения отражает количество деталей на изображении, чем выше разрешение, тем больше деталей. Большее количество деталей позволяет извлекать большее количество полезной информации из изображения. Таким образом, разрешение изображения напрямую влияет на количество полезной информации, которую несет в себе изображение.
К результату обработки предъявляются следующие требования: на итоговом изображении не должны исчезать мелкие детали или появляться новые, не должны чрезмерно проявляться эффекты размытия, ступенчатости контуров, ложного оконтуривания. Значение имеет и объективная оценка методов увеличения разрешения, которая учитывает время обработки, ресурсоемкость. Существующие методы для улучшения разрешения изображений делятся на две большие группы: линейные и адаптивные. Линейные методы проще в реализации, менее требовательны к ресурсам и в большинстве случаев удовлетворяют потребности пользователей. Адаптивные методы требуют больше времени для обработки, предоставляя при этом, как правило, более качественные результаты.
Среди технологий улучшения разрешения изображений наиболее эффективной является технология Super-resolution (SR).
Метод повышения разрешения изображения Super-resolution получает и использует информацию с нескольких кадров, добавляя в результирующее изображение дополнительную информацию (пиксели), в то время как линейные методы, такие как бикубическая интерполяция или увеличение (resampling) изображения, не вносят в результирующий кадр новой информации. Это дает дополнительный положительный эффект для средств идентификации. Последовательные кадры одного и того же объекта являются основным источником информации для работы метода Super-resolution. При съемке изображений камера получает пиксели с ненулевым размером, которые являются некоторым усреднением по некоторой окрестности точки, а не конкретным значением реального изображения. Из-за движения объекта на нецелое число пикселей происходит усреднение по разным окрестностям последовательных кадров. Метод использует информацию со всех окрестностей всех кадров для увеличения разрешения изображения результирующего кадра, т. к. перемещение объекта известно.
В процессе анализа работ, описывающих различные методы SR, был выявлен метод, объединяющий достоинства двух классических подходов — на основе нескольких кадров в низком разрешении и на основе базы образцов. Данный метод Super-Resolution from a Single Image (SRSI) предполагает получение изображения в высоком разрешении всего лишь из одного исходного изображения низкого качества без какой-либо априорной информации. При этом фактор увеличения разрешения данного метода намного выше, чем в классическом подходе на основе нескольких кадров (порядка 8 раз). Такой подход основан на наблюдении, что небольшие фрагменты на исходном изображении, имеют тенденцию в избыточности повторяться в рамках этого изображения, причем такое повторение сохраняется и в исходном изображении, представленном в различных масштабах. Повторение фрагментов в пределах изображения одного и того же масштаба формирует основу для применения классического SR подхода на основе нескольких изображений. В то время как повторение одних и тех же фрагментов на кадрах в различном масштабе, полученных из одного изображения, предоставляет возможность сформировать пары: фрагмент изображения в низком разрешении и фрагмент изображения в высоком разрешении, что делает возможным применение подхода SR на основе образцов. Таким образом, становится возможным объединение двух классических подходов в SR и получение результата, используя только одно входное изображение без какой-либо дополнительной информации.
Для визуального и peak signal-to-noise ratio (PSNR) анализа были выбраны методы улучшения разрешения изображений: интерполяция методом ближайшего соседа, бикубическая интерполяция; метод SRSI. Было выбрано исходное изображение в низком разрешении, представлено на рис.1. Для фрагмента этого изображения был применен каждый из методов увеличения разрешения, результат представлен на рис.2.
Рис. 1. Исходное изображение
Рис. 2. Визуальное сравнение методов улучшения разрешения изображений: А) интерполяция методом ближайшего соседа; Б) бикубическая интерполяция; В) метод SRSI
– PSNR интерполяции методом ближайшего соседа = 40.52 dB;
– PSNR бикубической интерполяции = 44.86 dB;
– PSNR метода SRSI = 47.63 dB.
По результатам анализа можно сделать вывод, что разработанный программный модуль эффективно справляется со своей задачей.
Литература:
- Farsiu S., Robinson D., Elad M., Milanfar P. Fast and Robust Multi-frame Super-resolution // IEEE Transactions on Image Processing, 2004. — Vol. 13. — No. 10. — P. 1327–1344.
- Freeman W., Jones W., Pasztor E. Example based super-resolution // Journal. IEEE Computer Graphics and Applications archive, March 2002. — Vol. 22. — Issue 2. — P. 56–65.
