Использование нейронных сетей для очистки изображений от шумов | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 5 февраля, печатный экземпляр отправим 9 февраля.

Опубликовать статью в журнале

Библиографическое описание:

Использование нейронных сетей для очистки изображений от шумов / Н. А. Сизов, В. П. Раевский, Д. П. Дурандин [и др.]. — Текст : непосредственный // Молодой ученый. — 2019. — № 27 (265). — С. 34-36. — URL: https://moluch.ru/archive/265/61326/ (дата обращения: 25.01.2022).



В последнее время с развитием технологий глубокого обучения и, в частности, сверточных нейронных сетей, появилась возможность конструировать различные методы удаления шума с изображений, показывающие высокие результаты [2]. Нейронные сети, в отличие от прежних технологий, дают выигрыш в качестве получаемых изображений, в частности, уменьшают «замыленность» изображения.

В основе этой работы лежит предположение о том, что качество шумоподавления напрямую зависит от характера шума изображений, на которых обучается нейронная сеть.

Архитектура сети

Архитектура нейронной сети для решения данной задачи, была предложена в [1] (Рис. 1). Идея состоит в следующем:

  1. Вместо того чтобы строить сеть, которая очищает изображение от шума, необходимо построить сеть, выход которой будет равен чистому шуму, отделенному от изображения.
  2. Входом нейронной сети является блок (часть изображения, patch) размера 64×64.
  3. Первый слой состоит из 64 фильтров, которые генерируют соответственно 64 карты признаков. Каждый фильтр имеет размерность 3×3×3 (для каждого цветового канала строится отдельный фильтр 3×3 субпикселя).
  4. К признакам, полученными фильтрами, применяется функция активации ReLU.
  5. Внутренние слои аналогичны первому слою за исключением того, что дополнительно применяется алгоритм пакетной нормализации. Количество слоев: 19.
  6. Последний слой представляет из себя свертку, выходом которой является изображение шума.

Рис. 1: Архитектура нейронной сети

Построение датасета

В работе [1] датасет составлен следующим образом. Были взяты изображения из общедоступной библиотеки [3] BSD68, с некоторыми другими изображениями, которые применяются для демонстрации работы метода. Для формирования изображений, используемых в качестве обучающего множества, на каждое изображение выборки был нанесен аддитивный гауссовский шум. Этот подход широко распространен в работах посвященных задаче удаления шума. Но было решено применить другой подход.

На самом деле производительность сетей, направленных на удаление аддитивного гауссовского шума, остается ограниченной на реальных шумных фотографиях. Основная причина заключается в том, гауссовский шум сильно отличается от сложной модели реального шума (Рис. 3). Чтобы улучшить обобщающую способность сверточных нейронных сетей, решающих исследуемую задачу, было предложено тренировать сверточную шумоподавляющую сеть на более реалистичной модели шума.

gauss

Рис. 2: Гауссовский шум (слева), реальный шум (справа)

Датасет был построен следующим образом. За основу были взяты все те же изображения с библиотеки BSD68, так как изображения из этой библиотеки обладают большой вариативностью и, соответственно, отличной репрезентативностью. Накладываемый шум был получен с камеры Canon EOS600D, по следующей методике: настройки были выставлены таким образом, чтобы матрица генерировала максимальное количество шума (максимальное значение светочувствительности, ISO=6400, выдержка в пределах одной секунды). Были сделаны несколько фотографий с закрытой крышкой объектива. Контраст и яркость на полученных снимках были усилены с помощью гамма преобразования по формуле:

CodeCogsEqn_1

Полученный шум был наложен на изображения из используемой библиотеки следующим образом: для каждого изображения из библиотеки случайным образом выбирается один из полученных снимков шума, далее к снимку шума применяется гамма преобразование, со случайным значением гамма в пределах от 0,3 до 0,4, затем полученный шум накладывается на исходное изображение. Такой подход (фотографирование с закрытым объективом), обусловлен тем, что получить качественные пары реальных снимков с низким и с высоким уровнем шума (например, с ISO=80 и ISO=6400 соответственно) невозможно. Основная проблема заключается в том, что на таких парах снимков будет разная яркость, цветопередача и детализация. Снимки всегда будут иметь небольшой сдвиг. Подвижный объект на таких парах снимков без сдвига объекта снять невозможно в принципе.

Варьируя значение гамма, был получен датасет с различной характеристикой шума. Пример изображений из датасета (Рис. 3)

11o

Рис. 3: Изображения с наложенным шумом (слева) и исходные изображения (справа)

Эксперимент

Ниже продемонстрированы результаты работы построенной нейронной сети, рис. 4. Пример состоит из трех изображений: случайное исходное изображение с шумом, изображение, очищенное сетью, обученной на гауссовом шуме, и изображение, очищенное сетью, обученной на предложенном датасете.

1noisy1gauss1denoised

Рис. 4: Исходное изображение с шумом (справа), изображение, очищенное сетью, обученной на гауссовом шуме (по центру), и изображение очищенное сетью, обученной на предложенном датасете (слева)

Как видно на Рис. 4, сеть достаточно эффективно удаляет шум (PSNR > 32). При этом хорошо сохраняет мелкие детали и не размывает изображения, что показывает состоятельность данного подхода.

Однако, сеть, обученная на белом аддитивном гауссовом шуме, не смогла достаточно эффективно произвести удаление шума, наложенного предложенным выше методом (PSNR: 28,19). Это связано с тем, что, как показано ранее, шум данного типа сильно отличается от реального шума с матриц фотокамер.

Заключение

В данной работе рассмотрен алгоритм шумоподавления основанный на сверточных нейронных сетях, архитектура такой нейронной сети, а также предложен новый подход к построению датасета.

Сеть, построенная по такому принципу, не уменьшает четкости изображения и не размывает его, а также достаточно эффективно удаляет шум. Тем не менее, данный подход необходимо усовершенствовать, чтобы повысить его универсальность.

Литература:

  1. Kai Zhang, Wangmeng Zuo, Yunjin Chen, Deyu Meng, Lei Zhang Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising // IEEE Transactions on Image Processing. 2017. Vol. 26, No 7, P. 3142–3155.
  2. Методы удаления шумов на изображениях на основе применения искусственных нейронных сетей [Электронный ресурс] URL:https://www.lib.tpu.ru/fulltext/c/2010/C01/V2/170.pdf (дата обращения: 13.05.2019).
  3. Roth S., Black M. J. Fields of experts // International Journal of Computer Vision. 2009. Vol. 82, No 2, P. 205–229.
Основные термины (генерируются автоматически): изображение, нейронная сеть, сеть, PSNR, шум, реальный шум, гауссов шум, Исходное изображение, пар снимков, полученный шум.


Похожие статьи

Ключевые слова: цифровое изображение, шум, система...

Для искажения изображений использовался Гауссов шум с дисперсиями: , , . Сравнивались два метода сглаживания изображений: на основе

Для оценки качества работы фильтров была использована числовая характеристика PSNR, или пиковое отношение сигнал-шум, между...

Применение метода устранения шумов изображений...

Ключевые слова: термография, геометрический шум, термограмма.

Традиционный подход к подавлению геометрических шумов в работе МФПУ связан с использованием

Исходным материалом является квадратная матрица ФПЕ с числом элементов в строке (столбце) и в...

Модуль подавления шумов для систем звукозаписи

Одним из наиболее распространенных неблагоприятных физических факторов окружающей среды является шум. Шум — беспорядочные колебания различной физической природы, отличающиеся сложностью спектральной и временной структуры.

Устранение полосового шума и зарисовывание пропущенных...

Качество изображений, полученных дистанционным зондированием, часто ухудшается из-за полосовых шумов и линейных или случайных «плохих» пикселей. Восстановление пропущенных пикселей иногда носит название замена «плохих» пикселей. В данной работе мы используем...

Разработка математической модели канала связи с белым...

При необходимости, из полученного выражения можно получить базисные функции для данного типа модуляции путем несложных

Рис. 3. Вероятность символьной ошибки в зависимости от отношения для канала связи с белым Гауссовым шумом с использованием...

Особенности применения фильтров обработки изображений...

Так как он восприимчив к шумам, изображение сворачивается гауссовым фильтром.

Фильтр Гаусса — фильтр размытия изображения, который использует нормальное распределение (также называемое Гауссовым распределением) для вычисления преобразования...

Обработка и сегментация тепловизионных изображений

Рис. 1. Исходное изображение. Посмотрев на изображение слева отчётливо видно, что оно

Оператор Лапласа излишне чувствителен к шуму и приводит к удвоению контуров, что

– для сокращения времени вычислений и отсечения посторонних шумов на изображении значения...

Шумы осциллографа при исследовании электронных средств

Случайный шум, иногда называемый белым шумом, теоретически не имеет ограничений по времени и подчиняется распределению Гаусса. Поскольку случайный шум не ограничен во времени, то чем больше выборка данных при измерении сигнала, тем больше размах шума.

Анализ математических моделей каналов связи с белым...

Введение. Канал связи с белым Гауссовым шумом, является наиболее распространённой среди используемых моделей каналов связи. Это связано с тем, что в независимости от характера физической линии связи (витая пара, коаксиальный кабель, оптоволокно...

Похожие статьи

Ключевые слова: цифровое изображение, шум, система...

Для искажения изображений использовался Гауссов шум с дисперсиями: , , . Сравнивались два метода сглаживания изображений: на основе

Для оценки качества работы фильтров была использована числовая характеристика PSNR, или пиковое отношение сигнал-шум, между...

Применение метода устранения шумов изображений...

Ключевые слова: термография, геометрический шум, термограмма.

Традиционный подход к подавлению геометрических шумов в работе МФПУ связан с использованием

Исходным материалом является квадратная матрица ФПЕ с числом элементов в строке (столбце) и в...

Модуль подавления шумов для систем звукозаписи

Одним из наиболее распространенных неблагоприятных физических факторов окружающей среды является шум. Шум — беспорядочные колебания различной физической природы, отличающиеся сложностью спектральной и временной структуры.

Устранение полосового шума и зарисовывание пропущенных...

Качество изображений, полученных дистанционным зондированием, часто ухудшается из-за полосовых шумов и линейных или случайных «плохих» пикселей. Восстановление пропущенных пикселей иногда носит название замена «плохих» пикселей. В данной работе мы используем...

Разработка математической модели канала связи с белым...

При необходимости, из полученного выражения можно получить базисные функции для данного типа модуляции путем несложных

Рис. 3. Вероятность символьной ошибки в зависимости от отношения для канала связи с белым Гауссовым шумом с использованием...

Особенности применения фильтров обработки изображений...

Так как он восприимчив к шумам, изображение сворачивается гауссовым фильтром.

Фильтр Гаусса — фильтр размытия изображения, который использует нормальное распределение (также называемое Гауссовым распределением) для вычисления преобразования...

Обработка и сегментация тепловизионных изображений

Рис. 1. Исходное изображение. Посмотрев на изображение слева отчётливо видно, что оно

Оператор Лапласа излишне чувствителен к шуму и приводит к удвоению контуров, что

– для сокращения времени вычислений и отсечения посторонних шумов на изображении значения...

Шумы осциллографа при исследовании электронных средств

Случайный шум, иногда называемый белым шумом, теоретически не имеет ограничений по времени и подчиняется распределению Гаусса. Поскольку случайный шум не ограничен во времени, то чем больше выборка данных при измерении сигнала, тем больше размах шума.

Анализ математических моделей каналов связи с белым...

Введение. Канал связи с белым Гауссовым шумом, является наиболее распространённой среди используемых моделей каналов связи. Это связано с тем, что в независимости от характера физической линии связи (витая пара, коаксиальный кабель, оптоволокно...

Задать вопрос