В статье автор исследует методы построения многокадрового сверхразрешения по набору зашумленных изображений.
Ключевые слова: нейронные сети, построение сверхразрешения, зашумленные изображения, медианная фильтрация, dropout.
В данной работе будет рассматриваться влияние методов устранения шумов при построении сверхизображения.
В качестве нейронных сетей были выбраны TR-MISR [1], Deep Burst [2] и RAMS [3]. Каждая из нейронных сетей уникальна и имеет свои сильные стороны при построении сверхизображений.
Механизмы Self-Attention и Transformer, которые используются в сети TR-MISR позволяют сети «не забывать», что было на предыдущих шагах и самостоятельно выбирать более важную информацию, а также позволяет распараллелить многие вычисления. Эта модель первоначально была обучена на снимках дистанционного зондирования Земли.
Сеть Deep Burst имеет специальный блок выравнивания каждого входного изображения относительно базового для устранения артефактов поворота и деформации. А также сочетает в блоке слияния нейронную сеть для предсказания веса каждого входного изображения для различных артефактов на отдельных изображениях. Сеть обучения на серийной съемке со смартфона.
Сеть RAMS одновременно использует пространственные и временные корреляции для объединения нескольких изображений. Также в этой модели представлен механизм распознавания визуальных признаков с помощью 3D-сверток, чтобы обеспечить объединение данных и извлечение информации из множества изображений. Эта сеть, аналогично TR-MISR первоначально была обучена на снимках дистанционного зондирования Земли.
В качестве наборов данных для обучения и тестирования были выбраны PROBA-V Super-Resolution и Zurich RAW to RGB dataset.
Набор данных PROBA-V Super-Resolution состоит из изображений в красном и ближнем спектральных диапазонов, сделанных в 74 регионов планеты. Изображения сделаны на разной высоте и имеют различное разрешение и представлены в градациях серого.
Набор данных Zurich RAW имеет более 48 тысяч изображения. HR-изображения сделаны на камеру Canon 5D, а LR изображения на смартфон Huawei P20. Все HR изображения предварительно выровнены относительно LR изображения. Изображения имеют размер 224 на 224 пикселя и представлены к RGB формате.
В качестве метрик используются PSNR и SSIM. PSNR показывает на сколько полученное изображение похоже на оригинальное, а SSIM позволяет учесть «восприятие ошибки» благодаря учёту структурного изменения информации.
Для начала все вышеупомянутые модели были обучены на обоих наборах данных. Результаты обучения представлены в таблице 1.
Таблица 1
Результаты обученных моделей на обоих наборах данных на не зашумлённых изображениях
|
Модель |
PSNR (PROVA-V) |
SSIM (PROVA-V) |
PSNR (Zurich RAW) |
SSIM (Zurich RAW) |
|
Deep Burst |
43,48 |
0,9524 |
47,52 |
0,9831 |
|
RAMS |
51,44 |
0,9917 |
44,26 |
0,9569 |
|
TR-MISR |
50,28 |
0,9856 |
46,83 |
0,9783 |
В качестве шума были выбраны аддитивный (Гауссовский шум) и шум соли и перца. На рис. 1 представлен аддитивный с дисперсией равной 0,025, а на рис.2 представлен шум соли и перца с долей шума равной 0,1.
Рис. 1. Аддитивный шум с дисперсией равной 0,025
Рис. 2. Аддитивный шум с долей шумов 0,1
Аддитивный или Гауссовский шум на изображении возникает при съемке из-за освещенности или дефектов сенсора.
Шум соли и перца возникает из-за изменения количества фотонов, регистрируемых при заданном уровне экспозиции или выгоревших пикселях на сенсоре.
Оба шума могут также возникать при передаче изображений вследствие помех.
Для устранения шума в работе используются следующие алгоритмы: медианная фильтрация, функция Хьюбера для классической модели и дополнительные Dropout слои для нейронных сетей.
Медианная фильтрация за счет прохождения рамкой по всему изображению должна устранить шум соли перца, но для этого нужно подобрать подходящий размер окна, чтобы с одной стороны убирались артефакты, а с другой не терялись границы у объектов.
Dropout слой позволяет модели в процессе обучения исключать некоторые нейроны, что во первых позволит избежать переобучения, а во вторых избавиться от ненужных признаков, например, случайных артефактов на отдельных изображениях.
В таблице 2 представлены результаты тестирования моделей на зашумленных изображениях.
Таблица 2
Результаты тестирования моделей на зашумленных данных
|
Модель |
Шум |
Параметр |
PSNR (PROVA-V) |
SSIM (PROVA-V) |
PSNR (Zurich) |
SSIM ( Zurich ) |
|
Deep Burst |
Гаусса |
0,025 |
12,12 |
0,2508 |
14,46 |
0,2739 |
|
Deep Burst |
Соль перец |
0,1 |
19,39 |
0,4564 |
18,22 |
0,4264 |
|
RAMS |
Гаусса |
0,025 |
12,28 |
0,4172 |
11,65 |
0,4312 |
|
RAMS |
Соль перец |
0,1 |
13,46 |
0,3716 |
12,13 |
0,3556 |
|
TR-MISR |
Гаусса |
0,025 |
20,95 |
0,5172 |
23,67 |
0,5373 |
|
TR-MISR |
Соль перец |
0,1 |
22,17 |
0,5316 |
24,34 |
0,5574 |
После добавления предобработки в виде медианной фильтрации и dropout слоев получились результаты, представленные в таблице 3.
Таблица 3
Результаты тестирования моделей на зашумленных данных с использованием методов устранения шума
|
Модель |
Шум |
Метод устранения шума |
PSNR (PROVA-V) |
SSIM (PROVA-V) |
PSNR (Zurich) |
SSIM (Zurich) |
|
Deep Burst |
Гаусса |
0,025 |
27.80 |
0.6342 |
27.72 |
0.5966 |
|
Deep Burst |
Соль перец |
0,1 |
29.38 |
0.6604 |
28.21 |
0.6308 |
|
RAMS |
Гаусса |
0,025 |
33.07 |
0.6938 |
31.86 |
0.6813 |
|
RAMS |
Соль перец |
0,1 |
33.24 |
0.7214 |
12.69 |
0.6565 |
|
TR-MISR |
Гаусса |
0,025 |
37.36 |
0.7953 |
34.13 |
0.7101 |
|
TR-MISR |
Соль перец |
0,1 |
38.06 |
0.8186 |
36.24 |
0.7358 |
После проведения эксперимента было установлено следующее:
— Сеть RAMS справилась лучше с реконструкцией изображений с маленькой временной корреляцией за счет своей архитектуры и направленности именно на реконструкцию снимков ДЗЗ.
— Сеть Deep Burst справилась лучше с реконструкцией изображений, полученных при серийной съемке за счет дополнительного модуля выравнивания.
— Медианная фильтрация помогла существенно уменьшить шум «соль перец» во всех исследуемых методах, даже в сети TR-MISR, где есть Dropout.
— Dropout слои в совокупности с медианной фильтрацией позволили остальным сетям приблизиться к результатам сети TR-MISR.
Литература:
- TR-MISR: Multiimage Super-Resolution Based on Feature Fusion With Transformers. — Текст: электронный // arXiv.org: [сайт]. — URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9684717 (дата обращения: 16.05.2024).
- Deep Burst Super-Resolution. — Текст: электронный // arXiv.org: [сайт]. — URL: https://arxiv.org/pdf/2101.10997v2 (дата обращения: 16.05.2024).
- Multi-image Super Resolution of Remotely Sensed Images using Residual Feature Attention Deep Neural Networks. — Текст: электронный // arXiv.org: [сайт]. — URL: https://arxiv.org/pdf/2007.03107v2 (дата обращения: 16.05.2024).
