Для достижения поставленной цели проекта следовало решить шесть задач:
- Конструирование новой архитектуры сверточной нейронной сети для задач классификации категорий повреждения дерева по данным изображений со сверхвысоким пространственным разрешением, полученных с беспилотного летательного аппарата (БПЛА).
- Подготовка уникального набора данных с применением методов искусственного увеличения для тестирования (обучения, валидации, независимой проверки) созданной сверточной нейронной сети.
- Обучение созданной сверточной нейронной сети на наборе данных без увеличения и на увеличенном наборе данных.
- Разработка и тестирование алгоритма автоматического детектирования объектов (категорий повреждения дерева) по данным изображений со сверхвысоким пространственным разрешением, полученных с БПЛА.
- Независимая проверка и оценка созданной сверточной нейронной сети на наборе данных без увеличения и увеличенном наборе данных.
- Разработка графического интерфейса пользователя для удобного взаимодействия с системой и анализа результатов детектирования и классификации.
Итоговый результат – система (программный продукт) детектирования и классификации категорий повреждения дерева на изображениях сверхвысокого пространственного разрешения. Результатом работы системы является отображение меток, показывающих поврежденные деревья и класс их повреждения на анализируемых изображениях, а также статистические данные для изображения в целом.
Актуальность исследования обоснована следующим фактом. Тайга и бореальные леса играют важную роль в глобальном климате. Несмотря на то, что леса являются возобновляемым ресурсом, в обширных районах мира деградация лесов высока и не компенсируется восстановлением. Существует несколько факторов, приводящих к ослаблению и гибели деревьев, помимо пожаров причиной является нападение жуков-короедов. Обычно ели гибнут в течение 2–4 лет с момента первого нападения жука, что определяет важность решения задач мониторинга вторжения жуков и, детектирования категорий повреждения дерева и раннего предупреждения для точной оценки состояния повреждения леса. Таким образом, существует необходимость принятия решений в условиях малых объемов выборки и недостаточного качества исходного материала для обучения, что определяет актуальность исследования и разработки новых методов и алгоритмов обработки растительных сообществ на основе машинного обучения.
Инновационность научного проекта. Разработанная система способна автоматически детектировать категорий повреждения дерева по данным дистанционного зондирования Земли (ДЗЗ) сверхвысокого пространственного разрешения. В результате работы системы автоматически строятся рамки объектов, которые отображают метки, предсказывающие поврежденные деревья и класс их повреждения на анализируемых изображениях, а также статистические данные для изображения в целом.
Предлагаемые в данном проекте алгоритмы и архитектура сверточной нейронной сети для задач обработки изображений дистанционного зондирования Земли является легкой (до 6 слоев свертки), они демонстрируют высокую точность распознавания объектов при меньших вычислительных затратах (точность распознавания более чем на 5% выше в сравнении с классическими методами), и адаптированы под конкретные задачи детектирования и классификации категорий повреждения дерева по данным изображений с БПЛА.
Разработанный алгоритм автоматического детектирования категорий повреждения дерева на изображениях сверхвысокого пространственного разрешения, полученных с БПЛА. Структура предлагаемого алгоритма включает в себя совокупность последовательных элементов:
− Преобразование трёхцветного изображения (красный, зеленый, синий) в цветовую палитру серых оттенков;
− Размытие изображения в градациях серого с использованием высокочастотного Гауссова фильтра для уменьшения шума на изображениях со следующими параметрами функции: размер ядра 11×11 пикселей со стандартным отклонением, равным 0;
− Создание двоичного изображения (чёрно-белое) из размытых изображений в градациях серого путем применения пороговой функции с оптимальным пороговым значением яркости пикселей входного изображения, равным 100;
− Структурирование контуров элементов изображения путем применения двух последовательных функций (эрозия и расширение) с несколькими итерациями для двоичных изображений с целью различения контуров отдельных крон деревьев и минимизации эффекта их слияния в одном объекте;
− Обнаружение участков изображения, которое было реализовано с использованием функции вычисления площади контура на основе формулы Грина. Размер объекта для функции был установлен в диапазоне от 50×50 до 200×200 пикселей.
Общая архитектура СНС состоит из шести сверточных блоков (каждый включает в себя один сверточный слой). Первый и третий сверточные блоки включают в себя слои пулинга (функция уменьшения размерности пространства карт признаков) с функцией максимума. В конце СНС находятся два полносвязных слоя и один выходной слой. В последних четырех сверточных блоках использовалась функция активации ReLU, а в выходном слое использовалась функция активации Softmax. Чтобы контролировать переобучение сети, по результатам проведенных экспериментов было решено использовать метод регуляризации для ИНС Dropout, с помощью которого было достигнуто уменьшение сложности модели, с сохранением количества ее параметров на низком уровне. Также было выбрано оптимальное значение коэффициента регуляризации. По результатам проведенных численных экспериментов было определено, что оптимальными являются значения коэффициента 0,25 после второго, четвертого и пятого слоев, и 0,5 перед выходным слоем. В качестве целевой функции, которая должна быть минимизирована в ходе обучения нейронной сети, была выбрана категориальная кросс-энтропийная потеря между входными данными и фактической классификацией изображений. Данная функция хорошо подходит для вычисления вероятности принадлежности исходного изображения к определенной категории. К настоящему времени предложено достаточно большое количество алгоритмов оптимизации при расчете градиентного спуска в нейронных сетях. В предлагаемой модели использовалась оптимизация ADAM (adaptive moment estimation, адаптивная оценка момента) поскольку для рассматриваемой проблемы это наиболее подходящий оптимизатор, в частности, благодаря возможности начальной калибровки ИНС (Рис. 1).
Рис. 1. Архитектура новой сверточной нейронной сети для задач классиикации категорий повреждения дерева по данным сверхвысокого пространственного разрешения.
Характеристики разработки: точность распознавания до 97%, количество слоев свертки не более 6, 4 выходных полносвязных слоя, высокая скорость обучения сети (30 итераций), скорость классификации до 30 секунд на одно изображение.
Отличие от аналогов. Из наиболее известных систем-аналогов, предназначенных для обработки изображений (детектирования, классификации и сегментации изображений) дистанционного зондирования Земли, можно выделить следующие: ENVI, QGis, Trimble’s eCognition Developer 9.3. Первые две основаны на технологиях, использующих классические методы обработки изображений: факторный анализ, метод случайных проекций, вейвлет-анализ, метод главных компонент. Они демонстрируют сравнительно низкие точности обработки изображений ДЗЗ. Программный продукт Trimble’s eCognition Developer 9.3 основан на использовании сверточных нейронных сетей от Google TensorFlow API, что приводит к высокой точности детектирования и классификации объектов, но требует высоких мощностей, а в ряде случаев затрат значительного количества времени, так как встроенные модели являются тяжелыми. Каждая из представленных систем не представляет возможности внести изменения во встроенные технологии для адаптации под конкретную задачу пользователя. Также к недостатку следует отнести необходимость использования графического ускорителя и значительного свободного места на жестком диске, что на практике бывает невозможным для большинства предприятий в связи со стоимостью ускорителя (от 700 тыс. руб.). При этом стоимость лицензии для работы с ENVI составляет от 300 тыс. руб., а ПО Trimble от 1 млн. руб. в год.
Конечный программный продукт предоставляет оператору возможность несложного и быстрого автоматического распознавания категорий повреждения дерева на снимках сверхвысокого пространственного разрешения, полученных с БПЛА.
Общий макет программы по реализации технологии автоматического детектирования категорий повреждения дерева на основе машинного обучения по данным съемки БПЛА представлен на рисунке 2.
Рис. 2. Макет программного продукта для автоматического распознавания категорий повреждения дерева на снимках сверхвысокого пространственного разрешения, полученных с беспилотных летательных аппаратов.
Экспериментальные исследования по разработанным алгоритмам и архитектуре сверточной нейронной сети производились на тестовых участках природного заповедника «Столбы», расположенного недалеко от города Красноярска в Центральной Сибири Российской Федерации по данным БПЛА за 2016, 2018 гг.
Разработанные в научном проекте программные продукты могут быть использованы в научно-исследовательских отделах институтов и предприятий, работающих в области лесных ресурсов и лесных экосистем, в региональных службах лесозащиты и службах, осуществляющих надзор в области лесопользования. Они также могут быть внедрены в систему мониторинга лесного и сельского хозяйства, и на станции БПЛА для мониторинга растительных сообществ в режиме реального времени.
