В статье рассмотрен подход к применению беспилотных летательных средств в охранных комплексах. Представлен алгоритм обнаружения наземного подвижного объекта по видеопотоку с камеры беспилотного летательного аппарата и его дальнейшего сопровождения. Проведены экспериментальные исследования разработанного алгоритма на основе учебного квадрокоптера.
Ключевые слова: беспилотный летательный аппарат, обнаружение наземных подвижных объектов, обработка изображений.
Применение беспилотных летательных аппаратов (БПЛА) стало неотъемлемой частью нашей жизни. Беспилотники находят применение в самых разных областях — от съемок кинофильмов и доставки грузов до поиска пропавших людей и тушения пожаров [1]. Актуальным направлением применения беспилотных систем сегодня является разработка охранных комплексов, в задачи которых входит контроль охраняемой территории, обнаружение и сопровождение наземных подвижных объектов, оповещение оператора о нарушениях границы контролируемой зоны. Указанное направление характеризуется широкими возможностями автоматизации, начиная с ручного дистанционного управления беспилотником до автоматического распознавания типа объекта по видеопотоку и его дальнейшего сопровождения. Реализация сложных алгоритмов обработки видеоданных на борту беспилотного средства не представляется возможной ввиду значительных технических ограничений. Однако в случае применения дронов локально в пределах охраняемой территории при наличии высокоскоростного канала связи данные с видеокамеры устройства могут быть переданы на наземные вычислительные средства для их дальнейшей обработки.
В процессе обнаружения наземных подвижных объектов с помощью беспилотного воздушного средства, находящегося в движении, возникает много шумов, и, как следствие, много ложных срабатываний. Для повышения достоверности результата обнаружения предлагается схема работы беспилотного аппарата, показанная на рис. 1.
Рис. 1. Схема съемки подстилающей поверхности
Маршрут движения аппарата представляет собой совокупность прямых участков по контуру охраняемой территории, на которых беспилотник движется равномерно с заданной скоростью V бла на высоте H . Изображение подстилающей поверхности формируется последовательностью кадров с видеокамеры БПЛА, характеризующейся фокусным расстоянием f , а также размерами светочувствительной матрицы m × n , выраженными числом светочувствительных элементов по строкам и столбцам. Размер стороны элемента составляет величину d , которая обычно измеряется в микронах. Из теории формирования изображения оптическими системами известно, что объектив камеры формирует перевернутое изображение, поэтому в фокальной плоскости объектива изображение будет двигаться в сторону, противоположную направлению движения беспилотника, со скоростью V из .
Проекция светочувствительной матрицы на земную поверхность соответствует участку земной поверхности размерами M × N , изображение которого формируется камерой в момент съемки t i . Для решения задачи обнаружения наземного подвижного объекта с использованием метода межкадровой разности необходимо совместить последовательные кадры, полученные в моменты времени t i и t i+1 , таким образом, чтобы фоновая составляющая изображений, находящаяся в зоне перекрытия снимков, совпала. Для этого необходимо учесть смещение изображения земной поверхности S см за время перемещения носителя между кадрами. Определим выражение, в соответствии с которым рассчитывается величина межкадрового смещения (в пикселях) за время Δ t = t i+1 — t i .
Скорость движения изображения в фокальной плоскости объектива определяется в соответствии с выражением [2]:
|
|
(1) |
Величина межкадрового смещения в фокальной плоскости объектива s см в этом случае будет определяться как отношение произведения скорости движения изображения на время перемещения носителя между кадрами к размеру пикселя:
|
|
(2) |
В результате мы получим величину межкадрового смещения, выраженную в количестве пикселей. Значение межкадрового смещения используется при формировании зоны сравниваемого участка, обозначенной на рис. 1, для дальнейшего обнаружения наземного подвижного объекта методом межкадровой разности.
На рис. 2 представлена схема разработанного алгоритма обнаружения наземных подвижных объектов. Рассмотрим отдельные этапы работы алгоритма подробнее.
Рис. 2. Схема алгоритма обнаружения наземных подвижных объектов
На первом этапе работы алгоритма происходит выделение двух последовательных кадров видеоряда. В соответствии с рассмотренным ранее подходом производится обрезка кадров с учетом межкадрового смещения для формирования фрагментов, принадлежащих общей сравниваемой зоне. Далее выполняется переход от цветного изображения к полутоновому с целью снижения количества вычислений и обработки наиболее информативной (яркостной) компоненты изображения (рис. 3а).
Рис. 3. Результаты промежуточных этапов обработки
а) изображение в оттенках серого; б) результат межкадровой разности; в) пороговая обработка разности; г) выделение объекта на видео
Для обнаружения движения в видеопоследовательности выполняется вычитание значений яркости текущего кадра из соответствующих значений предыдущего кадра (рис. 3б). Результат разности подвергается пороговой обработке для получения двоичной маски, содержащей зоны возможных областей движения (рис. 3в). Для удаления различных шумов, возникающих по причине вибраций носителя аппаратуры, а также случайных движений элементов земной поверхности, к бинарному изображению применяются фильтры морфологической обработки, включающие операции эрозии и дилатации [3].
Таким образом, в результате обработки межкадровой разности формируется область движения на видеопоследовательности (рис. 3г). Для решения следующей задачи — сопровождения движущегося объекта — необходимо использовать информацию о текущем положении объекта относительно центра кадра [4]. Для этого кадр делится на несколько равных частей (например, сеткой с размерностью 5×5 ячеек). Направление движения квадрокоптера будет зависеть от того, в какой части кадра (в какой ячейке) находится объект. Расстояние между центром кадра и центром объекта может быть использовано для регулирования скорости перемещения беспилотного средства.
В качестве недостатка разработанного алгоритма следует отметить, что его применение не обеспечивает обнаружение неподвижного объекта, нарушившего границы контролируемой зоны. Для работы алгоритма необходимым условием является наличие движения объекта относительно неподвижного фона.
Для проведения экспериментальных исследований разработанной системы обнаружения и сопровождения наземного подвижного объекта с использованием БПЛА был разработан полигон, включающий элементы наземной обстановки, а также подвижный объект в виде автомобиля. В состав базы для проведения исследований помимо наземной экспериментальной части также входит квадрокоптер DJI Ryze Tello в качестве модели БПЛА и вычислительное устройство, представленное настольной ПЭВМ с установленным программным средством для обработки видеопотока с камеры квадрокоптера. Передача данных между БПЛА и вычислительным устройством происходит по каналу связи WiFi .
Суть эксперимента заключалась в моделировании процесса съемки беспилотным летательным аппаратом земной поверхности с целью обнаружения и сопровождения наземного подвижного объекта.
Для оценки эффективности разработанной системы обнаружения наземных подвижных объектов рассчитывалась вероятность обнаружения объекта, а также величина ошибки первого («пропуск цели») и второго рода («ложное срабатывание»). В каждом случае тестового запуска квадрокоптера одновременно осуществлялся запуск наземного подвижного объекта, попадающего в кадр видеокамеры беспилотного летательного аппарата в некоторый момент времени. Результаты экспериментальных исследований по обнаружению наземных подвижных объектов представлены в табл. 1.
Таблица 1
Результаты экспериментальных исследований
|
№ п/п |
Условия эксперимента |
Оцениваемый параметр |
||
|
Вероятность обнаружения |
Вероятность ошибки I рода |
Вероятность ошибки II рода |
||
|
1 |
Без внешнего воздействия |
77,6 % |
19,6 % |
2,8 % |
|
2 |
Под воздействием бокового ветра |
57,1 % |
32,4 % |
10,5 % |
По результатам исследований можно сделать вывод, что применение беспилотных систем в составе охранных комплексов позволит повысить эффективность контроля охраняемой территории, обеспечить высокую оперативность передачи информации о выявленных нарушениях, снизить нагрузку на персонал сотрудников охранного ведомства.
Литература:
1. 72 способа применять дроны в будущем. URL: https://habr.com/ru/ articles/ 384957/. Дата обращения: 27.02.2024.
2. Крынин Л. И. Проектирование конструкций объективов. — СПб: Университет ИТМО, 2018. — 219 с.
3. Пытьев Ю. П., Чуличков А. И. Методы морфологического анализа изображений. — М.: ФИЗМАТЛИТ, 2010. — 336 с.
4. Копосов Д. Г. Робототехника. Управление квадрокоптером. Квадрокоптер Tello. Программирование на языке Python. 8–11 классы. — М.: Бином, 2021. — 127 с.
