Ключевые слова: свёрточные нейронные сети, SSDLite+MobileV2, распознавание, ГРЗ, архитектура, web-приложение, набор данных.
В настоящее время развитие информационных технологий, применение искусственных нейронных сетей и обширное использование систем регистрации фото и видеосигналов стали решающими факторами стремительного развития автоматических систем распознавания образов, в том числе — распознавания государственных регистрационных знаков (далее — ГРЗ) автомобилей и прочих транспортных средств (ТС).
В данной работе предлагается метод построения и реализация системы обнаружения и распознавания ГРЗ на цифровых изображениях. Основные задачи, которые подлежат автоматизации в данной системе — это локализация номера автомобиля (определение его местоположения на изображении), и непосредственно само распознавание текста.
Разработанная авторами система предоставляет пользователю возможность осуществлять поиск по базе данных распознанных ранее государственных регистрационных знаков ТС (с использованием фильтров по номеру транспортного средства, дате и времени его фиксации). Поиск возможен только по тем результатам распознавания, которые разрешены согласно правам доступа пользователя после успешной авторизации. Соответственно, предусмотрена авторизация пользователя в системе.
Структурная схема разработанной системы представлена на рисунке 1.
В клиентскую часть входят следующие компоненты:
− Интегратор с камерами видеонаблюдения, который необходим для получения изображения посредством подключения к источнику изображения по протоколу HTTPS.
− Автоматизированное рабочее место оператора (АРМ) — это web-интерфейс для взаимодействия пользователя с системой.
Рис. 1. Структурная схема разработанной системы распознавания ГРЗ
Серверная часть состоит из следующих компонентов:
− Подсистема обработки запросов, отвечающая за передачу данных с камер видеонаблюдения в модуль распознавания и последующую обработку результатов, а также запросов пользователей.
− Подсистема работы с БД, которая отвечает за сохранение результатов распознавания в базу данных и их последующее получение для предоставления по запросу пользователей.
− Модуль распознавания, который на вход принимает изображение, а на выход отдает вырезанный номер ГРЗ и результат распознавания в виде текста.
− Хранилище данных, в котором сохраняются исходные изображения, полученные с камер видеонаблюдения, а также вырезанные в результате распознавания рамки ГРЗ.
− База данных системы, в которой хранятся данные пользователей и результаты распознавания.
Для разработки модуля детектирования авторам потребовалось спроектировать и обучить следующие модели машинного обучения:
1. Детектор ГРЗ, принимающий на вход изображение ТС и возвращающий координаты обрамляющего прямоугольника;
2. Детектор символов, принимающий на вход изображение прямоугольника ГРЗ и возвращающий координаты обрамляющих прямоугольников для символов, оставляющих ГРЗ.
Предлагаемая схема распознавания представлена на рисунке 2.
Рис. 2. Процесс распознавания ГРЗ на изображении
На основе анализа показателей точности и скорости работы наиболее распространенных архитектур было принято решение использовать архитектуру MobileNetV2+SSDLite для решения задачи детектирования ГРЗ [1].
SSDLite-архитектура для задачи детектирования объекта, использующая MobileNetV2 в свёрточной части, превосходит известный детектор реального времени YOLOv2 по точности на датасете MS COCO, при этом показывая в 20 раз большую скорость и в 10 раз меньший размер [2].
Для тестирования разработанного модуля детектирования использовалось 6000 изображений, отложенных перед этапом обучения детектора ГРЗ. В данном наборе содержатся ГРЗ следующих стран:
− Россия, всего 2000 изображений разных типов;
− Евросоюз, 2000 изображений разных стран;
− СНГ, 1000 изображений разных стран;
− Бразилия, 1000 изображений.
Результаты тестирования приведены в таблице 1.
Таблица 1
Результаты тестирования модуля детектирования
|
Набор данных |
Количество изображений |
IoU |
Recall |
DT |
mAP |
Recall2 |
DT2 |
5C |
AC |
|
РФ |
2000 |
0.95 |
1 |
85 |
0.52 |
0.99 |
103 |
0.99 |
0.98 |
|
EC |
2000 |
0.97 |
1 |
86 |
0.49 |
0.98 |
110 |
0.99 |
0.95 |
|
СНГ |
1000 |
0.95 |
1 |
85 |
0.51 |
0.99 |
105 |
0.99 |
0.94 |
|
Бразилия |
1000 |
0.94 |
1 |
85 |
0.52 |
0.99 |
106 |
0.99 |
0.99 |
|
США |
1000 |
0.91 |
0.99 |
92 |
0.48 |
0.91 |
119 |
0.97 |
0.86 |
Для тестирования детектора ГРЗ использовались следующие метрики:
IoU — целевая метрика Intersection over Union [3];
Полнота (Recall) — метрика, показывающая долю ГРЗ, найденных в общем наборе данных;
Среднее время детектирования (DT), в миллисекундах.
Для тестирования детектора символов использовались следующие метрики:
Средняя точность детектирования (mAP);
Полнота (Recall2);
Среднее время детектирования (DT2) в миллисекундах.
Для тестирования всей системы использовались следующие метрики:
Доля номеров, в которых корректно распознано более 5 символов (5C);
Доля номеров, распознанных полностью (AC).
Экранная форма разработанного приложения представлена на рисунке 3.
Рис. 3. Экранная форма системы
Проведено успешное тестирование системы детектирования и распознавания ГРЗ, показавшее устойчивость к изменению различных факторов, затрудняющих обнаружение и распознавание номера. Точность реализованной системы составила не менее 94 %, что является отличным результатом. Таким образом, разработанная авторами система распознавания ГРЗ на цифровых изображениях может применяться для решения задач на практике.
Литература:
1. MobileNetV2: The Next Generation of On-Device Computer Vision Networks // Google AI Blog. URL: https://ai.googleblog.com/2018/04/mobilenetv2-next-generation-of-on.html (дата обращения: 23.05.2019).
2. MobileNetV2: Inverted Residuals and Linear Bottlenecks // arXiv.org. URL: https://arxiv.org/abs/1801.04381 (дата обращения: 23.05.2019).
3. Intersection over Union (IoU) for object detection // pyimagesearch. URL: https://www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ (дата обращения: 23.05.2019).
