В настоящее время нейронные сети (НС) играют ключевую роль в развитии технологий беспилотного транспорта, обеспечивая интеллектуальное и адаптивное управление в сложных, динамически изменяемых условиях внешней среды. Применение НС охватывает широкий спектр задач — от восприятия окружающей среды до принятия высокоуровневых решений по управлению движением. Способность нейронных сетей к обучению на больших массивах данных, адаптации к динамическим условиям и принятию решений в реальном времени делает их предпочтительными для применения в беспилотном транспорте.
Внедрение нейронных сетей в системы управления беспилотным автомобилем (БА) обусловлено их возможностями для решения комплекса фундаментальных задач, с которыми сталкиваются автономные транспортные средства в реальных условиях эксплуатации:
1. Обработка мультимодальных сенсорных данных. Беспилотный автомобиль получает информацию от разнородных сенсоров, каждый из которых генерирует специфические данные:
— камеры — двумерные изображения высокой детализации (RGB, инфракрасные);
— лидары — трёхмерные облака точек с координатами (x,y,z) и интенсивностью отражения;
— радары — данные о скорости объектов и дистанции;
— ультразвуковые датчики — ближняя зона обнаружения (до 5 м);
— GPS (Global Positioning System)/IMU (Inertial Measurement Unit) — геопозиционные данные и параметры движения (ускорение, угловая скорость).
Применение НС позволяет интегрировать разнородные данные в единое семантическое представление [1], компенсировать ограничения отдельных сенсоров (например, лидар «не видит» цвет, камера теряет детализацию в тумане) [2], выявлять скрытые корреляции между различными модальностями (например, сопоставление формы объекта по информации от камеры и его скорости от радара) [3].
2. Работа в условиях неопределённости и стохастичности среды. Дорожная среда характеризуется непредсказуемостью по следующим факторам:
— неопределенное поведение участников движения. Пешеходы могут внезапно выйти на проезжую часть, водители — резко сменить полосу;
— динамические препятствия (например, животные, падающие предметы, временные конструкции);
— изменяющиеся внешние условия среды. К ним относятся погодные явления (например, дождь, снег, туман), смена освещения (например, закат, туннели), сезонные изменения (например, опавшая листва, сугробы).
Применение нейронных сетей позволяет обобщать различные ситуации за счет обучения, производить вероятностное прогнозирование (например, оценка вероятности перехода пешехода через дорогу) и адаптироваться к новым сценариям.
3. Требования к времени реакции. Критические ситуации на дороге требуют немедленного реагирования:
— обнаружение пешехода на скорости 60 км/ч с учетом времени на торможение не более чем 150 мс;
— уклонение от внезапно появившегося препятствия — время реагирования должно быть не более чем 200 мс.
Применение НС позволяет производить своевременное реагирование за счет использования существующих оптимизаций под аппаратные ускорители (GPU — Graphics Processing Unit, TPU — Tensor Processing Unit, FPGA — Field-Programmable Gate Array) для обработки данных в реальном масштабе времени, использования легковесных архитектур сверточных нейросетей (MobileNet, EfficientNet) для низкозатратных вычислений [4] и конвейерной обработки с параллельным выполнением этапов (обнаружение, классификация, прогнозирование) [5].
4. Семантическое понимание сцены. Для безопасного движения необходимо не просто «видеть» объекты, но и интерпретировать контекст:
— различать типы перекрёстков (регулируемые/нерегулируемые);
— распознавать намерения водителей (например, мигание фонаря поворота, замедление);
— учитывать социальные нормы (например, пропуск пешехода на переходе типа «зебра»).
НС позволяют производить семантическую сегментацию (разделение изображения на классы — дорога, обочина, разметка) и instance-сегментацию (идентификация отдельных экземпляров объектов); использование нейронных сетей на основе графов (Graph Neural Network, GNN) позволяет моделировать взаимодействия между участниками движения [6].
5. Планирование и принятие решений. Беспилотный автомобиль должен не только воспринимать среду, но и вырабатывать стратегию движения:
— выбирать оптимальную траекторию движения с учётом препятствий;
— прогнозировать последствия при совершении манёвров (например, риск столкновения при перестроении движения с одной полосы на другую);
— соблюдать баланс между безопасностью и комфортностью (например, плавное торможение и экстренное уклонение).
Рекуррентные нейронные сети (LSTM — Long Short-Term Memory, GRU — Gated Recurrent Units) позволяют моделировать временные зависимости [7], а обучение с подкреплением (reinforcement learning) позволяет оптимизировать политики управления. Также возможно создание гибридных систем, сочетающих НС с классическими алгоритмами (алгоритм поиска по первому наилучшему совпадению на графе А*, RRT — Rapidly-exploring Random Tree) [8].
6. Устойчивость к атакам и аномалиям на сенсоры БА:
— состязательные атаки (adversarial attacks, например, наклейки на дорожные знаки, имитирующие стоп-сигнал);
— аппаратные сбои (например, зашумленное изображение от камеры, потеря сигнала GPS);
— неопределенные объекты (аномальные объекты, не встречавшиеся в обучающих данных).
В этом случае роль НС состоит в разработке робастных (устойчивых) архитектур (например, с механизмами внимания) [9], ансамблевых методов для повышения надёжности [10], мониторинга уверенности модели (отказ от действий при низкой уверенности) [11].
7. Масштабируемость и адаптивность. Беспилотные системы должны работать в разных географических и инфраструктурных условиях:
— городские улицы и загородные шоссе;
— разные стандарты разметки и знаков (например, в Европе, Азии);
— изменение дорожной инфраструктуры (например, ремонт, новые развязки).
В таких случаях использование нейронных сетей обуславливается их исключительной адаптивностью за счет различных видов обучения: трансферного (адаптация моделей к новым регионам), онлайн обучения (корректировка весов модели на основе новых данных) [12], мета-обучения (быстрое приспособление к незнакомым сценариям) [13].
Архитектурная роль нейронных сетей в системе управления беспилотным автомобилем заключается в том, что НС выступают перцепционным ядром системы, выполняя многоуровневую обработку сенсорных данных, структура которой приведена на рисунке 1.
Рис. 1. Основные структурные уровни обработки сенсорных данных
Ключевой задачей нейронных сетей является преобразование «сырых» сигналов сенсоров в семантическое представление окружения, пригодное для принятия решений. На рисунке 1 приведены следующие основные структурные уровни обработки сенсорных данных нейронными сетями:
1. Низкоуровневая обработка (предварительная фильтрация). На этом уровне НС решают задачи первичной очистки и нормализации данных:
— фильтрация шумов. Свёрточные нейронные сети (Сonvolutional Neural Network, CNN) подавляют случайные артефакты в данных лидаров, камер и радаров;
— калибровка сенсоров. НС выравнивают данные разнородных датчиков (камеры, лидары, IMU) в единую координатную систему, компенсируя геометрические искажения оптики, временные задержки между сенсорами, температурные дрейфы;
— нормализация сигналов. Приведение данных к единому масштабу (например, нормализация яркости изображений или амплитуды радарных отражений).
Для низкоуровневой обработки используются следующие архитектуры: U-Net, автоэнкодеры, CNN с малыми ядрами (3×3).
2. Среднеуровневый анализ (извлечение семантики). Здесь НС выявляют структурные элементы окружения:
— обнаружение объектов. Сети типа YOLO, SSD или Faster R CNN локализуют транспортные средства, пешеходов, дорожные знаки и разметку [14]. Результатом их работы является набор ограничивающих рамок (bounding boxes) с вероятностями классов;
— сегментация сцен. Полносвёрточные сети (Fully Convolutional Network, FCN) или Transformer-архитектуры (SegFormer) разделяют изображение на пиксели с метками: дорога, обочина, здания, небо [15]. Результатом их работы является маска сегментации;
— оценка глубины. Монокулярные сети (например, Monodepth2) восстанавливают карту глубин из одиночного изображения [16].
Ключевыми технологиями среднеуровневого анализа являются CNN с пирамидальной обработкой (Feature Pyramid Network, FPN), attention-механизмы (механизмы внимания), мультимодальная интеграция (камера + лидар).
3. Высокоуровневое «понимание» (когнитивный слой). На этом уровне НС интерпретируют динамику изменения окружения и планируют действия:
— прогнозирование поведения. Рекуррентные сети (LSTM, GRU) или нейронные сети на основе графов моделируют траектории объектов [17,18];
— планирование манёвров. НС оценивают варианты действий (ускорение, поворот, торможение) с учётом правил дорожного движения, безопасности (дистанция, время до столкновения), комфорта пассажиров. Для этого используются сети ценностных функций (Q networks) и имитационные модели поведения («end to end» подходы, например ChauffeurNet) [19];
— понимание контекста. Сети-трансформеры «анализируют» долгосрочные зависимости: приоритеты на перекрёстках, намерения пешеходов (например, готовность перейти дорогу), аномалии (аварии, ремонтные работы).
Архитектурами для высокоуровневого «понимания» являются гибридные системы (классические алгоритмы в связке с НС), модели мира (world models), обучение с подкреплением (reinforcement learning).
Для интеграции в общую систему управления БА нейронные сети взаимодействуют с другими модулями посредством:
— sensor fusion (слияние данных с датчиков). Объединение данных камер, лидаров и радаров на уровне признаков (early fusion) или решений (late fusion);
— локализацию и SLAM (Simultaneous Localization and Mapping) для коррекции позиции автомобиля по семантическим ориентирам (знаки, разметка);
— модуль управления, который обеспечивает передачу высокоуровневых команд (например, «сменить полосу») в контроллер движения.
Без использования НС крайне сложно достичь требуемой гибкости (адаптация к новым городам/дорогам) и надёжности (работа в условиях частичной потери данных) в эксплуатации беспилотного автомобиля.
Развитие нейронных сетей для БА тесно связано с общей эволюцией искусственного интеллекта:
— в 2010-е годы был совершен прорыв в свёрточных сетях, который позволил достичь высокой точности в распознавании объектов [20];
— в 2020-е годы появились сети-трансформеры и фундаментальные модели (foundation models), что открыло возможности к комплексному «пониманию» сцены дорожного движения [21];
— в настоящее время происходит интеграция нейросетей с физикой движения и логическими системами для обеспечения формальной верификации безопасности [22].
Несмотря на прогресс, внедрение нейронных сетей в беспилотные системы сталкивается с рядом серьезных проблем:
— проблема «чёрного ящика». Отсутствие прозрачности в принятии решений затрудняет юридическую ответственность [23];
— катастрофическая забывчивость (catastrophic forgetting). Переобучение на новых данных может разрушить ранее приобретённые навыки [24];
— уязвимость к состязательным атакам. Незначительные изменения в входных данных (например, наклейки на знаках) способны вызвать критические ошибки [25].
Выводы
Нейронные сети выступают не просто инструментом, а системной основой для перехода к полностью автономному транспорту. Их роль в управлении беспилотным автомобилем выходит за рамки отдельных задач распознавания или планирования — они формируют единую систему, где данные от сенсоров трансформируются в безопасные и эффективные управляющие воздействия, что делает возможным создание автономных автомобилей для выполнения широкого спектра задач с надлежащим уровнем безопасности.
Литература:
1. Сhen, X. Multi View 3D Object Detection Network for Autonomous Driving / X. Chen, H. Ma, J. Wan, B. Li, T. Xia // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2017. — P. 1907–1915.
2. Janai, J. Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art / J. Janai, F. Güney, A. Behlmann, V. Ranjan, A. Geiger // Foundations and Trends in Computer Graphics and Vision. — 2020. — Vol. 12, No. 1. — P. 1–153.
3. Simegnew, A. A Comprehensive Survey of Deep Learning Multisensor Fusion based 3D Object Detection for Autonomous Vehicles / A. Simegnew // Electronics. — 2022. — Vol. 11, No. 16. — Art. 2567. — 37 p.
4. Howard, A. G. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications / A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam // arXiv:1704.04861. — 2017.
5. Goodfellow, I. Deep Learning / I. Goodfellow, Y. Bengio, A. Courville. — Cambridge, MA: MIT Press, 2016. — 800 p.
6. Fisac, J. F. A General Safety Framework for Learning Based Control in Robotics and Autonomous Systems / J. F. Fisac, N. Fridovich Keil, J. Harrison, A. Bajcsy, D. S. Brown, A. Dragan, A. Sastry, C. Tomlin, S. Sastry // IEEE Transactions on Automatic Control. — 2022. — Vol. 67, No. 5. — P. 2235–2250.
7. Samek, W. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning / W. Samek, T. Wiegand, G. Montavon. — Berlin: Springer, 2019. — 320 p.
8. Al-Ansarry S., Al-Darraji S. Hybrid RRT-A*: An Improved Path Planning Method for an Autonomous Mobile Robot // International Journal of Electrical and Electronic Engineering. — 2021. — Vol. 17, № 1. — P. 13.
9. Athalye, A. Synthesizing Robust Adversarial Examples / A. Athalye, N. Carlini, D. Wagner // Proceedings of the 35th International Conference on Machine Learning (ICML). — 2018. — Vol. 80. — P. 284–293.
10. Mallya, A. PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning / A. Mallya, S. Lazebnik // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2018. — P. 1860–1870.
11. Building confidence in autonomous car safety // Novatel: [сайт]. — URL: https://blog.novatel.com/building-confidence-in-autonomous-car-safety/ (дата обращения: 28.06.2026)
12. Shalev Shwartz, S. Safe, Multi Agent, Reinforcement Learning for Autonomous Driving / S. Shalev Shwartz, S. Shammah, A. Shashua // arXiv:1610.03295. — 2016.
13. Koopman, P. Challenges in Autonomous Vehicle Testing and Validation / P. Koopman, M. Wagner // SAE International Journal of Transportation Safety. — 2016. — Vol. 4, No. 1. — P. 7–14.
14. Dakari D., Daniel C. A Comparative Analysis of Modern Object Detection Algorithms: YOLO vs. SSD vs. Faster R‑CNN // Information Technology Engineering Journal (ITEJ). — 2023. — Vol. 8, № 2. — P. 96–106.
15. Wang P., Chen P., Yuan Y., Liu D., Huang Z., Hou X., Cottrell G. Understanding Convolution for Semantic Segmentation // Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV). — 2018. — P. 1451–1460.
16. Godard C., Mac Aodha O., Brostow G. J. Unsupervised Monocular Depth Estimation with Left Right Consistency // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2017. – P. 6602–6611.
17. Cai Y., Sarkar A., Zain J. M., Bhar A., Noorwali A., Othman K. M. Leveraging LSTM and GRU-Based Deep Neural Coordination in Intelligent Transportation to Strengthen Security in the Internet of Vehicles // International Journal of Machine Learning and Cybernetics. — 2025. — Vol. 16. — P. 2431–2467.
18. Rahmani S., Baghbani A., Bouguila N., Patterson Z. Graph Neural Networks for Intelligent Transportation Systems: A Survey // IEEE Transactions on Intelligent Transportation Systems. — 2023. — Vol. 24, no. 10. — P. 9276–9298.
19. Cai P., Wang H., Sun Y., Liu M. DQ GAT: Towards Safe and Efficient Autonomous Driving With Deep Q Learning and Graph Attention Networks // IEEE Transactions on Intelligent Transportation Systems. – 2022. – Vol. 23, No. 11. – P. 20134–20145.
20. Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever, G. E. Hinton // Advances in Neural Information Processing Systems (NIPS). — 2012. — Vol. 25. — P. 1097–1105.
21. Dosovitskiy, A. An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale / A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, N. Houlsby // International Conference on Learning Representations (ICLR). — 2021.
22. Fisac, J. F. A General Safety Framework for Learning Based Control in Robotics and Autonomous Systems / J. F. Fisac, N. Fridovich Keil, J. Harrison, A. Bajcsy, D. S. Brown, A. Dragan, A. Sastry, C. Tomlin, S. Sastry // IEEE Transactions on Automatic Control. — 2022. — Vol. 67, No. 5. — P. 2235–2250.
23. Samek, W. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning / W. Samek, T. Wiegand, G. Montavon. — Berlin: Springer, 2019. — 320 p.
24. Kirkpatrick, J. Overcoming Catastrophic Forgetting in Neural Networks / J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska Barwinska, D. Hassabis, C. Clopath, D. Kumaran, R. Hadsell // Proceedings of the National Academy of Sciences (PNAS). — 2017. — Vol. 114, No. 13. — P. 3420–3425.
25. Athalye, A. Synthesizing Robust Adversarial Examples / A. Athalye, N. Carlini, D. Wagner // Proceedings of the 35th International Conference on Machine Learning (ICML). — 2018. — Vol. 80. — P. 284–293.
