1. Введение

Системы технического зрения являются одной из ключевых частей беспилотного транспорта, поскольку обеспечивают получение информации об окружающей дорожной обстановке. [1] На основе данных восприятия выполняются обнаружение объектов, оценка положения препятствий, сопровождение транспортных средств и пешеходов, а также передача информации в модули планирования и управления.

В реальных условиях эксплуатации качество работы технического зрения существенно зависит от внешней среды. [5] Туман, дождь, снег, недостаточная освещённость, засветка камеры, пыль или загрязнение сенсоров могут снижать надёжность обнаружения объектов. При этом различные сенсоры по-разному реагируют на ухудшение видимости. Камера предоставляет информативное изображение сцены, но чувствительна к освещённости и прозрачности среды. LiDAR позволяет получать пространственные данные об объектах, однако его облако точек может разрежаться или зашумляться при неблагоприятных погодных условиях. Радар обладает меньшей пространственной детализацией, но часто сохраняет работоспособность при тумане, дожде и слабом освещении. [2, 5]

В связи с этим в системах беспилотного транспорта широко используется совместная обработка данных нескольких сенсоров. [2–4] Однако применение камеры, LiDAR и радара само по себе не гарантирует устойчивого обнаружения объектов. Если алгоритм объединения использует фиксированные веса сенсоров, то он может сохранять высокий вклад источника данных даже тогда, когда его текущая достоверность существенно снизилась. Например, при тумане визуальный детектор может работать менее надёжно, но при фиксированной схеме слияния камера продолжит влиять на итоговое решение с тем же весом.

Поэтому актуальной является задача разработки алгоритма, который учитывает не только уверенность детектора, но и текущее качество сенсорных данных. [3, 4, 6] Такой подход позволяет адаптивно уменьшать вклад менее надёжного сенсора и повышать вклад источников информации, которые в данных условиях сохраняют большую достоверность.

Целью статьи является разработка алгоритма повышения устойчивости обнаружения объектов в условиях ограниченной видимости за счёт оценки достоверности сенсорных данных и адаптивного взвешивания результатов обнаружения.

Для достижения цели решаются следующие задачи:

1. формализовать задачу обнаружения объектов при использовании нескольких сенсоров;
2. определить основные факторы, снижающие достоверность данных камеры, LiDAR и радара;
3. предложить показатели оценки достоверности сенсорных данных;
4. разработать принцип адаптивного взвешивания результатов обнаружения;
5. выполнить модельную оценку работы предложенного алгоритма.

2. Постановка задачи

Рассматривается система технического зрения беспилотного транспортного средства, использующая три источника информации:

где — камера, — LiDAR, — радар. [2, 4]

Каждый сенсор формирует собственное множество обнаруженных объектов:

где — результат обнаружения по данным (i)-го сенсора, а — отдельный обнаруженный объект.

Для каждого объекта могут быть заданы его положение, ограничивающая область, класс и уверенность обнаружения:

где — положение объекта, — ограничивающая область, — класс объекта, — уверенность обнаружения. [6, 7]

В условиях ограниченной видимости значение не всегда достаточно для принятия надёжного решения. [5] Детектор может выдавать высокую уверенность даже при ухудшенном качестве исходных данных. Поэтому дополнительно вводится коэффициент достоверности сенсора:

где характеризует текущее качество данных (i)-го сенсора. Значение, близкое к 1, соответствует высокой достоверности, а значение, близкое к 0, указывает на существенное снижение качества данных.

Коэффициент достоверности определяется на основе набора показателей качества:

где — нормированный показатель качества данных сенсора.

Задача состоит в том, чтобы на каждом временном шаге:

1. получить результаты обнаружения объектов от камеры, LiDAR и радара;
2. оценить достоверность данных каждого сенсора;
3. вычислить веса сенсоров на основе коэффициентов достоверности;
4. сопоставить обнаружения, относящиеся к одному объекту;
5. сформировать итоговое множество обнаруженных объектов:

Требуется, чтобы итоговое множество было более устойчивым к ухудшению качества данных отдельных сенсоров, чем результат, полученный при использовании фиксированных весов. [3, 4]

3. Факторы снижения достоверности сенсорных данных

Достоверность сенсорных данных зависит от внешних условий, характеристик сенсора и качества работы алгоритма обнаружения. [2, 5] Для беспилотного транспорта особенно важны ситуации, при которых качество данных быстро меняется: туман, дождь, снег, ночь, засветка, загрязнение сенсоров или появление шумов.

3.1. Камера

Камера предоставляет изображение дорожной сцены и позволяет получать богатую семантическую информацию об объектах. [1, 2] Однако её достоверность существенно зависит от освещённости и видимости. [5]

Основными факторами снижения достоверности камеры являются ([2, 6]):

— низкая освещённость;

— пересвет изображения;

— снижение контрастности;

— туман, дождь или снег;

— размытие изображения;

— загрязнение объектива.

Для оценки качества данных камеры могут использоваться средняя яркость, контрастность, резкость изображения, доля пересвеченных или затемнённых областей, а также средняя уверенность визуального детектора.

3.2. LiDAR

LiDAR формирует трёхмерное облако точек и позволяет оценивать пространственное положение объектов. Его данные полезны для определения расстояния, формы и положения препятствий. Однако качество LiDAR-данных также может снижаться в неблагоприятных условиях. [5]

Основными факторами снижения достоверности LiDAR являются:

— разреженность облака точек;

— малое число точек на объекте;

— выбросы и шумовые отражения;

— снижение дальности измерений;

— неравномерная плотность точек.

В качестве показателей достоверности LiDAR могут использоваться плотность облака точек, число точек в области объекта, доля выбросов, стабильность измерений по дальности и уверенность LiDAR-детектора. [5, 6]

3.3. Радар

Радар позволяет измерять дальность и скорость объектов. [2] Его преимущество заключается в большей устойчивости к плохой видимости по сравнению с камерой. [2, 5] Однако радар обычно имеет меньшую пространственную детализацию и может давать ложные отражения. [2, 4]

Основными факторами снижения достоверности радара являются:

— низкое угловое разрешение;

— ложные отражения;

— шум измерения дальности и скорости;

— нестабильность обнаружения во времени;

— сложность точной классификации объекта.

Для оценки достоверности радара могут использоваться отношение сигнал/шум, стабильность дальности, стабильность скорости, подтверждение объекта в нескольких последовательных кадрах и уверенность радарного трекера.

Таблица 1

Факторы снижения достоверности сенсорных данных ([2, 5])

Таким образом, каждый сенсор имеет собственные преимущества и ограничения. Поэтому при объединении результатов обнаружения необходимо учитывать не только факт обнаружения объекта, но и текущую достоверность данных, на основе которых это обнаружение было получено.

4. Предлагаемый алгоритм оценки достоверности сенсорных данных

Для повышения устойчивости обнаружения объектов в условиях ограниченной видимости предлагается учитывать не только уверенность алгоритмов обнаружения, но и текущее качество данных, поступающих от каждого сенсора. [3–5] В рассматриваемой системе используются три источника информации: камера, LiDAR и радар. Каждый из них обладает различной чувствительностью к внешним условиям, поэтому при изменении видимости их вклад в итоговое решение должен изменяться.

Для каждого сенсора вводится коэффициент достоверности:

где — коэффициент достоверности данных (i)-го сенсора. Значение, близкое к 1, соответствует высокой надёжности данных, а значение, близкое к 0, указывает на существенное снижение качества информации.

Коэффициент достоверности определяется на основе набора нормированных показателей качества:

где — нормированный показатель качества данных сенсора, — весовой коэффициент соответствующего показателя. Для сохранения значения в диапазоне принимается условие:

Для камеры в качестве показателей качества могут использоваться яркость, контрастность, резкость изображения, доля пересвеченных или затемнённых областей, а также средняя уверенность визуального детектора. [2, 5] Тогда коэффициент достоверности камеры можно представить как:

Для LiDAR учитываются плотность облака точек, число точек в области объекта, доля выбросов, стабильность измерений по дальности и уверенность LiDAR-детектора ([5, 6]):

Для радара используются показатели отношения сигнал/шум, стабильности измерения дальности, стабильности скорости, временного подтверждения объекта и уверенности радарного трекера ([2, 4]):

Таким образом, на каждом временном шаге система получает не только результаты обнаружения объектов, но и оценку текущей достоверности каждого источника данных. Это позволяет учитывать деградацию отдельных сенсоров при ухудшении видимости. Например, при снижении контрастности изображения уменьшается коэффициент достоверности камеры, а при разрежении облака точек уменьшается коэффициент достоверности LiDAR.

Итогом данного этапа являются значения которые далее используются при адаптивном взвешивании результатов обнаружения.

5. Алгоритм адаптивного взвешивания результатов обнаружения

После вычисления коэффициентов достоверности выполняется объединение результатов обнаружения объектов. Основная идея предлагаемого алгоритма состоит в том, что вес каждого сенсора определяется не заранее, а динамически — на основе текущей достоверности его данных. [3, 4]

Пусть на некотором временном шаге получены коэффициенты:

Тогда веса сенсоров вычисляются нормализацией:

Для трёх сенсоров это даёт:

После нормализации выполняется условие:

Далее выполняется сопоставление объектов, обнаруженных разными сенсорами. Обнаружения считаются относящимися к одному объекту, если они близки по положению, имеют совместимые классы и, при наличии ограничевающего прямоугольника, обладают достаточным пересечением областей. [6, 7] В простейшем случае может использоваться критерий расстояния:

где и — положения объектов, полученные от разных сенсоров, а — допустимое расстояние для сопоставления.

Для каждой группы сопоставленных обнаружений вычисляется итоговая уверенность:

где — множество сенсоров, обнаруживших данный объект, — вес сенсора, — уверенность обнаружения по данным этого сенсора.

Объект включается в итоговое множество обнаружений, если выполняется условие:

где — порог принятия решения.

Если объект обнаружен только одним сенсором, решение принимается только при достаточно высокой достоверности этого сенсора и высокой уверенности обнаружения:

Это позволяет снизить вероятность ложных срабатываний от одного ненадёжного источника данных.

Общая последовательность работы алгоритма имеет следующий вид:

— Вход:

результаты обнаружения от камеры, LiDAR и радара;

коэффициенты достоверности r_cam, r_lidar, r_radar.

1. Вычислить веса сенсоров w_cam, w_lidar, w_radar.
2. Сопоставить обнаружения, относящиеся к одному объекту.
3. Для каждого объекта вычислить итоговую уверенность C.
4. Сравнить C с порогом принятия решения C_min.

Добавить объект в итоговое множество обнаружений, если условия выполнены.

— Выход:

итоговое множество обнаруженных объектов.

Таким образом, предложенный алгоритм позволяет адаптивно перераспределять вклад камеры, LiDAR и радара в зависимости от текущего качества данных. При ухудшении видимости вес менее надёжного сенсора снижается, а вклад более устойчивых источников информации увеличивается. Это повышает устойчивость обнаружения объектов без необходимости полной замены базовых алгоритмов детекции.

6. Модельная оценка предложенного алгоритма

Для предварительной оценки предложенного алгоритма был использован модельный эксперимент. Такой вариант оценки позволяет показать принцип работы адаптивного взвешивания без необходимости проведения полноразмерных испытаний на реальном транспортном средстве или большом наборе данных. [7, 8]

В эксперименте рассматривались четыре типовых сценария ([5]):

1. нормальная видимость;
2. туман;
3. дождь;
4. ночные условия.

Для каждого сценария задавались модельные значения коэффициентов достоверности камеры, LiDAR и радара. Значения выбирались с учётом известных особенностей сенсоров: камера наиболее чувствительна к освещённости и прозрачности среды, LiDAR может терять качество при осадках и снижении плотности облака точек, а радар в большей степени сохраняет работоспособность при ограниченной видимости, но обладает меньшей пространственной детализацией. [2, 5]

Модельные значения коэффициентов достоверности представлены в таблице 2.

Таблица 2

Коэффициенты достоверности сенсоров в различных условиях

Для каждого сценария веса сенсоров вычислялись по формуле:

Результаты нормализации представлены в таблице 3.

Таблица 3

Адаптивные веса сенсоров

Из таблицы видно, что при нормальной видимости вклад камеры и LiDAR является наибольшим и примерно одинаковым. Это соответствует условиям, при которых камера обеспечивает качественное изображение, а LiDAR формирует плотное и устойчивое облако точек. Вклад радара при этом остаётся значимым, но несколько меньшим.

В условиях тумана вес камеры существенно уменьшается, поскольку ухудшается контрастность изображения и снижается надёжность визуального обнаружения. При этом вес радара возрастает до 0,50, так как радарные измерения в меньшей степени зависят от прозрачности среды. LiDAR сохраняет средний вклад, поскольку его работа также может ухудшаться в тумане, но не настолько резко, как у камеры.

В условиях дождя уменьшается достоверность LiDAR, что связано с возможными выбросами и отражениями от капель воды. В этом случае наибольший вес также получает радар. В ночных условиях снижается вклад камеры, тогда как LiDAR и радар становятся основными источниками информации.

Для оценки влияния адаптивного взвешивания была выполнена модельная проверка итоговой уверенности обнаружения объекта. Предполагалось, что один и тот же объект может быть обнаружен всеми тремя сенсорами с различной уверенностью. Итоговая уверенность рассчитывалась по формуле:

Для сравнения рассматривались два варианта:

— фиксированное взвешивание, при котором веса сенсоров не зависят от условий;

— адаптивное взвешивание, при котором веса рассчитываются на основе коэффициентов достоверности.

В модельном эксперименте использовался порог принятия решения:

При фиксированном взвешивании ухудшение одного сенсора продолжает влиять на итоговое решение. При адаптивном взвешивании вклад сенсора с низкой достоверностью уменьшается, поэтому итоговая уверенность определяется более надёжными в текущих условиях источниками данных.

Модельный эксперимент показывает, что предложенный алгоритм корректно перераспределяет вклад сенсоров в зависимости от условий видимости.

7. Результаты и обсуждение

Результаты модельной оценки показывают, что предложенный алгоритм адаптивного взвешивания позволяет учитывать изменение качества сенсорных данных при ограниченной видимости. В отличие от схемы с фиксированными весами, предложенный подход изменяет вклад камеры, LiDAR и радара в зависимости от рассчитанных коэффициентов достоверности.

Наиболее показательный результат получен для сценария тумана. В этом случае коэффициент достоверности камеры снижается до 0,30, а её вес после нормализации составляет только 0,17. Это означает, что визуальный канал не исключается полностью, но его влияние на итоговое решение значительно уменьшается. Основной вклад переходит к радару, вес которого возрастает до 0,50. Такое поведение соответствует физическим особенностям сенсоров, поскольку радар менее чувствителен к снижению видимости.

В сценарии дождя алгоритм снижает вклад LiDAR до 0,24. Это связано с тем, что осадки могут приводить к появлению шумовых отражений и уменьшению надёжности облака точек. При этом камера сохраняет умеренный вклад, а радар становится основным источником подтверждения объекта.

В ночных условиях вес камеры также уменьшается. Основная роль переходит к LiDAR и радару, каждый из которых получает вес 0,40. Такой результат является ожидаемым, поскольку LiDAR не зависит от внешнего освещения, а радар сохраняет возможность измерять дальность и скорость объектов.

Главное преимущество предложенного алгоритма состоит в том, что он не требует заранее фиксировать приоритеты сенсоров для всех условий движения. Вместо этого приоритеты изменяются динамически. Это особенно важно для беспилотного транспорта, поскольку условия восприятия могут быстро меняться во времени: транспортное средство может въехать в туман, попасть под дождь, оказаться в зоне плохого освещения или столкнуться с частичным загрязнением сенсора.

При этом предложенный подход имеет ряд ограничений. Во-первых, результаты зависят от выбранных показателей достоверности и коэффициентов их значимости. Во-вторых, модельный эксперимент не заменяет полноценную проверку на реальных данных. В-третьих, в данной работе не рассматривалась сложная задача точного сопоставления объектов между сенсорами, которая в реальной системе может существенно влиять на качество итогового обнаружения.

Несмотря на эти ограничения, полученные результаты подтверждают целесообразность использования оценки достоверности сенсорных данных при объединении результатов обнаружения. Предложенный алгоритм может применяться как дополнительный уровень обработки над существующими детекторами объектов. [3, 4, 6] Его дальнейшее развитие связано с проверкой на открытых датасетах беспилотного транспорта, подбором коэффициентов на экспериментальных данных и расширением набора признаков достоверности для различных типов сенсоров. [7–10]

8. Ограничения предложенного подхода

Предложенный алгоритм позволяет учитывать изменение достоверности сенсорных данных, однако имеет ряд ограничений. Во-первых, качество его работы зависит от выбора показателей достоверности для камеры, LiDAR и радара. Если выбранные показатели недостаточно точно отражают реальное состояние сенсора, итоговые веса могут быть рассчитаны некорректно.

Во-вторых, коэффициенты значимости показателей требуют настройки. В данной работе они рассматриваются как задаваемые параметры, однако в реальной системе их необходимо подбирать на основе экспериментальных данных, условий эксплуатации и характеристик конкретных сенсоров.

В-третьих, в статье используется модельная оценка, которая показывает принцип работы алгоритма, но не заменяет полноценную проверку на реальных данных. [7,8] Для практического применения требуется экспериментальная валидация на наборах данных беспилотного транспорта или в ходе натурных испытаний.

Также ограничением является необходимость корректного сопоставления объектов между сенсорами. [4, 6] Ошибки сопоставления могут приводить к неправильному объединению результатов обнаружения и снижать эффективность адаптивного взвешивания.

9. Заключение

В статье рассмотрена задача повышения устойчивости обнаружения объектов в системах технического зрения беспилотного транспорта при ограниченной видимости. Предложен алгоритм, основанный на оценке достоверности данных камеры, LiDAR и радара и последующем адаптивном взвешивании результатов обнаружения. [2–5]

В отличие от схем с фиксированными весами, предложенный подход позволяет изменять вклад каждого сенсора в зависимости от текущего качества его данных. При ухудшении изображения уменьшается вес камеры, при снижении качества облака точек уменьшается вес LiDAR, а при сохранении устойчивых измерений возрастает вклад радара.

Модельная оценка показала, что алгоритм корректно перераспределяет веса сенсоров в различных условиях видимости: при тумане, дожде и ночном движении. Это подтверждает целесообразность дальнейшего развития предложенного подхода.

Дальнейшие исследования целесообразно направить на экспериментальную проверку алгоритма на реальных данных, автоматический подбор коэффициентов достоверности и расширение набора признаков, характеризующих качество сенсорной информации. [7–10]

Литература:

1. Grigorescu S., Trasnea B., Cocias T., Macesanu G. A Survey of Deep Learning Techniques for Autonomous Driving // Journal of Field Robotics . 2020. Vol. 37, No. 3. P. 362–386. DOI: 10.1002/rob.21918.
2. Yeong D. J., Velasco-Hernandez G., Barry J., Walsh J. Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review // Sensors . 2021. Vol. 21, No. 6. Article 2140. DOI: 10.3390/s21062140.
3. Fayyad J., Jaradat M. A., Gruyer D., Najjaran H. Deep Learning Sensor Fusion for Autonomous Vehicle Perception and Localization: A Review // Sensors . 2020. Vol. 20, No. 15. Article 4220. DOI: 10.3390/s20154220.
4. Wang Z., Wu Y., Niu Q. Multi-Sensor Fusion in Automated Driving: A Survey // IEEE Access . 2020. Vol. 8. P. 2847–2868. DOI: 10.1109/ACCESS.2019.2962554.
5. Zhang Y., Carballo A., Yang H., Takeda K. Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey // ISPRS Journal of Photogrammetry and Remote Sensing . 2023. Vol. 196. P. 146–177. DOI: 10.1016/j.isprsjprs.2022.12.021.
6. Wang X., Li K., Chehri A. Multi-Sensor Fusion Technology for 3D Object Detection in Autonomous Driving: A Review // IEEE Transactions on Intelligent Transportation Systems . 2024. Vol. 25, No. 2. P. 1148–1165. DOI: 10.1109/TITS.2023.3317372.
7. Caesar H., Bankiti V., Lang A. H., Vora S., Liong V. E., Xu Q., Krishnan A., Pan Y., Baldan G., Beijbom O. nuScenes: A Multimodal Dataset for Autonomous Driving // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2020. P. 11621–11631. DOI: 10.1109/CVPR42600.2020.01164.
8. Geiger A., Lenz P., Urtasun R. Are We Ready for Autonomous Driving? The KITTI Vision Benchmark Suite // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . 2012. P. 3354–3361. DOI: 10.1109/CVPR.2012.6248074.
9. nuScenes: a multimodal dataset for autonomous driving [Электронный ресурс]. Режим доступа: официальный сайт nuScenes. Дата обращения: 16.05.2026.
10. The KITTI Vision Benchmark Suite [Электронный ресурс]. Режим доступа: официальный сайт KITTI. Дата обращения: 16.05.2026.