Автономное вождение стремительно развивается, но восприятие окружающей среды остаётся критической проблемой. Решения для одного транспортного средства часто ограничены слепыми зонами датчиков и дальностью обнаружения, что затрудняет управление плотным трафиком, нестандартными сценариями или экстремальными погодными условиями. Чтобы преодолеть эти ограничения, Институт транспортных средств и мобильности Университета Цинхуа совместно с несколькими соавторами представил набор данных V2X-Radar на конференции NeurIPS 2025. Это первый масштабный набор данных, использующий 4D-радар для восприятия «транспортное средство-все» (V2X) , что обеспечивает мультимодальное слияние датчиков и демонстрирует значительные преимущества в сложных условиях ( официальная страница Tsinghua V2X-Radar ).
Набор данных представляет собой переход от традиционного восприятия одним транспортным средством к коллективному восприятию. Хотя большинство автономных транспортных средств используют такие датчики, как лидар , камеры и радар миллиметрового диапазона , у каждого типа датчиков есть свои недостатки. Лидар обеспечивает точную трёхмерную структуру, но его производительность ухудшается в дождь, туман или снег. Камеры собирают богатую семантическую информацию, но зависят от освещения и часто менее эффективны ночью или при яркой подсветке. Интеграция данных с датчиков, установленных на транспортном средстве, с данными дорожной инфраструктуры обеспечивает более полное и динамичное понимание окружающей среды, позволяя транспортным средствам воспринимать области, которые они не могли бы обнаружить самостоятельно ( IEEE Transactions on Intelligent Transportation Systems ).
Существующие наборы данных V2X, такие как OpenV2V и DAIR-V2X , как правило, не содержат данных 4D-радара, что ограничивает исследования в области мультимодального слияния. Набор данных V2X-Radar устраняет этот пробел, объединяя данные 4D-радара с данными лидара и многоракурсных камер, что позволяет исследователям изучать глубокое пространственно-временное слияние для совместного восприятия. Такой подход улучшает обнаружение в ситуациях с «длинным хвостом», например, при наличии частично перекрытых пешеходов или транспортных средств на сложных перекрёстках.
Основные характеристики V2X-Radar
Мультимодальное слияние датчиков
Автомобильные и придорожные устройства V2X-Radar включают в себя лидар, 4D-радар и многоракурсные камеры , которые обеспечивают взаимодополняющие возможности восприятия. Каждый датчик обладает уникальными преимуществами:
LiDAR создает плотные облака точек, фиксируя геометрию объекта с точностью до сантиметра.
Радар 4D работает на частоте 77/79 ГГц, проникает сквозь дождь, туман и снег и предоставляет информацию о скорости из разреженных облаков точек ( технология радара Linpowave 4D ).
Камеры передают изображения RGB высокого разрешения, добавляя семантический контекст и позволяя распознавать дорожные знаки, разметку полос и жесты пешеходов.
Эксперименты показывают, что лидар немного превосходит радар в ясную погоду, но 4D-радар обеспечивает лучшую стабильность в неблагоприятных условиях, демонстрируя на 1–2% более высокую скорость. Эти результаты подтверждают ценность мультимодального сочетания датчиков в реальных условиях автономного вождения.
Разнообразный охват сценариев
Данные собирались в течение девяти месяцев в различных условиях, включая университетские кампусы, дороги общего пользования и контролируемые испытательные полигоны. Набор данных охватывает:
Погодные условия: ясно, дождливо, туманно, снежно
Время суток: день, сумерки, ночь
Сложные перекрестки: перекрестки улиц, Т-образные перекрестки и закрытые территории кампуса
Придорожные камеры фиксируют пешеходов или велосипедистов, скрытых от лидара, установленного на автомобиле, предоставляя ценные данные для обучения по сценариям с длинным хвостом ( набор данных MIT CAV ). Эти сценарии имеют решающее значение для разработки надежных алгоритмов автономного вождения, способных эффективно обрабатывать пограничные случаи.
Поддержка многозадачности
V2X-Radar разделен на три подмножества для поддержки различных направлений исследований:
V2X-Radar-C: совместное обнаружение 3D-объектов, объединяющее данные о транспортных средствах и обочинах дорог
V2X-Radar-I: восприятие только придорожной обстановки
V2X-Radar-V: локальное восприятие транспортного средства
Коллаборативные модели, такие как V2X-ViT, достигают 53,61% mAP при слиянии данных LiDAR и 4D-радара, что значительно превосходит показатели одномодальных моделей LiDAR (47,23%). Это демонстрирует, что многомодальное слияние повышает надёжность восприятия, особенно в сложных или перекрытых условиях.
Синхронизация датчиков
Точное выравнивание датчиков необходимо для совместного восприятия. V2X-Radar использует синхронизацию по GPS/IMU и регистрацию облака точек на основе характеристик:
Синхронизация времени: сигналы GNSS и временные блоки обеспечивают согласование на уровне наносекунд между транспортным средством и придорожными устройствами.
Пространственное выравнивание: LiDAR и камеры калибруются с использованием шахматных схем; LiDAR и 4D-радар используют уголковые отражатели, что позволяет достичь точности на уровне сантиметров.
Это обеспечивает надежное слияние данных нескольких датчиков даже в условиях динамичного дорожного движения, закладывая прочную основу для исследований в области восприятия V2X .
Технические детали
Масштаб данных и аннотации
Набор данных содержит 540 000 многомодальных кадров :
20 000 кадров LiDAR
40 000 кадров с камер
20 000 кадров 4D-радара
Он включает в себя 350 000 аннотированных трёхмерных ограничивающих рамок, охватывающих автомобили, грузовики, автобусы, велосипедистов и пешеходов. Аннотирование выполняется с помощью полуавтоматических инструментов с минимальным ручным исправлением, что обеспечивает высокое качество исходных данных для разработки алгоритмов.
Проверка алгоритма
V2X-Radar выявляет две основные технические проблемы:
Задержка связи: фиксированная задержка в 100 мс снижает mAP на 13,3–20,49% для таких методов, как F-Cooper, что подчеркивает важность сетей с малой задержкой.
Мультимодальное слияние: сочетание LiDAR и 4D-радара повышает mAP до 53,61% в неблагоприятных погодных условиях, демонстрируя преимущества кросс-модальной взаимодополняемости.
Алгоритмы пространственно-временной компенсации дополнительно уменьшают временные ошибки, повышая надежность моделей совместного восприятия.
Приложения и будущие направления
V2X-Radar обеспечивает ценность в нескольких областях:
Тестирование алгоритмов: поддержка исследований в области слияния данных LiDAR и 4D-радаров, а также совместного обнаружения
Отраслевые стандарты: устанавливают руководящие принципы для многомодальной синхронизации и аннотации.
Коммерческий потенциал: проникновение 4D-радара снижает затраты на развертывание в умных городах, портах и логистических приложениях.
Планы на будущее включают интеграцию отслеживания нескольких объектов, прогнозирования траектории и реальных испытаний сети C-V2X, что ускорит переход от лабораторных исследований к реальному развертыванию.
Часто задаваемые вопросы
В1: Что такое 4D-радар?
A1: 4D-радар предоставляет информацию о расстоянии, угле и скорости в режиме реального времени, что позволяет обнаруживать движущиеся объекты в сложных условиях ( ссылка MDPI ).
В2: Какие задачи может поддерживать V2X-Radar?
A2: Совместное обнаружение, восприятие только на обочине дороги, локальное восприятие транспортного средства, многомодальное слияние и отслеживание нескольких объектов.
В3: Как исследователи могут получить доступ к набору данных?
A3: Запросы подаются через Университет Цинхуа ( официальная страница V2X-Radar ).
В4: Почему важно мультимодальное слияние?
A4: Сочетание LiDAR, 4D-радара и камер уменьшает слепые зоны, повышает производительность в плохую погоду и позволяет фиксировать скрытые объекты.
Заключение
Набор данных V2X-Radar — это важная веха в развитии восприятия информации в условиях автономного вождения. Сочетание 4D-радара с лидаром и камерами решает проблемы, которые не могут решить системы с одним автомобилем. По мере того, как автономные автомобили продвигаются к автоматизации уровней 4 и 5, V2X-Radar может изменить ландшафт технологий восприятия и открыть новые возможности для интеллектуального транспорта.
Дополнительную информацию о 4D-радаре миллиметрового диапазона в восприятии V2X см. в разделе Linpowave 4D Radar Products .