자율주행은 빠르게 발전하고 있지만, 환경 인식은 여전히 중요한 과제입니다. 단일 차량 솔루션은 센서 사각지대와 감지 범위에 제약을 받는 경우가 많아, 교통 체증, 특이한 상황, 또는 극한의 기상 조건에 대처하기 어렵습니다. 이러한 한계를 극복하기 위해 칭화대학교 차량 및 모빌리티 연구소 는 여러 협력 기관과 함께 NeurIPS 2025 에서 V2X-Radar 데이터 세트를 공개했습니다. 이 데이터 세트는 차량-사물 간(V2X) 인식을 위해 4D 레이더를 사용하는 최초의 대규모 데이터 세트로, 다중 모드 센서 융합을 가능하게 하고 복잡한 환경에서 상당한 이점을 제공합니다( 칭화 V2X-Radar 공식 페이지 ).
이 데이터 세트는 기존의 단일 차량 인식에서 협력적 인식으로의 전환을 보여줍니다. 대부분의 자율주행차는 LiDAR , 카메라 , 밀리미터파 레이더와 같은 센서에 의존하지만, 각 센서 유형마다 고유한 약점이 있습니다. LiDAR는 정밀한 3D 구조를 제공하지만 비, 안개, 또는 눈에서는 성능이 저하됩니다. 카메라는 풍부한 의미 정보를 포착하지만 조명에 의존하며 야간이나 강한 역광에서는 종종 효과가 떨어집니다. 차량 장착 센서의 데이터를 도로 인프라와 통합하면 환경에 대한 더욱 완전하고 역동적인 이해가 가능해져 차량이 독립적으로 감지하지 못했던 영역을 감지할 수 있습니다( IEEE 지능형 교통 시스템 트랜잭션 ).
OpenV2V 및 DAIR-V2X 와 같은 기존 V2X 데이터셋은 일반적으로 4D 레이더 데이터가 부족하여 다중 모드 융합 연구가 제한적입니다. V2X-Radar 데이터셋은 LiDAR 및 멀티뷰 카메라와 함께 4D 레이더를 통합하여 이러한 문제를 해결하고, 연구자들이 협력적 인식을 위한 심층 시공간 융합을 탐구할 수 있도록 지원합니다. 이러한 접근 방식은 복잡한 교차로에서 부분적으로 가려진 보행자나 차량과 같은 롱테일 상황에서 감지 성능을 향상시킵니다.
V2X-Radar의 주요 기능
다중 모달 센서 융합
V2X-레이더의 차량 및 노변 장치에는 LiDAR, 4D 레이더, 그리고 멀티뷰 카메라가 포함되어 상호 보완적인 인식 기능을 제공합니다. 각 센서는 고유한 강점을 제공합니다.
LiDAR는 고밀도 포인트 클라우드를 생성하여 센티미터 수준의 정밀도로 객체의 형상을 포착합니다.
4D 레이더는 77/79GHz에서 작동하며 비, 안개, 눈을 관통하고 희소한 점 구름으로부터 속도 정보를 제공합니다( Linpowave 4D 레이더 기술 ).
카메라는 고해상도 RGB 이미지를 제공하여 의미적 맥락을 추가하고 교통 표지판, 차선 표시, 보행자의 몸짓을 인식할 수 있도록 합니다.
실험 결과, LiDAR는 맑은 날씨에는 레이더보다 약간 더 우수한 성능을 보였지만, 4D 레이더는 악천후에서도 1~2% 더 높은 mAP로 더 나은 안정성을 유지했습니다. 이러한 결과는 실제 자율주행에서 다중 모드 센서 융합 의 가치를 다시 한번 입증합니다.
다양한 시나리오 적용
데이터는 대학 캠퍼스, 공공 도로, 통제된 시험장 등 다양한 환경에서 9개월 동안 수집되었습니다. 데이터 세트는 다음을 포함합니다.
날씨 조건: 맑음, 비, 안개, 눈
시간대: 낮, 황혼, 밤
복잡한 교차로: 교차로, T자 교차로, 폐쇄된 캠퍼스 지역
도로변 카메라는 차량에 장착된 LiDAR에 보이지 않는 보행자나 자전거 타는 사람을 포착하여 롱테일 시나리오 학습( MIT CAV 데이터셋 )에 귀중한 데이터를 제공합니다. 이러한 시나리오는 엣지 케이스를 효과적으로 처리할 수 있는 강력한 자율주행 알고리즘을 개발하는 데 필수적입니다.
멀티태스킹 지원
V2X-Radar는 다양한 연구 방향을 지원하기 위해 세 가지 하위 집합으로 나뉩니다.
V2X-Radar-C: 차량 및 도로변 데이터를 결합한 협업적 3D 객체 감지
V2X-Radar-I: 도로변에서만 감지
V2X-Radar-V: 차량 주변 인식
V2X-ViT와 같은 협업 모델은 LiDAR와 4D 레이더를 융합할 때 53.61%의 mAP를 달성하여 단일 모드 LiDAR 모델(47.23%)보다 훨씬 우수한 성능을 보였습니다. 이는 다중 모드 융합이 특히 복잡하거나 폐쇄된 환경에서 인지 강건성을 향상시킨다는 것을 보여줍니다.
센서 동기화
협력적 인식을 위해서는 센서의 정확한 정렬이 필수적입니다. V2X-Radar는 GPS/IMU 타이밍과 특징 기반 포인트 클라우드 등록을 사용합니다.
시간 동기화: GNSS 신호와 시간 상자를 통해 차량과 도로변 장치 간에 나노초 수준의 정렬이 달성됩니다.
공간 정렬: LiDAR와 카메라는 체커보드 패턴을 사용하여 보정되고, LiDAR와 4D 레이더는 모서리 반사경을 사용하여 센티미터 수준의 정확도를 달성합니다.
이를 통해 동적인 교통 상황에서도 신뢰할 수 있는 다중 센서 융합이 보장되어 V2X 인식 연구를 위한 강력한 기반을 제공합니다.
기술 세부 사항
데이터 스케일 및 주석
데이터 세트에는 540,000개의 다중 모달 프레임이 포함되어 있습니다.
20,000개의 LiDAR 프레임
40,000개의 카메라 프레임
20,000개의 4D 레이더 프레임
여기에는 자동차, 트럭, 버스, 자전거 운전자, 보행자를 포함하는 35만 개의 주석이 달린 3D 바운딩 박스가 포함됩니다. 주석은 반자동 도구를 사용하여 수행되며, 수동 수정은 최소화되어 알고리즘 개발을 위한 고품질 지상 진실(ground truth)을 보장합니다.
알고리즘 검증
V2X-Radar는 두 가지 주요 기술적 과제를 드러냅니다.
통신 지연: 100ms 고정 지연은 F-Cooper와 같은 방법의 경우 mAP를 13.3%-20.49% 감소시켜 저지연 네트워크의 중요성을 강조합니다.
다중 모드 융합: LiDAR와 4D 레이더를 결합하면 악천후에서 mAP가 53.61%까지 향상되어 교차 모드 상호 보완성의 이점을 보여줍니다.
시공간적 보상 알고리즘은 시간적 오류를 더욱 줄여 협업적 지각 모델의 견고성을 향상시킵니다.
응용 프로그램 및 미래 방향
V2X-Radar는 여러 측면에서 가치를 제공합니다.
알고리즘 테스트: LiDAR 및 4D 레이더 융합 및 협력 감지 연구 지원
산업 표준: 다중 모달 동기화 및 주석에 대한 지침을 설정합니다.
상업적 잠재력: 4D 레이더 침투로 스마트 시티, 항구 및 물류 애플리케이션의 배치 비용 절감
향후 계획에는 다중 객체 추적, 궤적 예측, 실제 C-V2X 네트워크 테스트를 통합하여 실험실 연구에서 실제 배포로의 전환을 가속화하는 것이 포함됩니다.
자주 묻는 질문
Q1: 4D 레이더란 무엇인가요?
A1: 4D 레이더는 실시간으로 거리, 각도, 속도 정보를 제공하여 복잡한 환경에서 움직이는 물체를 감지할 수 있습니다( MDPI 참조 ).
Q2: V2X-Radar는 어떤 작업을 지원할 수 있나요?
A2: 협력 감지, 도로변만 인식, 차량 주변 인식, 다중 모드 융합, 다중 객체 추적.
Q3: 연구자들은 어떻게 데이터 세트에 접근할 수 있나요?
A3: 요청은 청화대학교( V2X-Radar 공식 페이지 )를 통해 이루어집니다.
Q4: 멀티모달 융합이 중요한 이유는 무엇입니까?
A4: LiDAR, 4D 레이더, 카메라를 결합하면 사각지대가 줄어들고, 악천후에서의 성능이 향상되며, 가려진 물체도 포착됩니다.
결론
V2X-레이더 데이터셋은 자율주행 인식 분야의 이정표입니다. 4D 레이더 와 LiDAR, 그리고 카메라를 결합하면 단일 차량 시스템으로는 해결할 수 없는 장기적인 문제들을 해결할 수 있습니다. 자율주행차가 L4/L5 자율주행으로 발전함에 따라, V2X-레이더는 인식 기술 환경을 혁신하고 지능형 교통 시스템의 새로운 가능성을 열어줄 것입니다.
V2X 인식에서 4D 밀리미터파 레이더에 대한 자세한 내용은 Linpowave 4D 레이더 제품을 참조하세요.