自動運転は急速に進歩していますが、環境認識は依然として重要な課題です。単一車両ソリューションは、センサーの死角や検知範囲によって制限されることが多く、交通量の多い状況、異常な状況、極端な気象条件への対応が困難です。これらの制限を克服するため、清華大学車両・モビリティ研究所は、複数の協力者と共同で、 NeurIPS 2025でV2Xレーダーデータセットを発表しました。これは、車両対車両（V2X）認識に4Dレーダーを使用した初の大規模データセットであり、マルチモーダルセンサーフュージョンを可能にし、複雑な環境において大きな利点を実証しています（ 清華大学V2Xレーダー公式ページ）。
このデータセットは、従来の単一車両認識から協調認識への移行を表しています。ほとんどの自動運転車はLiDAR 、カメラ、ミリ波レーダーなどのセンサーに依存していますが、各センサータイプには固有の弱点があります。 LiDAR は正確な 3D 構造を提供しますが、雨、霧、雪の場合には性能が低下します。カメラは豊富な意味情報をキャプチャしますが、照明に依存し、夜間や強い逆光の下では効果が低下することがよくあります。車載センサーのデータを道路沿いのインフラストラクチャと統合すると、環境をより完全かつ動的に理解できるようになり、車両が単独では検出できなかった領域を認識できるようになります ( IEEE Transactions on Intelligent Transportation Systems )。
OpenV2VやDAIR-V2Xなどの既存のV2Xデータセットは、一般的に4Dレーダーデータが不足しており、マルチモーダルフュージョンの研究が制限されています。V2X -Radarデータセットは、LiDARやマルチビューカメラに加えて4Dレーダーを組み込むことでこのギャップを解消し、研究者が協調認識のための深層時空間フュージョンを探求することを可能にします。このアプローチは、複雑な交差点で部分的に遮蔽された歩行者や車両など、ロングテールシナリオにおける検知能力を向上させます。
V2Xレーダーの主な特徴
マルチモーダルセンサーフュージョン
V2Xレーダーの車両側と路側ユニットには、LiDAR、4Dレーダー、マルチビューカメラが含まれ、相互に補完的な認識機能を形成します。各センサーはそれぞれ独自の強みを発揮します。
LiDAR は高密度のポイント クラウドを生成し、オブジェクトの形状をセンチメートル レベルの精度でキャプチャします。
4D レーダーは77/79GHz で動作し、雨、霧、雪を貫通し、まばらな点群から速度情報を提供します ( Linpowave 4D レーダー テクノロジー)。
カメラは高解像度の RGB 画像を提供し、意味的なコンテキストを追加して、交通標識、車線区分線、歩行者のジェスチャーの認識を可能にします。
実験では、晴天時にはLiDARがレーダーをわずかに上回る性能を示す一方、悪天候時には4DレーダーがmAP（平均高度）が1～2%高く、より優れた安定性を維持することが示されました。これらの結果は、実世界の自動運転におけるマルチモーダルセンサーフュージョンの価値を裏付けています。
多様なシナリオを網羅
データは9ヶ月間にわたり、大学のキャンパス、公道、管理された試験場など、複数の環境で収集されました。データセットは以下のとおりです。
天候：晴れ、雨、霧、雪
時間帯:昼間、夕暮れ時、夜間
複雑な交差点：交差点、T字路、閉塞したキャンパスエリア
路側カメラは、車載LiDARから隠れた歩行者や自転車を捉え、ロングテールシナリオ学習（ MIT CAVデータセット）に貴重なデータを提供します。これらのシナリオは、エッジケースを効果的に処理できる堅牢な自動運転アルゴリズムの開発に不可欠です。
マルチタスクサポート
V2X レーダーは、さまざまな研究方向をサポートするために 3 つのサブセットに分かれています。
V2X-Radar-C:車両と路側データを組み合わせた協調型3D物体検出
V2XレーダーI:路側のみの認識
V2X-Radar-V:車両ローカル認識
V2X-ViTなどの協調モデルは、LiDARと4Dレーダーを融合することで53.61%のmAPを達成し、単一モダリティのLiDARモデル（47.23%）を大幅に上回ります。これは、マルチモーダル融合が、特に複雑な環境や遮蔽された環境において、認識の堅牢性を向上させることを示しています。
センサー同期
協調的な認識には、センサーの正確な位置合わせが不可欠です。V2Xレーダーは、GPS/IMUタイミングと特徴ベースの点群登録を使用します。
時間同期: GNSS 信号とタイム ボックスにより、車両と路側ユニット間のナノ秒レベルの調整が実現します。
空間調整: LiDAR とカメラはチェッカーボード パターンを使用して調整されます。LiDAR と 4D レーダーはコーナー リフレクタを使用して、センチメートル レベルの精度を実現します。
これにより、動的な交通シナリオでも信頼性の高いマルチセンサー融合が保証され、 V2X 認識の研究に強力な基盤が提供されます。
技術的な詳細
データのスケールと注釈
データセットには540,000のマルチモーダルフレームが含まれています。
20,000 LiDARフレーム
40,000カメラフレーム
20,000 4Dレーダーフレーム
車、トラック、バス、自転車、歩行者を網羅する35万個のアノテーション付き3Dバウンディングボックスが含まれています。アノテーションは半自動ツールを用いて行われ、手動による修正は最小限に抑えられているため、アルゴリズム開発のための高品質なグラウンドトゥルースデータとして利用できます。
アルゴリズムの検証
V2X レーダーには、主に 2 つの技術的課題があります。
通信遅延: 100 ミリ秒の固定遅延により、F-Cooper などの方法では mAP が 13.3% ～ 20.49% 減少し、低遅延ネットワークの重要性が強調されます。
マルチモーダル融合: LiDAR と 4D レーダーを組み合わせることで、悪天候でも mAP が 53.61% 向上し、クロスモーダル補完性の利点が示されます。
時空間補正アルゴリズムにより時間的エラーがさらに削減され、協調知覚モデルの堅牢性が向上します。
応用と将来の方向性
V2X レーダーは、いくつかの分野で価値を提供します。
アルゴリズムテスト： LiDARと4Dレーダーの融合および協調検出の研究をサポート
業界標準:マルチモーダル同期と注釈のガイドラインを確立
商業的可能性: 4Dレーダーの浸透により、スマートシティ、港湾、物流アプリケーションにおける導入コストが削減されます。
今後の計画には、複数オブジェクトの追跡、軌道予測、実際の C-V2X ネットワーク テストを統合し、実験室での研究から実際の展開への移行を加速することが含まれます。
よくある質問
Q1: 4Dレーダーとは何ですか？
A1: 4Dレーダーは、距離、角度、速度情報をリアルタイムで提供し、複雑な環境における移動物体の検出を可能にします（ MDPI参照）。
Q2: V2X-Radar はどのようなタスクをサポートできますか?
A2: 協調検出、路側のみの認識、車両ローカル認識、マルチモーダル融合、およびマルチオブジェクト追跡。
Q3: 研究者はデータセットにどのようにアクセスできますか?
A3: リクエストは清華大学（ V2X-Radar公式ページ）経由で行われます。
Q4: マルチモーダル融合が重要なのはなぜですか?
A4: LiDAR、4Dレーダー、カメラを組み合わせることで、死角を減らし、悪天候でのパフォーマンスを向上させ、遮蔽された物体を捉えることができます。
結論
V2Xレーダーデータセットは、自動運転の認識技術における画期的な成果です。4DレーダーをLiDARやカメラと組み合わせることで、単独車両システムでは解決できないロングテールの課題に対処できます。自動運転車がレベル4/レベル5の自動化へと進化するにつれ、V2Xレーダーは認識技術のあり方を一変させ、インテリジェントな交通の新たな可能性を切り開く可能性があります。
V2X 認識における4D ミリ波レーダーの詳細については、 Linpowave 4D レーダー製品を参照してください。