第1章: 自動運転の基礎

この章では、自動運転の基礎を包括的に紹介します。自動化なしから完全自動運転までのスペクトラムを定義するSAE J3016自動運転レベルを学び、自動運転車の「目」として機能するセンサー技術を探究し、生のセンサーデータを運転判断のための実用的な情報へと解釈する認識システムについて理解します。

学習目標

この章を読むことで、次のことができるようになります。

• SAE J3016の6つの自動運転レベル（L0〜L5）を理解し、説明できる
• 各レベルにおける運転者とシステムの役割・責任の違いを区別できる
• カメラ、レーダー、LiDAR、超音波センサーの長所と限界を比較できる
• ビジョンのみのアプローチとマルチセンサーフュージョンのアプローチをめぐる継続的な議論を評価できる
• 物体検出、セマンティックセグメンテーション、3D点群処理などの主要な認識技術を説明できる
• BEV表現やTransformerベースの認識システムなどの最新アーキテクチャを理解できる

1.1 自動運転レベル（SAE J3016）

SAE J3016の概要

SAE Internationalが策定したJ3016規格は、レベル0（自動化なし）からレベル5（完全自動化）までの6段階の運転自動化を定義する、世界的に認知された枠組みです。この分類は、技術者、規制当局、消費者が自動運転システムの能力と限界を議論するための共通言語を提供します。

この規格は、レベル2とレベル3の間に重要な境界線を引いています。レベル2以下では、人間の運転者が常に運転環境の監視に責任を負います。レベル3以上では、自動運転システム自体が環境を監視し、責任の所在を人間から機械へと根本的に移行させます。

運転自動化の6つのレベル

自動運転レベルの進展

上の図は、重要な概念上の分岐点を示しています。L0〜L2では、人間が環境の監視に責任を負います（暖色で表示）。L3〜L5では、システムが環境監視を引き受けます（寒色で表示）。この分岐点はしばしば「責任境界」と呼ばれ、規制、責任の所在、システム設計に対して重大な意味を持ちます。

現在の業界動向（2025〜2026年）

L2+が市場を支配

レベル2およびレベル2+システム（高速道路でのハンズフリー運転などの機能を備えた強化版L2）が、現在の商用主流を占めています。2028年までには新車の半数以上が高速道路でのハンズフリー運転機能を搭載すると予想されています。Tesla、GM、Ford、BMW、Mercedesなどの主要自動車メーカーが競争力のあるL2+製品を提供しており、高度な運転支援が消費者に広く手の届くものとなっています。

L3は成熟しつつある

レベル3は、自動運転中に法的責任がメーカーへ移行する、商用化された自動化の最前線を表します。

• Mercedes DRIVE PILOT: ドイツで最高95 km/hでの高速道路利用が承認され、Mercedesは国際認証されたSAEレベル3を達成した最初の自動車メーカーとなりました。このシステムでは、自動運転中に運転者が動画視聴などの二次的な活動を行うことが許可されます。
• BMW 7シリーズ: BMWもフラッグシップセダンにレベル3機能を導入しました。
• 中国: NIO、Changan、GACを含む9社がレベル3の公道テストを承認されており、中国はL3開発が最も活発な市場の一つとなっています。
• 市場予測: Goldman Sachsは、2030年までに新車の最大10%がレベル3機能を搭載する可能性があると予測しています。

L4はロボタクシーで展開中

レベル4は、消費者向け車両ではなく専用のロボタクシーサービスを通じて商用化が進んでいます。

• Waymo One: 米国の複数都市で運行しており、2025年末までに週約45万回の有料乗車に達し、世界最大の商用自動運転配車サービスとなりました。
• Baidu Apollo Go: 中国を代表するロボタクシーサービスで、複数の中国都市で運行し、週約25万回の乗車に達しました。

L5は依然として手の届かない領域

完全なレベル5自動化は、世界のあらゆる場所であらゆる運転シナリオを人間の介入なしに処理できる車両を必要としますが、今後10年以内に達成されるとは見込まれていません。課題は技術的なもの（あらゆるエッジケースへの対応）だけでなく、規制、倫理、経済に関わるものでもあります。ほとんどの業界専門家は、L5を短期的なエンジニアリング目標ではなく長期的な研究目標とみなしています。

1.2 センサー技術

自動運転車は、周囲の世界を認識するために一連のセンサーに依存しています。各センサータイプにはそれぞれ明確な長所と短所があり、これらのトレードオフを理解することは、堅牢な認識システムを設計するうえで不可欠です。

センサーの比較

2025〜2026年のセンサー技術の進展

テラヘルツレーダー（Teradar）

CES 2026で発表されたテラヘルツレーダーは、0.3〜3.0 THzの周波数帯域で動作し、従来の車載レーダーの約13倍の周波数を持ちます。この大幅に高い周波数により、レーダー本来の霧・雨・悪天候への耐性を保ちながら、LiDARに近い角度分解能を実現します。開発コンソーシアムには5社が参加しており、商用展開は約2028年を目標としています。成功すれば、テラヘルツレーダーはLiDAR並みの空間分解能をレーダー並みの堅牢性、そして潜在的に低いコストで提供することにより、センサーのコストパフォーマンスの方程式を根本的に変える可能性があります。

4Dイメージングレーダー

Mobileyeは、従来のレーダーが持つ距離・方位・速度の各次元に仰角計測を加えた、ソフトウェア定義型の4Dイメージングレーダーを開発しました。アナログのビームフォーミング手法とは異なり、Mobileyeの実装は従来のレーダーシステムの分解能をはるかに上回る真の4Dイメージングを達成します。この技術により、レーダーは点群のような空間情報を提供できるようになり、レーダーとLiDARの能力差を縮めています。

FMCW LiDAR

MicroVisionは、1550nm波長で動作する周波数変調連続波（FMCW）LiDAR技術を進化させました。従来の飛行時間（ToF）LiDARとは異なり、FMCW LiDARはドップラー効果を通じて速度を直接計測し、他のLiDARシステムに対するより高い干渉耐性を提供し、より高い出力を可能にするアイセーフ波長で動作します。これらの利点により、FMCW LiDARは次世代認識システムの有力な候補となっています。

Teslaのビジョン vs. LiDARの議論

自動運転における最も重大な技術的議論の一つは、安全な自動運転にカメラだけで十分なのか、それともLiDARやその他のセンサーが必要なのか、というものです。

Teslaのビジョンのみのアプローチ

Teslaは、レーダーやLiDARを使わず8台のカメラによるシステムを採用し、運転環境の解釈をコンピュータビジョンとニューラルネットワークに完全に依存しています。CEOのイーロン・マスクは次のように主張しています。「人間は視覚で運転する。LiDARは自動運転を妨げる松葉杖だ。」 Teslaのアプローチは、人間の脳が2Dの網膜入力から3Dシーンを再構成するのと同じように、十分に高度なニューラルネットワークが2Dカメラ画像から必要な3D情報をすべて抽出できるという前提に基づいています。

反論と証拠

ビジョンのみのアプローチに対する批判者は、理論的・実証的の両方の証拠を挙げています。

• 実証テスト: 技術者マーク・ローバーによる広く引用されたテストでは、LiDAR搭載車が困難な運転シナリオ6回中6回を通過したのに対し、Teslaのビジョンのみのシステムは6回中3回しか通過しませんでした。包括的な研究ではありませんが、これは実世界での性能差を浮き彫りにしました。
• センサーフュージョン理論: AI専門家は、カルマンフィルタベースのセンサーフュージョンが数学的に個々のセンサーモダリティを上回ることを指摘しています。相補的なセンサーデータを組み合わせることで、フュージョンシステムは単一のセンサータイプよりも高い精度と堅牢性の両方を達成します。
• 故障モードの多様性: 各センサータイプはそれぞれ異なる条件で故障します（カメラは暗闇で、レーダーは金属性クラッターで、LiDARは強い雨で故障する）。複数のセンサータイプは重複したカバレッジを提供し、同時故障の確率を低減します。

業界のコンセンサス

Waymo、Baidu、Cruise、Mobileye、そしてほとんどの従来型自動車メーカーを含む自動運転業界の大多数は、カメラ、レーダー、LiDARを組み合わせたマルチセンサーフュージョンのアプローチに多額の投資をしています。業界のコンセンサスは、特に人間のバックアップなしに安全上重要な判断を下さなければならないレベル4およびレベル5のシステムにおいては、マルチセンサーフュージョンが自動運転への最も安全で信頼性の高い道であるというものです。

1.3 認識技術

認識（perception）とは、生のセンサーデータを解釈して運転環境を理解するプロセスです。それは根本的な問いに答えます。車両の周囲にはどんな物体があるのか？それらは正確にどこにあるのか？何をしているのか？ 現代の自動運転の認識システムは、複数の深層学習技術を組み合わせて、シーンの包括的な理解を構築します。

1.3.1 物体検出

物体検出は、センサーデータ内の関心対象物（車両、歩行者、自転車、交通標識など）を識別し位置を特定するタスクです。2D画像、3D点群、または融合されたマルチモーダルデータに対して実行できます。

2D物体検出（カメラベース）

カメラベースの2D検出は、バウンディングボックスを用いて画像空間内の物体を識別します。

• YOLOシリーズ（v8/v9/v10）: 「You Only Look Once」ファミリーは、依然としてリアルタイム物体検出の主流アーキテクチャです。YOLOは画像全体を単一の順伝播で処理し、競争力のある精度を維持しながら驚異的な速度を実現します。YOLOv10はNMS不要の検出を導入し、車載グレードハードウェアでのエッジ展開のための効率を向上させました。
• DETR（Detection Transformer）: FacebookのDEtection TRansformerは、物体検出を集合予測問題として扱い、Transformerアーキテクチャを適用します。DETRはアンカーボックスや非最大抑制などの手作業で設計された構成要素の必要性を排除し、エレガントなエンドツーエンド検出を実現します。当初はYOLOよりも低速でしたが、後続バージョン（Deformable DETR、DINO）は速度差を大幅に縮めました。

3D物体検出（LiDARベース）

LiDARベースの3D検出は、点群データを直接処理して、位置・寸法・向きを持つ3Dバウンディングボックスを生成します。

• PointPillars: 点群を垂直なピラー（柱）に変換し、2D畳み込みバックボーンで処理します。PointPillarsは高コストな3D畳み込みを回避することで優れたリアルタイム性能（最大62 Hz）を実現し、車載プラットフォームへの展開において最も実用的な選択肢の一つとなっています。
• CenterPoint: 物体を中心点として表現し、その中心から他のすべての属性（サイズ、回転、速度）を回帰します。CenterPointはそのシンプルさゆえにエレガントであり、複数のベンチマークで最先端の結果を達成しています。
• VoxelNet: 3D空間を規則的なボクセルグリッドに分割し、3D畳み込みを適用します。VoxelNetはLiDARベースの3D検出における最初のエンドツーエンド手法の一つであり、ボクセルベースの処理パラダイムを確立しました。

マルチモーダル3D検出（カメラ + LiDAR フュージョン）

カメラ画像とLiDAR点群を組み合わせることで、両モダリティの相補的な長所を活用できます。カメラは豊富な意味情報と色情報を提供し、LiDARは正確な3D幾何情報を提供します。

2025年の最先端

自動運転の物体検出における最新の研究の進展には、次のものが含まれます。

• チャネルアテンションを用いた点レベルフュージョン: 特徴マップレベルでデータを融合するのではなく、このアプローチは個々の点の位置で融合を行い、チャネルアテンション機構を用いて各モダリティの寄与を動的に重み付けします。このきめ細かい融合戦略は、困難なシナリオで優れた精度を達成します。
• 連続畳み込みフュージョン: 離散的な畳み込み演算を、カメラ特徴と融合された不規則に配置された点群データを直接処理できる連続畳み込み関数に置き換え、離散化による情報損失を回避します。
• nuScenesベンチマーク: 最先端の融合手法は、現在nuScenesベンチマークでNDS（nuScenes Detection Score）76.7%を達成しており、単一モダリティのアプローチに対する大幅な改善を示しています。

1.3.2 セマンティックセグメンテーション

セマンティックセグメンテーションは、画像内のすべてのピクセル（または点群内のすべての点）にクラスラベルを割り当て、シーンの密な理解を作り出します。バウンディングボックスを生成する物体検出とは異なり、セグメンテーションはピクセルレベルの精度を提供し、道路境界、走行可能領域、複雑なシーン構成を理解するのに不可欠です。

主要なアーキテクチャ

• DeepLabV3+: アトラス（拡張）畳み込みと、Atrous Spatial Pyramid Pooling（ASPP）を備えたエンコーダ・デコーダ構造を用いて、マルチスケールの文脈を捉えます。DeepLabV3+は、精度と効率の優れたバランスにより、依然として広く使われています。
• SegFormer: 階層的なTransformerエンコーダと軽量なMLPデコーダを組み合わせた、Transformerベースのセグメンテーションモデルです。SegFormerは、従来のアプローチよりも大幅に少ないパラメータで最先端の性能を達成します。
• Mask2Former: マスク付きアテンションを用いて、パノプティック、インスタンス、セマンティックの各セグメンテーションを単一の枠組みで扱う統一アーキテクチャです。この汎用性により、複数のセグメンテーションタスクが同時に必要となる自動運転にとって魅力的です。

2025年の進展: 3D占有予測

自動運転のセグメンテーションにおける最も重要な近年の進展は、2Dピクセルレベルのセグメンテーションから3D占有予測（3D Occupancy Prediction）への拡張です。

• 概念: 3D占有予測は、車両の周囲の3D空間を細かいボクセルグリッドに分割し、各ボクセルが占有されているかどうか、占有されている場合はどのタイプの物体によるものかを予測します。これにより、バウンディングボックスでは捉えられない物体の形状や大きさを含む、シーンの完全な体積的理解が得られます。
• マルチビュー4Dレーダー + カメラ: 最近の手法は、マルチビューのカメラ画像と4Dイメージングレーダーのデータを組み合わせて、3D物体検出と占有予測を同時に実行します。レーダーは、カメラベースの意味理解を補完する堅牢な深度情報を提供します。
• Tesla FSD V13 Occupancy Networks 2.0: TeslaのFull Self-Drivingバージョン13は、カメラのみの入力から体積的な占有をリアルタイムに予測する、アップグレードされたOccupancy Networksモジュール（バージョン2.0）を備えています。これはTeslaのビジョンのみのアプローチの要であり、LiDARなしで環境の3D構造を理解することを可能にします。

1.3.3 3D点群処理

LiDARセンサーは、それぞれ(x, y, z)座標としばしば強度情報を持つ、毎秒数百万個の点からなる3D点群を生成します。これらの不規則で順序のない点集合を効率的かつ正確に処理することは、自動運転の認識における根本的な課題です。

処理パラダイム

PointNetは、置換不変な演算を用いて生の点群をニューラルネットワークで直接処理できることを実証した基礎的な研究です。PointNet++は、局所的な幾何構造を捉える階層的特徴学習でこれを拡張しました。VoxelNetとSECOND（Spatially Sparse Convolutional Detection）は、スパース畳み込みを用いた効率的なボクセルベース処理を導入しました。PointPillarsは、表現を2Dピラーに単純化することで最高のリアルタイム性能を達成しました。PV-RCNN（Point-Voxel RCNN）は、両アプローチを組み合わせることで最高精度を達成しました。

1.3.4 センサーフュージョン

センサーフュージョンは、複数のセンサーモダリティからのデータを組み合わせて、単一のセンサーだけでは達成できないより正確で堅牢な環境認識を生み出すプロセスです。その数学的基盤は推定理論にあります。独立したノイズを含む複数の計測を組み合わせることで、全体の不確実性が低減されます。

フュージョンのレベル

MobileyeのTrue Redundancyアーキテクチャ

Mobileyeは、「True Redundancy（真の冗長性）」と呼ばれる独自のアプローチを導入しました。すべてのセンサーデータを単一の処理パイプラインに融合するのではなく、Mobileyeは2つの完全に独立したサブシステムを運用します。

• カメラサブシステム: カメラデータを独立して処理し、完全な環境モデルを生成する
• レーダー + LiDARサブシステム: レーダーとLiDARのデータを独立して処理し、別個の環境モデルを生成する

安全上重要な運転判断を下す前に、両サブシステムが一致しなければなりません。このアーキテクチャは、一方のサブシステムの故障（例: 太陽光の眩しさによるカメラの視覚喪失）が他方を損なわないため、真の冗長性を提供します。これは、独立したシステムが耐障害性を提供する航空システムの冗長性に類似しています。

1.3.5 最新アーキテクチャ: BEVとTransformerベースの認識

自動運転の認識における最も変革的な近年の進展は、Transformerアーキテクチャと組み合わせたBird's Eye View（BEV、鳥瞰図）表現の採用です。

BEV表現

Bird's Eye View（BEV、鳥瞰図）表現は、3Dの運転シーンを上から見た2D平面に投影します。これは自動運転にとっていくつかの重要な利点を提供します。

• 統一された座標系: すべてのセンサーデータは、元のモダリティや視点にかかわらず、共通の上から見た2D空間に投影され、素直な融合と計画を可能にします。
• スケール不変性: 遠くの物体が小さく見える透視的なカメラ視点とは異なり、BEVは一貫したスケールを維持し、距離推定と経路計画をより信頼できるものにします。
• 自然な計画インターフェース: 下流の計画・制御モジュールは上から見た座標系で自然に動作するため、BEV認識の出力は追加の座標変換なしに計画へ直接供給されます。

BEVFormer

BEVFormerは、時空間Transformerを通じてマルチフレームのカメラデータを統一されたBEV表現に変換する画期的なアーキテクチャです。

• 空間クロスアテンション: 変形可能アテンションを通じてマルチカメラ画像からBEV特徴を問い合わせ、2D画像特徴を正しい3D位置に投影することを学習します。
• 時間セルフアテンション: 時間ステップ間でBEV特徴を集約し、モデルが物体を追跡し運動パターンを理解できるようにします。
• Teslaの採用: Teslaの認識システムは、FSDシステムにBEVFormerベースのアーキテクチャを使用しており、従来のアプローチと比較して軌道予測誤差を18.7%削減しています。

DriveTransformer（ICLR 2025）

ICLR 2025で発表されたDriveTransformerは、エンドツーエンドの自動運転における大きなアーキテクチャ上の進展を表します。

• タスク並列処理: 認識・予測・計画を順番に実行する逐次的アーキテクチャとは異なり、DriveTransformerはこれらのタスクを統一されたTransformer枠組みを通じて並列に処理します。
• スパース表現: 密な特徴マップではなくスパースなクエリ機構を用い、精度を維持しながら計算コストを劇的に削減します。
• 性能: CARLAベンチマークで35%の運転成功率を達成し、UniAD-Baseモデルの16%と比較して2倍以上の改善を示しています。

DMFormer（2025）

DMFormerは、Transformerアーキテクチャと拡散ベースのノイズ除去を組み合わせ、マルチモーダルBEV認識を実現します。

• アプローチ: 拡散モデルを用いてBEV特徴マップを反復的に精緻化し、正確なBEV表現の生成をノイズ除去プロセスとして扱います。
• マルチモーダル統合: 拡散の枠組み内でカメラとLiDARの特徴を効果的に融合し、幾何学的精度と意味的豊かさの両方を捉えた高品質なBEV表現を生成します。
• 意義: 生成モデリング技術（拡散）が識別的な認識タスクを改善できることを示し、自動運転の新たな研究方向を切り開いています。

展開上の課題

ベンチマークでの目覚ましい性能にもかかわらず、Transformerベースの認識アーキテクチャは重大な展開上の課題に直面しています。

• 計算需要: Transformerのセルフアテンションは系列長に対して二次の計算量を持ちます。現在の車載グレードの計算プラットフォームは、大規模なTransformerモデルを必要なリアルタイム速度（認識では通常10〜30 Hz）で実行するのに苦労しています。
• NVIDIA Orin: 254 TOPSの計算能力を持つNVIDIA DRIVE Orinプラットフォームは、Transformerベースの認識を展開するための鍵となりつつあります。複数の自動車メーカー（NIO、Li Auto、BYDを含む）での採用が、CNNベースからTransformerベースの認識システムへの移行を推進しています。
• モデル圧縮: 知識蒸留、量子化、構造化プルーニングなどの技術は、Transformerモデルを車載システムの電力とレイテンシの予算内に収めるために不可欠です。

まとめ

この章では、自動運転技術の3つの基礎的な柱を扱いました。

1. SAE J3016自動運転レベル: 自動化なし（L0）から完全自動化（L5）までの6段階の枠組みと、L2とL3の間にある重要な責任境界。現在、L2+が市場を支配し、L3はMercedesと中国OEMを先頭に成熟しつつあり、L4ロボタクシー（Waymo、Baidu）が商用規模に達しています。
2. センサー技術: 4つの主要なセンサータイプ（カメラ、レーダー、LiDAR、超音波）はそれぞれ明確な能力をもたらします。テラヘルツレーダー、4Dイメージングレーダー、FMCW LiDARなどの新興技術が、モダリティ間の差を縮めています。業界は、安全上重要な用途において、ビジョンのみのアプローチよりもマルチセンサーフュージョンを大きく支持しています。
3. 認識技術: 現代の認識システムは、2Dおよび3Dの物体検出、セマンティックセグメンテーション（3D占有予測への拡張を含む）、点群処理、マルチレベルのセンサーフュージョンを組み合わせています。Transformerアーキテクチャを備えたBEV表現（BEVFormer、DriveTransformer、DMFormer）が最先端を表しますが、車載ハードウェアへの展開は依然として課題です。

次の章では、認識の出力が計画と制御システムによってどのように運転判断に用いられるかを探究し、自動運転の状況を形作る主要な業界プレーヤーを概観します。