人工知能による自動運転技術、Nvidiaが開発しAudiなど

Venture Clef
人工知能・ロボティックス、この激流にどう乗るか
人工知能による自動運転技術
Nvidiaが開発しAudiなどに提供
2015年4月8日
VentureClef, LLC
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 自動車運転支援技術
– CES
• Nvidia CEOのJen-Hsun Huangは、
2015年1月4日、ラスベガスで開催
されたCESで、自動運転コンピュー
ター「Nvidia Drive PX」を発表した。
• また、自動車の運転を支援する技
術「ADAS」(Advanced Driver
Assistance Systems)を公開。
ADASはCruise Control、Blind
Spot Detection、Parking
Assistanceなどから構成される。こ
れらはレーダー、超音波、カメラを
センサーとして利用する。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 自動車運転支援技術
– カメラがレーダーを置き換える
• これらのセンサーがカメラに置き換
えられている。カメラの性能はスマ
ホなどのモバイル技術により著しく
向上。解像度、ダイナミックレンジ、
夜間撮影性能などが向上。
• Smart Cameraがオブジェクト(歩行
者や道路標識など)を認識する。
レーダーがカメラに置き換えられる
ことで自動車のコストが低下する。
更に、カメラを統合することで、
Auto-Pilot Car (自動運転車) への
道が開ける。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 自動車運転支援技術
– Software-Define Car
• 自動運転技術を提供するためには;
カメラで捉えた画像から自動車周
辺のモデル(Environmental
Model)を作成。自動車が今の状況
を理解する(Situation Awareness)。
そこから走行路を決定(Path
Finding)。そして自動車が自ら学習
する能力(Learning)が必要。
• 将来の自動車はスーパーコン
ピューターを搭載し、ソフトウエアが
走行を制御する。つまりソフトウエ
アが自動車の機能を決定する
「Software-Define Car」となる。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– プロセッサー性能
• これらカメラは車載スーパーコン
ピューターに接続される。これが
「Nvidia Drive PX」である。
• Drive PXは「Tegra X1」を二台搭
載し、並列に、また、二多重に稼働
する。最大性能は2.3Tflopsとスー
パーコンピューター並みの演算能
力を持つ。
• 12台のHDカメラ(60Hz)と接続でき、
1.3Gpix/秒の処理速度を持つ。
Cuda 6.0に対応している。
出典: Nvidia
Cuda: Compute Unified Device Architecture
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– イメージ処理
• Computer Visionは「Deep Neural
Network」と「Surround Vision」を
取り入れている。
• フロントカメラ(Tight Focal、Long
Distance、Wide View)、サイドカメ
ラ、リアカメラ、車内カメラ、デジタル
ミラーなどがTegra X1ベースの
Drive PXに入力される。
• 入力イメージはクロスバーで四つの
モジュールに振り分けられる。ISP
はイメージ処理を司り、White
CollectionやColor Balancingなど
を実施。
VPE: Vertex Processing Engines
ISP: Image Signal Processor
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Deep Neural Network
• Drive PXはComputer Visionに
「Deep Neural Network」を採用。
Deep Neural Networkを自動車に
応用すると、オブジェクト認識率が
大きく向上。単にオブジェクトを認識
するだけでなく、置かれた状況を理
解(Situational Awareness)する。
• 今まではオブジェクトを認識するた
めに、エンジニアは「Feature
Detectors」を開発してきた。
Feature Detectorsは歩行者、標識、
自動車など、特定オブジェクトを検
出るための専用のフィルター。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Deep Learning実用化
• Situational Awarenessはオブジェ
クトだけでなく、多くのことを認識す
る必要がある。これを可能にしたの
がDeep Learningで、Yann LeCun
とGeoffrey Hintonが開発。
• Deep Learning計算環境を支える
のが、超並列プロセッサーNvidia
GPU。更に、大量の画像や音声
データを教材として使える環境がで
きた。最後に、最新アルゴリズム
Convolutional Neural Network
(CNN) がDeep Learningを実用化
へと導いた。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– ImageNetでの性能
• CNNが一躍注目を集めたのは、
2012年に行われた画像認識に関
するコンテスト「Large Scale Visual
Recognition Challenge」。このコン
テストは、120万の画像に何が写っ
ているかを、1000のクラスに分類。
• 今までは従来技術を改良する方法
で行われ、一年で精度が2%程度
向上したが、Nvidia Cuda GPUで
CNN(AlexNet)を使うと、精度が
74%から84%にジャンプ。ちなみに
2014年はGoogleが「GoogLeNet」
で圧勝している。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Convolutional Neural Network
• CNNは多層ネットワークで、入力イ
メージから、特徴を抽出し、オブジェ
クトを分類。
• 右はAudiのイメージをCNNで解析
するプロセス。左側は入力イメージ
から、Audiの低次元の特徴（単純な
形状など）を抽出し、処理が進むに
つれ、高次元の特徴（タイヤなど）を
抽出し、自動車全体を把握。低次
元の特徴を抽出することで、Audiを
形成する不変の要素を把握。CNN
に教育を行うと、その後は自動でイ
メージの区分を行うことができる。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Convolutional Neural Network
• このケースではニューロン（計算素
子、写真の丸の部分）の数は6万
5000（ロブスターの脳の半分程度）
で、パラメーターの数は6000万。
• このプロセスには大規模な演算量
が必要となるため、NvidiaのGPU
が威力を発揮する。
• 市場には様々なDeep Learning開
発フレームワークがあるが、Nvidia
は米カリフォルニア大学バークレー
校（UC Berkeley）が開発した
「Caffe」をサポートしている。
出典: UC Berkeley
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 応用事例：歩行者
• CNNを自動車に応用すると、単に
オブジェクトを認識するだけでなく、
置かれた状況を理解することがで
きる。
• 右がその事例で、左側の歩行者は、
従来モデルで把握できる。しかし、
歩行者が自動車の影に隠れ、一部
しか見えない場合は、従来モデル
では対応できない。
• CNNを使うと、頭部や脚部を認識し、
これは歩行者であると判断する (右
側の歩行者)。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 応用事例：自動車
• CNNを使うと自動車でも、セダンと
スクールバスを区別できる。
• スクールバスを認識すると、特別の
対応をすることなどが可能となる。
• スクールバスが停車して、赤色のラ
イトをフラッシュしている時は、CNN
はこの状況を把握し、特別な注意
が必要であると認識する。これは
Situational Awarenessの事例。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 応用事例：バックミラー
• 右はバックミラーで後続の自動車を
検出した状態。
• 一般車両を検出した時は、特別な
対応は必要ないが、救急車など緊
急自動車を検知した際は、警告メッ
セージを表示する。これに従って、
ドライバーは車を路肩に寄せて停
車する。
• CNNはオブジェクトの検出だけでな
く、そのコンテクストを理解できる。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 実例：従来方式
• Nvidiaは、実際にビデオ撮影をしな
がら市街地を走行し、その映像を
Drive PXで処理した結果を公開。
Drive PXでCNNを使うと、どんな利
点があるかを理解できる。
• 右下は従来方式で横断歩道の標
識を検出したところ。Histogram of
Oriented Gradients (HOG)という
技法で、システムに横断歩道のダ
イヤ型のイメージを大量に入力し教
育する。遠くから標識を認識し、高
速走行していても減速する時間が
十分ある。従来方式で対応できる。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 実例：一部が隠れている場合
• 右上は歩行者の一部が隠れている
場合の事例。サイクリストの一部が
パトカーの陰に隠れていても正しく
検出できる。
• 右下は信号機を検知し、その色(赤、
青、不明など)を認識している事例。
入力イメージはモノクロームで、信
号機というクラスを把握。次に信号
機の種類(横長・縦長)のクラスを把
握し、点灯している色を判定。
• これは事前にビデオ撮影して、この
イメージをTegra X1でバッチ処理し
たもの。
© 2003 - 2015, VentureClef, LLC
出典: Nvidia
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 実例：夜間ドライブ
• 右上は英国における夜間ドライブ
の様子。夜間ドライブはComputer
Visionにとって難しい環境。街路灯
などがあり判定が難しいが、システ
ムはスピードカメラを検出。更に、
速度標識(50)を認識。標識は50Hz
で点灯しており、カメラは30Hzでイ
メージ取り込みが困難。
• 右下の左端に「Queue」を認識。こ
れはメッセージボードの道路情報で、
この先渋滞であることを示している。
複数のクラスを同時に認識している。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 実例：車種クラスまで検知
• 右はラスベガスの事例で、システム
は自動車の車種クラスまで検知す
る。右上はSUVを検知し、右下は
TrackやVanを検知している様子。
• 従来モデルは車種毎にFeature
Detectorsを開発する必要があった。
• CNNはシステムが自動車を認識し、
そのサブクラス(TrackやVan)を教
育するだけで、分別が圧倒的に効
率的になった。この事例では40時
間のビデオを入力し、16時間の教
育を行った。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– 実例：高速走行している自動車
• 右上は自動車(Passenger Car)が
高速で追い越したシーン。従来方
式ではフレーム毎に処理するため、
高速で動くオブジェクトはイメージが
崩れ、上手く認識できない。一方、
CNNは特徴量を掴むことができ、こ
のケースでも対応可能。
• フロントカメラだけでなくリアカメラで
の映像も解析する。右下はリアカメ
ラでパトカー(Police)を認識した様
子。警察の指示に従って路肩に寄
せて駐車する必要がある。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– アーキテクチャー
• GPU搭載システムでCNNを教育す
る。具体的には大量のイメージを読
み込み、CNNパラメターの最適化
を行う。
• その結果教育されたCNNが出来上
がる。このシステムを車載Drive PX
に搭載する。車載カメラから読み込
んだイメージをCNNに入力すると、
イメージ上のオブジェクトを分類す
る。Tegra TX1は(2Mpix x 30
frame/s)は同時に150のオブジェク
トを認識できる。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– アーキテクチャー
• 認識できない「Unknown」オブジェ
クトについては、再度、GPUシステ
ムに戻し、データサイエンティストが
タグ付けをして、教育する。
• 一台の自動車でCNNがアップデー
トされると、更新されたCNNは他の
自動車にダウンロードされる。
• Connected CarがSuper Mobile
Chipを搭載し、Deep Learning技
法でオブジェクトを認識し、学習を
続ける。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Surround Vision
• Nvidiaは独自で自動運転技術を顔
初している。「Surround Vision」と
いうシステムで、複数の車載カメラ
で捉えた映像を繋ぎ合わせ、周囲
の状況を理解する。
• Nvidiaは高精度なシミュレーターを
開発し、Computer Visionの試験を
実施。シミュレーター上で、複数の
車載カメラが捉えた映像で自動運
転。右はNvidiaガレージを再現した
もので、自動車は他車を認識し、空
きスポットを見つけ、駐車する。
出典: Nvidia
© 2003 - 2015, VentureClef, LLC
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Audi
• NvidiaはAudiと10年にわたり共同
開発を続けている。
• Audiは自動運転車RS7コンセプト
カー「Bobby」をHockenheimレース
場で試験し、時速150マイルで走行
することに成功した。自動車には人
は登場しておらず、自動車は自律
走行した。これは人間のトップドライ
バーの技術に相当する。
• A7ベースの自動運転車「Jack」は
シリコンバレーからラスベガスまで
自動運転で走行するデモを実施。
右は出発式の様子。
© 2003 - 2015, VentureClef, LLC
出典: Audi
人工知能による自動運転技術
Venture Clef
 Nvidia Drive PX
– Audi
• Audi上級副社長のRicky Hudi氏は
Drive PXを採用する計画を明らか
にした。既に開発を進めている画像
認識システムのプラットフォームとし
て、Drive PX を使う。これは超並列
システムと機械学習を応用したシス
テムで、Audiの自動運転車が市場
に登場するのはそう遠くないとして
いる。
• 自動運転技術のトップランナーは
Googleとの見方は多いが、Nvidia
の協力を得た自動車メーカーが巻
き返す可能性はある。
© 2003 - 2015, VentureClef, LLC
出典: Audi
Venture Clef
Thank You!
Kaz Miyamoto | [email protected] | +1 650-224-5464
© 2003 - 2015, VentureClef, LLC

Download Report