自動運転を支える画像センシング技術とGPUの活用例

NVIDIA GTC2015 Technical Session
自動運転を支える画像センシング技術とGPUの活用例
Image sensing with GPU for Autonomous Driving
2015年9月18日
株式会社ZMP
取締役技術開発部長三原寛司
Kanji Mihara, Managing Director, Techinical Development
©2015 ZMP Inc. All Rights Reserved. confidential
Robot of Everything
様々な応用事業を実現していく
エアロセンス社
ロボットタクシー社
物流支援
農業機械
鉱山・建設機械
自律移動
技術
自動運転
技術
ロボット技術
©2015 ZMP Inc. All Rights Reserved.
1
History of ZMP RoboCar development
Autonomous Driving R&D since 2008, without expensive 3D Lidar
2015
RoboCar MiniVan
2014
2012
RoboCar HV
2009
RoboCar 1/10
2013
RoboCar HV
(Public Road)
RoboCar PHV
2011
RoboCar MV2
©2015 ZMP Inc.
2
Challenge to the “Driverless Taxi” service
×
⇓
Est. May 2015
©2015 ZMP Inc.
3
ZMP autonomous driving technologies
Application/Cloud
行動計画
経路生成
自己位置
推定
Map
障害物
検知・追跡
Planning
障害物
回避
判断
Perception
Control
認知
制御
画像による
物体認識
Platform
経路
追従制御
IZAC
距離計測
障害物検知
Vehicle
Camera
Lidar
©2015 ZMP Inc. All Rights Reserved. confidential
Radar
RoboCar
GPS/IMU
Odometry
4
自動運転における画像認識技術
• ディープラーニング(DNN)等の技術発展
• センシングシステムのコストダウン
• 人間に近い動作原理
⇒現実の道路環境との親和性が高い
⇒白線や信号はレーザーでは認識できない
ますます重要に！
©2015 ZMP Inc. All Rights Reserved.
5
ZMPの画像認識技術とGPU
• 機械学習によるビジョンシステム
– レーンキープ、車両、歩行者検知など
• GPGPUの活用
– NVIDIA GPUによる高速処理
↑ 歩行者認識
• DRIVE PX (Tegra X1), Tegra K1
– Deep Learning を応用へ
信号機認識 →
NVIDIA DRIVE PX
↑ 先行車両認識
©2015 ZMP Inc. All Rights Reserved.
6
超高感度ステレオカメラ “RoboVision2”
• ADAS技術開発者用
– ソニー新CMOSセンサー使用
• 0.005ルクスまで対応の超高感度、夜間にも使用可能
• 解像度 1280×960 (30fps) , 640×480 (120fps)など
– 前方障害物検知、距離測定用途
• 基線長 21cm
• 距離分解能例：
– 距離80m先の車両検出時分解能 11[m/pix]
– PC向けソフトウェア開発環境(SDK)提供
• 視差画像生成、歪み補正、ステレオ平行化処理
– NVIDIA Tegra K1 画像処理ユニット提供予定
©2015 ZMP Inc. All Rights Reserved.
7
画像による自己位置推定： Visual SLAM
• 画像中のコーナーを検出し、強度が大きな箇所を、特徴点として抽出、選択する。
• P0とΔt後のP1それぞれ得られた特徴点から、対象のオブジェクトが存在するエリアが確率的に得
られる。と同時に、自己の位置も確率的に特定される。
• 対象物の位置と自己位置を、共に、推定と観測による補正を繰り返し、精度をあげていく。
Camera
Vehicle
P0 での特徴点
P0
P1 での特徴点
Δt
P1
VSLAMのイメージ
ランドマーク（特徴点）
©2015 ZMP Inc. All Rights Reserved.
8
特徴点抽出による自己位置推定例
©2015 ZMP Inc. All Rights Reserved.
9
ディープラーニングの自動運転への段階的応用
Step
目的
入力
出力
Step1
オブジェクト
検出
静止画
オブジェクトラベル
（歩行者、自転車、車、レーンなど）と
距離、向き
Step2
アクション検
出
動画
動作ラベル
（急ブレーキ、危険運転、信号の変化な
ど）
Step3
運転者として
動画、
目的地と地図
次のアクションを判断する
現在はStep1の応用例が各方面から出てきている
©2015 ZMP Inc. All Rights Reserved.
10
ディープラーニングがもたらす変化
画像
特徴量抽出
認識結果
特徴量
人間が個別に設計
分類
機械学習
ディープラーニング
画像
特徴量抽出
特徴量
認識結果
分類
特徴量も一緒に学習する
例）歩行者検知と車両検知で同じアルゴリズムが使用可能
©2015 ZMP Inc. All Rights Reserved.
11
DRIVE PX+DNNによるソフトウェア開発
• Why DNN? (Deep Neural Network)
– 対象クラスごとの特徴量設計が不要
– あらゆる対象に同じアルゴリズム、同じ実装
– ZMPは訓練に必要なデータを大量に保有
• Why DRIVE PX
– DNNによる画像認識を低消費電力で実現
– 車載を前提としたハードウェア
– cuDNNライブラリ提供され短期開発可能
– NVIDIAからZMPに優先的に提供、サポート
©2015 ZMP Inc. All Rights Reserved.
12
Demo: DNNによる車・車線検知
©2015 ZMP Inc. All Rights Reserved.
13
DNNによる車・車線検知
前方カメラ
©2015 ZMP Inc. All Rights Reserved.
後方カメラ
「矩形領域」ではなく画素単位で「クルマ」を検知
→同じアルゴリズムで白線などの形状にも対応
→何台クルマがいても計算量同じ
14
Demo: DNN+ステレオカメラによる
歩行者検知＋距離計測
©2015 ZMP Inc. All Rights Reserved.
15
歩行者距離検知デモ構成
ZMPステレオカメラ
RoboVision2
DrivePX
左眼映像からDNNで歩行者検出処理
ステレオの視差画像を作って距離を判定
→歩行者の胴体部分の距離を判定
©2015 ZMP Inc. All Rights Reserved.
16
DRIVE PX on RoboCar
Main
Computer/
Controller
Lidar
©2015 ZMP Inc.
各種認識アルゴリズム提供
• 白線検知
• 歩行者検知
• 車両検知
17
Summary : NVIDIA DRIVE PX for Autonomous Driving
NVIDIA DRIVE PX上で動作するディープラーニングを応用した画像認識ソフトウェアを開発、販売
さらに、RoboCarシリーズとDRIVE PXを組み合わせて販売へ
↑ 車両/レーン認識
DRIVE PX
DNNを使ったヒトの胴体検出と
ステレオカメラによる距離計測処理
DNNによる車両、レーン検知、信号認識
↑ 信号機認識
©2015 ZMP Inc. All Rights Reserved. confidential
↓ 歩行者認識
®
MiniVan
18

Download Report