JARI Research Journal 20150906 【研究活動紹介】 SIP 自動走行システム「走行映像データベース」の 構築技術の開発及び実証の研究開発概要 Development and verification of construction technology of driving video recognition database in SIP-adas 黒瀬 明光 *1 野本 和則 *1 Akimitsu KUROSE Kazunori NOMOTO 要である．認知機能の向上には，車両に設置した 1．はじめに 2014 年の全国の交通事故死者数は 4113 人で カメラやレーダー等を通じて走路環境を認識する 14 年連続で減少となった．政府は「2018 年度を 技術と，車両外部から通信を利用して走路環境を 目処に交通事故死者数を 2500 人以下とし，2020 認識する技術があるが，本研究開発では前者の走 年までには，世界で最も安全な道路交通社会を実 路環境の認識を画像認識技術を高める研究開発で 現する」ことを掲げている． ある． 既に研究開発や実用化が進められているカメラ 図 1 に示す SIP 自動走行システム研究開発計画 やレーダー等による周辺環境認識技術を用いた安 のテーマ分類のうち， 「自動走行システムの開発・ 全運転支援システムから自動走行システムの実用 検証」の各企業の協調領域の 1 つである「センシ 研究開発に向けては，更なる性能向上や信頼性向 ング能力の向上」に資するものである． 上等が望まれており，カメラやレーダー等による 周辺環境認識技術の発展が欠かせない．その開発 には，カメラやレーダー等による様々な走行シー ンデータを整備した「走行映像データベース」の 構築が求められている． 一般財団法人日本自動車研究所(JARI)では，戦 略 的 イ ノ ベ ー シ ョ ン 創 造 プ ロ グ ラ ム （ SIP ： Cross-ministerial Program）1) Strategic Innovation Promotion 自動走行システム研究開発計画 2) にあ げられたセンシング能力の向上技術開発と実証実 験テーマ（企画競争募集）を受託した．走行映像 データベースの構築技術の確立を目標に 2014 年 図1 SIP 自動走行システム研究開発テーマ分類 1) 度から研究開発を開始し，本稿ではその概要を紹 図2に2014年度から4年間の本研究開発の実施 介する． 内容と主な成果目標を示す． 2. 本研究開発の位置づけ 自動車の走行機能はドライバーの認知・判断・ 2. 1 技術開発にあたって基本的な考え方 操作の 3 要素で構成されており，自動走行システ 自動走行システムの周辺環境認識技術の対象と ムの実現にはこの 3 要素が高度化されることが必 して，走行する車両のような比較的大きな物体で *1 一般財団法人日本自動車研究所 JARI Research Journal ITS 研究部 － 1 － (2015.9) はなく，歩行者や自転車等，より小さく複雑な動 以上の走行映像データを収集するために，高解像 きをする物体を対象とし，それらが存在するシー 度カメラや測距用レーザレーダーなどを搭載した ンを中心とした走行映像データの収集を行うこと 専用データ収集車両を開発する． した． 後者は収集した映像データへのフィルタリング やタグ付け ※ の作業の自動化技術を開発するとと もに，超大規模な映像データを効率よく運用する ためにリアルタイム可逆圧縮技術や検索データベ ースの技術を開発する． 図 4 は走行映像データベースの技術開発の概要 を示したものである． ※撮影された走行映像データの中で歩行者，自転車などに定めら れた特殊な記法により映像に埋め込む形で記述される付加情報 図 2 研究開発と成果目標（4 年間） 従来技術の歩行者の存在を検知する認識用映像 辞書に対して，図3に示すように歩行者の向き（正 面，横，後） ，周辺環境（時刻，照度，天候，路面 状態） ，歩行者状態（停止，移動）などを，様々な 沿道環境（市街地，オフィス街，歓楽街，高速道 サービスエリア）で走行映像シーンを収集する． 図 4 走行映像データベースの研究開発イメージ 2. 3 技術開発計画 2 つの研究開発テーマをもとに，それぞれの技 術分野について必要となる詳細技術やシステム信 頼性を向上するための技術として表 1 に示す 6 つ の項目を設定した． 表 1 技術開発項目 ①国内外の走行映像データを収集する「走行計画技術開発」 ②高解像度カメラ等を搭載した専用車両を製作「データ収集 車両の開発」 図 3 走行映像データの収集イメージ ③収集した走行映像データにタグ付けを行う「タグ付け技術 開発」 ④大容量な走行映像データを処理するための「走行映像デー タベース開発」「リアルタイム可逆圧縮技術」 2. 2 研究開発の内容 本研究開発は， 「走行映像データの収集」と「走 行映像データベースへのタグ付け技術の開発及び 実証」の 2 つに分けられる． ⑤走行映像データベースの利活用を有効にするための「検索 用データベース技術開発」 ⑥走行映像データベースの性能評価を行う「評価手法の開発」 前者は国内外の沿道環境で走行距離 10 万 km JARI Research Journal － 2 － (2015.9) 3. 走行映像データベース技術開発の概要 表 3 データ収集車両諸元 2014 年度に実施した研究開発の概要および主 スペック な成果を示す． ベース車両 トヨタ アルファード 240S 周辺監視 4 台 レンズ画角：180 度 前遠方監視 1 台 レンズ画角：90 度 画素数：1920×1200 分解能：12bit フレームレート：60fps カメラ 3. 1 走行計画技術開発 走行距離 10 万 km 以上による延べ歩行者数 400 万事例および，4 万シーン以上の連続撮像された 搭載 センサ 動画シーンの走行映像データベースの構築を目指 し，国内 4380 時間，海外 548 時間，合計 4928 レーザ レーダー 時間の走行計画を策定した． 2014 年度のトライアル走行の結果から歩行者 および自転車に遭遇した実績は，1 時間あたり約 200 シーンで歩行者割合は約 50%，また歩行者映 像時間は平均 11 秒となり，検討した国内の走行 計画の妥当性を検証した（表 2） ． 周辺監視：4 台 スキャンレイヤ数：1 スキャン角度：180 度 周波数：50Hz 角度分解能：0.333 度 設置高さ 86cm 程度 前方監視：1 台 スキャンレイヤ数：4 スキャン角度：85 度 周波数：50Hz 角度分解能：0.5 度 設置高さ 53cm 程度 記録時間 最大 8 時間 カメラ毎に 6TB の SSD を搭載 GPS GPS 時計 位置データ（緯度・経度）を取得 表 2 走行計画の妥当性の検証内訳 歩行者， 自転車シーン数 100 シーン 走行映像データ 収集時間 5.5ｈ／台日 市街地１時間当たり収集 200 シーン × 歩行者割合 50% 歩行者シーン 割合 12.5% （複数車線の他車線側 50%）× （歩道上など対象が離れて いる ケース 50%）×（隠れなど 50%） 走行計画 3750h 682 日（3 ヵ年）×5.5h 歩行者シーン （３ヵ年） 約４万シーン 3750h×12.5%×１００シーン≒ 46,875 シーン 3. 2 データ収集車両の開発 フルハイビション形式の高解像度カメラを搭載 し車両周辺 360 度を撮像するとともに，ブレーキ やステアリング等の車両情報や障害物との距離情 報を取得するデータ収集システムを開発した． また，対象物との距離情報を取得するために測 距レーザレーダーを 5 台搭載し，これら大容量の 図 5 データ収集車両 走行映像データを撮像記録する映像記録システム， 制御ソフトウェア開発を行い，公道走行が可能な データ収集車両を 6 台製作（表 3，図 5）した． 3. 3 タグ付け技術開発 走行映像データから，歩行者，自転車等が撮影 されているシーンを抽出し，これらを自動的に判 別する「タグ付け技術開発」として，表 4 に示す 4 つの機能（シーン抽出機能，自動タグ付け機能， 手動タグ付け GUI 機能，フレーム間補間機能）の 開発を技術項目として定めた． JARI Research Journal － 3 － (2015.9) (3) 手動タグ付け GUI 機能 表 4 タグ付け技術開発の概要 項目 シーン 抽出機能 自動タグ付 機能 手動タグ付 GUI 機能 フレーム間 補間機能 手動タグ付け GUI 機能は，自動タグ付け機能で 内容 目標 障害物が撮影されているシ ーンを抽出．また，タグ付 けを行う必要のあるフレー ムを抽出する機能 総走行映像から 1/20 のシ ーンの自動抽出する．リア ルタイム自動有効シーン抽 出の実現する． 付与されたタグ情報を GUI を用いて人手で検証 必要要件にもとづいた対象 物に対する自動タグ付けを 行う機能． 効率的なタグ付け作業を行 える自動タグ付けツールの 実現する． ァイルとして出力する． 自動タグ付け機能で付加 されたタグ情報を GUI を用 い て 検 証 し ，修 正 す る 機 能． 入力は映像データと自動タ グ付け機能のタグファイルと し，タグの属性と座標を出力 する． じて矩形や線分で選択確認しながら設定ファイル 手動タグ付け機能のタグフ ァイル出力のタグ情報と座 標を用いて，前後のフレー ムに対して自動でタグ情報 を補間する機能 従来の人手対応のタグ付け 作業に対し，確認作業時間 を含ずに 1/6，作業時間を 含めて 1/4 に削減する． し修正するためのソフトウェア開発であり，タグ 情報を XML（Extensible Markup Language）フ タグ付け作業者がビューア画面にて対象物に応 にタグ情報，クラス，属性，座標等を変更し付与 する． (4) フレーム間補間機能 フレーム間補間機能は自動タグ付け技術として， タグ情報が付与された複数のフレームを元に，そ の中間，その前後のフレ－ムに対して自動的にタ グ情報の補間を行う． (1) シーン抽出機能 シーン抽出機能は，走行映像に含まれる歩行者 や車両などの障害物が撮影されているシーンだけ の画像とアクセル，ブレーキ，ステアリング等の 車両情報を用いて，走行映像から約 20 分の 1 シ ーンを間引く（自動抽出）技術を開発した．また， 抽出機能だけでなく撮影された RAW ベイヤ画像 3. 4 走行映像データベースプラットフォーム開発 (1) 走行映像データベースプラットフォーム 走行映像データのデータ取得計画（表 5）に基 づき走行映像プラットフォームの要件検討を実施 した． 表 5 データ取得計画（基本要件） を RGB JPEG（Joint Photographic Experts 項目 Group）画像に変換して確認する機能をもたせた． 走行映像撮像 (2) 自動タグ付け機能 カメラ数 仕様内容 延べ14時間／日，5日間／週 （車両運用計画より） 撮像カメラ5台⇒タグ付け対象カメラ2台 自動タグ付け機能は，シーン抽出した走行映像 品質・ﾌﾚｰﾑﾚｰﾄ 1920×1200×12bit，60fps データ中の対象物（歩行者，自転車，自動車，二 ﾀｸﾞ付ｼｰﾝ割合 10% 自動ﾀｸﾞ付間隔 6フレーム毎 輪車，その他移動体，路側物）の種類を自動的に 認識，検知して，対象物毎にユニーク ID を付与 するなど効率的なタグ付け作業を実現するもので ある（図 6） ． 定常のオペレーションでは各地から輸送される 走行映像データの「サーバーへのアップロード」 「RAW ベイヤ画像の画像圧縮」 「シーン抽出の自 動タグ付け」など複数の作業と「処理結果のテー プ書込み」作業が同時に実施される． 図 7 はこの関係を示すものである．ワークステ ーション・サーバー，データ処理や一時格納を行 う大容量 NAS（Network Attached Storage） ，走 行映像データや処理結果を蓄積する超大容量スト レージおよびルータ等で構築される． 図 6 自動タグ付け機能 JARI Research Journal － 4 － (2015.9) 間に対して可逆圧縮技術を活用して容量を 50% に抑制する．1 週間で取得する走行映像データを 遅滞なくテープストレージに記録することができ る書込み速度を設定した． (5) リアルタイム可逆圧縮の技術開発 高解像カメラで撮像された画像データを効率的 に蓄積・転送するためのリアルタイム可逆圧縮技 術として，StarPixel 方式を採用し高い圧縮率と 高速の圧縮速度・展開速度が可能なソフトウェア を開発した． 走行映像データのベイヤ RAW(BGGR)データ 図 7 走行映像データベースプラットフォーム を，開発したソフトウェアで処理し，表 7 に示す ように元の画像の 50％圧縮および転送同時圧縮 (2) データアップロード処理仕様 基本要件から走行映像データの撮像データや測 距レーザレーダーおよび車両情報などの走行映像 による数％のオーバーヘット転送ができることを 確認した． データは，1 週間毎のデータ容量＝260TB／週， および走行映像データの物流を考慮し 1 週間の稼 動時間を表 6 のように 100 時間と算定した． 表 6 データアップロード処理性能の設計 総ﾃﾞｰﾀ量 5000時間×3600×(1920×1200×12bit×60fps) ×5台×50%＝9.3PB≒10PB 1週間での ﾃﾞｰﾀ量 14h×3600×5日×(1920×1200×12bit×60fps) ×5台×50%≒260TB／週 1週間の 稼働時間 24時間×4日＋数時間≒100時間 表 7 リアルタイム可逆圧縮性能検証の結果 RGBベイヤ画像での 可逆高速圧縮技術を開発し， 元画像の50%圧縮を実現 汎用ワークステーション レベルによる リアルタイム圧縮の実現 約131GBの走行映像データで圧 縮後43GB（約33%） アップロードWS(Xeon／2.6G) 約31GB走行映像データを176秒 （データ転送のみ） ⇒81秒（転送同時圧縮）3%弱の オーバーヘッド転送完了 (6) ワークステーション・サーバー サーバーと接続して使用するワークステーショ (3) 大容量 NAS ンとして，多数の演算コアを備え処理を分散させ 3 種類（データアップロード，テープ書込み， タグ付け）のオペレーションを並列処理するため ることで大量の走行映像データに対する処理能力 を備える． に，データアップロード処理やテープ書込み処理 表 8 の検討結果から，タグ付け対象物の増加を および海外データ処理や寒冷地データ処理等を考 考慮し，処理必要コア数の 33 コアの 50%余裕を 慮し， ワークエリアとしては 600TB を用意する． 見て 50 コアと設定した． また，収集した自動タグ付け作業やデータ検索 表 8 ワークステーション・サーバー性能の設計 作業，車両情報や測距レーザレーダー等およびタ ﾌﾚｰﾑ数 グ情報管理等のワークエリアを配置する事で総計 1P（Peta）B のデータ容量と算定した． (4) 超大容量データストレージ 走行映像データの本体を格納するストレージと して自動テープ搬送機付きの総データ量 10PB 大 容量テープストレージを採用した． 表 6 に示すように総走行時間である約 5000 時 JARI Research Journal 14時間×3600×5日×2台×600fps×10%÷6≒500,000 処理時間 12μS(HOG＋SVM)×100,000回×20辞書＝24秒 必要ｺｱ数 500,000×24秒／(100時間×3600秒) コア ≒33 (7) 走行映像データベースプラットフォームの実証 データ取得計画（基本要件）に基づき走行映像 データベースのプラットフォームを構築し，デー タ収集車両で収集した走行映像データを用いて， － 5 － (2015.9) データのアップロード，テープへの格納，取り出 つかの走行映像シミュレーションを効率的に実現 し，遠隔地からのアクセス性能，設備の消費電力 するため走行映像データベース評価方式の技術を を一連の作業を通じて設備性能の性能検証を実施 開発する． 運転支援システム等に用いている周辺認識アル した． 表 9 に示す開発目標である大容量を実現，アッ ゴリズムの方式調査を行い，周辺認識アルゴリズ プロードやテープ記録性能および維持コストの低 ムを PC 等で動作可能な評価ツールとするための 減に関して仕様を達成した． 検討を行う．また，高解像度カメラで収集した走 行映像データベースのタグ情報（正解値）の認識 表 9 走行映像データベースの実証結果 目標 率と従来方式の認識率との比較を定量的に評価す 成果 大容量実現 ・1PB NAS ・10PB テープアーカイブ EMC 社 Isilon NL400×10 台 IBM 社 TS3500 にて， 目標容量を満足 処理性能 ・アップロード 260TB／週 ・テープ記録 260TB／週 100 時間/週の稼働換算で ・アップロード 328TB／週 ・テープ記録 216TB／週 従来型サーバに比べ ・消費電力 1/5 ・コスト 1/2 試行時の実測からの換算で ・消費電力 約 1／8.4 ・コスト 約 1／2.6 るための走行映像シミュレーションの要件を整理 する（図 9）． 3.5 検索用データベースの技術開発 検索用データベースは， 収集された撮像データ， 図 9 評価手法の開発 イメージ図 走行データやタグ情報を用いて， 走行シーン別 （沿 道環境別，時間別，季節別等）に効率的な走行映 4. まとめと今後の課題 像シミュレーションを実施する際の環境を提供す るものである． 本稿では「走行映像データの収集」 ，「走行映像 データへのタグ付け技術の開発および実証」につ 周辺認識環境走行データとして収集された映像 いて，2014 年度の開発目標であった車両開発と 以外の情報から効率的な検索を実現する技術を開 走行映像データベースプラットフォームの構築を 発するため，データ量から物理データモデルに変 達成した． 換するプログラムの開発およびサンプルデータに 2015 年度以降，立案した国内外の走行計画に従 よる検索性能検証による物理データモデルの妥当 い走行映像データの収集，自動タグ付けツールの 性を検証した（図 8） ． 開発を行い，これらを使った運用を開始する． 同時に走行映像データベースの評価手法の開発 を行い，研究成果の一部を周辺環境認識技術に知 見を有した研究開発機関等や本研究開発の協力者 を対象に提供できるよう推進する． 参考文献 1) 内閣府：戦略的イノベーション創造プログラムHP http://www8.cao.go.jp/cstp/gaiyo/sip/（2015.8.28） 2) SIP（戦略的イノベーション創造プログラム）自動走行 図 8 検索用データベース機能イメージ システム研究開発計画 2014年11月13日， 内閣府HP， http://www8.cao.go.jp/cstp/gaiyo/sip/keikaku/6_jidous 3.6 評価手法の開発 oukou.pdf（2015.8.28） 走行映像データ収集結果の一部を用いて，いく JARI Research Journal － 6 － (2015.9)
© Copyright 2024 ExpyDoc
