大規模・動的Ｇ空間データの 高速リアルタイム処理技術について 平成27年1月27日 株式会社 日立製作所 社会イノベーション・プロジェクト本部 パートナー協創プロジェクト本部 菅原 敏 １-１．研究概要 将来、Ｇ空間プラットフォームで動的なＧ空間データをリアルタイムに取り扱うため、 日立は要素技術である下記の研究開発に取り組んでいる* 。 研究課題ア） 移動G空間センサが生成する大規模ストリーム G空間データのリアルタイム処理技術 研究課題イ） 大規模G空間デ タベ スからの高速時空間 大規模G空間データベースからの高速時空間 検索技術 *研究開発と並行して、Ｇ空間プラットフォームで本研究 開発成果の一部を実装した機能検証実験を準備中。 出典： 総務省殿G空間×ICT推進会議 （第六回会合）配付資料 © Hitachi, Ltd. 2015. All rights reserved. 1 １-１．研究概要 ■研究名称 総務省殿委託事業 ｢G空間プラットフォームにおけるリアルタイム情報の利活用技術に関する研究開発｣ ■研究実施機関 （株）日立製作所（代表研究機関）、東京大学殿、KDDI殿、KDDI研究所殿 ■研究開発の背景 ○ スマートフォンやセンサネットワークが時々刻々と生成する大規模なG空間情報（動的G空間 情報）を利活用し、災害に強い社会の実現や新サービスの創出が期待されている。 ○ 大規模な動的G空間をリアルタイムで利活用するための技術基盤は開発されていない。 ■研究開発の成果目標 ○ 移動しながらG空間データを送信するセンサ（移動G空間センサ）や、特定の観測地点或いは 観測地域のG空間データを送信するセンサ（固定G空間センサ）から、逐次的に収集される 大規模なG空間データ（ストリームG空間データ）のリアルタイム処理や蓄積を可能とする基盤 技術の確立。 ○ シミュレーションや過去の災害で観測された大規模なG空間データを蓄積したデータベースを 用いて類似災害の検索や分析を可能とする基盤技術の確立。 ○ 実際の防災関係システムに同技術を適用した実証実験による性能評価、及び実運用に向けた 技術的課題の明確化。 ■研究期間 平成26年（2014年）7月∼平成28年（2016年）3月 © Hitachi, Ltd. 2015. All rights reserved. 2 ２-１. 研究課題ア)の概要 ア）移動G空間センサが生成する大規模ストリームG空間データのリアルタイム処理技術 研究概要 スマートフォンなど移動するG空間センサやレーダ等の固定されたG空間センサなどから次々送付 される大規模なG空間デ タを逐次処理し 人と災害の接近等の事象をリアルタイム検知する される大規模なG空間データを逐次処理し、人と災害の接近等の事象をリアルタイム検知する。 研究項目 ア） ‐１ １ 大規模ストリームG空間データの収集・配信に適した通信プロトコルの設計 大規模ストリ ムG空間デ タの収集 配信に適した通信プロト ルの設計 ア） ‐２ 大規模ストリームG空間データの処理技術の確立 研究方針 リアルタイム処理に適した通信プロトコルと、ストリームデータ処理基盤を用い逐次処理の技術を 開発することにより、リアルタイムな受配信を実現する。 G空間データベースサーバ 移動G空間センサ 固定G空間センサ ア） ‐１ １の 通信プロトコル ア リ アプリケーション †1 ア） ‐２ ２の ストリームG空間 データ処理 HADB†1 特に通知すべき事象を 特 通知す 事象を リアルタイム検知 HADB (Hitachi Advanced Data Binder プラットフォーム： 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的 社会サービスの実証・評価」(中心研究者喜連川 東大教授・国立情報学研究所所長)の成果を利用) © Hitachi, Ltd. 2015. All rights reserved. 3 ２-１-１. 研究課題ア)-１の基礎検証 ア）‐１ 大規模ストリームG空間データの収集・配信に適した通信プロトコルの設計 基礎検証 MQTT QoS0 †1の場合、受信スループットの要求性能を満たすことを確認 受信スループット[件/秒] 受信 プ [件/秒] 要求性能 3 333件／秒 3,333件／秒 (=200,000件／分) †1 MQTT (Message Queue Telemetry Transport) QoS (Quality of Service) © Hitachi, Ltd. 2015. All rights reserved. 4 ２-１-２. 研究課題ア)-２の基礎検証 ア）‐２ 大規模ストリームG空間データの処理技術 基礎検証 小規模・低密度データ適用 ・ 本手法の有効性を確認（従来比150倍のスループット） ・ 本手法のスループットは1,500件/秒で、更なる性能改善を実施中。 本手法のスル プ トは1 500件/秒で 更なる性能改善を実施中 スループット[処理件数/秒]（対数目盛表示） 目標：3,000件/秒 © Hitachi, Ltd. 2015. All rights reserved. 5 ２-２. 研究課題イ)の概要 イ）大規模G空間データベースからの高速時空間検索技術 研究概要 災害シミュレーションの結果などのグリッドデータおよび人の位置情報などのポイントデータを大量 に集積したデ タベ スに対し、種々の条件に対応した高速な検索機能を提供する。 に集積したデータベースに対し 種々の条件に対応した高速な検索機能を提供する。 研究項目 イ） ‐ １ 大規模グリッドデ 大規模グリッドデータの検索技術の確立 タの検索技術の確立 イ） ‐ ２ 大規模G空間データに対する結合検索技術の確立 研究方針 多数のHDD†1 を並列利用することで大規模なデータを高速に検索できるHADB†2の機能を活用し、 時刻、位置等に関する種々のニーズに対応するために、必要な２種類の高速検索機能を提供する。 災害発生時 の意思決定 自治体等担当者 断片的 災害状況から 今後の推移を 予測したい イ)-1のグリッド データ検索技術 地域ごとの 被災者数を 見積もりたい イ)-2 の 結合検索技術 †1 HDD (Hard Disk Drive: ハードディスクドライブ) †2 HADB (Hitachi Advanced Data Binder プラットフォーム： HADB†2 種々の発災条件での 災害シミュレーション の結果データ （時空間シナリオ） •データを複数のHDDに格納 •各HDD ††1で分担し同時に検索するので高速 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的 © Hitachi, Ltd. 2015. All rights reserved. 6 社会サービスの実証・評価」(中心研究者喜連川 東大教授・国立情報学研究所所長)の成果を利用) ２-２-１. 研究課題イ)-１の基礎検証 イ）‐１ 大規模グリッドデータの検索技術 基礎検証 小規模グリッドデータで検証 ■検証結果 ・本手法はグリッドデータを高速に検索できることを確認（従来比約190倍高速化）。 本手法はグリッドデ タを高速に検索できることを確認（従来比約190倍高速化） - 本手法は時間と位置の両方で効率的に絞込みが行えることを確認 グリッ デ タ 検索処理時間[秒]（対数目盛表示） グリッドデータの検索処理時間[秒]（対数目盛表示） ・グリッドデータ 50シナリオ 合計278,208,000件 ・計測データ 10地点 © Hitachi, Ltd. 2015. All rights reserved. 7 ２-２-１. 研究課題イ)-１の基礎検証 イ）‐１ 大規模グリッドデータの検索技術 基礎検証 小規模グリッドデータで検証 ■検証結果 ・従来手法では、計測データが100地点になると、処理時間が長い。 従来手法では 計測デ タが100地点になると 処理時間が長い ・本手法は、10秒程度で結果を返す。 グリッドデータの検索処理時間[秒]（対数目盛表示） 測定不能 測定不能 ・グリッドデータ 50シナリオ 合計278,208,000件 ・計測データ 100地点 © Hitachi, Ltd. 2015. All rights reserved. 8 ２-２-１. 研究課題イ)-１の基礎検証 イ）‐１ 大規模グリッドデータの検索技術 基礎検証 小規模グリッドデータで検証 ■検証結果 検証結果 ・本方式の時空間区画番号の振り方による大きな差異は見られず。 グリッドデータの検索処理時間[秒] ・グリッドデータ ・グリッドデ タ 50シナリオ： 278,208,000件 100シナリオ： 556,416,000件 200シナリオ： リ 1,112,832,000件 , , , 件 ・計測データ：100地点 グリッドデータのシナリオ数 グリッドデ タのシナリオ数 © Hitachi, Ltd. 2015. All rights reserved. 9 ２-２-２. 研究課題イ)-２の基礎検証 イ）‐２ 大規模G空間データに対する結合検索技術 基礎検証 小規模ポイントデータで検証 ■検証結果 ・本手法はグリッドデータを高速に検索できることを確認（従来比約780倍高速化）。 本手法はグリ ドデ タを高速に検索できることを確認（従来比約780倍高速化） - 本手法は時間と位置の両方で効率的に絞込みが行えることを確認 結合検索の処理時間[秒]（対数目盛表示） ポイントデータ：10件 従来比？倍高速化達成 目標：600秒（10分） 条件を書く、 今回この条件と違う 小規模、中規模、大規模 © Hitachi, Ltd. 2015. All rights reserved. 10 ２-２-２. 研究課題イ)-２の基礎検証 イ）‐２ 大規模G空間データに対する結合検索技術 基礎検証 小規模ポイントデータで検証 ■検証結果 検証結果 ・本方式の時空間区画番号の振り方による大きな差異は見られず 結合検索の処理時間[秒] ポイントデータの件数 © Hitachi, Ltd. 2015. All rights reserved. 11 END 大規模・動的Ｇ空間データの高速リアルタイム処理技術について 平成27年1月27日 株式会社 日立製作所 製作所 社会 社会イノベーション・プロジェクト本部 本部 パートナー協創プロジェクト本部 菅原 敏 [email protected] g 謝辞 本技術は、総務省の『G 空間プラットフォームにおけるリアルタイム情報の利活用技術に関する 研究開発』による委託を受けて実施した研究開発による成果です 研究開発』による委託を受けて実施した研究開発による成果です。 © Hitachi, Ltd. 2015. All rights reserved. 12
© Copyright 2024 ExpyDoc
