Document

地理空間ビックデータの管理とデータ配信の
課題
(Addressing Geospatial BIG Data Management and Distribution
Challenges)
CHONG Kwong Ki
2015年４月２９日
ビックデータとは？
2
データは決して眠らない
• 様々な組織が日々様々なソースから増
えていく情報とデータを活用すべく、格
闘しています。ビッグデータの特徴とし
て以下の３つのVがあります。
• ３つのVモデル
• Volume （量）
• Velocity （速さ）
• Variety （多様性）
• 地理空間の世界でも“ビックデータ”
は身近な存在になってきています
3
データの大洪水
地理空間データのボリューム
がこれまでにないスピードで増
加しています。
4
データの大洪水
より高解像度、より広範囲、
より高頻度
5
データの大洪水
新しいデータソース
6
データ管理の需要
地理空間情報の経済的価値は２０２０年までに
７000億ドルになります。 (McKinsey Global Institute)
Economic value of geospatial data could reach
$700 billion/year by 2020 (McKinsey Global Institute)
7
地理空間ビックデータへの挑戦
• データ量
• 大部分の非構造化データ及び多数のファイルは管理される必要がある
• ストレージは大量データを保存するために急激に増やしていかねばならない
• 高速高性能のデータ配信の為に、多くの場合そのデータを複製しなければな
らない
• アップデートの管理は複製を作ることにもなり、より困難な挑戦である
• 異なる受信データソース
• 正式なデータセットとして追加する為にデータを検証する必要がある
• データを正式なデータとして、公開し、発見しやすくするため、データのメタデー
タを作成しなければならない
• ユーザーへのデータ接続
• ユーザーは地理空間コンテキスト内で全てのデータを検索できる必要がある
8
地理空間ビックデータの挑戦 (2)
• 異なるGIS環境に提供
• 多種多様なアプリケーションやプラットフォーム:デスクトップ、ウェブ、モバイル
などへデータの配信やアクセスができる必要がある
• 相互運用性は重要な要素である
• 組織間での高いセキュリティとシームレスなアクセス
•
•
9
高いセキュリティ、カスタマイズ、拡張性、信頼性などが求められる
地理空間情報の資産の公開の際に法的要件を全て遵守する必要がある
公官庁-
第一次産業–
国土地理院、地方自
治体
農業、森林、鉱物資
源
保安 & セキュリティ警察、防衛、諜報、
危機管理、国防
インフラ –
公益協会
交通、ユーティリ
ティー、通信
/ 多数の画像を保有
する組織
私たちのビックデータ戦略
10
データ圧縮
11
データ管理
データ圧縮
12
データ圧縮: Enhanced Wavelet Compression (ECW)
エンコード速度
データ管理の
削減
デコード速度
ユーザーパフォー
マンスの向上
The Power
of ECW
13
画像クオリ
ティー
データストレージ
の削減
ファイルサイズ
時間の節約
データ管理
14
ビジネスニーズ
管理
組織
15
公開
検索
アクセス
エンドユーザー
The Power Portfolio
16
管理する”Power”
17
ERDAS APOLLOとは?
総合的なデータ管理、解析、配信シス
テム。大容量データの高速な画像配信
を可能にし、効率的なデータの管理、カ
タログ化、検索、抽出、分析処理、セ
キュリティー設定が可能なサーバ製
品。
18
19
主な機能
データ管理: パワフルなカタログ
•
•
•
充実した、地理空間メタデータを集中管理
全てをカタログ: ラスター, ベクター, 地形, LAS, デジタルデータ (pdf, mov, doc, jpeg, etc.)
スケジュールを設定し自動でデータとメタデータの登録を行う
データ検索: 使用したいデータを検索する
•
•
高度な検索
リッチなメタデータ
データアクセス: 様々な配信形態と、ハイパフォーマンス
•
•
•
20
様々なデータ配信フォーマットがWebサービスで提供
• OGC サービス
•
タイル配信
•
ダウンロード
•
ストリーミング
業界内最速画像配信 (ベンチマーク)
少ないハードウェア条件
相互運用性と互換性
様々な地理空間データフォーマットをサポート:
GDALとERDAS IMAGINE ラスターフォーマットライブラリー
OGC と ISO スタンダードの準拠
すべてのOGCとISO準拠のサービスとの統合
IT環境に容易に統合
マイクロソフトとのシームレスセキュリティー
21
© ERDAS, Inc. A Hexagon Company. All Rights Reserved
カタログ及び登録のためのウィザードベース・ワークフロー
• フォルダの指定
• スケジュールの設定
• サービスの選択
• セキュリティの設定
22
データ解析 – サーバサイドのジオプロセッシング
• デスクトップ
• Spatial Model Editorで空間モデルを作成
• ERDAS APOLLO
• ERDAS IMAGINE から ERDAS APOLLOにモデルを登録
• ERDAS APOLLO上でOGC Web Processing Service (WPS)と
してモデルを実行可能
• オンデマンドで付加価値のある結果を生成可能
23
ERDAS APOLLO 2015
あなたのもつ全てのデータをひとつのカタロ
グで管理します
24
点群データのカタログ化とストリーミング
• LiDARデータ管理が更に便利に！企業にある大量のLiDARデータの管理を目的
としている
• 大容量の点群データのカタログ化及び管理を行い、インターネットを介してエンド
25 ユーザのアプリケーションにストリーミングすることができる
点群データ・ストリーミングのデモ
26
Geoタグ付き画像ファイルのカタログ化
• Geoタグ付き画像ファイルの管理が可能に！UAVやカメラで取得したGeoタグ付
き画像からEXIFメタデータを抽出
• マップビューに画像のシンボルを正しい位置に配置可能
27
Geospatial Portal – 追加設定なしで
使えるパワフルなウェブクライアント
• APOLLOカタログの閲覧・検索
• マップ上に表示
• ウェブサービスリンクへの接続
28
• ダウンロード及び切り出し・圧縮・ダウン
ロードURLのEmail送信
• ジオプロセッシング
2D マップ
29
3D マップ
2D/3D ウェブベースでのエンタープライズデータへのアクセスと洗練された解析
30
インタラクティブな影の解析
31
3D 計測
32
ERDAS APOLLO ワークフロー
データ管理
カタログセキュリティ
サービススタイル
ラスター
(TIFF, JPG200, etc..)
OGC
デジタル
(PDF, WMV, DOC)
3rd パーティ
OGC サービス
LiDAR
ベクター
(Oracle, FGDB, GML)
ERDAS
APOLLO
カタログ化
とサーバー
解析
Tile
Cache
ECWP
可視化
File
WFS-T
フィーチャ編集・更新
33
空間モデル: WPS
ケーススタディ: RWE Deutschland
ドイツにおける数百万もの地理基盤データファイルの管理
主な概要
38 Tb
370,000
画像サイズ
画像ファイル数
RWE Deutschland AG, ヨ
ーロッパでのユーティリ
ティ産業のリーディング
カンパニー
一枚のECW
ファイルとして圧縮
35
ドイツの国土全体の地理
空間データ(20m GSD)の
編成及び管理
70,000
従業員数
985 Gb ECW
画像
ビッグデータを小さく！
世界で最も大きい地理空間
画像?
ドイツをカバーする一枚の航空画
像 @ 20cm GSD
3,210,000 px by 4,340,000px
ビッグデータを小さく！
38,000gb 非圧縮
50,000gb 画像ピラミッド付
875gb ECW 圧縮
370,000 ソースファイル
1 ECW ファイル
36
圧縮
非圧縮オリジナル & ピラミッド画像
1300 Gb
非圧縮オリジナル
画像
1000 Gb
数値的にロスのない
圧縮
ECW 画像圧縮:
• 簡単なストレージの節約
• より高速なパフォーマンス
• フルビジュアルの品質
400 Gb
ECW 視覚的ロスのない
圧縮
50Gb
37
ECW - 圧縮およびシンプルさ
今までの
アプローチ
生画像
+画像タイル
+タイルピラミッド
+モザイク・オーバビュー
38
+タイルキャッシュ
Intergraph
ECW
生画像
+1 ECW モザイク画像
効率のよい処理およびシンプ
ルなデータ構造:
• 管理がより容易に！
• 時間の節約
• 真のシングル・ソース
• 全てのソフトウェアクライア
ントへ配信するためのたっ
たひとつのフォーマット
タイルキャッシュ – 実行例 (ストレージ)
level 19
キャッシュ
画像サイズ
39
タイルキャッシュ level 19
タイルキャッシュ level 18
ピラミッド付
非圧縮
38Tb
タイルキャッシュ level 17
71Tb
+
116
level 18
キャッシュ
ECW
0.85Tb
level 17
キャッシュ
ピラミッド
+7
+29
ECW
7
生成するまでにかかる日数
ストレージコスト – タイルキャッシュ & ピラミッド vs. ECW
$ 6,200
… ＋タイルキャッシュ 19 levels
$ 4,700
… +タイルキャッシュ 17 levels
ピラミッド付オリジナル画像
$ 4,600
• Amazon S3 クラウドストレージコスト
比較例
• ECW使用でコストが98% 削減
• ひと月あたり$4.6k以上の節約
• 年間で$73kの節約
ECW
$ 82
ひと月あたりのコスト（＄）
40
Data generated using the Amazon S3 Cloud Calculator
Hexagon Geospatialの提供する付加価値
ITコストの削減及び
オペレーションの
効率改善
一つのインタラク
ティブなGIS環境内
データへの接続
拡張された地理空間
データに対する
相互運用性
41
柔軟なデータ配信
一つの統一された情
報ソースと全ての
データへの
一つの入口
42

Download Report