PowerPoint プレゼンテーション

ESG Workshop 2009
地震動の大規模シミュレーションに向けた課題
古村 孝志
東京大学 情報学環 総合防災情報研究センター/地震研究所
① 次世代スパコンによる大規模計算
② 短周期・高分解能シミュレーションに向けた課題
大規模計算の進展: http://www.top500.org
Next Generation
Supercomputer (2012-)
Earth
Simulator
(2002-)
【継続】計算機性能10年で1000倍
【継続】超並列計算(数十万コア)
【転換】ベクトル型からスカラー型へ
次世代スパコン: 超並列スカラー計算機
水冷式
CPU (8 core)
Fujitsu SPARC64 VIIIfx
128 GFLOPS
Memory DDR3
16 GB
Node
(4CPU, 32core)
次世代スパコン
>20,000 node
3D torus 結合
次世代スパコン: CPU高速化に伴うメモリ低速化
Cache Memory
わずか5 MB
2 Byte/FLOPS
RAM
アクセス速度
0.5 Byte/FLOPS
ES
8GFLOPS
CPU 8core
128 GFLOPS
CPU
ES2
102GFLOPS
4 B/F
2.5
B/F
RAM
8 GB
RAM
16 GB
ADB
(256KB)
ペタコン
128GFLOPS
Cache
(5MB)
0.5
B/F
RAM
16 GB
CPU高速化,マルチコアに伴う課題
・RAMの相対的速度低化
・スカラー、ベクトルCPU共通(ES2)
地震動計算の効率(ベクトルvsスカラーCPU)
Performance [GFLOPS]
(1) 演算速度
4.5
4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.0
(2) 並列計算効率
Vector CPU:
ES(8GFLOPS/PE)
Scalar CPU:
T2K(9.2GFLOPS/core)
T2Kスパコン(東大)
スカラー型
Model Size[MB]
注)ESの演算速度はES2計算より推定
・モデルサイズ大でキャッシュ溢れ
・FDM計算の実効性能は、理論の8%程度
【実効性能】
・T2Kは、ESの1/6程度
・6倍の並列化が必要
地震動シミュレーションコードのチューニング
(1) 計算手順の変更
並列計算効率
①  ②
 xx  xy
xz
ux 


 fx,
x
y
z
 ①
 yy  ③
xy
yz
uy 


 fy,
x
y
z
②
③
 xz  yz  zz
uz 


 fz.
x
y
z
実効性能比:
31.1%
同一変数の演算を一括実行
(データロード回数の節約)
(2) タイリング(未実施)
順番にアクセス
ブロック毎に
アクセス
3Dモデルをキャッシュサイズに分割、ループ処理を分割実行
実効性能比:
22.7%
実効性能比:
50%
高周波数シミュレーションに向けた
地下構造モデルの高度化
不均質地下構造のモデル化(現状,長周期モデル)
★代表的な速度値を選び、多層構造でモデル化
魚沼層(Vs=0.6)
灰爪層(Vs=1.3)
西山層(Vs=1.6)
寺泊層(Vs=2.2)
(モデル1) 多層モデル
屈折法、反射法(通常)解析
(モデル2) 高分解能モデル
トモグラフィ、反射法(高度)解析
小千谷周辺地下構造モデル
古村ほか(2006)
(モデル3) 超解像度モデル
ランダム・短波長不均質揺らぎ
平均速度
±揺らぎ
V(x,y,z)=V0+D(x,y,z)
分解能:10~40 km?
分解能: < km
短波長不均質構造の推定
1.高分解能3次元構造探査(トモグラフィなど)
(限界)観測点間隔 25 km 分解能>50km
速度揺らぎの
自己相関関数
50 km程度
2.深層ボーリングPS検層
(課題)
・検層ゾンデの解像度?、不確実さ(密着度)?
(限界)
・点推定、水平方向の広がりは?
・深度は数千メートル程度まで?
トモグラフィ
dVs/Vs
3.短周期(f>1Hz)地震動の散乱解析
(例)
・S波放射パターンの崩れ
・P波の3成分エネルギー分布
・その他、コーダ波形状を用いた研究(多数あり)
電中研・佐藤・ほか(2004)
短波長不均質構造分布の推定(1)S波放射パターン
★2000年鳥取県西部地震(Mw6.6, h=11km)
・K-net, KiK-net波形解析
【観測】
・SH波振幅の方位分布、理論分布との相関
★ SH波放射パターンの崩れ(>1Hz)
・周波数依存性、距離依存性
・伝播経路の短波長(<数km)不均質構造
PGA 0.125Hz
Takemura, Furumura and Saito (2009)
GJI
短波長不均質構造分布の推定(1)S波放射パターン
★短波長不均質構造の分布特性の推定
・観測とシミュレーション(3次元)の比較
・速度揺らぎの相関距離 a=5 km、標準偏差 e=7 %程度
(a) 揺らぎの強度
(b)揺らぎの相関距離
【計算】
Takemura, Furumura and Saito (2009), GJI
【計算】
短波長不均質構造分布の推定(2) P波エネルギー分布
★ P波のT成分への漏れ
・地殻内地震、MJ: 2.5-5
・Hi-net 速度計記録
・地域性
(a) 均質媒質
(b) 不均質媒質
【計算】
a = 5 km, e = 0.07, VK
【計算】
3Dシミュレーション
R
P
D=150km
T
Z
P
5 sec
均質
R
P
T
P
Z
P
D=150km
不均質
Takemura, Furumura and Saito (2009) AOGS大会
短波長不均質構造分布の推定(2) P波エネルギー分布
4-8 Hz
【計算】
【観測】
地殻 : a = 5km, e = 7 %
マントル: a = 10km, e = 4%
4-8 Hz
【計算】
【計算】
地殻・マントル共通 : a = 5km, e = 7 %
★P波のT成分のエネルギー分配(EP)
・距離依存性: D=150kmで急変
遠地ではマントル屈折波(Pn波)が観測
・周波数依存性: 高周波数ほどEP大きい
Takemura, Furumura and Saito (2009) AOGS大会
短波長不均質構造組み込みFDMシミュレーション(2D)
(1)成層モデル
北(島根)
256 km
南(足摺岬)
128 km
地殻
マントル
★不均質構造の導入の効果
・走時、表面波位相の改善
・高周波地震動のエンベロープ形状
(2)トモグラフィーモデル
(A) 低周波地震動( - 0.25 Hz)
【計算】
(B) 広帯域 地震動( - 2 Hz)
【計算】
115 km
(3)トモグラフィ+ランダム不均質モデル
地殻
マントル
【観測】
【観測】
地震動計算の高度化ー予測値+バラツキの評価
★2次元FDMモデル
・80 × 80 km, D=0.025km
・Vp=3.4km/s, Vs=1.5km/s
・等方S波震源
【計算】
予測値
+
バラツキ
標準偏差
★短波長ランダム不均質モデル
・a = 0.5 km, e= 005, VK型 (k = 0.5)
★震源断層破壊の不確定性、地下構造の不均質性
・数十モデルの計算、アンサンブル平均
・予測値を平均値と標準偏差で表現
地震動の大規模シミュレーションに向けた課題ーまとめ
(1)高速計算機向けコードの整備
■ メモリ速度の低下: キャッシュメモリの活用、コードチューニング
■ 超並列(数万並列)計算: コンパクトなFDM演算スキーム
■ 高精度・大タイムステップ計算: 計算の安定化、境界条件高度化
ES
ES2
8GFLOPS
102GFLOPS
4B/F
2.5
B/F
メモリ
メモリ
ADB
次世代スパ
コン
128GFLOPS
0.5
B/F
キャッシュ
地殻
マントル
メモリ
(2)高分解能地下構造モデルの整備
■ 高周波数地震動シミュレーション(f>1Hz)と地震波散乱
■ 短波長不均質構造のモデル化(統計的扱い)
■ 強震動予測のバラツキ評価
地震波伝播の大規模FDMシミュレーション(1)現状
並列計算効率
地球シミュレータ2
102.4 GFLOPS/CPU
実効性能: 31%
地球シミュレータ
8 GFLOPS/Core
実効性能: 50 %
★スカラー型計算機は実効性能低い(<10%)
・より大規模な並列計算(数万CPU)必要
・コードチューニング不可欠
(スカラー、ベクトルともに)
次世代スパコン(10 PFLOPS, 2012-)
スカラー型
T2K(東大)
9.2 GFLOPS/Core
実効性能: 8 %
地球シミュレータ2 (130 TFLOPS, 2009-)
ベクトル型
地震動計算精度の高度化: 吸収境界条件
前田・古村(2010)
• 境界からの人工反射が最も少ないPerfectly Matched Layer (PML)
法をベクトル計算機向きに実装
• 反射波を防ぐことで長時間の地震波動と地殻変動の高精度評価
が可能に
従来法
新手法
地震動計算精度の高度化:地表境界条件
Maeda andnd Furumura(2010)
従来法
新手法
• 地震動計算の地表(海底)境界条件を
安定に実現する大規模計算向きの新手
法を開発
• 水平動を含めた地殻変動が精密に再
現できるようになった
• 連動型地震で想定される地殻変動と津
波の高精度評価へ
解析解
水平動