2. SoilPlus 規模オプションの並列計算法 - engineering

Soil Plus 耐震解析セミナー 2015
⼤規模解析のベンチーマーク
ITOCHU Techno‐Solutions Corporation 伊藤忠テクノソリューションズ（株）
科学システム事業部
科学・⼯学技術部
清⽔恒⼦
事例紹介
⼤規模解析のベンチーマーク
1. 背景
2. SoilPlus⼤規模オプションの並列計算⼿法
3. 解析ベンチマーク
4. 開発中の並列計算⼿法によるテスト
2
1. 背景
●⼤規模問題、⾼速化に対する要望の拡⼤
（1）構造モデルの精緻化（シェル、ソリッド化）
（2）地盤モデルの精緻化（３次元的な地層構成）
（3）地盤・構造・機器の連成解析（丸ごと解析）
（4）⻑継続時間の地震動に対する検討（100秒、0.001秒で10万ステップ）
3
2. SoilPlus⼤規模オプションの並列計算⼿法
並列計算機能のご紹介
●周波数応答解析の並列計算
●反復法ソルバー（領域分割）による並列計算
●直接法ソルバー（共有メモリ型）による並列計算
●直接法ソルバー（共有メモリ型、領域分割）による並列計算
※開発中の機能
4
2. SoilPlus⼤規模オプションの並列計算⼿法
●周波数応答解析の並列計算
→ 周波数領域の分割による並列計算（伝達関数の計算）
→ 解析⼿法はマルチフロント法、Left-right Looking法が対応
メリット
・並列効率が⾼い（特に伝達関数を求めるまでの周波数領域の解析）
伝達関数から時間領域へのリカバーについても並列処理を実施
（周波数領域の処理よりは並列効果は低い）
デメリット
・使⽤するメモリ容量も単純に線形倍で必要になるため、
効率アップのためには⼤容量メモリが必要になる（環境⾯でのコスト⾼）
5
2. SoilPlus⼤規模オプションの並列計算⼿法
●反復法ソルバー（領域分割）による並列計算
→ 前処理でモデルの空間領域を分割
→ 反復法ソルバーを⽤いて計算を⾏う
（各領域のモデルが⼩さくなるので1ステップあたりの計算時間が短縮）
→ 反復ごとに各領域間の⼒の釣合いをチェック
（収束性によって計算時間が変わるため場合によっては遅くなる）
メリット
・使⽤メモリが少ない
・地盤のようなソリッドモデルであれば通常は⾼速化が期待できる
・接線剛性法による⾮線形解析では、
直接ソルバーと⽐べて計算時間の短縮が期待できる
デメリット
・領域分割の前処理が必要となる
・分割領域間で収束計算を⾏うため収束性の確認が必要となる
・シェルやビーム要素を使⽤するモデルなど条件数※が⼤きい場合、
収束性が悪化する恐れがある
※条件数：最⼤固有値と最⼩固有値の⽐
6
2. SoilPlus⼤規模オプションの並列計算⼿法
●直接法ソルバー（共有メモリ型）による並列計算
→ 直接法ソルバーの計算処理をスレッドで並列処理を⾏う
→ 解析⼿法はLeft-right Looking法が対応
メリット
・シェルやビーム要素などに関わらず安定的に計算速度向上が期待できる
・⾮線形解析の安定性がシリアル計算と同様のレベル
デメリット
・連⽴⽅程式を計算する以外の処理、
例えば応⼒計算など要素レベルの処理については並列ができていないため、
⾮線形要素数が多い場合などは効率が落ちる
7
2. SoilPlus⼤規模オプションの並列計算⼿法
●直接法ソルバー（共有メモリ型、領域分割）による並列計算（開発中）
→ 領域分割のメリットと直接法ソルバーのメリットを両⽅とも維持
→ 解析⼿法はLeft-right Looking法が対応
メリット
・反復ソルバーを使⽤の領域分割法に対して計算安定性が向上
ビームやシェル要素を使⽤のモデルについても対応可能
・領域分割なしの直接ソルバーによる並列計算に対して並列率が⾼い
デメリット
・領域分割の前処理が必要
・共有メモリ型の計算環境が必要
8
2. SoilPlus⼤規模オプションの並列計算⼿法
●まとめ
計算⼿法
並列効率/
計算速度
計算
安定性
前処理
メモリ
容量
周波数応答解析
◎
◎
なし
×
反復法ソルバー
（領域分割）
◎
△
あり
◎
直接法ソルバー
（共有メモリ型）
△
◎
なし
○
直接法ソルバー
（共有メモリ型、
領域分割）
○
◎
あり
○
9
3. 解析ベンチマーク
●解析モデル
400m
地盤1
(⾮線形、GHE-S)
節点数 1,272,531
Vs = 100 m/s
要素数 1,265,000
400m
使⽤環境
60m
地盤2 (線形)
Vs = 400 m/s
底⾯：粘性境界
側⾯：⽔平ローラー
OS：Windows 7 Professional
CPU： Xeon(R) E5-2665
2.4GHz (8コア×2)
実装メモリ：128 GB
解析条件
地震波：鉄道標準レベル2
スペクトルII G1地盤
解析時間：20秒（4000ステップ）
並列数：10コア
10
3. 解析ベンチマーク
●応答結果
●計算速度
解析⼿法：DDM法
(反復法ソルバー）
並列数：10コア
計算時間：約38時間
並列機能を⽤いることにより、
120万節点、4000stepの
⾮線形動的解析が
実⽤的な計算時間で対応可能。
（注意）
プリポストからのデータ作成は
60万節点レベルまでの対応
XZ⽅向せん断ひずみコンター図
11
3. 解析ベンチマーク
※ＤＤＭ法はモデル規模が⼩さくなると並列効率は落ちる
●並列化による計算効率
下記の検証は、120万節点規模のモデルに対する結果
0.020
1.0
0.8
0.7
0.6
0.5
DDM
0.4
LR
0.3
0.2
0.1
0.0
所要時間/所要時間LR 1core
所要時間/所要時間LR 1core
0.9
0.015
0.010
DDM
0.005
0.000
1 2 3 4 5 6 7 8 9 10 11 12
1 2 3 4 5 6 7 8 9 10111213
core数
core数
12
4. 開発中の並列計算⼿法によるテスト
●テスト解析モデル
2000.0
1500.0
1000.0
加速度Gal
500.0
0.0
‐500.0
‐1000.0
‐1500.0
‐2000.0
A03
0.0
10.0
20.0
30.0
40.0
50.0
60.0
70.0
80.0
時間 sec
⼊⼒加速度履歴（1850Gal）
S043
A03：加速度履歴
特性
呼び径
外径 [mm]
⾁厚 [mm]
単位質量 [m]
材料
減⾁条件
内圧 [MPa]
エルボ回転半径 [mm]
値
100A、sch80
114.3
8.6
22.4
⾼温配管⽤炭素鋼鋼管 STPT370
減⾁なし（健全）
10 （⽔圧による負荷）
152.4
S043（エルボ脇部）：ひずみ履歴
参考⽂献：1.岩⽥：M&M2011カンファレンス講演論⽂集, 機械学会，2011
2.中村ほか：防災科学技術研究所研究資料第220号, 2001
13
4. 開発中の並列計算⼿法によるテスト
解析⼿法：⼤変形弾塑性動的解析
250
直接法ソルバー（共有メモリ型、領域分割）を使⽤
②並列率が⾼い。
③連⽴⼀次⽅程式を解く時間より、応⼒計算など
要素レベルの処理時間の割合が⼤きい⾮線形解
析に効果的。
200
計算時間(h)
①直接ソルバと同様の収束性と安定性。
220
150
100
30
50
0
1
検証モデルでは強⾮線形の弾塑性構成則を使⽤
8
コア数
しているため特に並列効果が⾼い
解析モデル
・要素数：シェル 10,422
・節点数： 10,432
・⾃由度数： 52,728
・ステップ数： 8,000
ビーム80
計算マシンのスペック
・CPU： Xeon(R) E5-2690v2×2
(10コア×2)
・ﾒﾓﾘｰ： 96.0GB
・OS： Windows Server 2012 Standard
(64bit)
14

Download Report