サイエンティフィック・システム研究会科学技術分科会第１回会合資料固体地球プラットフォーム： GeoFEM GeoFEM ( 大規模並列シミュレーションプラットフォーム ) Mikio Iizuka （財）高度情報科学技術研究機構（ RIST RIST）） ˜ 要求されている講演のポイント n H P C の「新分野での利用事例」の話題として、アプリの狙い n 計算機の利用上の工夫点 (チューニングポイント等 ) ˜ ˜ ˜ ˜ ˜ ˜ ˜ IT の観点 -- 研究内容そのものが中心とした講演よりも、計算機の使い方の事例。 -- なぜその計算機なのか、なぜその方法なのかの意図。・工夫点 -- 計算機を途中で変えた場合( 合 ( 例 : VPP500 VPP500--- >VPP800) の工夫点や印象 -- 運用で解決できる点と、マシン等に依存しなければならない点 -- チューニング、利用面での工夫点他 n 将来展開(計算機側への要求要件等 ) n 成果の普及。 1 ˜ 本日の講演では、 GeoFEMの特徴である以下の点に注目 n 並列プラトフォームを通して、並列計算機を容易に、有効に利用する ˜ GeoFEMは、洗練された並列計算のためのデータ構造をベースに、並列処理をソルバー部に全て集約させる（そして、ソルバーを並列プラトフォームの組み込む）ことで、解析プログラムの開発者が、並列計算を意識することなく、並列有限要素法の解析プログラムを開発できることを可能にしました。（ GeoFEMセミナーちらしより） Parallel sub Plate Plate Mantle solver system model model model A B C Parallel visualize sub system Parallel ParallelSolid SolidEarth Earth Platform Platform GeoFEM 並列プラットフォーム概要 ˜ はじめに ˜ 固体地球プラットフォームとは ˜ システム全体の統合化技術 ˜ GeoFEMにおける大規模シミュレーション技術 n 並列計算、ベクトル計算 ˜ マルチスケール解析のための連成解析技術 ˜大規模可視化技術 ˜ 研究開発成果の普及と海外研究協力 ˜ おわりに（将来展開） 2 はじめに □ 地球変動現象の解明・予測（環境問題, 自然災害): 国民生活の安全確保・人類社会の持続的発展： “大規模・高精度シミュレーション” □ 情報科学技術の高度化: “ 並列スーパーコンピュータ, シミュレーションソフトウェア開発” 高精度の地球変動予測のための並列ソフトウェア開発（科学技術振興調整費総合研究平成１０年度∼５年間）（中核機関：ＲＩＳＴ）地球温暖 /エルニーニョ気象災害予測高精度気象予測仮想地球超長期地球変動地震予測シミュレーション災害予測地球シミュレーター高度な並列ソフトウェア群高度な並列ソフトウェア群地球ダイナモ全球海洋大循環モデル台風オイルスピル非静力モデル領域局域マントル対流日本列島域の地殻活動全球全球領域地震発生過程地球流体フレームワーク風神強震動伝播局域固体地球プラットフォームＧｅｏＦＥＭモデルモデルダウンバースト並列I / O 大気海洋大学国研地球科学ＲＩＳＴ融合情報技術並列線形ソルバ並列可視化固体地球情報側リーダー：矢川教授（東大）ＧｅｏＦＥＭリーダー：矢川教授、奥田助教授（東大）固体地球プラットフォームとは 1 固体地球プラットフォーム開発の背景 ˜ 過去の固体地球科学研究 n 部分的、ケースバイケースのモデル、理想化されたモデル n 各スケール・各モデルは個別の研究者・研究グループにより独立に研究 ˜ 固体地球：広い時空間スケールに渡る多様な物理現象が連成する大規模で複雑なシステム Plate model A n 近年、断層の破壊モデル等の物理モデル研究が急速に進展 n 計算機シミュレーションによる研究が急速に発展している n 地球全体を１つのシステムとして取り扱 × × × わなければ、固体地球科学の進歩はあり得ないという認識が広がりつつある n 多様な物理要素モデルとその連成シュミュレーションが急速に重要となっている Plate model B Mantle model C ˜ 様々なモデルを試行錯誤的に取り入れてシミュレーション n 確定していないモデルも多い ˜ 固体地球の要素モデルで使用されている解析手法は有限要素法、差分法等多様 n 要素モデル・解析手法を個別に並列化するためには多大な労力 ˜ １つの現象だけでも地球シミュレータ相当、またはそれ以上の演算能力を必要としているものもある n 超並列計算機を利用することは必須 ˜ 膨大な量の観測データが利用される n 近年の観測技術の進歩により G P Sデータ、トモグラフィーデータのよう観測データが爆発的に増加 ˜ 大規模な解析からは Tera バイト級の膨大な量の解析結果データが生成される 4 固体地球プラットフォームの構築方針 ˜ 大規模なデータを扱い大規模・複雑解析を可能とするシミュレーションシステムを構築する、超並列計算機を容易に、効率的に扱えるようにする ˜ 共通基盤的機能を１つのプラットフォームすなわち、固体地球プラットフォームに統合 n 並列 I/O I/O・・並列線形ソルバーサブシステム・並列可視化サブシステム n 様々なモデルを試行錯誤的に取り入れ連成させるための、プラグインインターフェース・カップラー ˜ 固体地球プラットフォームを通して、固体地球科学研究者が研究開発する多様なモデルをまた地球シミュレータ等の多様な超並列計算機を扱う GeoFEMから固体地球プラットフォームへ ˜ 固体地球の要素モデルは多様な解析手法が用いられている ˜ 第1ステップとして並列有限要素法を対象に大規模シミュレーションプラットフォーム（並列有限要素法プラットフォーム）の研究開発を実施 n 有限要素法は、以下の特徴を有する ˜ ˜ ˜ 複雑形状の取り扱いに適している局所的な処理が中心のため並列化が容易である複雑な構成式，物理モデルなどの適用が容易である ˜ 次ステップにその拡張として、他の解析手法を対象とした研究開発を実施 ˜ 本講演では、主に並列有限要素法プラットフォームに関して述べる。（以下、 GeoFEMとは、並列有限要素法プラットフォームのことである。） 5 開発工程 Tiger 多目的の汎用的な並列有限要素コードを目指す（ 1997∼1998） - High Performance FE Parallel Platform Parallel I/O, Solvers,Visualization Analysis modules(Fluid, Solid, Wave) - Pluggable Design Snake 固体地球解析を目指す（ 1999∼2001） - 100M ∼10G DOF Problems - Multi - level Approaches Solvers - Multi - module Couplers - Optimized Solid Earth Simulation on “G S 4 0 ” 固体地球科学と固体地球プラットフォーム □ 固体地球は大規模・複雑システム局域日本列島領域千年∼一万年全球数秒∼数分百万年∼一億年コア対流プレート運動日本列島域の地殻変動プレート形状プレート応力蓄積データ同化３次元不均質場・複雑断層系での地震発生過程地震波動モデルモデルモデルプレート運動モデルモデルマントル対流モデルモデルモデル多種多様なモデルを統合してシミュレーションモデルの検証・高度化、固体地球システムの解明 □ 固体地球プラットフォーム（並列有限要素法プラットフォーム GeoFEMの拡張）モデルモデルプラグインシステム並列連成システム並列 I/O 並列ソルバー並列可視化地球シミュレータ 6 開発メンバー http://[email protected] 矢川元基（東大 /Leader）奥田洋司（東大 / C o -L e a d e r / t h e r m a l - fluid）飯塚幹夫（ R I S T / s t r u c t u r e）柄谷和輝（ CRC, R I S T / s t r u c t u r e） G. P r a b h a k a r（RIST/structure）関田大吾（ MRI / system integration, coupler）竹島由里子（お茶大 / visualization）陳莉（RIST/visualization）中島研吾（ RIST/linear solver, optimization）藤代一成（お茶大 /visualization）松井宏晃（ RIST/thermal- fluid) 南一生（ RIST/linear solver, optimization）和田義孝（ RIST/pre&post - processing）中村壽（ RIST/administration）丸茂彩（ RIST/administration）お茶大，東大，横浜国大大学院生スタッフ江連真一，櫛田慶幸，鈴木靖子，永田雅喜，中村浩子システム全体の統合化技術 ˜ GeoFEM n 並列有限要素法解析のシミュレーションプラットフォーム ˜ 解析モジュールを組み込み、統合化された並列有限要素法シミュレーションシステムを構築するための基盤 ˜ ここでは、以下について説明 GeoFEMのシステム構成 n 統合化技術の基本であるプラグイン技術について説明 n 7 GeoFEMのシステム構成 GeoFEM のシステム構成ユーティリティ入力データ処理解析サブシステム固体地球分野の諸要素モデルをプラグイン地震サ構造計算（Static イクルの準静的 linear 解析）構造計算（Dynamic 地震構造計算（波linear 動伝）播解析 Contact）プラットパーティショナ入力データ読込 I/F ソルバ I/F フォーム可視化 I/F プラグインイン並列連成サブシステム並列計算用メッシュデータターフェースプラットフォーム（並列に関することはプラットフォームに集約）並列線形ソルバ可視化サブ I/O サブシステムシステム可視化データビューワ超並列計算機を活用前処理付き反復法を用いた並列線形ソルバをサポート GeoFEMでは、プラグインによりプラットフォームを通して、並列計算機を使う ˜ G e o F E Mでのプラグインとは/ 作業面から見てユーザーの解析コードの入出力部分を，プラットフォームとユーザーの解析コードの入分を，プラットフォームとの接続界面である API （Application Program Interface） Interface）に合わせて変更し，し，geoutil の既定ルーチンを呼び出すことにより，プラットフォームのサービス（データの読込み，可視化器へのプラットフォームのサービス（データの読込み，可視化器へのデータ転送等）が受けられるようにすること。 n 線形ソルバの呼び出し部分をソルバサブシステムの API APIにに合わせて変更し，並列線形ソルバを使える並列線形ソルバを使えるようにすること。ようにすること。 n 8 プラグイン作業 GeoFEM の世界ユーザの解析プログラムデータ入力線形ソルバデータ出力 GeoFEMﾒｯｼｭﾃﾞｰﾀフォーマットへの変換解析モジュール領域分割入力 I/F 並列 I/O プリプロセッサポストプロセッサソルバ I/F 線形ソルバサブシステム可視化 I/F 可視化サブシステム GPP view 2 次元熱伝導 F E M 解析プログラムのプラグイン例 ˜ F E M 演習用コード,定常熱伝導問題 , フルマトリックス，直接法ソルバ ˜ 2次元 3節点三角形要素 ,境界条件は規定温度，熱流束，発熱 ˜ F o r t r a n -7 7， c o m m o n 文作業量（４日）プラグインされたプログラムの規模割合行数 (1) ユーザー（オリジナル）プログラム 27.86% 534 （２）制御部プログラム 12,21% 234 （３）入力データインターフェースプログラム 16.01% 307 （４）ソルバ処理インターフェースプログラム 33.33% 639 （５）可視化部インターフェースプログラム 10.39% 203 （＊）プラ合計グイン作業量 100.00% 1917 （１）オリジナルのプログラムに比べ，かなりソースコードの増加有り。しかし，オリジナルのプログラムは，教育用であり，かなりシンプル。（２）メッシュ，制御データの読み込み，ポストへの出力，ソルバの結合には，通常この程度の行数は普通。（３）プラグインという言葉のイメージからくる作業の量にしては，多いと思われる人もいるでしょう。（４）しかし，プラグイン作業により，解析モジュールの並列化が可能であり，飛躍的な並列化作業の簡素化になっている。 9 ˜ 効果面から見て（どんな嬉しいことがあるのか？）自分で解析コードの並列化をしたら，領域分割手法に基づいても，領域分割はどうする，通信テーブルはどう作る，解析モジュールのどこをどう並列化するのか，並列の入出力はどうする，可視化はどうすると…ほとんど絶望的な状況に陥る。つまり，非常に面倒である。 n GeoFEMでは，入出力とソルバに関するプラットフォームのAPI に合わせて，シリアルなユーザの解析プログラムを変更すれば，並列化ができる（PLUG & Parallel Play）。 n しかも，すでにプラグインされた構造，流体の解析モジュールを使えば，後は単にシリアルな解析コードの開発と同じ作業で並列の解析モジュールの機能アップが進められる。 n さらに，入力データが共有でき，可視化器も接続される。 n ˜ プラグインを実現している仕組みデータ構造とそれを反映した分散メッシュ入力データ ˜ 分散メッシュ入力データは通信情報も含む n 並列線形ソルバのサポート ˜ GeoFEM GeoFEMでは，データ構造に基づき，線形ソルバで集中的にでは，データ構造に基づき，線形ソルバで集中的に並列処理を取り扱う。それゆえ， GeoFEM のプラグインによる解析プログラムの並列化では，並列化の作業はユーザーには見えない！ n 並列データ入力のサポート ˜ メッシュデータ，コントロールデータ n 並列データ出力のサポート ˜並列計算機上で可視化器へ解析結果を渡すことが可能 ˜ ｖ3.0 .0では，では，UCD UCD出出力，並列可視化器のどちらかを選択可能 n 10 GeoFEMにおける大規模シミュレーション技術：並列計算、ベクトル計算 ˜ 次ぎに、並列有限要素法プラットフォームの要素技術に関して説明 GeoFEMにおける並列計算処理 SPMD: Single-Program Multiple-Data ・巨大な解析対象 → 局所分散データ，領域分割（ Partitioning）・有限要素コードは領域ごとに係数マトリクスを生成：要素単位の処理によって可能：シリアルコードと変わらない処理・グローバル処理，通信は線形ソルバーのみで生じる内積，行列ベクトル積，前処理局所データ FEMコード FEM コード線形ソルバー MPI 局所データ FEMコード FEM コード線形ソルバー MPI 局所データ FEMコード FEM コード線形ソルバー MPI 局所データ FEMコード FEM コード線形ソルバー 11 ˜ Node Based Partitioning Internal nodes External nodes 3 2 1 2 3 4 T=1 .0 T=1 .0 5 6 7 Region 1 6 7 8 Region 2 ˜ Iterative Solvers(CG,BiSolvers(CG,Bi-CGSTAB...) with Localized preconditioners Elapsed Time at Solver [sec.] Parallel Performance 10 7 10 6 10 5 10 4 10 3 10 2 10 1 10 0 100 M DOFs 1 PE 8 PE 27 PE 64 PE 125 PE 216 PE 1,000 PE Prediction(1PE) Ｐｒｅｄｉction(1PE)/1,000 Elapsed Time up to 108 DOF Problems - simple cubic shape - 3.3X107 nodes - Hitachi SR2201 1,000 PEs Static Linear Elastic - localized ICCG solver - 1,500 iters iters,, 4,600 sec. - >60% scalability - >95% CPU usage -1 10 -2 10 10 2 10 3 10 4 10 5 10 6 10 7 10 8 10 9 Degrees of Freedom 12 1,000 1PE 8PE 27PE 64PE 125PE 216PE 343PE 512PE 729PE 1000PE Pre.(1PE) Pre.(1PE/1000) 100.0 Speed-up Sn (Computed by Wn) Whole Elapsed Time [sec.] : Tw 1,000.0 10.0 1.0 n = 10 n = 20 n = 30 n = 33 n = 35 n = 37 ideal 100 10 1 1 0.1 1E+0 1E+1 1E+2 1E+3 1E+4 1E+5 1E+6 1E+7 1E+8 10 1E+9 100 No. of PEs 1,000 Degrees of Freedom Wave Propagation Speed-up, Parallel efficiency - explicit time integration - >98% scalability, scalability, >98% CPU usage Vector Performance ベクトル計算機用ソルバーの結果 ˜ Parallel/Vector ICCG for Solid Mechanics : Flat MPI type n Localized Block IC Preconditioning : Full LU fact. in 3X3 Block n DJDS (RCM + Cyclic Multicolor) Ordering for V e c t o r i z a t i o n – – S. Doi Doi,, T.W T. W a s h i o, o , T.O T. O s o d a a n d e t . a l . ( N E C ) Long Vector Length, Low Memory Storage ˜ Example : Pure Extension of Cube n NEC SXSX - 4 – JAERI/CCSE – 2X3 PEs PEs,, 12 Gflops P e a k – 0 . 2 0 M DOFs DOFs,, 1 PE, 970 Mflops (~50% of Peak Performance) n Hitachi SR2201 – University of Tokyo – 1,024 PEs PEs,, 300 Gflops P e a k – Pseudo Vector : Distributed Memory Architecture – 2 7 . 2 M DOFs DOFs,, 252 PEs PEs,, ~95% Parallel Work Ratio – 1 6 . 2 Gflops (>22% of Peak Performance) 13 Recent Results : Performance on SR2201: Fixed Problem Size/PE 27.2 MDOFs, 16.2 Gflops 17.5 100 15.0 90 Work Ratio (%) Mflops/% Gflops 12.5 10.0 7.5 5.0 70 60 Mflops/PE Peak=300Mflops 50 2.5 0.0 80 0 50 100 150 PE# 200 40 250 0 50 100 150 PE# 200 250 ( ■ : 105, ● : 2.40× 2.40 × 104, ▲ : 104) DOFs DOFs/PE /PE Vector Optimization for GeoFEM of Solid Earth Simulation Codes ˜ マトリクスの合成部分の単体プロセッサの性能が問題 Process GeoFEM Solver part Parallel Performance Single PE Performance Matrix Assemble Part Good - More than 95% Hitachi SR2201/1,000 PE Good - 970Mflops NEC SX-4/Peak 2Gflops A Remaining Problem 14 Performance · Test Problem Definition · Whole GeoFEM Test Code Code n 900 Mflops on SXSX-4 (Peak/2.0Gflops) n 2.1 Gflops on VPP5000 (Peak/9.6Gflops) Elastic Structure Analysis for Cube Shape n 50000 Elements n 164000 DOF n Procedures Operation counts Mflop Alpha 21164/500 sec. Mflops NEC SX-4 Fujitsu VPP5000 sec. Mflops sec. Mflops · Matrix Assembling Assembling 123.6 1672.3 12.5 0.9 n 740 Mflops2.1 on SXSX736.8 -4 (Peak/2.0Gflops) Matrix Assembling 1540 Solver 8530 197.1 43.3 9.1 938.4 4.0 2148.6 Total 10070 209.6 48.1 11.2 900.7 4.9 2063.5 Earth Simulator における実効速度予測 40 Tflops （GS40 GS40のピーク性能）のピーク性能） X 0.801 （640 640ノードの並列化効率ノードの並列化効率* *） Xα （ノード内ノード内8 8PE PEの並列化効率の並列化効率,, 0.8と仮定 0.8と仮定** **）） X 0.49 （1PE 1PEベクトル性能ベクトル性能***) ***) 0.801 x 0.8 x 0.49 = 0.315 = 12.6 Tflops (→応用ソフトウェアでは世界最速応用ソフトウェアでは世界最速)) (*) 性能評価ツール vampire, dimemas dimemasを用いて，を用いて，T3E T3Eでの演算での演算性能から推定 (**) 文献，私信，文献，私信，SR8000 SR8000での実績に基づくでの実績に基づく (***) SX4 での実績 (GS40 GS40の要素の要素PE PEははSX4 SX4仕様に近い仕様に近い)) 15 連成解析もプラグインを通して実現 ˜ 固体地球の要素モデルの組み合わせを考慮し、実行、通信、I/O等の統合制御が必要 n 個々のプログラム開発において、毎回行なうことは極めて困難 Zooming Mesh generation C Mesh generation B A Earthquake generation process B Seismic wave propagation C A Partitioner Analysis subsystem Job controller Seismic Wave Propagation ( PSM) Xmesh I O Fault Dynamic Rupture (GeoFEM) I O Solver EQ Generation Cycle (GeoFEM) I O Solver Interface(PLUG) Coupler Mesh relation data Parallel I/O subsystem control data Parallel solvers subsystem Parallel visualize subsystem Platform ˜ プラグイン+カプラーインターフェース作成のみで、並列連成を実現（可視化サブシステムも１つの連成サブシステムとして扱われる） ˜ カップラー：モジュール間のメッシュの関係の把握、物理量の内挿、プロセッサ間のデータ転送を実施 n 解析モジュール利用者は、連成解析モジュール間でのメッシュの依存関係、物理量の内挿、プロセッサ間のデ[タ転送を意識することなく、並列環境下において連成解析システムを使用することが可能 Physical space Analysis region I Analysis region II Inter-module Calculative communication (mesh)space PE# 1 PE# 2 PE# 3 PE# 4 PE# 1 PE# 2 PE# 3 PE# 4 partition partition Two “partition” processes are done independently. ˜ Implementation (Already partitioned) mesh sets Xmesh Inter-mesh Xmesh: parallel analysis tool Mesh relation info. Analyzer Analyzer Coupler module I module II 16 GeoFEMの連成システム作成法 GeoFEM の連成システム作成法 ˜ 連成するサブシステムプログラムをモジュールで包む。 ˜ 連成するサブシステムプログラムをプラグインする。 ˜ Job controller を作成する。 ˜ 解析モジュール毎に、その物理量データ構造とインターフェースデータ構造の変換サブルーチン（to_couple to_couple,, from_couple from_couple））を作成する。 ˜ モジュール間の内挿サブルーチンを作成する。 ˜ データのデータのload, load, save サブルーチンの作成。 Coupler Seismic wave propagation process(B) Earthquake generation process(A) Coupler can Know all data space data space data space Put/Get method from_couple Geofem_get data_md load _c u p _ d a t a to_couple Geofem_put_ data_md save Interpolation function _ cup_data （can be made by users） Coupler data space convert data type convert data type and copy data from coupler and copy data from A to B to coupler 解析例断層解析モジュールでの並列連成は開発中 Zooming analysis ˜ Model 解析１ n HTTR Carbon Block (CB)’ (CB)’ ˜ Material property n Young Young’’s modulus 193 GPa n Poisson Poisson’’s ratio 0.275 ˜ Elastic analysis 1 step constrained displacement mm 0 DOFs: 24,999 80 x,y,z fixed plane 1 step 解析 2 step 解析抜き出し細分割解析２解析１から結果をもらって初期値として設定 2 step 解析（解析１の step2の結果と比較） 17 Zoomed mesh Elastic Analysis (B) Elastic Analysis (A) Zooming B Whole mesh A Partitioner Analysis modules Job controller process analysis(A) process analysis (B) Xmesh I O Mesh relation data I Solver O Solver Interface(PLUG) Coupler Parallel I/O sub system control data Parallel solver sub system Parallel visualize sub system Platform 並列連成の解析結果 1 PE 2 PEs Zoomed Analysis module A Zoomed Analysis module B 18 ˜ リアルな３次元不均質場での断層面1 面 1km kmメッシュ幅以下メッシュ幅以下での地震発生過程∼地震波動伝播までの解析地震発生サイクルの準静的モデリング断層面内及び断層間相互作用地震発生の動的モデリング不均質場での波動伝播強震動波形のシミュレーション・予測摩擦構成則内陸断層プレート境界断層粘弾性的相互作用 GeoFEM_LSMearth Coupling ˜ Under the framework of ACES international research collaborations on earthquake simulation ˜ Final goal: n to simulate the realistic fault zones/plate subduction by this coupled analysis. LSMearth: QUAKES（ＱＵＥＥＮＳＬＡＮＤＵＮＩＶＥＲＳＩＴＹＡＤＶＡＮＣＥＤＣＥＮＴＥＲＯＦＲＥＡＲＴＨQUAKE STUDIES ）で開発された格子固体モデルの粒子法コード（固体解析用） 19 大規模可視化技術 ˜ 大規模シミュレーション大容量の解析結果データが生成 n 可視化に代表されるポスト処理に過大な負荷 ˜ 大規模解析結果の処理を容易にする並列可視化手法 n n 大規模な可視化処理を高速に実施可能とする並列可視化手法の開発 n 可視化処理から生成される大規模な可視化データ量を適切に削減することを可能とする、詳細度制御付き削減手法の開発 ˜ 解析結果から自動的に特徴を抽出し、ユーザーの解析結果データの理解を助けることを可能とする技術 n ホモトピー法による物理量の特徴の自動認識法の開発 20 並列可視化処理 ˜ 計算負荷の高い可視化マッピング並列計算機上で並列に実施 Input data Input data Input data put Platform on Parallel Computer Analysis Analysis Analysis module Geometric Geometric feature Geometric extraction feature featureextraction extraction Simplification Simplification Simplification Distributed Collection Viewing/shading Ｒｅｎｄｅｒｉｎｇ (ex:Interval Volume) WS Data Visualizer Reducing visualｉｚｅ Data Image display 可視化形状の単純化：可視化データの削減並列可視化例西南日本の地殻変動解析等価応力の断面コンター図 456,000 nodes モデル/16 P E s 日本列島周辺の断層解析： 3次元ベクトル場およびテンソル場から任意本のハイパーストリームライン（断面が楕円形状をした流線） 21 可視化データ量を削減する技術 ˜ 大規模ボリュームデータから抽出される等値面や区間型ボリュームなどの幾何学的データ構造の詳細度制御 n 幾何学的制約とカラーコーディングされた表面に分布する物理値の変化を同時に考慮に入れて制御 n 物理的に重要な情報を失うことなく、可視化データを削減（データの間引き、可視化形状の簡単化）することが可能解析結果の特徴を自動抽出する技術 ˜ ホモトピー解析により、物理量の分布特徴を把握 n それに基づき不透明度や色相を強調する部分を自動的に決定し、ボリュームレンダリングを実行することで、物理量分布の特徴を自動的に認識しやすくする。 n 通常の可視化作業では、試行錯誤による可視化で物理量の分布特徴を認識するため、可視化回数が多くなるが、この方法を用いれば、可視化回数を劇的に減らせる可能性があり、可視化処理の負荷が大きい大規模解析においてはその意義が非常に大きい。 V 1(ρ min ) V2(ρ critical ) V3( ρ max ) CIS (a) ホモトッピー解析：グラフが交差する特異点の配置で物理分布の特徴を解析する Isosurfaces AVS defaults Constant opacity ( b) 従来の等値面、均一な色相や非透過率を使う方法では満足な可視化不可能 Our method Hue（色相） Opacity（非透過率） Hue+opacity (ｃ) ホモトピー解析により、物理量の分布特徴を解析し、それに基づき非透過率や色相を強調する部分を自動的に決定し、可視化した結果（物理量分布の特徴が自動的に強調された。）ホモトピー解析とそれに基づく可視化の自動化・表示結果 22 研究成果の普及と海外研究協力 GeoFEMセミナー ˜ 成果は固体地球分野のみならず、広く理工学一般へ普及するため ˜ 多数の参加者（第 1回（’99、7月）：174名、第2回（’00、7月）：76名、第3 回（’01、7月）：66名（第1回、第2回、第3回とも定員超え）） WEBでの公開 ˜ 成果は固体地球分野のみならず、広く理工学一般へ普及するため ˜ GeoFEM ver.4.0 n ダウンロード関連統計（ ver.3.5 以前も含む） n 2001年 7月 11日現在 ˜ 総数 2 2 9（うち日本： 9（うち日本：148 148）） ˜ ・世界 27 27ヶヶ国 ˜ ・アメリカ： 26 26，ドイツ：，ドイツ： 8，中国：，中国：77， U K： K：5 23 GeoFEM ver.4.0 静弾性，動弾性，静的接触，非定常熱伝導，ソルバー，可視化器，パーティショナサンプルデータ非圧縮性熱流動メッシュビューア海外研究機関との研究交流等 ˜ アメリカ国立サンディア国立研究所（ Sandia National Laboratories） n 悪条件マトリクスに対する線形ソルバ適用問題 ˜ ドイツ国立情報処理研究所（ German National R e s e r c h Center for Information T e c h n o l o g y , G M D） n AMG（代数的多重格子解法）に関する研究交流 ˜ N E C 欧州研究所（ドイツ） n 動的負荷バランスに関する研究交流 ˜ 地震シミュレーションの国際的情報交換機関である A C E S（ A P E C C o o p e r a t i o n for Earthquake Simulation） n 地震シミュレーションの研究交流 24 おわりに（将来展開） GeoFEM / Snake ˜ プラットフォームの充実 n Solvers : multi multi--level approach n Parallel Visualizations n Optimization for “Earth Simulator” Simulator” n System Integration : multi multi--module couplers Non-FEM Appl NonAppl.. : FDM, BEM, PSM etc. ˜ Applications : n n solid earth issues, practical engineering problems, problems coupled coupled 25 科学技術振興調整費総合研究「高精度の地球変動予測のための並列ソフトウェア開発」固体地球シミュレーション統合化モデル ˜ 全地球スケール内的要因による固体地球変動（マントル，コア） n Mantle : 128X120X240= 3,686,400 cells, △ r = 2 0 k m , △ d= 1.5 deg ˜ C o r e : 1 0 , 0 0 0 X 1 0 0= 1 , 0 0 0 K nodes, △ t ∼ 1 0 - 7 ˜ 局所不均質場スケール複雑断層系での地震発生過程･地震波動伝播 ˜ 地震発生サイクル問題設定 1,100km X 900km X 200km, △t=100 y, 10 3 steps ˜ ˜ ˜ ˜ ˜ ˜ ˜ SR8000 (4nodes) 0.15M DOF ( △ h=15km), 1.0M DOF ( △h = 8 k m ) Earth Simulator : △h=1km, 200M nodes 動的破壊問題設定 300km X 300km X 50km, △ t=10 - 4 sec, 10 5 steps SR8000 (4nodes) 0.15M DOF ( △ h=15km), 1.0M DOF ( △h = 8 k m ) Earth Simulator : △h=1km, 30M nodes 強震動問題設定 300km X 300km X 50km, △t = 1 0 - 2 sec, 10 3 steps Earth Simulator : △h=0.2km, 100M nodes Quasi 3D model of Northeast Japan Crust.a (8.5 cm/y) (0.8 cm/y) East North Crust.b West Crust.c South Mantle.b z Mantle.c Mantle.d 200km Eurasia Plate x y Pacific Sea Plate constant friction coefficient (0.1) Mantle.a Plate 20 0k m Philippine Sea Plate km 530 km 0 66 Plate velocity: 5cm/year (6.6 cm/y) Equivalent stress contour at 20 years Example of Analysis • Earthquake cycle at Southwest Japan model Earthqukecycle for 400 years 1100km 900km 200 km Crust,Plate Rigidity (Pa) 48× 1010 Poisson’s ratio 0.258 Viscosity (Pa.s) Subduction 5 cm/yr Earthquake one earthquke/100yr Upper Mantle 63.9 48× 1010 0.283 1.0× 1019 Pa .s earthquake 26 まとめ ˜ 地球シミュレータをもってしても、以上説明のスケール毎のシミュレーションがやっと可能となる程度と考えられている。飛躍的な計算資源を必要としている。 ˜ このプロジェクトの成果が、固体地球科学を大きく前進させると共に、ハイエンドスーパーコンピュータ利用の拡大、大規模シミュレーション技術の高度化、他分野の大規模シミュレーションの活性化に大きく寄与するものと期待される。 ˜ 本研究は、東京大学矢川教授をリーダーとする本研究は、東京大学矢川教授をリーダーとするGeoFEM GeoFEMプロジェプロジェクトの研究成果に基づくものである。プロジェクトメンバーに深く感謝を表します。地球規模の地震シミュレーションネットワークモデルモデルプラグインシステム並列連成システム米国のGEM（General Earthquake Model、http://milhouse.jpl.nasa .gov/gem/）高度観測システム・データ処理並列 I/O 並列ソルバー並列可視化地球シミュレータ GeoFEM 確率・複雑系モデル Australian Solid Earth Simulator （オーストラリア固体地球プロジェクト）の固体地球シミュレーションプラットフォーム 27