スーパーコンピュータの動向および大規模流体解析事例 山出吉伸i A Trend of Super Computer and Large-Scale Fluid Analysis Yoshinobu YAMADE 本稿の前半ではスーパーコンピュータの動向として，ピーク性能の推移について解説する．また，最近注 目を集めている GPU およい Phi を搭載したスーパーコンピュータの特徴を示す．後半ではスーパーコンピ ュータを活用した流体解析事例を示す． (キーワード): スーパーコンピュータ，流体解析，車体空力，遠心送風機 1 はじめに が 2002 年 6 月からの 2 年間，京が 2011 年 6 月から 1 年間，世界最速コンピュータとしてランキングさ スーパーコンピュータ（以下，スパコン）は，生 れている（図 1，表 1）7)．スパコンの性能は，コア 命科学，創薬，物質科学，防災，ものづくり等幅広 の動作周波数とその数の積で決まる．図 2 にスパコ い分野において活用され，各分野の研究開発をドラ ン の 動 作周 波 数 と搭 載 され る コ ア数 に つ いて ， イブする原動力になっている．筆者が携わるものづ TOP500 の平均を示す．図 2 に示すとおり，コアの くり分野における流体解析への適用を例にとると， 動作周波数の増加は 2005 年あたりで頭打ち状態に ピーク性能 40TFLOPS の地球シミュレータを用いた なっており，その 2010 年以降はむしろ減少傾向にあ 場合の計算規模はおよそ 1 億グリッド以下 1-4) であっ る．これにも関わらずスパコンの性能が年におよそ たのに対し，ピーク性能 10PFLOPS の京を活用した 2 倍のペースで進歩し続けているのは，スパコンに 解析では数十億~数百億グリッド規模の解析が実現 搭載されるコアの数が年に 2 倍のペースで増し続け 可能になっている 5, 6)．これにより，車体空力，船舶， ているからである． ターボ機械等のものづくり分野で実験（風洞試験や スパコンは，複数のコアを含む CPU を高速のネッ 水槽試験）に匹敵する精度で製品性能を予測できる トワークでつなぐ構成になっているが，CPU 数の増 技術が確立されつつある．本稿ではスパコンの動向 加によりネットワークの負荷も増大するため，近年 について解説するとともに，スパコンを用いた流体 は，CPU 内に多くのコアをもつことにより CPU の 解析事例として，筆者が携わった解析事例 5, 10) につ 性能を上げる，いわゆる，メニーコア化の傾向にあ いて紹介する． る．特に，多数のコアを有する計算性能の高いデバ イスをアクセラレータとして搭載する計算機が，近 2 スパコンの動向 年，TOP500 の上位にランクインするようになった （表 1） ．以降，これらアクセラレータとして位置づ 2.1 演算性能の発達 けられる，GPU（Graphics Processing Unit）および コンピュータの性能は 1 年でおよそ 2 倍（10 年間 Phi（Xeon Phi）について解説する． で 1,000 倍） の速さで発達することが知られており， 世界のスーパーコンピュータ（スパコン）の性能ラ 2.2 GPU (Graphics Processing Unit) ンキングが 1 年に 2 度更新されている （以下 TOP500 GPU はもともとゲーム等で描画を高速に実行す ランキング）．我が国においても，地球シミュレータ るためのデバイスであり，CPU と比較すると内部に i サイエンスソリューション部 デジタルエンジニアリングチーム 29 シニアコンサルタント 表 1 直近 4 年間のスパコントップ 10 の推移 7) Peak Performance EFLOPS 1.E+09 Sum-500 No 1 No 500 2 0 1 1 年6 月 2 0 1 1 年1 1 月 1 1.E+06 PFLOPS 2 3 1.E+03 TFLOPS 4 5 6 GFLOPS 1.E+00 1990 1995 2000 2005 2010 2015 2020 7 Year Year 8 9 図 1 スパコンの演算性能の推移 7) 10 3.0 2 0 1 2 年6 月 2 0 1 2 年1 1 月 2 0 1 3 年6 月 2 0 1 3 年1 1 月 2 0 1 4 年6 月 2 0 1 4 年1 1 月 K computer,K SPARC64 computer,BlueGene/Q, VIIIfx SPARC64 2.0GHz, Cray VIIIfx Power Tofu XK7 2.0GHz, BQC interconnect , TH-IVB-FEP Opteron 16C Tofu1.60 interconnect 6274 TH-IVB-FEP GHz, Cluster, 16CCustom 2.200GHz, Intel TH-IVB-FEP Cluster, Xeon Cray E5-2692 Intel TH-IVB-FEP Cluster, Gemini Xeon 12C interconnect, E5-2692 Intel Cluster, 2.200GHz, Xeon 12C E5-2692 Intel NVIDIA TH 2.200GHz, Xeon Express 12C K20 E5 NUDT TH MPP, NUDTX5670 YH MPP, K2.93Ghz computer, Xeon6C, X5670 BlueGene/Q, SPARC64 NVIDIA 6C 2.93 GPU, Cray VIIIfx Power GHz, FT-1000 XK7 2.0GHz, NVIDIA BQC , Cray Opteron 8C 16C Tofu 2050 XK7 1.60 interconnect 6274 , Cray Opteron GHz, 16C XK7 Custom 2.200GHz, 6274 , Cray Opteron 16C XK7 Cray 2.200GHz, 6274 , Opteron Gemini 16C Cray 2.200GHz, 6274 interconnect, Gemini 16C Cray 2.200 inteN Cray XT5-HE Cray Opteron XT5-HE BlueGene/Q, 6-core Opteron 2.6K6-core GHz computer, Power 2.6 BQC BlueGene/Q, GHz SPARC64 16C 1.60GHz, BlueGene/Q, VIIIfx Power Custom 2.0GHz, BQC BlueGene/Q, Power 16C Tofu1.60 BQC interconnect BlueGene/Q, GHz, Power 16CCustom 1.60 BQCGHz, Power 16CCustom 1.60 BQCGHz, 16CCusto 1.60 Dawning TC3600 Dawning Blade, TC3600 iDataPlex IntelBlade X5650, DX360M4, BlueGene/Q, System, NVidia Xeon Xeon Tesla K computer, Power E5-2680 X5650 C2050 BQC K6C GPU SPARC64 computer, 8C 16C 2.66GHz, 2.70GHz, 1.60GHz, KVIIIfx SPARC64 Infiniband computer, Infiniband Custom 2.0GHz, KVIIIfx QDR, SPARC64 computer, FDR Tofu NVIDIA 2.0GHz, interconnect VIIIfx SPARC64 2050 Tofu 2.0GHz, interconnect VIIIfx Tofu 2.0GH inte HP ProLiantHPSL390s ProLiant G7 NUDT SL390s XeonYH6CMPP, G7 BlueGene/Q, X5670, Xeon Xeon Nvidia 6CX5670 BlueGene/Q, X5670, Power GPU, 6CNvidia BQC Linux/Windows 2.93 BlueGene/Q, Power GHz, 16C GPU,1.600GHz, NVIDIA BQC Linux/Windows BlueGene/Q, Power 16C 2050 Custom 1.60GHz, BQC BlueGene/Q, Power 16C Interconnect Custom 1.60GHz, BQCPower 16CCustom 1.60GHz, BQC 16CCustom 1.60G Cray XE6 8-core Cray XE6, 2.4 GHz Opteron Cray XK6, 6136 Opteron iDataPlex 8C 2.40GHz, 6274 DX360M4, PowerEdge 16C Custom 2.200GHz, Xeon Cray C8220, E5-2680 XC30, Cray Xeon Cray Xeon Gemini 8C E5-2680 XC30, 2.70GHz, E5-2670 interconnect, Cray 8C Xeon Infiniband 2.700GHz, 8C XC30, E5-2670 2.600GHz, NVIDIA Xeon FDR Infiniband 8CE5-2670 Aries 2.600GHz, 2090 interconne FDR, 8C Aries Intel 2.600 SGI Altix ICE SGI8200EX/8400EX, Altix ICE BlueGene/Q, 8200EX/8400EX, Xeon PowerEdge Power HT QC Xeon BQC 3.0/Xeon BlueGene/Q, C8220, 16C HT QC Xeon 1.60GHz, 5570/5670 3.0/Xeon PowerEdge Power E5-2680 Custom BQC 5570/5670 2.93 PowerEdge C8220, 8C 16C Ghz, 2.700GHz, Xeon 1.600GHz, Infiniband 2.93 PowerEdge C8220, E5-2680 Infiniband Ghz,Custom Xeon Infiniband C8220, 8CE5-2680 FDR, 2.700GHz, Interconnect Xeon Intel8CXeon E5-2680 Infiniband 2.700GHz Phi 8 Cray XE6 12-core Cray XE6, 2.1 Opteron BlueGene/Q, GHz 6172 NUDT Power 12CYH 2.10GHz, BQC MPP, BlueGene/Q, 16C Xeon Custom 1.60GHz, X5670 BlueGene/Q, Power 6C Custom BQC 2.93 BlueGene/Q, Power GHz, 16C 1.600GHz, NVIDIA BQC BlueGene/Q, Power 16C 2050 Custom 1.600GHz, BQCPower 16C Interconnect Custom 1.600GHz, BQC 16C Intercon Custo 1.600 Bull bullx super-node Bull bullx super-node S6010/S6030 Bullx B510,S6010/S6030 BlueGene/Q, Xeon E5-2680 iDataPlex Power 8C 2.700GHz, BQC DX360M4, BlueGene/Q, 16C Infiniband 1.60GHz, Xeon BlueGene/Q, Power E5-2680 Custom QDR BQC BlueGene/Q, 8C Power 16C 2.70GHz, 1.600GHz, BQCPower 16C Infiniband Custom 1.600GHz, BQC FDR 16C Intercon Custo 1.600 BladeCenter BladeCenter QS22/LS21 Dawning QS22/LS21 Cluster, TC3600 Power PowerXCell Cluster, Blade 775, NUDT POWER7 PowerXCell System, 8i 3.2YH Ghz Xeon MPP, 8C iDataPlex /8i3.836GHz, Opteron 3.2 X5650 Xeon Ghz DX360M4, X5670 Cray 6C DC /Custom Opteron 2.66GHz, 1.8 XC30, 6CGHz, Xeon 2.93 Interconnect Cray DC Intel Infiniband Voltaire GHz, E5-2680 1.8 CS-Storm, Xeon GHz, NVIDIA Infiniband E5-2697v2 QDR, 8C Voltaire 2050 2.70GHz, Intel NVIDIA Xeon Infiniband 12C 2050 Infiniband E5-266 2.7GHz GPU 1.E+05 Phi Num. of Processors 2.0 1.E+04 1.0 1.E+03 Number of Processor [-] Frequency of Processor [GHz] Frequency （およそ 1TFLOPS），Phi 上で独立した OS が動作し， CPU と同様の命令セット（プロセッサを動かすた めの命令の集合）を備えていることにより，GPU と 比較して汎用的な利用が期待できる．Phi が一般の 市場に出回ったのは 2013 年 1 月であるが，TOP500 ランキングでは 2012 年 11 月に初めて Phi を搭載し た計算機がランクインし，その半年後には，Phi を 0.0 搭載した計算機（天河 2 号，中国）が世界一の性能 1.E+02 1990 1995 2000 2005 2010 2015 2020 （34PFLOPS）を達成している．2012 年 11 月時点で Year 図 2 スパコンの動作周波数およびコア数の推移 TOP500 にランクインした Phi 搭載の計算機は 7 機種 7) であったが，1 年後には 12 機種に増えており，今後 多くのコア（数百～3000）を搭載し処理速度が高い も増加することが予想される．GPU と同様に，CPU 特長がある．2005 年頃より GPU を計算科学に適用 に対するデメリットにはメモリ容量が小さいこと， しようとする試みが始まり，GPU メーカから GPU ソフトウエアの移植にコストがかかることがあげら 向けのコード開発環境が提供されたこともあり，計 れる． 算科学への適用が進んだ．計算科学向けの GPU を区 以上，スパコンの開発において，存在感を増して 別して，これを GPGPU（General Purpose GPU）と称 いるアクセラレータ（GPU，Phi）を搭載した計算機 することもある．TOP500 ランキングでは，2010 年 の概略を説明した．今後も計算機の発達を支えるた に GPU を搭載した計算機（天河 1 号，中国）が世界 め，CPU のメニーコア化が進むと予測される． 一の性能（2.6PFLOPS）を達成しており，それ以降， 3 大規模流体解析事例 ランキング 10 位以内に GPU を搭載した計算機が 3 ～4 機種を占める状況が続いている．GPU のデメリ ットとしては，演算に対するメモリ容量が小さいこ 本節ではスパコンによる大規模流体解析事例とし とと，GPU 専用のカスタマイズが必要であり，既存 て，流体解析ソフト FrontFlow/blue（FFB）7, 8)による ソフトウエアを GPU に載せるための開発コストが 流体解析事例を紹介する．FFB は東京大学生産技術 研究所で開発されたソフトである．FFB は乱流現象 かかることがあげられる． を精度よく予測できる特長を有しており，筆者も FFB の開発およびこれの実証に携わっている． 2.3 Phi (Xeon Phi) Phi はインテル社が開発したメニーコアプロセッ サであり，GPU ほどコア数は多くないが，60 コアを 搭載している．チップあたりの性能は GPU に匹敵し 一般に，より高性能な計算機の導入により，流体 解析技術は 2 種類の恩恵をうける．Weak-Scale と Strong-Scale である．前者の場合，計算時間は変わら 30 (a) 遠心送風機 (a) 車体表面渦構造の可視化結果 1.0E-02 Power Spectrum of Cp [-] 1.0E-04 失速セル 1.0E-06 T=0.00 rev. 1.0E-08 (b) 送風機内に生じる失速セル EXP. 1.0E-10 LES (Coarse) LES (Fine) 図 4 遠心送風機の非設計点動作時に発生する旋回失速セ 失速セル ルの可視化結果 10) -7/3 1.0E-12 1.0E+00 1.0E+01 1.0E+02 1.0E+03 1.0E+04 Frequency [Hz] 3.2 遠心送風機内部流れ解析 10) (b) 車体表面の圧力変動スペクトルの比較 ターボ機械内部流れでは，非設計条件において， T=0.25 rev. 一部の流路において大規模な剥離や逆流（失速）が 図 3 車体表面の圧力変動予測事例 6) 失速セル 生じこれが旋回する現象（旋回失速）が生じる．旋 回失速の旋回速度は一般に羽根車の回転よりも遅い ないが，より多くの計算機を用いることにより計算 ため，これらの現象を定量的に分析するためには， 規模を大きくすることができる．一方，後者の場合， 長時間の計算が必要となる． 計算規模は変わらないが計算時間を短縮することが 文献(10)の遠心送風機を例にとると，旋回失速の できる．つまり，Strong-Scale では同じ計算時間でよ 旋回速度は羽根車の 70%であり，旋回速度の定量評 り長時間の現象（低周波に相当する現象）を解析で T=0.50 rev. 価のために羽根車数十回の計算が必要となる．文献 きる．本稿では，Weak-Scale の解析事例として車体 (10)では，遠心送風機の長時間積分(羽根車 80 回転) まわり流れの大規模解析，Strong-Scale の解析事例と を実施することにより，旋回失速の旋回速度を高精 して送風機内部流れの長期間計算を紹介する． 度に予測できることが報告されている （図 4, 図 5） ． 3.1 車体表面の圧力変動スペクトルの予測 6) 4 おわりに 車体まわりの流体解析事例として，車体表面の圧 力変動スペクトルの予測事例を紹介する 6) ．ここで 筆者はスパコン等大型計算機を活用した大規模解 は，車室内空力騒音の予測を最終目的として，音源 析に関する開発，解析等の業務に従事しており，開 である圧力変動を高精度に予測するため，約 50 億グ 発したソフトウエアの性能を容易に発揮する高性能 リッドを用いた大規模 LES 解析が実施されている． な計算機を期待する一方で，発達を続ける計算機の 解像度 1.5mm の格子解像度により，車体表面の微小 性質に応じて，計算機の性能を十分発揮するための な渦の運動を直接計算することにより，車体表面の 計算手法やソフトウエアの開発を行い，それらを産 圧力変動スペクトルを高精度に予測できることが報 業界に普及させていくことが筆者らのミッションで 告されている（図 3） ． 31 Power Spectrum of Vel. [-] ASME-FEDSM 2007-37145, (2007). 3) Yamade, Y., Kato, C., Shimizu H., Nishioka, T.: Large Eddy Simulation and Acoustical Analysis for Prediction of Aeroacoustics Noise Radiated From an Axial-Flow Fan, Proceeding of ASME-FEDSM 2006-98303, (2008). 4) Yamade, Y., Kato, C., Shimizu, H. and Nagahara, T.: Large Eddy Simulation of Internal Flow of a Mixed-Flow Pump, Proceeding of ASME-FEDSM 2009-78416, (2009). 5) Nishikawa, T., Yamade Y., Sakuma, M. and Kato, C.: Fully Resolved Large Eddy Simulation as an Alternative to Towing Tank Resistance Tests - 32 Billion Cells Computation on K Computer, Proceeding of 16th Numerical Towing Tank Symposium (NuTTS’13), (2013). 1.0E-02 1.0E-03 1.0E-04 1.0E-05 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 F/N [-] 3mm 6mm 9mm 12mm (a) 0mm 羽根車出口の速度変動スペクトル（実験） 15mm 18mm 21mm 24mm 6) 山出吉伸, 加藤千幸, 飯田明由, 吉村忍, 飯田桂 27mm 一郎: Large Eddy Simulation による車体表面圧力 Power Spectrum of Flow Rate [-] 1.0E-01 変動分布の予測, 生産研究, Vol. 67, No. 1 (2015) 1.0E-02 59-63. 7) http://www.top500.org 8) Kato, C., Kaiho, M. and Manabe, A.: An overset Finite-Element Large-Eddy-Simulation method with application to Turbomachinery and Aeroacoustics, Trans. ASME, Journal of Applied Mechanics, 70 (2003) 32–43. 9) Kato, C., Yamade, Y., Wang, H., Guo, Y., Miyazawa, M., Takaishi, T., and Takano, Y.: Numerical prediction of sound generated from flows with a low Mach number, Computers & Fluids, 36 (1) (2007) 53–68. 1.0E-03 1.0E-04 1.0E-05 1.0E-06 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 F/N [-] (b) 計算における羽根車流路の流量変動スペクトル 10) 山出吉伸, 岩瀬拓, 太田有, 郭陽, 加藤千幸 “部 図 5 旋回失速セルの旋回周波数の比較 10) 分流量における遠心送風機内部流れの LES 解析” 日本機械学会流体工学部門講演会講演論文集， あると考えている．前述のとおり，スパコンおよび (2014) 1007. その利用技術の発展は幅広い分野の技術発展に貢献 するものであり，今後もそれを実現するために，ハ ードウエア，ソフトウエアの開発が互いを補完しあ いながら発展するよう貢献していきたい． 引 用 文 献 1) Kato, C., Yoshimura, S., Yamade, Y., Jiang, Y., Wang, H., Imai, R., Katsura, H., Yoshida T. and Takano Y.: Prediction of the Noise From a Multi-Stage Centrifugal Pump, Proceeding of ASME-FEDSM 2005-77312, (2005). 2) Hamada, S., Nakashima, S., Kato C. and Yamade, Y.: Aerodynamic Noise Simulation of Propeller Fan by Large Eddy Simulation, Proceeding of 32
© Copyright 2024 ExpyDoc
