中西秀哉（NIFS） - LABCOM

データ処理フレームワーク
構築への取組み
核融合科学研究所
LABCOMグループ
中西秀哉
'06/2/28-3/1
H17年度核融合データ処理研究会
1
背景

実験共同研究（遠隔実験参加）のための共通
データ取扱い基盤が国内に広まっていない



世界(米国)では… MDSplusが実質標準．
＋Globusで米国FusionGridプロジェクトが成功
日本は？… ITBLを支える共通データ基盤がない!?
研究開発の要請


ITER-BA遠隔実験/計算センターの構築と融合(!)
全日本ST計画 … 遠隔データ収集&保存!?
全日本(!?)実験データシステムが欲しい
'06/2/28-3/1
H17年度核融合データ処理研究会
2
目的
小～大あらゆる規模の実験に受け入れられる
（共通）データシステムに求められるのは？
1.
安価なPC並列化によって1~1000DAQのｽｹｰ
ﾗﾋﾞﾘﾃｨを実現… ユニット単価の低減が必須！
2.
動作は分散，運転は集約
実験データ・システムのTCO最少化
3.
商用パッケージから脱却．フリー化＆公開開発
DAQプログラムの開発・保守手順を一般化・公開
共同開発＆利用者コミュニティの形成
'06/2/28-3/1
H17年度核融合データ処理研究会
3
現状システムの例（LHD）
～増強やRT対応に柔軟な並行分散形態～
集約方式
LHD
並列数を上げてスケーラブルにI/O性能を増強できる
Real-Time収集にも計測毎にフレキシブルに対応可
'06/2/28-3/1
H17年度核融合データ処理研究会
4
LHD DAQの現状
1.
2.
3.
'06/2/28-3/1
TCOや構築コストは
本当に安いのか？
共同研究にふさわしい
形態か？
１~数計測の実験室で
使えるのか？
H17年度核融合データ処理研究会
5
理念と方針～コスト最少化を指標に～
実験データシステムのフレームワーク見直し必要!
1.
2.
3.
4.
5.
6.
7.
8.
9.
分散I/O処理 ⇒性能・ｽｹｰﾗﾋﾞﾘﾃｨとコスト
DAQユニットの単価低減
安価なタイミングシステム
商用パッケージから脱却．完全フリーウェア上
運転（監視）の集約化・インテリジェント化
複数サイトをまたがる連携協調動作
高遅延広帯域ネットワークをベースに
ドキュメントの整備・充実
（実時間）帰還制御系との統合化
'06/2/28-3/1
H17年度核融合データ処理研究会
6
実験データシステムの構成要素を
再検証～あるべきフレームワークを探る～
1.
2.
3.
4.
5.
6.
7.
8.
対応デジタイザ（CAMAC，横河WE7x，cPCI/PXI, …）
DFE-PC間伝送（ファイバ or ワイヤ）の要不要
DAQプログラム（ドライバ＆API）
設定DB/データ所在DB
データ･ストレージ＆サーバ
広帯域ネットワーク
データ取出しクライアントI/F （API→可視化ツール）
ユーザ管理/認証，データ防護
'06/2/28-3/1
H17年度核融合データ処理研究会
7
１．デジタイザ規格の評価

CAMAC


横河WE7x




低コスト路線．帯域はCAMAC並み(1.7~2.2MB/s)+RT性
Win32+Linux(少し旧い) ドライバ完備．
画像集録がない
NI PXI (cPCI)


ADC，コントローラ，クレート，光リンクがコスト高
高性能モジュールでもコスト手頃．RT広帯域(72MB/s)
タイミングシステムは…

'06/2/28-3/1
既製品なし!? 低コスト化は?
H17年度核融合データ処理研究会
8
２．DFE-PC間（ファイバ，ワイヤ，組込）

DFE-PC間を光ファイバー伝送 … DFE筐体＋PC筐体



組込型CPUモジュール … DFE筐体のみ


デジタイザ-PC間が最も広帯域だが高コスト．
拡張カード(PCI)型デジタイザ … PC筐体のみ



LHDでの選択方式．絶縁と設置場所の分離可能．
両端に光I/F＝高コスト．専用光伝送路の信頼性．
最も低コストだが拡張性・対ノイズ性に不安あり!?
PCの激しい世代交代に依存する
DFE-PCケーブル接続 … DFE筐体＋ラックマウントPC

'06/2/28-3/1
USB等，安価な接続が可能．２筐体でもコストは案外手頃!?
H17年度核融合データ処理研究会
9
LABCOMシステム
実時間転送・表示系（左側）とバッチ収集系（右側）で構成．全57計測
'06/2/28-3/1
H17年度核融合データ処理研究会
10
３．DAQプログラム

デジタイザのドライバ/API供給が欠かせない


Linux等フリーOSへの対応はまちまち
CAMAC … 良．フリードライバもある．
WE7x … 有（旧版カーネル）
PXI … 部分的だが，Win32版ともフリーで配布．
商用パッケージ利用で開発負荷は下がるが，
ポータビリティは低下．共用化には難．

'06/2/28-3/1
LHDでは，データ保存・管理にODBMSのObjectStore利用
フリーのDataObjest保存ソフトの開発にも興味あるが，
ファイル＆ファイルシステム利用が妥当
H17年度核融合データ処理研究会
11
ハードウェアとDAQプログラムの構成
DAQ Agent
'06/2/28-3/1
H17年度核融合データ処理研究会
12
４．設定DB/データ所在DB

フリー化にはRDBMSのPostgreSQL or MySQL



SQL準拠であれば多分，何でもいいだろう
二重化・負荷分散などの仕組みは単独で導入可能
ユーザI/F


'06/2/28-3/1
設定DBはWeb経由でJava, PHP, …
データ所在は，データ取出しAPI中に隠蔽
H17年度核融合データ処理研究会
13
５．データ･ストレージ&サーバ

DAQ PC数が増えるほど管理コスト上昇
データディスクの統合化（NAS等）
更にシステムディスクのNFS化で完全disklessに
DAQ Box ←Linux組込み．Winはdiskless化は難．
DAQ Boxは最終ショットデータのみオンメモリで保持

バックエンドの大規模ストレージ（MSS）は必要．

バックアップとしても必須．災害対策も．しかし高コスト！
分散MSSにして，全日本で1~2（3?）台持つのが得策!?
最終形態として，DAQ Box+RAIDサーバ+遠隔MSS
の3階層構成か．．．
'06/2/28-3/1
H17年度核融合データ処理研究会
14
LABCOM三階層データストレージ

階層間のデータ移送が
運用負荷を増大
57 Diag.
45 TB/2
24 TB
'06/2/28-3/1
H17年度核融合データ処理研究会
15
６．広帯域ネットワーク

LAN/WANとも100Mbps～1Gbpsが利用可能



マルチストリームTCPが有効!?



帯域（速度）の問題は解消されたが…
高遅延（遠距離）性がデータ転送に想定されていない
⇔TCP/IPソケット通信利用
バッファサイズを遅延に応じて大きくするのは限界がある．
パラレル数を増やすのは比較的容易．
RT伝送にはTCP/UDPの併用か

'06/2/28-3/1
UDPは高遅延広帯域に耐える
H17年度核融合データ処理研究会
16
７．データ取出しクライアントI/F


動的共有ライブラリ（DLL/.so）で複数アプリ対応
問題は可視化アプリ




現状は市販IDL/PV-WAVEを利用
適当なフリーの可視化ツールがあるか?
実時間グラフ，（動/静止）画像表示も必要
データを送らずリモートに画面を飛ばす手もある
が…!?

'06/2/28-3/1
システム・アーキテクチャの問題．C/Pはどうか．
H17年度核融合データ処理研究会
17
８．ユーザ管理/認証,データ防護等

DataGrid (Globus) or ITBL とリンク



開発/ユーザ・コミュニティはどちらを志向するか


実験データシステムとの接合部を開発する必要．
米FusionGridではMDSplus上で成功
ITER-BAではITBLを使うのか？
データ防護は最低限で良い



'06/2/28-3/1
災害（復旧）対策は不可欠だが，コスト高に
オープン性が重要．公共性 … 核融合界の意識の問題
読出し制限は（殆ど）必要ない … 天文台が好例
H17年度核融合データ処理研究会
18
フレームワークの吟味をふまえて
～トータルパッケージ化～

フレームワーク ⇒ DAQトータルパッケージ



インストーラ作成により利用開始時のユーザ負担を軽減
⇒利用者増 ⇒コミュニティの形成
利用者コミュニティからの開発フィードバックを期待
まずは…共同開発グループの形成から




'06/2/28-3/1
ベースになる実験データシステムはある．フリー化作業中．
インストーラ作成，異OSポーティング，ドキュメント整備，…
この共同研究の場で，共同開発者・ご意見番を募りたい！
グループWiki開設＋コミュニケーションから !?
H17年度核融合データ処理研究会
19
さいごに
LABCOM/X をどうぞよろしく

附録
'06/2/28-3/1
H17年度核融合データ処理研究会
20
計測数・データ量が激増（LHD第8サイクル）


10秒以下の短パルス実験 … 30⇒ 45 (30+15)計測．50%up
 1 GB/shot ⇒ 2.5 GB/shot
定常(=実時間)データ収集 … 4⇒ 15計測
 3.16 GB/shot ⇒ 84 GB/shot （世界記録更新）

RT DAQ: WE7000 (9) … 2.2 MB/s, CompactPCI (6) … 80 MB/s
'06/2/28-3/1
H17年度核融合データ処理研究会
21

Download Report