PPT - KEK

JLDG (A04)
JLDG: 計算素粒子物理（格子ＱＣＤ）の為の
データグリッド Japan Lattice Data Grid
JLDG 開発の動機と経緯
JLDG システムとその利用
データグリッドの将来
筑波大学計算科学研究センター
吉江友照
ワークショップ
「計算科学による素粒子・原子核・宇宙の融合」
2008年12月1日
JLDG開発の動機と経緯
• 計算素粒子物理のデータとその共有
– 基礎データ：ＱＣＤ配位 (QCD configuration)
• 生成に膨大な計算機資源を必要とする
• 生成されたデータは貴重：QCD配位を用いて素粒子の色々な性質
を研究できる（データの解析）
– 複数の研究機関に所属する複数の研究者の共同研究
– 複数の研究機関のスーパーコンピュータを活用して基礎データを生成、
基礎データを共有し共同で解析
– データのネットワーク上での共有からデータグリッドへ
• 計算素粒子物理のデータグリッド
– 複数機関のスパコンを駆使して行う共同研究を支援
• 国内の研究グループ内でのデータ共有
• Japan Lattice Data Grid (JLDG)
– 格子QCDコミュニティ全体の研究促進
• 世界規模での配位データ共有
• International Lattice Data Grid (ILDG)
– 2007年完成・運用開始
JLDG 以前のデータ共有
• hepnet-J/sc 2002 (NII SINET GbE 専用線採用）~
– 目的：広域分散型ファイルシステム
– バックボーン： Super SINET VPN (KEK, 筑波, 京都, 大阪,
広島金沢）
– 戦略：管理体制の異なる機関でセキュリティを維持しつつ
データを共有：各拠点のスパコンに接続したファイルサーバ
間で、管理者権限でファイルをミラー
– 有効に機能 (CP-PACS/JLQCD, KEK大型シミュレーション）
CP-PACS
SR8000
CRC
@ KEK
RCNP
@Osaka
File Server
File Server
Hepnet-J/sc
File Server
File Server
SX-5
CCP
@Tsukuba
YITP
@Kyoto
SX-5
• 問題の顕在化
– データの所在の管理コストが増大
• ひとまとまりのデータが複数のディスクに分散してしまう
• ユーザーは、データの所在・ミラー先を覚えきれない
– ユーザー・グループの概念がない
• 複数の研究グループのサポートに難
• 必要な機能
– スペースの制限がない（後で追加可能な）フラットなデータ共
有システム
– 組織をまたがるユーザー管理
• JLDG の開発
– システム設計・設置：筑波大計算機工学者＋日立製作所
– NII CSI 予算
– 2005/11 開始、2007/03 完成、2008/05 実運用開始
JLDGシステムとその利用状況
•
•
•
•
•
Gfarm（AIST, Tsukuba）: global file system (fault tolerant, replica)
VOMS (EDG)： virtual organization management
Naregi-CA ： user certification
Globus Toolkit (ANL) : GSI- GridFTP
http://www.jldg.org/
uberftp (NCSA): interactive GridFTP client
SINET VPN Tsukuba
6TB
Gfarm server
KEK
6TB
Gfarm server
metadata
server
VOMS
server
LAN
gftp
client
super
computer
NFS mount
Internet
file
server
・・・・
・・・・
• Grid-FTPクライアントに
ログインし、自サイト
サーバに接続
• グリッドのどこからでも
ファイルを転送
• ユーザーはファイルの
所在を知る必要なし
接続機関・コアメンバ
ディスク容量 35TB
+ 100TB(hepnet-J/sc)
– 筑波大学・
計算科学研究センター
宇川彰、佐藤三久、
建部修見、石井理修、
吉江友照
– KEK･
計算科学センター
松古栄夫
– 京都大学
基礎物理学研究所
大野木哲也
– 大阪大学・
核物理研究センター
外川浩章
– 広島大学・
理学部・物理学科
石川健一
– 金沢大学・
自然科学研究科
出渕卓
JLDG と ILDG
• 5つの地域グリッドを束ねた Grid of Grids
• JLDG は、日本地域グリッド (筑波大計算科学研究
センターにて接続）
UKQCD (QCDgrid/DiGS),
UK, Edinburgh
LatFOR,
Germany/France/Italy
DESY
JLDG, Japan
Tsukuba
USQCD, USA
Fermilab/JLab
http://www.lqcd.org/ildg
CSSM, Australia
Adelaide
JLDG の利用
• データのグループ内での共有
– 可能であるが、まだ運用していない（ユーザー毎のファイ
ルアクセス権設定機能が未完であるため）
– 2008年度中に開始したい
• データの一般公開
– CP-PACS, CP-PACS/JLQCD Nf=2, Nf=2+1 QCD 配位
４２セット、29Kファイル、7.5TB x 2
– データへのアクセス
JLDG 内からは uberftp
ILDG 外からは ildg-get (gsiftp) 又は http
– ユーザー数 (Lattice QCD Archive 含む)
JLDG 内 14, ILDG経由 93, http 経由 189
データグリッドの将来
• データグリッド
– 現在、JLDG は主に、データを計算素粒子物理研究者一
般に公開するために使われている。近い将来、JLDG を
日常の研究のインフラとして利用したい。
• ファイルシステム
– 現在、JLDG はスパコンから直接アクセス（読み書き）で
きない。技術的に問題があるわけではなく、セキュリティ
ポリシーの問題。将来これを解決して、スパコンから事実
上無限のディスクスペースをあたかもローカルなファイル
システムであるかの様なパーフォーマンスで使えるシステ
ムに発展させたい。
• 他分野での活用
– JLDGシステムは格子QCDデータに特化したシステムで
はない。ニーズがあればどの分野でも似たシステムを構
築できる。

Download Report