Introduction to GRID computing

Introduction to GRID
computing
KEK計算科学センター
佐々木節
GRID computingの理想
• いつでも
• どこでも
• ほしいだけ
？
？
？
計算資源(ストレージ、CPU、情報)が高品質に使える
ubiquitous
universal or global
？
GRIDの起源
• The Grid: Blueprint for a New
Computing Infrastructure,
Morgan Kaufmann, 1998.
– Ian Foster (Editor) Argonne National Laboratory
– Carl Kesselman (Editor)
University of Southern California
• Power grid（電力網）から
• 大規模計算センター間での資源共有
並列処理、分散処理の方式
• 密結合クラスタ
– 数台程度
– メインフレーム
• 分散クラスタ
– ワークステーション、PC
– ネットワーク接続型、バス接続型
• 大規模分散クラスタ
– 専用ハードウエアからPCへ
• グローバルコンピューティング
– 分散処理をマルチサイトに拡大
なぜGRIDが流行ったか？
• 政治的理由
– 予算稼ぎに使えることに気がついた人達がいた
• 多額の予算が各国政府から支出された
– 計算センターの人的資源維持にも役立つ
• 日本では意味なし。もともと人がいないから。
• みんながやっているから
– 乗り遅れると、国家間、地域間の格差を広げるかもしれない
• 次々後追いで予算が投下された
– 標準化団体が早々に立ち上がった
• Globus Toolkitがすでにあった
• GRIDの概念の変遷に寛容だった
– GRIDに好き勝手な概念を結びつけて予算が取れた
GRIDの基本概念
• 資源は集中管理されていないが、コーディ
ネートされている
– 仮想組織(Virtual Organization)
• インターネット上で資源を共有する単位
– シングルサインオン
• 複数の機関にまたがる計算機を仮想化し、統一的に
扱える
• プロトコル、インターフェースの標準化と公開
• 質の高いサービスが提供される
コンピューティンググリッド
• とにかくCPUをたくさん一度に使いたい！
• 仮想計算機にジョブを投入すると、自分の仮
想組織内で許された範囲内でCPUを使える
– 並列処理も視野に
• gridMPI
• ジョブとジョブの関係は気にしているが、入出
力データの量は少ないか、多くても単純なこ
とを前提としている
データグリッド
• CERNの発明した言葉
– GRIDマネーを呼び寄せた呪文
• GRIDコンピューティングの概念を拡張
• 大量のデータをインターネットに繋がれた機
関の間で共有する
ミドルウエア
• GRIDを実現するためには、オペレーティング
システムとアプリケーションソフトウエアの中
間層としてのミドルウエアが必要
• ほとんどがGlobus Toolkitをベースにしている
にも関わらず、互換性に乏しい
– Globusは、Ian FosterらGRID提唱者が95年ごろ
から開発
Globus Toolkit
The open source Globus® Toolkit is a
fundamental enabling technology for
the "Grid," letting people share
computing power, databases, and
other tools securely online across
corporate, institutional, and
geographic boundaries without
sacrificing local autonomy. The
toolkit includes software services
and libraries for resource monitoring,
discovery, and management, plus
security and file management. In
addition to being a central part of
science and engineering projects
that total nearly a half-billion dollars
internationally, the Globus Toolkit is
a substrate on which leading IT
companies are building significant
commercial Grid products.
LCG
• LHC Computing GRID
– LHCのためのGRIDコンピューティングのインフラストラク
チャおよびミドルウエアの名前
• ＨＥＰと直接関係ない部分は、ＥＵの共同研究で開
発される
– EGEE, gLite
• LCG = gLite+CERN special
• gLite= Globus+data grid
• 各実験グループで開発されている部分も多く、LCG
だけで済むわけではない
LCGの使い方
• STEP 0
– 仮想組織の登録
• 方針が決まったら、VOMS管理者と相談してください
• STEP 1
– 電子証明書の取得
• KEK GRID CAがKEK計算科学センターのユーザのために個人の証明書を発行
している
– http://gridca.kek.jp
– 仮想組織への登録
• STEP 2
– 利用開始
• ICEPP坂本氏の講義メモ
– http://www.icepp.s.u-tokyo.ac.jp/~sakamoto/education/atlasj/lcg/index.html
– ATLASの場合の説明だが、参考になる
PKIと電子証明書
• PKI=公開鍵方式
– 公開鍵で暗号化された情報は秘密鍵でのみ復号化
– 秘密鍵で暗号化された情報は公開鍵で復号化
• CA (certificate authority) 証明書の発行
• ３者間認証方式
– 信頼できるCAの署名した証明書(自分の公開鍵+CAの署名)を持っているこ
とで、ユーザを認証する
• 証明書の署名の部分は、CAの公開鍵で復号できる
• オレオレ証明書は信じてはダメ！ (httpsも同じ)
– KEK GRID CAは、信頼できるCAとして、APGRID PMAから承認されている
• 体制、システム、オペレーションに関して厳しいルールがあり、監査を受けている
• どこのＧＲＩＤ認証にも利用できる
• 秘密鍵と公開鍵
– 秘密鍵のセキュアな保持が重要
プロキシ認証
• Globus Toolkit由来
• 一度パスフレーズを入力しておけば、次から
の認証を代理してくれる
– ジョブを投げるたびにパスフレーズを入力するの
は煩雑だし、キューに入っているジョブがスタート
したときにパスフレーズの入力を催促するわけに
もいかない
コマンドの例
• 代理認証
– voms-proxy-init / voms-proxy-destroy
• ファイルカタログ
– lfc-ls
• レプリカカタログ
– lcg-lr ファイルはどこにあるの？
– lcg-cp ファイルのコピー
• ジョブの投入
– まず、ジョブ定義言語でジョブ記述ファイルを作る（現代のJCL）
• [ Executable = "/bin/sh"; Arguments = "testenv.sh"; StdOutput =
"std.out"; StdError = "std.err"; InputSandbox = {"testenv.sh"};
OutputSandbox = {"std.out","std.err"}; ]
– edg-job-submit test.jdl
– edg-job-get-output
計算科学センターの方針
• LCGの導入と運用
– 共通情報システムの資源を用いて試験運用中
• リソースは十分ではない
– 30CPUほど
– ストレージはHPSSを主に利用
– 加速器科学仮想組織の立ち上げ
• GRID技術の普及
• LCが日本に建設される場合の心の準備
• 周辺関連分野との協調、協力
• 国産ミドルウエアNAREGIの導入と試験
– 未だベータ版だが、完成後は、より良いサポートが期待で
きる
– LCGとのinteroperabilityの確立
加速器科学仮想組織
• 国立情報学研究所のeサイエンス事業
– 来年度は、予算がつくかどうかも分からないがベ
ストエフォートで
• LCGを使って国内の機関で加速器科学関連
分野のための仮想組織を形成する
• 今年度、広島工大、神戸、名古屋、筑波、東
北、宇宙線研、KEKで始める
– データ共有とアプリケーション開発のための基盤
づくりを目指す
結論
• GRIDコンピューティングは、急速に発展中
– 未だ、未成熟な部分もある
• CERNは、LHCに向けて、LCGを使ったデータ共有、解析の
ための環境整備を急いでいる
– LCに向けては、LCGをそのまま使うのではなく、改善が必要
• LCは、LHCに比べデータ総量は少ないと予想されるが、配布先の機関
の数はずっと多いかも知れない
• データファイル間、データ間の相関をどう扱うか
– ファイルカタログの改善
• 日本にLCが建設されるのであれば、心とお金と人の準備が
相当必要
• とりあえず、LCGを使ってみよう！
GRIDの現実（蛇足）
• たいていの時間は
• 限られた場所でなら
• 与えてもらっただけ
計算資源が使わせてもらえるかも？
(ストレージ、CPU、情報)
魔法の呪文ではないことは確か！
GRIDへの壁
• ネットワークセキュリティー
– セキュリティーと利便性
– ファイアウォール
• KEK全体として考える必要がある
• 資産保護
– 他人に自分の計算資源を無制限に解放すること
はありえない

Download Report