gLiteとその利用方法に関するご説明
2006年11月1日
日本アイ・ビー・エム株式会社
日本アイ・ビー・エム・システムズ・エンジニアリング株式会社
免責事項
この資料に含まれる情報は可能な限り正確を期しておりますが、日本アイ・ビー・エム株式会社および日本アイ・ビー・エム
システムズ・エンジニアリング株式会社の正式なレビューを受けておらず、当資料に記載された内容に関して何ら保証するもので
はありません。
従って、この情報の利用またはこれらの技法の実施はひとえに使用者の責任において為されるものであり、資料の内容によって
受けたいかなる被害に関しても一切の保証をするものではありません。
また、当資料に記載された製品名または会社名はそれぞれの各社の商標または登録商標です。
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
2
ご説明の流れ
• gLiteと機構内のgLite環境について
• gLite環境の利用方法について
• 補足：gLite UIコンポーネントの導入方法
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
3
gLiteと機構内のgLite環境について
gLiteとは
• EGEE（Enabling Grid for E-sciencE）が開発している
グリッドミドルウェア
– 各国・地域ごとに整備が進んでいる研究コラボレーション基盤
• Europe : EGEE/gLite
• USA : OSG/Grid 3
• Japan : NAREGI/Naregi Middleware
...etc.
– 主な機能
• 以下の機能を、複数組織体にまたがって提供する
– 電子証明書を利用したユーザ認証・管理機能 ..etc.
– 計算ジョブの投入・削除などのジョブ制御機能
グリッドの
基本理念
– 処理対象データの登録・複製・読出し・削除など管理・共有機能
– 利用可能なリソース情報を公開・共有する機能
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
5
gLiteのコンポーネント（1/3）
gLiteは複数のコンポーネントが相互に連携し
グリッド環境としての機能を提供します
• UI（User Interface）
– エンドユーザが直接ログインして利用する
– ジョブの投入やデータの操作、
情報の取得などのコマンドを実行できる
• WN（Worker Node）
– 計算ジョブを実行する
• CE（Compute Element）
1台のCEによって
複数のWNが
制御される
– 計算ジョブの実行を管理する
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
6
gLiteのコンポーネント（2/3）
• RB（Resource Broker）
– 計算ジョブの受付窓口
– 計算ジョブの処理状況も監視する
• SE（Storage Element）
– 各種データファイルを保存・管理する
– ストレージ資源への実アクセスを制御
• LFC（LCG File Catalog）
– データの索引を管理する
– 実データファイルへのマッピングやデータ複製を実施する
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
7
gLiteのコンポーネント（3/3）
• BDII（Berkley Distributed Information Index）
– グリッド環境の情報を収集・公開する
– 主にコンポーネント間で相互状況を確認する際に使用する
• MON（Monitoring） + Grid ICE
– グリッド環境の詳細な稼動情報を収集・管理するコンポーネント
– 主に管理者や利用者が使用する
– 機構内の場合、以下のURLから情報を参照できる
http://rls08.cc.kek.jp/gridice/host/host_summary.php?siteName=JP-KEK-CRC-02
• VOMS (VO Management Server)
– グリッドを利用できるユーザの証明書情報を登録・管理する
他にもコンポーネントがありますが、本セッションでは割愛させていただきます
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
8
gLite以外の関連するコンポーネント
• Grid CA
– ユーザの電子証明書を発行する
– サーバの電子証明書を発行する
• UI, RB, CE, SE, LFC, VOMSなどが利用している
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
9
機構内gLite環境 システム概要図
GRID
RB
LFC
MON
SE
海外研究所
CERN、DESY
rls03
CE
rls05
SE
UI
rls08
PX/BDII
rls07
rls06
rls02
rac01
rls04
HPSS システム
LCGファイルサーバ + DISK
(AIX5L 5.3)
WN
LCG計算サーバ
(CERN SL)
rlc13～rlc36
• 今回ご購入いただきましたファイルサーバはrls07となります
• UIノードであるrac01dt.cc.kek.jpをご利用いただけます
• ただし、ILCグループで所有の既存ファイルサーバは直接マウントできません
• 既存ファイルサーバ上のデータを利用するためには、後述の利用案を参照ください
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
10
システム情報（抜粋）
• 計算ノード
– 24ノードの計算ノード
– 各ノードのスペック
• CPU：AMD Opteron 2.6GHz
• Memory：4GB
• OS：Scientific Linux CERN 3.0.8（i386 – 32bit版）
• ストレージ
– 合計約2.5TBのストレージ領域が利用可能
• Gridシステム用ファイルサーバ 500GB
• HPSS 1TB
• ご購入いただいたファイルサーバ 1TB
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
11
ILCグループでのご利用形態案
この部分をご用意ください
ILCクラスタ
ILC用UI
機構内GW
NFSマウント
ILC既存ファイルサーバ
GRID
RB
LFC
MON
SE
海外研究所
CERN、DESY
rls03
CE
rls05
SE
UI
rls08
PX/BDII
rls07
rls06
rls02
rac01
rls04
HPSS システム
WN
LCG計算サーバ
(CERN SL)
rlc13～rlc36
LCGファイルサーバ + DISK
(AIX5L 5.3)
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
12
gLite環境の利用方法について
本章では概要をご説明いたします。
詳細はgLiteマニュアル（参考資料【3】）をご参照ください。
また、本内容はICEPP坂本先生のサイト（参考資料【6】）を
参考に作成しております
前提条件
1. 証明書の取得
– KEK CAの証明書取得方法は参考資料【5】を参照ください
2. 証明書の配置
– ${HOME}/.globusディレクトリを作成し、hostcert.pemと
hostkey.pemファイルを配置
– hostkey.pemファイルはchmod 600としておくこと
3. VOへの登録
– ILCのVOへの登録方法例は次頁を参照
– ILCのVO管理者に対して事前に登録許可の交渉をされること
をお勧めいたします
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
14
ILC VOへのユーザ登録方法（1/3）
• ILC VOMSサイトへアクセス
– https://grid-voms.desy.de:8443/voms/ilc/
※ ブラウザに証明書が導入されている必要があります
• 左側メニューにある「New User Registration」をクリック
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
15
ILC VOへのユーザ登録方法（2/3）
• 赤字の項目に必要事項を記入し、「I have read and
agree to VO’s Usage Rules」をクリック
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
16
ILC VOへのユーザ登録方法（3/3）
• 登録の確認メールが届きますので、入力事項が正しい
かを確認し、メール本文中のURLをクリックしてください
• 登録リクエストがVO管理者に自動的に送信されます
• VO管理者による登録作業完了後、通知メールが届けば
登録完了です
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
17
gLite環境の主な利用内容
•
利用頻度の高い操作の利用方法をご説明いたします
1. グリッドシステム利用のための認証
2. グリッドジョブ操作
•
ジョブの投入や結果の取得方法など
3. データ操作
•
データの取得やアップロードなど
4. グリッド情報取得
•
グリッドシステム利用にあたり必要となる情報の取得方法
これらの操作はすべてUI上で行います
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
18
グリッドシステム利用のための認証（1/2）
ジョブの投入やデータ操作の前に、グリッドシステムを
利用するための認証作業が必要です
• 認証の方法（grid-proxy-init コマンド）
– 認証コマンド実行後、通常は一定期間（通常24時間）経過する
と認証が破棄されるため、再認証が必要となります
$ grid-proxy-init
Your identity: （ここにユーザの証明書情報（DN）が出力されます）
Enter GRID pass phrase for this identity: （証明書取得時に登録したパスワードを入力）
Creating proxy .................................................. Done
Your proxy is valid until: Mon Oct 30 03:23:11 2006
• 認証の破棄（grid-proxy-destroy コマンド）
– 認証を明示的に破棄する場合に使用
$ grid-proxy-destroy
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
19
グリッドシステム利用のための認証（2/2）
• 認証情報の参照方法（grid-proxy-info コマンド）
– 認証の有効期限を調べるときなどに使用
$ grid-proxy-info
subject : （ここにユーザの証明書情報（DN）＋αが出力されます）
issuer : （ここにユーザの証明書情報（DN）が出力されます）
identity : （ここにユーザの証明書情報（DN）が出力されます）
type : full legacy globus proxy
strength : 512 bits
path : /tmp/x509up_u28522
timeleft : 11:58:46
認証が残りどのくらいの時間有効かを示します
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
20
グリッドジョブ操作（1/3）
JDL（Job Description Language）というジョブ記述言
語を用いて処理内容を記述し、gLite環境へジョブを投
入します
• JDLの例（hostname.jdl）
// hostname.jdl
Executable = "/bin/hostname";
StdOutput = "std.out";
StdError = "std.err";
コメントの例です
実行するコマンド名を記述します
出力ファイル名です
エラー出力ファイル名です
OutputSandbox = { "std.out","std.err" };
計算ノードから回収するファイルです
– 文法の詳細については参考資料【6】などを参照ください
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
21
グリッドジョブ操作（2/3）
• ジョブの投入（edg-job-submit コマンド）
– ジョブを投入するとジョブIDファイルが生成されます
$ edg-job-submit --vo VO名 -o ジョブIDファイル名 投入するJDLファイル名
例：$ edg-job-submit --vo ilc -o jobid hostname.jdl
• ジョブの状態を調べる（edg-job-status）
– ジョブ投入後に生成されたジョブIDファイルを利用します
– ジョブの状態の種類は参考資料【6】を参照ください
$ edg-job-status -i ジョブIDファイル名
例：$ edg-job-submit -i jobid
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
22
グリッドジョブ操作（3/3）
• ジョブの結果を取り出す（edg-job-get-output）
– ジョブ状態がDONE(SUCCESS)となると結果を取り出せます
– 取り出した結果は、通常/tmp/jobOutputディレクトリの下に配
置されます
• コマンド実行後のメッセージに詳細な場所が出力されます
$ edg-job-get-output -i ジョブIDファイル名
例：$ edg-job-get-output -i jobid
• 投入したジョブをキャンセルする（edg-job-cancel）
$ edg-job-cancel -i ジョブIDファイル名
例：$ edg-job-cancel -i jobid
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
23
データ操作（1/4）
データの操作には、gLite環境へのデータのアップロー
ドとダウンロード、ファイル情報の取得があります
• 世界中のgLiteサイトからデータにアクセスできるように、「レプリカ
カタログ」にデータを登録します
– 同じデータは複数のサイトに複製保持されることがあります
• データの参照方法は論理ファイル名（LFN）と物理ファイル名
（SURL）の2種類があります
– LFN：論理的に同じ（複製元ファイルと複製先ファイル）ファイルは同じ論理
ファイル名となります
• 例：lfn:/grid/atlasj/user/data
※ 必ず/grid/VO名が先頭に必要です
– SURL：どのSEのどの場所にファイルがあるか、つまり、ファイルの実態が
どこにあるかを表します
• 例：srm://rls06.cc.kek.jp/dpm/cc.kek.jp/home/atlasj/generated/2006-1031/file5bf7927c-70d7-4839-b81e-933df333d3bd
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
24
データ操作（2/4）
• 事前準備として2つの環境変数を設定します
– 以下は、機構内環境を利用する場合の例です
$ export LCG_CATALOG_TYPE=lfc
$ export LFC_HOST=rls05.cc.kek.jp
• カタログ情報の取得（lfc-ls コマンド）
– UNIXのlsコマンドと同じような使い方となります
$ lfc-ls /grid/belle
ibm-mat
kstrgamma
watase
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
25
データ操作（3/4）
• ディレクトリの作成（lfc-mkdir コマンド）
– 作業用のディレクトリを作成できます
$ lfc-mkdir ディレクトリ名
– gLite上のホームディレクトリを設定できます
$ export LFC_HOME=ディレクトリ名
– 環境変数LFC_HOMEを設定するとlfc-lsコマンドを引数なしで
実行するとlfc-ls ${LFC_HOME}と同義となります
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
26
データ操作（4/4）
• ファイルのアップロード（lcg-cr コマンド）
$ lcg-cr --vo VO名 -d SEのFQDN -l lfn:論理名 file:アップロードするファイルの絶対パス
例：$ lcg-cr --vo ilc -d rls06.cc.kek.jp -l lfn:/grid/ilc/user/hosts file:/etc/hosts
• ファイルのダウンロード（lcg-cp コマンド）
$ lcg-cp --vo VO名 lfn:論理名 file:ダウンロードするファイルの絶対パス
例： $ lcg-cp --vo ilc lfn:/grid/ilc/user/hosts file:/home/user/hosts
• カタログの削除（lcg-del コマンド）
$ lcg-del --vo VO名 -a lfn:論理名
例： $ lcg-del --vo ilc -a lfn:/grid/ilc/user/hosts
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
27
グリッド情報取得（1/2）
ジョブ投入やデータ操作コマンドへの引数として必要
となる利用可能なCEやSEの情報を取得します
• 情報の方法（lcg-infosites コマンド）
– CEの情報を取得する場合
$ lcg-infosites --vo ilc ce
参照したいVO名を入力します（ex. ilc, atlas）
valor del bdii: rls04.cc.kek.jp:2170
#CPU Free Total Jobs
Running Waiting ComputingElement
---------------------------------------------------------46
38
0
0
0
rls02.cc.kek.jp:2119/jobmanager-lcgpbs-ilc
1038 522
0
0
0
lcgce01.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-S
1038 522
0
0
0
lcgce01.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-ilcL
CEのサーバ名/ジョブマネージャ名
現時点で利用できる各CE配下のCPU数
各CE配下のCPU数
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
28
グリッド情報取得（2/2）
• 情報の方法（lcg-infosites コマンド）（続き）
– SEの情報を取得する場合
$ lcg-infosites --vo ilc se
参照したいVO名を入力します（ex. ilc, atlas）
Avail Space(Kb) Used Space(Kb) Type SEs
---------------------------------------------------------1600000000
1140000000
n.a
rls06.cc.kek.jp
102249365
2610283
n.a
dcache.gridpp.rl.ac.uk
SEのサーバ名
各SE配下の現時点で利用されているストレージ容量
各SE配下の現時点でデータを書き込めるストレージ容量
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
29
補足：gLite UIコンポーネントの導入方法
ここでは概要をご説明いたします。詳細
はgLiteインストールマニュアル（参考資
料【4】）をご参照ください。
導入の流れ
rootユーザにてすべての作業を実施ください
•
•
•
•
•
•
•
•
OSのインストール
Javaのインストール
時刻の設定
YAIMのインストール
コンフィグレーションファイルの配置
gLiteコンポーネントのインストール
ホスト証明書の配置
コンフィグレーションコマンドの実行
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
31
導入方法詳細（1/3）
• OSのインストール
– Scientific Linuxのバージョン3をインストール
– 導入するコンポーネントの選択はデフォルトで問題ありません
• Javaのインストール
– j2sdkのバージョン1.4.xをインストールしてください
– 最新バージョンは以下のサイトからダウンロードできます
• http://java.sun.com/j2se/1.4.2/download.html
• 時刻の設定
– NTPの時刻同期を設定してください
– 基準時刻をgLite用標準時刻であるUTCに設定します
• 下記例のようにタイムゾーンの設定を無効化します
# mv /etc/localtime /etc/localtime.orig
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
32
導入方法詳細（2/3）
• YAIMのインストール
– 以下のサイトからYAIMの最新バージョンのパッケージをダウン
ロードし、インストールしてください
http://grid-deployment.web.cern.ch/grid-deployment/gis/yaim/
※ 2006/10/30時点での最新バージョンはglite-yaim-3.0.0-22.noarch.rpm
• コンフィグレーションファイルの配置
– コンフィグレーションファイル（site-info.def）を配置します
• どのディレクトリに配置しても問題ありません
• 本説明では/opt/glite/yaim/etcディレクトリを作成し、そこに配置します
– 後続の説明では、適宜ディレクトリ名を置換ください
– site-info.defは後ほどメールでお送りいたします
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
33
導入方法詳細（3/3）
• gLiteコンポーネントのインストール
# /opt/glite/yaim/scripts/install_node /opt/glite/yaim/etc/site-info.def glte-UI
（色々なコンポーネントがインストールされる様子が出力されます）
（このコマンドの実行の完了までにはある程度の時間を要します）
• ホスト証明書の配置
– ホスト用の証明書を取得し、/etc/grid-security に配置します
– KEK CAの証明書取得方法は参考資料【5】を参照ください
• コンフィグレーションコマンドの実行
# /opt/glite/yaim/scripts/configure_node /opt/glite/yaim/etc/site-info.def glte-UI
（コンポーネントのコンフィグレーション状況が出力されます）
（このコマンドの実行の完了までにはある程度の時間を要します）
• 再起動後、grid-proxy-initコマンド等で稼動確認ください
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
34
参考資料
参考資料
【1】 EGEE gLite 3.0 公式サイト
http://glite.web.cern.ch/glite/packages/R3.0/
【2】 gLite 3.0 Documentation一覧サイト
http://glite.web.cern.ch/glite/documentation/
【3】 gLite 3.0 ユーザガイド
https://edms.cern.ch/file/722398//gLite-3-UserGuide.pdf
【4】 gLite 3.0 インストールマニュアル
http://grid-deployment.web.cern.ch/griddeployment/documentation/LCG2-Manual-Install/
【5】 KEK GRID CA
https://gridca.kek.jp/
【6】 ATLAS日本グループLCG勉強会資料
http://www.icepp.s.u-tokyo.ac.jp/~sakamoto/education/atlasj/lcg/
2006/11/1
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
36
© Copyright 2024 ExpyDoc
