2006system

大容量ストレージシステム
HPSS (High Performance Storage System)
八代茂夫
2006/2/9
http://agenda.kek.jp/ → seminars → CRC
→ New system guidance
2006/2/9
1/12
[email protected]
HPSSとは

分散階層型ストレージ管理ソフトウェア(HSM)
– 階層型
ディスクとテープをひとつのStorage Areaとして構成
 あまり使わないデータは、テープに落ちる (migrate)
 利用するときに自動的にテープからディスクに上がる (stage)

– 分散型
巨大な一つのネームスペース
 ユーザはどこにデータがあるか意識する必要なし
 ペタバイトクラスのマスストレージの構築が可能


HPSSの特徴
– 大規模データ管理
– 1ファイル当りの転送能力とスループット
2006/2/9
2/12
[email protected]
アクセスのインターフェイス

API (C言語のPOSIX-like関数)
– 高性能

pftp
– 高性能
– クライアントのインストールが必要

Kerberos-ftp (/usr/kerberos/bin/ftp)
– セキュア
– 設定ファイルの設定のみ

Normal-ftp
– セキュリティの問題

NFS
– 操作性良好
– セキュリティの問題
2006/2/9
3/12
[email protected]
Client/Server間の制御とデータの流れ
UNIX環境
HPSS環境
Tape Mover
(4)データ転送、TCP/IP
Tape Mover
テープライブラリ装置
データパス
Client
Disk Mover
(3)データ・リコール
TCP/IPデータパス
Disk Mover
(1)データ・リクエスト
2006/2/9
HPSS Core
サーバ
(2)データ転送
コントロールパス
4/12
ファイル管理DB
(メタデータ管理)
[email protected]
利用にあたっての考慮点
磁気ディスクはキャッシュ
 テープに書かれることを考慮

– 小さなファイルは不利
 オーバヘット大
– ファイルを消去してもリパックするまで、無効
領域として残る
2006/2/9
5/12
[email protected]
利用にあたっての考慮点

KEKCC上での使用例
– NFS経由でファイルの確認をし、APIでアクセ
スする

KEKCC外からファイル転送
– Kerberos-ftp あるいは pftp を推奨
2006/2/9
6/12
[email protected]
利用するには

試用のための領域を作成
– 誰でも、いつでも試せる
– 更新が1ヶ月以上前のデータの自動消去
– /hpss/test_g/

正式利用には
– まず計算科学センターにご相談ください

consult@kek,jp
– WG管理者の許可
– 磁気テープの調達
2006/2/9
7/12
[email protected]
運用

2006/2/9
旧テープのデータは read-only, 消去可
新しいデータは新テープに
8/12
[email protected]
旧システムからの移行


旧テープのデータは read-only, 消去可
新しいデータは新テープに
ファイルサイズで異なるキャッシュ領域
– 性能の向上
– ファイル作成時に COSid で選択

磁気テープの割り当て
– 旧システム：サブグループ毎に別テープ
– 新システム：ワークグループ毎に別テープ (原則)
磁気テープの効率的使用
 サブグループ間でのテープアクセスの競合がおこるかも知れ
ない

2006/2/9
9/12
[email protected]
2006/2/9
10/12
[email protected]
2006/2/9
11/12
[email protected]
参考資料

HPSS サイト
– http://www.hpss-collaboration.org/hpss/index.jsp

共通情報システムの情報
– http://kekcc.kek.jp/kekcc2006.html (暫定URL)

少し古いけど、参考に
– http://kekcc.kek.jp/docs/HPSS/slide/hpss.htm
– http://kekcc.kek.jp/docs/HPSS/000920_HPSS/
2006/2/9
12/12
[email protected]