大阪大学核物理研究センター 汎用計算機システム 紹介

大阪大学核物理研究センター
汎用計算機システム
紹介
http://www.rcnp.osaka-u.ac.jp/Divisions/CN/computer/ibm/index.html
システム全体構成図
I/Oステーション
Internet
HEPNET
ODINS
リング棟2F
AVF3F
本館3F
本館6F
Firewall
計算サーバー
データ処理サーバー
外向けメールサーバ
外向けwwwサーバ
オンラインステーション1,2(kasuga1,2)
アプリケーション・サーバ群
printer
mail
news
web
dns
ntp
・・・
核理1ネットワーク
プリンター用ネットワーク
ポスタープリンター(1台)
高速プリンター(3台)
カラープリンター(13台)
高速モノクロプリンター(1台)
汎用計算機システムについて
• 大規模実験データを高速処理可能な
サーバー(RS/6000 SP)
• 大容量で高速なストレージ
サーバー(RS/6000-SP)の性能
• 4cpu(1ノード)
・875 SPECint_rate95
・1382 SPECfp_rate95
• メモリ
・3.5 GB(データ処理サーバー)
・7.0 GB(計算サーバー)
ディスク装置
• SSAによる大容量(37.59TB)のディスクシ
ステムを構築。
• 8同時I/O処理と最大320MB/sの転送速度
という高パフォーマンスの実現。
• RAID-5による構成により1ドライブに障害
が発生しても、連続稼動が可能。
(※SSA:Serial Storage Architecture)
計算サーバー/データ処理サーバー
バッチノード
インタラクティブノード
• バッチ ノード
計算ノード #3
senri
4CPU Memory:7GB
計算ノード #2
サブミット
4CPU Memory:7GB
ログイ
ン
4CPU Memory:7GB
計算ノード #1
saho
4CPU Memory:7GB
4CPU Memory:7GB
ログイン
データ処理ノード #8
4CPU Memory:3.5GB
データ処理ノード #7
4CPU Memory:3.5GB
ログイ
ン
・計算ノード
・データ処理ノード
hozumi
SPスイッチ
4CPU Memory:3.5GB
データ処理ノード #6
4CPU Memory:3.5GB
データ処理ノード #5
• インタラクティブ
ノード
4CPU Memory:3.5GB
データ処理ノード #4
4CPU Memory:3.5GB
• 大容量ディスク
装置
データ処理ノード #3
4CPU Memory:3.5GB
データ処理ノード #2
4CPU Memory:3.5GB
データ処理ノード #1
4CPU Memory:3.5GB
大容量ディスク
計算ノード
• 4CPUが3ノードで合計12CPUあります。
• 大規模計算(主として理論)用のCPUです。
• 処理の為のバッチキューは
長時間
中時間
短時間
の3種類用意されてます。
データ処理ノード
• 4CPUが8ノードで合計32CPUあります。
• CPUは核理1A、1B、1C各グループにそれぞれ
15,11,6に分配してます。
• 処理の為のバッチキューは、各核理共に
長時間
中時間
短時間
の3種類用意されてます。
バッチジョブのクラス設定
グループ
クラス名
説明
CPU使用時間
キュープライオリティ
最大同時実行数
核理1A
(sahoから実行可能)
AL
核理1A長時間
30日
3
8
AM
核理1A中時間
6時間
2
14
AS
核理1A短時間
1時間
1
8
BL
核理1B長時間
30日
3
8
BM
核理1B中時間
6時間
2
10
BS
核理1B短時間
2時間
1
4
CL
核理1C長時間
30日
3
4
CM
核理1C中時間
1時間
2
4
CS
核理1C短時間
3分
1
4
DL
理論長時間
30日
3
6
DM
理論中時間
1時間
2
6
DS
理論短時間
3分
1
12
ML
Mathemathica長時間
30日
3
2
MM
Mathemathica中時間
1時間
2
2
MS
Mathemathica短時間
3分
1
2
核理1B
(sahoから実行可能)
核理1C
(sahoから実行可能)
理論
(senriから実行可能)
Mathemathica
(senriから実行可能)
インタラクティブノード
• Senri
・一般ユーザー向けのノード
・計算ノードへのバッチジョブの投入口
• saho
・データ解析ユーザー向けのノード
・データ処理ノードへのバッチジョブの投入口
• hozumi
・データ解析ユーザー向けのノード
・インタラクティブで大きなジョブを実行する為のノード
・このノードはsahoに入ってから利用可能
導入ソフトウエア
【導入ソフトウェア一覧】
項目
名称
機能
システムソフトウェア
AIX v4.3.3
Parallel System Support Program V3.1
Performance Tool Box V2.2
General Parallel File System v1.2
Parallel Environment V2.4
IBM LoadLeveler V2.1
Tivoli Storage Manger/Tivoli Space Manager 3.7
オペレーティングシステム
並列サーバ用管理プログラム
パフォーマンス管理ツール
パラレルファイルシステム
並列環境(並列化ライブラリ等)
ジョブコントローラ
アーカイブ管理
言語
XL Fortran for AIX v7.1
ANSI X3.9-1978 (Full ANSI FORTRAN 77)、 Fortran 90
(ISO/IEC 1539-1991 (E) and ANSI X3.198-1992)準拠
ANSI X3.159-1989準拠
C for AIX v5.0
VisualAge C++ Professional for AIX v5.0
gcc-2.95.2.0
gcc.g++-2.95.2.0
gcc.info-2.95.2.0
エディタ関連
GNU Emacs-20.7(mule)
ispell-3.1.20
エディタ
emacs使用時のスペルチェッカー
かな漢字変換
Wnn6
egg4
かな漢字変換
かな漢字変換
数式処理
Mathematica
数式処理
mail,news,www関連
pine 4.05
Netscape 4.7(navigator,messanger,composer)
mnews
Mime対応メールユーティリティ
Webブラウザ,メールリーダ,ニュースリーダ
ニュースリーダ,メールリーダ
セキュリティ関連
OpenSSL 0.95a
SSLプログラム
SSHプログラム
OpenSSH 2.2.0p1
【導入ソフトウェア一覧】(続き)
項目
名称
機能
ライブラリ関連
cernライブラリ
IMSL F90 MP Linbrary
IMSL C Library
Cernの提供するライブラリ
IMSL FORTRANライブラリ
IMSL Cライブラリ
tex関連
tex v3.14159
ptex v2.1.8
latex v9906
platex v19990809e
dvips v5.78+patch v1.4
xdvi v22.15+patch v03
VFlib2-config v2.25.1
mendex v2.4f
tex
日本語版(ASCII版)
texマクロ
ptexマクロ
PSファイル変換
dviファイルビューワ
日本語を統一的に扱うためのライブラリ
索引整形ツール
その他ツール等
gzip-1.2.4.1
GNU patch-2.5.4
GNU make-3.79.1.0
GNU tar-1.1.3
gnuplot-3.7
tcsh-6.09
kterm-6.2.0
Ghostscript
ghostview-3.5.8
tcl-7.6.0.0, tcl-8.2.3.0
圧縮ツール
GNU版patch
GNU版make
GNU版tar
対話的な関数描画プログラム
cshの上位版
日本語対応端末
ポストスクリプトインタプリタ
PostScriptビューア
言語処理ソフト
tclの拡張ライブラリセット
画像ビューア
システム資源監視ツール
グラフの表示・編集ツール
リモートクライアント
PDFファイルビューア
Zip圧縮用汎用ライブラリ
テキストビューア
tk-4.2.0.0, tk-8.2.3.0
xv-3.10a
monitor v2.1.7+patch pre7
xmgr v3.1.7
xon-6.5.1
Acrobat Reader 4.05
zlib-1.1.3
jless-3.3.2
ネットワーク
•
•
•
•
対外接続
内部ネットワーク
建物間接続
情報コンセント(network socket)
ネットワーク
• 対外接続
Internet
HEPNET
ODINS
Firewall
緩衝セグメント(DMZ)
対外接続セグメント
ファイアーウォール
Firewall
• 許可されたトラフィックだけを通過させます。
• ネットワーク構成やIPアドレスを外部のネット
ワークから隠します。
• ネットワークの不正のチェックや障害チェック
のため、ファイアウォールを通過するトラ
フィックはログに記録されます。
ネットワーク
• 内部接続
対外接続セグメント
senri
saho
hozumi
核理1セグメント
加速器セグメント
汎用セグメント
各種サーバー
大塔セグメント
ネットワーク
• 建物間接続
ネットワーク集線装置
リング棟地階
ネットワーク集線装置
リング棟2階
2GigaBit Ethernet
ネットワーク集線装置
本館4階
ネットワーク集線装置
AVF棟3階
ネットワーク
• 情報コンセント
ネ
ッ
ト
ワ
ー
ク
集
線
装
置
情
報
コ
ン
セ
ン
ト
ハブ
PC等
オンラインステーション
• リングサイクロトンにおけるデータ収集システム
からのデータ転送を受け、データ処理サーバー
へ転送する為のシステムです。
• 2台を設置し、1台に障害が発生しても他の1台
が利用できる構成です。
• 大量のデータ転送を可能にする為、ギガビット
イーサネットで接続されてます。
CPU:POWER3-Ⅱ 375MHz 2cpu
437 SPECint_rate95 (2CPU)
メモリ:
2 GB
I/O ステーション
• I/Oステーションはテープ装置を中心とするリ
ムーバブルメディアを管理するシステムです。
• 4台をリング棟2F、AVF棟3F、本館3階、6階
に設置してます。
• I/Oステーションの利用は各ステーションにロ
グインする事で利用できます。
I/Oステーションと接続機器
DLT テープライブラリー装置
8mm テープ装置
8
m
m
DLT テープ装置
テ
ー
プ
ラ
イ
ブ
ラ
リ
ー
装
置
DAT テープ装置
Solaris システム
CD-R装置
3.5FD装置
3.5MO装置
DVD‐RAM装置
アプリケーションサーバー
•
•
•
•
•
•
•
プリンターサーバー
メールサーバー
wwwサーバー
newsサーバー
dnsサーバー
ntpサーバー
pppサーバー
アプリケーションサーバー
プリンターサーバー
Windows95,98 WindowsNT
プリンタサーバa
LPR対応計算機
MacOS
プリンタサーバb
出力履歴収集処理
履歴集計処理
メール通知機能
カラープリン
ター
×13
高速プリンター
×3
高速モノクロプリンター
×1
ポスタープリンター
×1
• プリントサーバーを同時2台
稼動
• 1台のサーバーに障害が発
生した場合、クライアントより
他のサーバへ切替えることで
同一プリンターが使用出来る。
• 各々のプリントサーバー上の
履歴情報を集計し、ユーザー
別・機器別の情報をレポート
する。
アプリケーションサーバー
メールサーバー
• メールサーバーは受
信専用と送信用の2
台に分けて運用
• メールサーバーは架
空のサイト名を送信
元とするようなメール
の拒否など、ファイア
ウォールとの組み合
わせでセキュリティー
を確保しています。
アプリケーションサーバー
wwwサーバー
•wwwサーバーは、公開用外向けとWebページ登録・編集等を行う内向け
の2種類有ります。
【ブラウザ環
境】
【ホームページ公
開】
Internet
HEPNET
Firewall
Internet
ODINS
HEPNET
外向けwwwサーバ(公開)
www-rcnp
汎用ネットワーク
ODINS
Firewall
汎用ネットワーク
内向けwwwサーバ
www-in
(プロキシ)
nfs
登録・編集
•外部のwwwサーバーへのアクセスに
はプロキシの設定が必須です。
内向けwwwサーバ
www-in
(プロキシ)
login
Senri
ユーザー
(webブラウザ)
外向けwwwサーバ(公開)
www-rcnp
www管理者
登録・編集
一般ユーザー
•Webの公式ページはセンター内の限られ
たコンテンツ管理者のみが編集可能。
•一般ユーザーの個人/グループのページ
はsenri上のページの更新で公開サーバー
へ反映されます。
アプリケーションサーバー
newsサーバー
• newsサーバーを使用できるのは内部
ユーザに限られてます。
• newsサーバーの推奨リーダーはmnews
です。
• システムの運用情報が rcnp.announce
で提供されます。
アプリケーションサーバー
dns
• dnsは内向け2台、外向け1台で
サービスを行ってます。
• 内向けサーバーを2台設定する
事で、1台に障害が発生してもも
う1台でサービスの提供を受けら
れます。
• センター内からセンター内の計算
機の名前は引けますが、外部の
ネットワークよりセンター内の名
前の参照は特定のサーバー以外
は出来ません。
アプリケーションサーバー
ntpサーバー
• ntpサーバーは各計算機の時計を正確
にあわせる為に時刻情報を提供する。
• 現在2台のサーバーで運用をおこなって
ます。
アプリケーションサーバー
pppサーバー
• pppサーバーは電話回線からダイアル・
インにより、senri/saho にアクセスを可能
にするシステムです。
• pppサーバーを利用されたい方はシス
テム管理者に確認のうえ、指示された電
話番号を適宜入力し設定して下さい。