「HSC データ解析拡張システム 一式」 仕様書 平成 26 年

「HSC データ解析拡張システム 一式」
仕様書
平成 26 年 12 月
1. 概要
HSC(Hyper Suprime-Cam)は国立天文台が開発したすばる望遠鏡向けの超広視野撮像装置である。2012 年 8 月の
ファーストライト、引き続き装置の機能・性能評価期間を経て、2014 年 3 月からは共同利用観測での運用が開始
され、世界中の一般の天文学者が所定の審査を経て HSC を利用することができるようになった。HSC は、装置の焦
点面に撮像素子である 2048x4176 ピクセルの CCD が 116 個並べられており、直径 1.5 度に渡る視野を一度に撮像
する能力を持つ。撮像で生成されるデータは 1 露出あたり 2GB であり、一晩の観測で 400GB 以上のデータが取得
される。
国立天文台では、HSC により約 5 年間(300 夜)をかけて 1000 平方度を超える天域を探査する、大規模な観測
(戦略枠観測プログラム)を 2014 年 3 月から開始した。このプログラムで最終的に取得されるデータ量は、未処
理の状態で 45TB 程度(300 万ファイル)の予定である。このデータを科学的研究で利用するためには、天体の結
像位置と天球座標とを対応させることや、天体から放射されるエネルギーフラックス密度を求めるなどの較正作
業にくわえ、画像を重ね合わせて天体を検出し測定する解析処理を施す必要がある。観測計画の段階では、この
処理過程によって少なくとも 300TB 程度の処理済みデータが生成されると試算していた。
そこで国立天文台では、
この試算をもとに、主に戦略枠観測プログラムの初期データを処理するためのシステムとして、2013 年度に「す
ばる望遠鏡 超広視野撮像装置(HSC)用データ解析システム 一式」
(以下、
「HSC データ解析システム」)の導入
を行った。
その後、戦略枠観測プログラムが開始されたが、一方で解析ソフトウェアの増強による処理済みデータ量の増
加があり、また、共同研究者の要望に応えてデータリリースを比較的短期間に繰り返す必要性が明らかになった。
このような状況下で観測計画の進度に追従してデータ処理を滞りなく進め、すべての処理結果を安定して保存し、
かつ、それと並行して処理済みデータのクオリティの評価を効率的に行い、処理結果が科学的利用の信頼に足る
精度を持つことを確認するためには、早急なシステムの増強が必要である。
本仕様で調達するシステムは、2013 年度に導入された既存の「HSC データ解析システム」にディスクと CPU を
追加する形で既存の解析システムに不足する機能を補い、戦略的観測プログラムで得られるデータ滞りなく解析
処理するためのものである。
本システムには、観測データと処理済みデータを保持するためのストレージの増強(100TB 以上)
、解析を効率
的に進め、処理履歴や結果を管理するためのマスターサーバ、データベースサーバ、また、処理結果を評価する
ための計算機が含まれる。本システムの目的はデータ解析処理に特化されており、生成された処理済みデータは、
本システムとは別の既存アーカイブシステムのストレージにコピーされ、それを通して共同研究者に提供される。
2. 一般事項
2-1 納入物件
調達物品名・数量
HSC データ解析拡張システム 一式
2-2 納入期限及び納入場所
納入期限:平成 26 年 3 月 13 日
納入場所:東京都三鷹市大沢 2-21-1
大学共同利用機関法人自然科学研究機構国立天文台
3. 仕様
3-1構成内訳
1 ファイルサーバ計算機 1台
2 ディスクストレージシステム 1台
3 解析マスターサーバ計算機 1台
4 解析データベース計算機 1台
5 データ評価計算機 1台
6 搬入据付調整等 一式
7 その他
3-2 各構成内訳の要求要件
上述の解析処理を円滑に行うため、3-1の1~6について、下記の性能・機能(または同等以上)を有
すること。ただし、以下のハードディスクの容量に関する記載事項は、特に指定のない限り物理量での値と
する。既存の「HSC データ解析システム」については、添付資料を参照のこと。
3-2-1 ファイルサーバ計算機
1) CPU は Intel Xeon E5-2650v2 (2.6GHz/20MBcache/8Core) 相当以上を 2 個以上装備すること。
2) メモリは 64GB (DDR3-1866 ECC registered) 以上であること。
3) HDD は、システム用 1 TB (7200rpm/SATAIII または SAS の 6.0Gbps 以上の性能)×2 台 以上と RAID
コントローラを有し、RAID1 構成であること。
4) HDD は活性交換可能であること。
5) Single Port InfiniBand (QDR 40Gbps 以上) で、既存の「HSC データ解析システム」および「HSC デ
ータ解析拡張システム」内のすべての InfiniBand 機器と通信できること。
6) ネットワークインターフェースは 1000BASE-T×2 系統を有すること。
7) 国立天文台が提供する既存のネットワークスイッチを介して、既存の「HSC データ解析システム」および
「HSC データ解析拡張システム」内のすべての計算機と 1000BASE-T で接続できること。接続に必要な
ケーブル類は用意すること。
8) DVD-ROM メディアを読めるデバイスを有すること。
9) VGA または DVI の映像出力を有すること。
10) OS は、Linux CentOS 6.6 x86_64 相当以上が可動であること。
11) ラックマウントタイプの筐体であること。
12) 冗長化電源を有すること。
13) 既存の KVM 装置(富士通社製 S3-1601 1U)に接続し、既存の「HSC データ解析システム」および「HSC
データ解析拡張システム」内の他のすべての計算機と同等に操作できること。
14) 既存の「HSC データ解析システム」および「HSC データ解析拡張システム」内の各計算機と既存の
InfiniBand スイッチを介して InfiniBand で接続し、
「ディスクストレージシステム」上のファイルシス
テムを各計算機から NFS 接続で利用できること。接続に必要なケーブルは用意すること。
15) 同時に 100 プロセス以上からの NFS 接続を受け付けることができ、
その際の各クライアント計算機と
「フ
ァイルサーバ計算機」との間の接続の理論帯域は 40Gbps 以上であること。
3-2-2 ディスクストレージシステム
1) HDD は、4TB(7200rpm/SATAIII6.0Gbps 以上の性能)×30 台以上と RAID コントローラを有し、RAID60
または機能と性能でそれに相当する構成により単一のファイルシステムで 100TB 以上の物理容量を持つ
こと。
2) HDD は活性交換可能であること。
3) 「ファイルサーバ計算機」と 6Gbps 以上のデータ転送帯域幅で接続すること。接続に必要なケーブル類
は用意すること。
4) ラックマウントタイプの筐体であること。
5) 冗長化電源を有すること。
3-2-3 解析マスターサーバ計算機
1) CPU は、Intel Xeon E5-2630Lv2 (2.40GHz/15MBcache/6Core) 相当以上を 2 個以上装備すること。
2) メモリは、64GB (DDR3-1866 ECC registered) 以上であること。
3) HDD は、システムと作業領域用として内蔵で 2 TB (7200rpm/SATAIII または SAS の 6.0Gbps 以上の
性能)×2 台 以上と RAID コントローラを有し、RAID1 構成であること。
4) HDD は活性交換可能であること。
5) Single Port InfiniBand (QDR 40Gbps 以上) で、既存の「HSC データ解析システム」および「HSC デー
タ解析拡張システム」内のすべての InfiniBand 機器と通信できること。
6) 既存の「InfiniBand スイッチ」を介して「ファイルサーバ計算機」に対して InfiniBand 接続での NFS
による通信が可能であること。接続に必要なケーブル類は用意すること。
7) ネットワークインターフェース 1000BASE-T×2 系統を有すること。
8) 国立天文台が提供する既存のネットワークスイッチを介して、既存の「HSC データ解析システム」および
「HSC データ解析拡張システム」内のすべての計算機と 1000BASE-T で接続できること。接続に必要な
ケーブル類は用意すること。
9) DVD-ROM メディアを読めるデバイスを有すること。
10) VGA または DVI の映像出力を有すること。
11) OS は、Linux CentOS 6.6 x86_64 相当以上が可動であること。
12) 2U 以下のラックマウントタイプの筐体であること。
13) 冗長化電源を有すること。
14) 既存の KVM 装置(富士通社製 S3-1601 1U)に接続し、既存の「HSC データ解析システム」および「HSC
データ解析拡張システム」内の他のすべての計算機と同等に操作できること。
3-2-4 解析データベース計算機
1) CPU は、Intel Xeon E5-2630v2 (2.60GHz/15MBcache/6Core) 相当以上を 2 個以上装備すること。
2) メモリは、64GB (DDR3-1866 ECC registered) 以上であること。
3) HDD は、
システムとデータベース領域として内蔵で 2 TB (7200rpm/SATAIII または SAS の 6.0Gbps 以
上の性能)×4 台 以上と RAID コントローラを有し、RAID6 構成であること。
4) HDD は活性交換可能であること。
5) Single Port InfiniBand (QDR 40Gbps 以上) で、既存の「HSC データ解析システム」および「HSC デー
タ解析拡張システム」内のすべての InfiniBand 機器と通信できること。
6) 既存の「InfiniBand スイッチ」を介して「ファイルサーバ計算機」に対して InfiniBand 接続での NFS
による通信が可能であること。接続に必要なケーブル類は用意すること。
7) ネットワークインターフェース 1000BASE-T×2 系統を有すること。
8) 国立天文台が提供する既存のネットワークスイッチを介して、既存の「HSC データ解析システム」および
「HSC データ解析拡張システム」内のすべての計算機と 1000BASE-T で接続できること。接続に必要な
ケーブル類は用意すること。
9) DVD-ROM メディアを読めるデバイスを有すること。
10) VGA または DVI の映像出力を有すること。
11) OS は、Linux CentOS 6.6 x86_64 相当以上が可動であること。
12) 2U 以下のラックマウントタイプの筐体であること。
13) 冗長化電源を有すること。
14) 既存の KVM 装置(富士通社製 S3-1601 1U)に接続し、既存の「HSC データ解析システム」および「HSC
データ解析拡張システム」内の他のすべての計算機と同等に操作できること。
3-2-5 データ評価計算機
1) CPU は、Intel Xeon E5-2650v2 (2.60GHz/20MBcache/8Core) 相当以上を 2 個以上装備すること。
2) メモリは、128GB (DDR3-1866 ECC registered) 以上であること。
3) HDD は、システム用として内蔵 1 TB (7200rpm/SATAIII または SAS の 6.0Gbps 以上の性能)×2 台 以
上と RAID コントローラを有し、RAID1 構成であること。
4) 上記システム領域に加えて、内蔵または通信帯域 6.0Gbps 以上の性能を持つ直接接続の外付けディスク
装置として、単一ファイルシステムで 20TB(物理容量)以上の作業領域用のディスク領域を持つこと。
このディスク装置の筐体は、独立の接続インターフェース(6.0Gbps)とファイルシステムを持ちさえす
れば「ディスクストレージシステム」の筐体と一体となっていても構わない。
5) HDD は活性交換可能であること。
6) Single Port InfiniBand (QDR 40Gbps 以上) で、既存の「HSC データ解析システム」および「HSC デー
タ解析拡張システム」内のすべての InfiniBand 機器と通信できること。
7) 既存の「InfiniBand スイッチ」を介して「ファイルサーバ計算機」に対して InfiniBand 接続での NFS
による通信が可能であること。接続に必要なケーブル類は用意すること。
8) ネットワークインターフェース 1000BASE-T×2 系統を有すること。
9) 国立天文台が提供する既存のネットワークスイッチを介して、既存の「HSC データ解析システム」および
「HSC データ解析拡張システム」内のすべての計算機と 1000BASE-T で接続できること。接続に必要な
ケーブル類は用意すること。
10) DVD-ROM メディアを読めるデバイスを有すること。
11) VGA または DVI の映像出力を有すること。
12) OS は、Linux CentOS 6.6 x86_64 相当以上が可動であること。
13) 2U 以下のラックマウントタイプの筐体であること。
14) 冗長化電源を有すること。
15) 既存の KVM 装置(富士通社製 S3-1601 1U)に接続し、既存の「HSC データ解析システム」および「HSC
データ解析拡張システム」内の他のすべての計算機と同等に操作できること。
3-2-6 上記機器全体に関する条件
1) 「HSC データ解析拡張システム」内の機器すべてが、国立天文台が提供する既存の 19 インチラック 2 個
以内に既存の「HSC データ解析システム」とともに収納できること。床耐荷重 600kg/㎡ を十分考慮す
ること。ラックへの機器搭載に必要な部品は用意すること。
2) 電源は国立天文台が用意する単相 100V 系(コンセント形状は JIS C 8303 2 極接地付または NEMA 5-15R)
を用いること。電源接続用のケーブルを用意すること。
3-2-7 搬入・据え付け調整等
1) 契約者は契約者の負担により、2-2にある納入場所の計算機室に、すべての物品を2-2にある納入期
限までに搬入すること。
2) 契約者は契約者の負担により、搬入後開梱をおこなう。不要となった梱包材などは契約者の負担により処
理すること。
3) 契約者は搬入の 1 ヶ月前までに導入するシステムの消費電力および、必要な電源コンセントの種類およ
び数を国立天文台に連絡すること。
4) 契約者は、
「ディスクストレージシステム」を含む、各計算機のディスク装置について、国立天文台が指
定する構成で RAID およびファイルシステムの設定を行うこと。
5) 機器の据え付けと配線、必要なシステムサービスの設定、動作確認は原則として国立天文台で行うが、必
要に応じて技術的な協力を行うこと。
3-2-8 その他
1)
本仕様のシステム内のすべての機器について、導入後少なくとも 36 ヶ月間の電話サポート・故障部品に
かわる部品およびオンサイトでの問題箇所調査・部品の交換作業を含む保証をおこなうこと。保証範囲の機
器故障発生時には、翌営業日以内に初動対応を行うこと。
2)
上記の条件の範囲内で、省電力・省スペースに努めること。
3)
電子文書形式の操作マニュアルおよび保守マニュアルを各1部提供すること。
(添付資料)
既存のHSCデータ解析システム構成図
既存ファイルサーバ
(富士通 RX200 S8)
ネットワークスイッチ
1000BASE-T
IB
インフィニバンド
QDR
CCD画像解析用
サーバ
(富士通 RX300 S8)
IB
X5台
モザイキング解析・
カタログ作成用サーバ
(富士通 RX300 S8)
外部ネットワーク
へのコアスイッチ
FC8
ディスク 100 TB
(富士通 DX100 S3)
X2台
インフィニバンドスイッチ
(Mellanox IS5023)
IB