HSC戦略枠サーベイのデータベースとその使い方

HSC戦略枠サーベイの
データベースとその使い方
高田唯史
(国立天文台HSCサブプロ/天文データセンター）
山田善彦、小池美知太郎、峯尾聡吾、古澤久徳、安田直樹他 HSC解析ソフトウェアチーム
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
今日の講演内容
•HSC戦略枠サーベイのデータ
•HSC戦略枠サーベイのデータベース
•HSC戦略枠サーベイデータベースの使い方
•今後の拡張機能予定
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
何故データベースが必要か?
• データが数（例えば10億程度の天体数、300万ほどのCCDデータファ
イル数）・量（1年もたたないうちから既に~50TB）共に多すぎて、デー
タそのものを全て持ってくるのは大変だし、保管する場所も個人では
持ちにくい。（財力＋根性で不可能ではないかも、、）
• 自分に必要な分だけ欲しい情報を持ってくるには、多次元空間で定
義されたデータだけを高速で拾い出してくる必要がある。
• リレーショナルデータベースを筆頭に、データベースというものは、ま
さに、多次元空間上で情報を高速に切り出してくるためにある。
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
提供されるHSC戦略枠サーベイデータの種類
• カタログデータベース
• サマリーテーブル(1天体について1レコードに情報がまとまっている）
• Coaddの各バンド画像上の天体カタログ
• Source & Forced Source
• Ccdの画像上の天体カタログ
• Source & Forced Source
• 画像・カタログファイル（FITSファイル）
•
•
•
•
•
処理済みCCD画像（CORR）
Warp済みExposure画像（Warp）
モザイク補正後のCCD画像（CALEXP）
Coaddの各バンド画像(?,?.fitsまたはcalexp)
Ccd、Coaddに付属した天体カタログ
• Match（キャリブ用カタログとのマッチングの結果のカタログ）
• Src（天体カタログ）
• Force(天体カタログ)
• 公開用のデータベースのdumpファイル
• あなたの手元でもデータベース本体を持つことが出来る、、(現在~2TB)
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
HSC戦略枠サーベイのデータベースの作成
• 画像についてはメタデータ（画像の取得時刻、座標、フィルター、
シーイング、測光ゼロ点、イメージクオリティ等）をDB登録
• カタログについては基本的に全ての情報をDB登録
• パイプラインのはき出す画像とカタログのうちサイエンスやエンジニ
アリングに必要だと思われる全ての情報を何らかの形でDBに登録し、
検索可能にすることが基本ポリシー
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
画像メタ情報
Visit processing(reduceFrames)
Every CCD
Exposure processing(exposureQa)
Every exposure
Mosaicking (mosaic)
Every (Tract, Patch + Filter)
Stacking + Stack Measurement (stack)
Every (Tract, Patch + Filter)
Apply Mosaic Result to CCDs
(calibrateExposure)
Every CCD 2015/3/20
Pipeline Procedures
Visit Images Meta Data
(CORR)
Frame
Frame_HPX11
Frame_Mng
Exposure Meta Data
(expQaMeta)
Exposure
Exposure_Mng
Mosaic Solutions
(wcs & fcr)
Wcs
Wcs_Mng
Fcr
Fcr_Mng
Warped Visit Images
(warp) Warped
Warped_HPX11
Warped_Mng
Stack Images Meta Data
(calexp)
Mosaic
Mosaic_HPX11
Mosaic_Mng
Mosaic Calibrated CCD Images Meta Data
(CALEXP)
日本天文学会2015年春季年会 HSC企画セッションB04r
Pipeline Outputs
CalibFrame
CalibFrame_HPX11
CalibFrame_Mng
DataBase tables
天体カタログ
Visit processing(reduceFrames)
Every CCD
Exposure processing(exposureQa)
Visit Matched Sources
frame_matchlist
frame_matchphoto
Visit Bright Sources
frame_icsourcelist
frame_icsoucephoto
Visit Sources
Every exposure
Mosaicking (mosaic)
Stack Matched Sources
Stacking + Stack Measurement (stack)
Every (Patch + Filter)
Forced Stack Measurement
(forcedPhotCoadd)
mosaic_icsourcelist
mosaic_icsourcephoto
Stack Sources
mosaic_sourcelist
mosaic_sourcephoto
Every (patch + Filter + RefFilter)
Forced Visit Sources
Every CCD Apply Mosaic Result to CCDs
(calibrateCatalog)
2015/3/20
Every CCD Pipeline Procedures
mosaic_matchlist
mosaic_matchphoto
Stack Bright Sources
Forced Stack Sources
Forced Visit Measurement
(forcedPhotCcd)
frame_sourcelist
frame_sourcephoto
Mosaic Calibrated Visit Sources
日本天文学会2015年春季年会 HSC企画セッションB04r
Pipeline Outputs
mosaic_forcelist
mosaic_forcephoto
frame_forcelist
Frame_forcephoto
frame_calsourcelist
frame_calsourcephoto
DB tables
Mosaic_Forcelist + Mosaic_ForcePhoto
ID
Mag1
Mag2
…………..
1
23.0
23.1
HSC‐G
1
22.9
23.0
HSC‐R
1
22.8
22.9
HSC‐I
1
22.0
22.1
HSC‐Z
1
21.5
21.6
HSC‐Y
2
……..
……..
……..
2
……..
……..
……..
サマリーテーブル作成
FILTER01
各バンドのCoadd画像上で検出された同一天体の情報を1レコードに
（Coaddのマルチバンドカタログ）
ID
gMag1
rMag1
iMag1
zMag1
yMag1
gMag2
rMag2
iMag2
zMag2
yMag2
1
23.0
22.9
22.8
22.0
21.5
23.1
23.0
22.9
22.1
21.6
2
…..
…..
…..
…..
…..
……………
Frame_Forcelist + Frame_ForcePhoto
ID
Mag1
Mag2
MJD
1
23.0
23.1
53888
……
HSC‐G
1
22.9
23.0
53889
……
HSC‐G
ID
gMag1
rMag1
iMag1
zMag1
yMag1
gMag2
rMag2
iMag2
zMag2
yMag2
MJD
1
22.9
23.1
53890
……
HSC‐G
1
……..
………
……….
………
………
……….
………
22.9
22.9
53891
……
HSC‐G
1
23.0
23.0
53892
……
HSC‐G
1
……..
……..
HSC‐R
{23.1,
23.0,
23.1,
22.9,
23.0}
……..
1
{23.0, 22.9, 22.9, 22.9, 23.0}
{53888,
53889,
53890,
53891,
53892}
2
…..
…..
…..
…..
…..
1
……..
……..
HSC‐R
2015/3/20
FILTER01
各バンドのCCD画像上で検出された同一天体の情報を1レコードに
（時系列データの基本部分）
日本天文学会2015年春季年会 HSC企画セッションB04r
サマリーカタログ作成時に付加している情報
•
•
•
•
•
銀河座標値
(cx,cy,cz)座標値
HEALPixインデックス（order=18）
銀河系による吸収値(Schlegel et al. 1998)
統計値
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
ストアド関数（Stored Function）
https://hscdata.mtk.nao.ac.jp:4443/hsc_ssp/dr_early/common/stored_functions.html
• データベース上で動く関数群
– 統計値計算(weighted mean, median, quantile, skewness, kurtosis他）
– 時間変換（MJD<‐>DATETIME)
– 座標変換（赤道<‐>銀河）
– 単位変換（等級<‐>Flux,Jy,cgs）
– HSC独自の変換（HSCA?????????? <‐> visit、ccd）
– WCSに関する便利な関数
– 形状計算（determinant radius他）
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
HSCデータベースの使い方
• HSC戦略枠データ検索・取得用サイト
• カタログデータの探し方（Coadd天体マルチバンドカタログ）
• 画像データの探し方
• 外部カタログ（Value‐Addedも含む）とのリンク
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
HSC戦略枠データ検索・取得用サイト
• https://hscdata.mtk.nao.ac.jp:4443/hsc_ssp/
• アクセスするにはユーザーアカウントが必要です。(戦略枠Co‐Iの証）
• カタログ検索（CAS：Catalog Archive Server）
• Direct SQL Search: 細かい注文型検索
https://hscdata.mtk.nao.ac.jp:4443/datasearch/
• Form Search (SQL Generator): おきまりコース型検索
https://hscdata.mtk.nao.ac.jp:4443/datasearch/photoobj_searches/new?experimental=1
• Skymap（Explorer：カタログの画像へのオーバープロット）
https://hscdata.mtk.nao.ac.jp:4443/hsc_ssp/dr_early/skymaps/ (COSMOS) https://hscdata.mtk.nao.ac.jp:4443/hsc_ssp/dr_early/skymaps/?tract=1 (SXDS)
• Schema Browser: データベーステーブルの中身を知るためのオンライン辞書
https://hscdata.mtk.nao.ac.jp:4443/schema_browser2/
• 画像・ファイル検索(DAS: Data Archive Server)
• フォーム検索: https://hscdata.mtk.nao.ac.jp:4443/das_console/
• 直接アクセスによるwgetでのファイル取得も可能
• ストアド関数
• 検索補助用の関数群
https://hscdata.mtk.nao.ac.jp:4443/hsc_ssp/dr_early/common/stored_functions.html
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
戦略枠データリリース（S14A_0＋S14A_0b)のカタログデータベース
Release
Survey
Filters
DB Schema
Tracts
No. of records(Coadd)
S14A_0
UDEEP
(COSMOS)
g,r,i,z,y
ssp_s14a0_udeep_20140523a
0
880,792(i‐selected)
S14A_0
WIDE
(GAMA15)
i,y
ssp_s14a0_wide_20140523a
9369‐9376
9612‐9619
9855‐9861
10,548,142(i‐selected)
S14A_0b
UDEEP
(COSMOS)
g,r,i,z,y
ssp_s14a0b_udeep_20150121a
0
880,187(i‐selected)
672,301(z‐selected)
602,061(y‐selected)
S14A_0b
UDEEP
(SXDS)
g,r,i,z,y
ssp_s14a0b_udeep_20150121a
1
1,303,520(i‐selected)
568,503(z‐selected)
720,781(y‐selected)
S14A_0b
WIDE
(XMM)
g,r,i,z,y
ssp3_4_1_20141224
8279‐8285
8520‐8527
8762‐8769 9006‐
9010
29,818,944
S14A_0b
WIDE
(GAMA09)
g,r,i,z,y
ssp3_4_1_20141224
9314‐9316
9556‐9560 9799‐
9801 10042‐10043
20,737,413
S14A_0b
WIDE
(VVDS)
g,r,i,z,y
ssp3_4_1_20141224
9451‐9453
9694‐9696 9936‐
9938
13,398,315
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
7670万レコード
カタログデータの探し方
カタログ検索初期画面
サーベイの種類
検索方法
サマリーテーブル検索画面にアクセス
https://hscdata.mtk.nao.ac.jp:4443/datasearch/
photoobj_searches/new?experimental=1
ログイン：すばるSTARSのアカウント
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
カタログデータの探し方（２）
検索条件入力
Coneサーチ
tract指定等
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
検索条件入力
フラッグ
True
False
使わない
カタログデータの探し方（３）
アウトプット情報の指定
アウトプットの表示順指定
表示の最大数の指定
2015/3/20
出来上がったSQL文の確認
日本天文学会2015年春季年会 HSC企画セッションB04r
カタログデータの探し方（４）
プレビュー
少ないLimit数で確認(Preview)
後、最終クエリーをキューに投
げる。
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
カタログデータの探し方（５）
From: [email protected]
件名：SSP Catalog Search ‐ Your job has been finished : catalog‐job 2015‐03‐13
Your job has finished.
データ検索終了後、
こんなメールが登録先に届く
name: catalog‐job 2015‐03‐13
status: done
SQL:
SELECT
main.object_id, main.ra2000, main.decl2000, main.a_g, main.a_r, main.a_i, main.a_z, main.a_y, main.gmag_kron, main.rmag_kron, main.imag_kron, main.zmag_kron, main.ymag_kron, main.gmag_kron_err, main.rmag_kron_err, main.imag_kron_err, main.zmag_kron_err, main.ymag_kron_err
FROM
ssp_s14a0b_udeep_20150121a.photoobj_mosaic__deepcoadd__yselect AS main
LEFT JOIN ssp_s14a0b_udeep_20150121a.mosaic_forceflag__deepcoadd__yselect AS z_flag ON main.object_id = z_flag.object_id AND z_flag.filter01 = 'HSC‐Z' LEFT JOIN ssp_s14a0b_udeep_20150121a.mosaic_forceflag__deepcoadd__yselect AS y_flag ON main.object_id = y_flag.object_id AND y_flag.filter01 = 'HSC‐Y'
WHERE
(main.detect_is_tract_inner = 't' AND main.detect_is_patch_inner = 't') AND (main.gmag_kron >= 25 AND main.ymag_kron <= 22) AND (main.imag_kron ‐ main.zmag_kron >= 2 AND (main.zmag_kron ‐
main.ymag_kron BETWEEN ‐1 AND 1)) AND (z_flag.flux_kron_flags = 'f' AND y_flag.flux_kron_flags = 'f' AND z_flag.flux_kron_flags_psffactor = 'f' AND y_flag.flux_kron_flags_psffactor = 'f' AND z_flag.flux_kron_flags_radius = 'f' AND y_flag.flux_kron_flags_radius = 'f' AND z_flag.flux_kron_flags_smallradius = 'f' AND y_flag.flux_kron_flags_smallradius = 'f' AND z_flag.flags_pixel_edge = 'f' AND y_flag.flags_pixel_edge = 'f' AND z_flag.flags_pixel_interpolated_any = 'f' AND y_flag.flags_pixel_interpolated_any = 'f' AND z_flag.flags_pixel_interpolated_center = 'f' AND y_flag.flags_pixel_interpolated_center = 'f' AND z_flag.flags_pixel_saturated_any = 'f' AND y_flag.flags_pixel_saturated_any = 'f' AND z_flag.flags_pixel_saturated_center = 'f' AND y_flag.flags_pixel_saturated_center = 'f' AND z_f
lag.flags_pixel_cr_any = 'f' AND y_flag.flags_pixel_cr_any = 'f' AND z_flag.flags_pixel_cr_center = 'f' AND y_flag.flags_pixel_cr_center = 'f' AND z_flag.flags_pixel_bad = 'f' AND y_flag.flags_pixel_bad = 'f' AND z_flag.flags_pixel_suspect_any = 'f' AND y_flag.flags_pixel_suspect_any = 'f' AND z_flag.flags_pixel_suspect_center = 'f' AND y_flag.flags_pixel_suspect_center = 'f')
ORDER BY
main.object_id ASC
LIMIT
1000
job list:
https://hscdata.mtk.nao.ac.jp:4443/datasearch/catalog_jobs
CSV:
https://hscdata.mtk.nao.ac.jp:4443/datasearch/catalog_jobs/download/9125de4b72f57f54c5318509590764dba3dbb3a75fd929d8a2da375bcb56a873
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
カタログデータの探し方（５）
Job List
自分の打ったクエリーの内
容とアウトプットへのリンク
をリストしたもの
30秒ごとに更新されていて、
自分のクエリーの動作状況
も確認出来る。
Jobの状態
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
OutputのCSVファイルへのリンク
カタログデータの探し方（６）
Skymap（Explorer）を起動し
て、ダウンロードしたカタロ
グの分布等のチェック
●画像色合い変更可能
●Mini <‐> Background
●カタログのロードとオーバー
プロット可能
●マークの色の変更可能
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
カタログデータの探し方（７）
●カタログ表示可能
●マークした天体情報表示可能
●カタログとの連動可能
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
カタログデータの探し方（８）
スキーマブラウザ
各DBテーブルの詳細を表示
欲しい・使いたい情報のカラム名を知る
Direct SQL Searchで複雑な検索をした
い場合には、特に注意をしながらみて
ください。
将来的には、各カラムについて値がど
のように求められているかのアルゴリ
ズムのページへのリンクを持つように
する予定。（アルゴリズムページが未
整備、、、、）
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
画像データファイルの探し方
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
画像データの探し方（２）
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
画像データの探し方（３）
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
画像データの探し方（４）
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
Coadd Warp
取得可能な
画像データ
2015/3/20
CCD
日本天文学会2015年春季年会 HSC企画セッションB04r
外部データ（＋Value‐Added）とのリンク
• 分光赤方偏移カタログとのクロスマッチング
• 測光赤方偏移データカタログ（HSC‐based）とのリンク
• 未実装
近赤外線カタログとのリンクは未設定
他波長(具体的には近赤外線やUバンド）データとの結合解析結果のハンド
リング
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
今後の検索機能拡張予定など
• カタログ検索
SkymapからSQLを打てるようにする
Jobs Listから直接CSVをSkymapにオーバープロット
My Queryの保存機能
DASとの連携機能
時系列系のデータ検索は今後の課題
• 画像検索＋α
小領域切り出し機能
• ドキュメント等の充実
チュートリアルページ
ユーザーマニュアルの充実
サンプルクエリーの充実（よりサイエンスカタログに近いもの）
講習会の開催
検討（修正）事項
カタログの保存容量制限の工夫（1回のクエリーでの最大保存容量が小さい）
プレビュー用のクエリー時間が短すぎる？
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
Skymap機能は進化中、、、、
WIDEサーベイ見れる
RA,DEC表示
Miniウィンドウの導入
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
Skymap機能は進化中、、、、
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
データ検索時の注意事項
（しつこいようですが、、、）
• まずリリースノートを読んでデータ利用に対する制限について理解して下さい。
• データ生成の流れを知り、どのようなデータが取得できるのかを理解して下さ
い。
• ストアド関数（データベース上で利用可能な関数）をうまく利用して下さい。
• フラッグの指定を注意深く行って下さい。
• 限界等級の情報を指定して下さい。
• Skymap等を使って、思った通りのサンプルが取得できているのかの確認を
行って下さい。
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r
まとめ
• HSC戦略枠サーベイのデータベースは、科学的成果を出していく上
でのキーの１つである
カタログ検索＋確認ツールが使えるようになってきている
SQLがそれほどわからなくても、とりあえずカタログが取得はできる
• カタログ検索、画像検索とも、今後も機能追加が進む
• 機能拡張と同時に、SQL等の知識をどう伝達して、効率的なデータ取
得・解析を促進するかが今後の課題
• パイプラインの進化に合わせたデータベース(検索)進化が今後もま
すます求められる(スピードとユニークさ）
• Value‐Addedデータの増加が見込まれるので、対応方法を明確化し
ていく必要がある
2015/3/20
日本天文学会2015年春季年会 HSC企画セッションB04r

Download Report