天文GRID JVOプロジェクト 国立天文台 2015/10/1 Data Grid Mini WorkShop 大石雅寿 共同研究者 国立天文台 水本好彦 安田直樹 白崎裕治 田中昌宏 お茶の水女子大 増永良文 2015/10/1 富士通株式会社 門前弘邦 瓦井健二 石原康秀 谷中洋司 山口 靖 石田みつてる 齋藤紀男 Data Grid Mini WorkShop すばる望遠鏡 2015/10/1 Data Grid Mini WorkShop 2015/10/1 Data Grid Mini WorkShop 2015/10/1 Data Grid Mini WorkShop 45m大型電波望遠鏡 2015/10/1 Data Grid Mini WorkShop 2015/10/1 データベース化は現代天文学の常識 Data Grid Mini WorkShop ALMA 2015/10/1 Data Grid Mini WorkShop Time and Spectral Dimensions The Multiwavelength Crab Nebulae Crab star 1053 AD X-ray, optical, infrared, and radio views of the nearby Crab Nebula, which is now in a state of chaotic expansion after a supernova explosion first sighted in 1054 A.D. by Chinese Astronomers. 2015/10/1 Data Grid Mini WorkShop Slide courtesy of Robert Brunner @ CalTech. 現代天文学の要請 宇宙開闢直後の物理 銀河形成の謎 大規模構造形成の謎 宇宙の平均密度の決定 etc. → 均質なサーベイデータを用いた統計的 処理が必須 2015/10/1 Data Grid Mini WorkShop 天文学者の欲求 感度を上げたい! たくさんのデータを取りたい! 広い領域を見たい! 多波長で見ないと正しい宇宙像は得られ ないぞ! 2015/10/1 Data Grid Mini WorkShop 大型望遠鏡による観測データ 野辺山電波望遠鏡：~1TB/yr すばる望遠鏡 ：~20TB/yr ALMA（予定） ：~PB/yr 良質なデータ（特にサーベイデータ）の洪水 ディジタル化・アーカイブ化されている 2015/10/1 Data Grid Mini WorkShop Archiveを用いた天文学研究 • large fraction of astro-papers based on archives • HST archive use growing faster than archive 30 Gbytes/Day 25 20 15 10 5 Already more retrieval than ingest! 0 1994.8 1995.3 1995.8 1996.3 Ingest 1996.8 Year 2015/10/1 1997.3 1997.8 1998.3 Retrievals Ingest 1998.8 Data Grid Mini WorkShop 1999.3 graphics from US NVO project 既存DBの問題点 URLを知らないとアクセスできない FITSヘッダの内容が統一されていない 各波長に対応した様々な解析ソフト →他波長のデータへのアクセスの障壁 較正済みデータとは限らない →較正には観測装置の癖を知らなくては ならない 2015/10/1 Data Grid Mini WorkShop データ処理する人間の意識 それほどは変わらない 従来の方法では処理しきれないデータ →なんとかならないか 2015/10/1 Data Grid Mini WorkShop 計算機環境の激変により・・・ 高性能計算機資源が高速ネットワークで 接続 →遠隔地の計算機資源をあたかもローカ ル計算機のように利用することが可能 →単細胞生物から多細胞生物への進化に 対応 2015/10/1 Data Grid Mini WorkShop 計算機利用パラダイムの転換 高度化した計算機環境＋情報処理技術 を組み合わせることによって可能になる 新たな天文研究スタイルを確立しよう 2015/10/1 Data Grid Mini WorkShop Japanese Virtual Observatory 分散DBによるDigital Universeの構築 多波長データを統合したDB基盤を開発 大量データに対する統計的処理による新 しいスタイルの天文学研究環境の確立 2015/10/1 Data Grid Mini WorkShop JVO Home Page http://jvo.nao.ac.jp/ 2015/10/1 Data Grid Mini WorkShop Digital Universe Data Cube Dec. λ/Freq. 数値宇宙 R.A. + Time 望遠鏡による観測データ 2015/10/1 Data Grid Mini WorkShop 実宇宙 Virtual Telescope/Observatory Digital Universeを観測し，そのデータを 解析・処理することにより天文学的知見を生 み出す抽象化された観測装置 いつでも，どこからでも，天候などに左右され ずに観測することができる 2015/10/1 Data Grid Mini WorkShop 観 測 アイデア 実望遠鏡での データ 検 解 アイデア 析 研究発表 観測 2015/10/1 索 データ 解 仮想望遠鏡での 観測 Data Grid Mini WorkShop 析 2015/10/1 Data Grid Mini WorkShop 検索でデータが見つからない → VOが，「観測手順書」を作成し，実望遠 鏡の制御システムに渡す → 「手順書」が承認されれば，実観測 → 観測データを取得 → VOに登録 VOは，成長する観測装置! 2015/10/1 Data Grid Mini WorkShop JVOの必要機能 （内部）データフォーマットの共通化 異なるDBを統一的に検索 多様なデータ解析機能 マイニングなどの高度な解析機能 実望遠鏡との連携機能 VO内データの品質保証のために必須 2015/10/1 Data Grid Mini WorkShop Grid上で動くものは・・・ データは原則として移動させない（負荷が 高すぎる） 必要なモジュールを移動させる 結果を手元に持ってくる 結果をうまく可視化することが重要 2015/10/1 Data Grid Mini WorkShop DBの配置 観測データは，望遠鏡（観測所）におかれ ることが望ましい ←→ DBの内容を保証 多波長データを利用するためには，必然 的に，分散データベースとなる ←→ 異なるDBMSを用いた環境 2015/10/1 Data Grid Mini WorkShop プロトタイプ（初版）の作成 まずは，分散DBへの透過的アクセス法を 確立する｡ 検索言語(JVO Query Language)の動作 確認 閉じたサブネット内で実装 2015/10/1 Data Grid Mini WorkShop プロトタイプで対象とする 観測データ Subaru SuprimeCAM Sloan Digital Sky Survey (SDSS) 2μm All Sky Survey (2MASS) これらを用いて構想した枠組みの実効性を 示す → その後対象データを拡大する 2015/10/1 Data Grid Mini WorkShop JVOプロトタイプ概念設計案 • JVOプロトタイプは Subaru, SDSS, 2MASS の DB に直接接続する。 • 他のVOとの接続はプロトタイプではサポートしないが、Subaru DB等への 接続と同様の方法で接続可能なように設計する。 • 検索で頻繁に使われるデータはJVO内部にコピーとして持つ必要はない か。 • JVO に直接接続するDBは RDB または OODB で構築する。 • 検索結果はキャッシュされ、効率良く絞り込み検索などが行える。 Subaru DB JVO 検索 データ解析 検索指示 検索結果 解析結果 画像表示 検索結果 SDSS DB User 検索指示 検索結果 2MASS DB 2015/10/1 Data Grid Mini WorkShop 他のVO(NVO,AVO,etc) Registry Registryがもつデータベース Registry は JVO がアクセス可能な DB/VO に関する情報を保持し、JVO からの問い合 わせにたいして、リクエストされた条件を満たすDB/VO のサーバーアドレスやアクセス 方法等を返す。 データベースカタログ 望遠鏡カタログ 観測装置カタログ フィルターカタログ DB/VO ID DB/VO 名 種別 DB or VO サーバーアドレス Telescope ID Detector ID アクセス方法 コメント文 天体カタログ 天体名 天体種別 赤経 赤緯 HTM 座標誤差（赤経） 座標誤差（赤緯） 等級 等級誤差 距離 絶対等級 波長 Telescope ID Telescope 名 VO ID 設置場所 緯度 経度 高度 口径 Detector ID Detector 名 Telescope ID DB/VO ID 波長域（下限） 波長域（上限） 検出感度曲線デー タ 視野 フレームカタログ フレームID 観測開始時刻 露出時間 中心座標（赤経） 中心座標（赤緯） 観測装置ID フィルターID 限界等級 seeing frame URL 天体カタログ、フレームカタログは本体 DB/VO からとってくるべきもので 2015/10/1 Data Grid Mini WorkShop あるが、Quick Search を行えるように、検索頻度の高い項目についてそ のデータベースを Registory に保持しておくのはどうか？ Filter ID Filter名 Detector ID 波長域（下限） 波長域（上限） 透過曲線デー タ 天体名 resolver 天体名 <--> 座標変換サービス 検索要求 Webブラウザ Web ブラウザ JVO用 ブラウザ JVO Query Language 利用者独自 GT2から呼び出 で記述 サービス せるコマンドを JVO QLを 想定 各DB毎の検 索命令に parse JVO ポータル 研究者 JVO用 Viewer skycat UDDIサーバ （FreeSoft) Globus Toolkit サービス レジストリ セキュリティ管理 資源管理 データ管理 検索命令を発 行し，データを 転送する 実際の検索を依 頼するサーバを resolveする 2015/10/1 天体カタログDB データアーカイブ サービス データ 管理DB データ Globus Toolokit V2 を適用 仮想観測 Contoroller 天体カタログ 検索サービス Data Grid Mini WorkShop 解析サービス JVO Query Language(1) カタログ検索 create view myEROtable as select s.Bmag, s.Rmag, t.Hmag, t.Kmag, ..., sr.BOX(POINT(s.ra,s.dec),w,h) as Rimage, tk.BOX(POINT(s.ra,s.dec),w,h) as Kimage, ... from SUBARU s, 2MASS t, ..., SUBARU.R sr, 2MASS.K tk, ... where XMATCH(s,b,...) < 3 arcsec and (s.Rmag-t.Kmag) > 6 mag and BOX(POINT(ra0,dec0), w0, h0) 2015/10/1 Data Grid Mini WorkShop and ... Create view with the user specified name in JVO system. Select attributes from each catalog server. Column names can be expressed in UCD. Select cutout images from each image data server. Image area can be specified by BOX or CIRCLE operand. Select the catalog server. Select the image data server. Cross-match distributed catalogs. Query condition based on distributed catalog. Specify search area with the same syntax as cutout image specification. Partition to small segment JVO Query Language(2) 画像検索 AREA table s t a1 a2 a3 select s.a, t.a, ... from SUBARU.R s, 2MASS.K t, cutout request ... OVERLAP where (s.AREA() OVERLAP t.AREA()) as a s.AREA() SUBARU.R s 2015/10/1 Data Grid Mini WorkShop t.AREA() 2MASS.K t ユーザーインターフェースとしての検索条件 項目 1. 領域を指定して検索（天球座標または天体名） 7. 画像の属性を指定して検索 例1 例2 例3 例4 赤経･赤緯と半径で円領域を指定。 例1 視野が X 以上の画像データ。 複数の赤経･赤緯の組合わせで領域指定。 8. 観測装置を指定 天体名と半径で領域指定。 例1 望遠鏡の名前を指定。 フィールド名（HDF、SDF等）を指定。 例2 観測装置名を指定。 2. 観測時刻を指定して検索 9. データベースを指定 例1 観測時刻が T1～T2 の範囲にあるもの。 例1 スバル Suprim-Cam のデータベースを指 例2 観測時刻の間隔が ｄT1以上 dT2以下である。 定。 3. 波長を指定して検索 例2 survey 型観測のデータベースのみ検索。 例１ 電波、可視光、赤外、X線、ガンマ線、その他を指定。 例3 pointing 型観測のデータベースのみ検索。 例2 波長がλ1～λ２ の範囲のデータ。 例3 U, V, B, G, R, I, J, K, L, M, N で指定。 * 複数指定の場合 and か or を指定する。 問題点 4. 観測条件を指定して検索 例１ seeing が X 以下、限界等級が M 以上。 例2 AO観測のデータが欲しい。 検索条件によっては大量のデータをDBから とってくることになる。例えば、領域指定なしの 検索を行うと大量のデータか検索条件にマッ チしてしまう。そのよう場合はどうするか？ 5. 天体の属性（位置以外）を指定して検索 例1 見かけの明るさを指定。 例2 絶対等級を指定。 例3 距離、redshift、photometric redshitt。 例4 種族を指定。恒星、銀河、SN、連星系、パルサー、 Data Grid Mini WorkShop AGN、 2015/10/1 クエサー、GRB、XRB、SGR Redhat Linux JVO Prototype System Architecture GSDL UDDI Maintenance Tool JVO Client Apache Tomcat Netscape Communicator JVO Service (X match) Maintenance Tool UDDI4J soapuddi Apache ＳＯＡＰ ① Applet DownLoad Globus Toolkit (Server) Java2SE 1.4 Java2SE 1.4 Hypertext contents Redhat Linux JVO Service Gb Ether Solaris8 (Possible at Linux) JVO Controller UDDI Registory / Servlet Engine 2Mass DataBase JVO Service (select) • register • update • delete JDBC SQL library Java2 Plugin JVO Client (applet) ③ Find Service ② Request Observation JVO Controller DB Service Java2SE 1.4 PostgreSQL (DBMS) UDDI4J • • • • Image Data SUBARU SupCam z-band UDDI Data get & parse GSDL pre condition check execute Service post condition check ⑤ execute Service ⑤’ execute Service Internet ③ get GSDL Check status ④’ Get GSDL by GridFTP ⑥’ spawn Service GridFTP SQL library JVO Service (select) SQL library JVO Service (image) Image Data 2015/10/1 GSDL ⑥ spawn Service JVO Service (count) Free Software In House Software Commercial Software Function JVO Service (image) JVO Service (X match) Globus Toolkit (Server) Globus Toolkit GSDL Globus Toolkit (Server) JVO Service SUBARU DataBase SUBARU DataBase JVO Service ⑦ issue SQL GSDL (copy) ④ Get GSDL by GridFTP AVO 2Mass DB Redhat Linux Globus Toolkit (Client) NVO PostgreSQL JVO Server Monitoring Globus Toolkit DB Service Image Data (copy) JVO Service (X match) Image Data (copy) The following free software is included by globus toolkit. • OpenSSL (Secure Socket Library) • OpenLDAP (LDAP Server) • wu-ftpd (ftp server) Data Grid Mini WorkShop JVO Service (select) SQL library JVO Service (count) SQL library ⑦’ issue SQL Copy imate data by GridFTP Copy imate data by GridFTP Image Data (copy) Image Data DB Service ORACLE SUBARU SupCam i-band Prototypeの動作 JVO QLを読み込む 「観測手順書」を作成し，各ステップを実行 必要な段階で，Registryにコンタクトしなが ら手順書を展開 時にとっては，手順書のステップが dynamicに増加 2015/10/1 Data Grid Mini WorkShop JVO Prototype Architecture Solaris8 (Possible at Linux) Redhat Linux UDDI Maintenance Tool UDDI Registory / Servlet Engine Java2SE 1.4 Java2SE 1.4 Maintenance Tool Apache Tomcat 4.x JVO Client Globus Toolkit (Server) JVO Service soapuddi UDDI4J Apache ＳＯＡＰ JDBC Hypertext contents PostgreSQL RDB JVO Server Java2 Plugin … Java2SE 1.4 JVO Client (applet) SQL library DB Service Applet Down Load Netscape Communicator JVO Service JVO Controｌler Redhat Linux UDDI4J JVO Service Globus Toolkit (Client) JVO Service Globus Toolkit (Server) JVO Service SQL library Globus Toolkit (Server) DB Service PostgreSQL JVO Service DB Service RDB RDB Free Software 2015/10/1 Commercial Software In House Software Function Data Grid Mini SQL library ORACLE The following free software is included by globus toolkit. • OpenSSL (Secure Socket Library) WorkShop • OpenLDAP (LDAP Server) • wu-ftpd (ftp server) JVOプロトタイプ画面 仮想観測名 を指定 JVO QLの指定 （分散データのSQL拡張） 実行・停止・clearの指示 サービス実行制御の ログ表示 サービスの実行履歴・予定 （動的に変化） ［実行先ホスト名、コマンド名、結果］ 2015/10/1 Data Grid Mini WorkShop プロトタイプ実装で分かったGTK の問題 Job実行先での環境変数が継承されない →環境変数取得やコマンドを実行するshell scriptを用意し，そのscriptをGridFTPし， そのshellを起動してscriptを実行 利用者のアカウントが全てのマシンにある とは限らない →動作時のアカウントはglobusのみ 2015/10/1 Data Grid Mini WorkShop プロトタイプ実装で分かったGTK の問題（続き） Job実行開始までのOverhead大きすぎる →JVOでのJobは多くはbatch処理的なの でそれほど問題ではない｡Foreground的 処理をGridで行なうのは現状では問題。 →お知恵を拝借したい 2015/10/1 Data Grid Mini WorkShop 今後の展開—来年あたり プロトタイプ第2版の作成 解析システムの実装（使用中のコンポー ネントを接続） セキュリティの確保（サブネット越え＋ Firewall越え） 世界のVOとの接続 International Virtual Observatory Allianceへの参加を通し，接続形態の 共通化に貢献 2015/10/1 Data Grid Mini WorkShop JVO 解析機能 1. データベースの統計処理 指定したデータベース、天空領域について以下の天空マップを作る。天球の指定した 範囲がど れだけの時間･回数･波長で観測されたのかを視覚的に確認するため。 例1 観測時間マップ 例2 観測回数マップ 例3 波長域数マップ 例4 2. ユーザーデータベースの解析 例1 クラスタリング解析による新種天体の探索。 例2 LogN-LogP 分布の作成。 例3 特定天体のスペクトルの表示。 例4 天体2or3次元分布の表示。 例5 天体のライトカーブ表示。 3. 画像データの解析 例1 モザイキング。ユーザーが指定した領域のみの画像を切り出す。 例2 マルチカラー表示。多波長で取られた画像を波長毎に色をつけて合成する。 例3 deconvolution を行う。 例4 天体抽出、種族分類、カタログ化。 例5 トランジェント天体、変光星の探索。 例6 重力レンズ効果の探索。宇宙重力場、Cosmic String、Dark Matter 例7 high-z 天体候補の探索。 4. simulation 機能 例1 例えば、HSTの画像をSubaruで見た場合画像に変換する。 2015/10/1 Datasimulation Grid Mini機能。 WorkShop 例2 重力レンズ効果の 例3 ... 2015/10/1 Data Grid Mini WorkShop Java NEWSTAR パラメータ入力画面をJavaで作成 プラットフォーム依存性を排除 解析の本体部はサーバーに置き，HORB で通信 AIPSを用いたファイル管理（VAXタイプ） → 通常のUNIXファイルとして管理 2015/10/1 Data Grid Mini WorkShop 2015/10/1 Data Grid Mini WorkShop 世界のVO NVO (USA), AVO (EU),AstroGrid (UK) Germany, Canada, Russia, Australia India, China, JAPAN 各国のVOを相互接続するための規約作り → International Virtual Observatory Alliance (IVOA) 2015/10/1 Data Grid Mini WorkShop MVC 天文台殿 天体カタログDB MVC サービス サービス 天体カタログ サービス MVC VO用 ブラウザ JVO ポータル Web サーバ セキュリティ管理 VO用 Viewer ワーク フロー サービス サービス 利用者独自 サービス セキュリティ管理 資源管理 データ管理 仮想観測実行 サービス 仮想観測 指示 研究者 天体カタログ 天文台殿 DA/DB サービス サービス DB/DA サービス 資源管理 データ管理 サービス レジストリA セキュリティ管理 資源管理 DB Data データ管理 GRID環境 A サービス レジストリC Web サーバ サービス レジストリB 資源管理 セキュリティ管理 VO用 ブラウザ セキュリティ管理 研究者 VO用 Viewer 2015/10/1 GRID環境 C サービス サービス サービス セキュリティ管理 VO ポータル サービス サービス サービス 資源管理 他システム データ管理 処理 データ管理 資源管理 セキュリティ管理 データ管理 資源管理 データ管理 サービス 他システム サービス サービス サービス pipeline 他システム サービス サービス 処理 処理 他システム 処理 Data Grid Mini WorkShop GRID環境 B 今後の展開—数年後 制御システムとの接続 すばる，野辺山の制御系は分散WS GRIDインターフェースを付けてVOに 接続 ALMAデータの接続（年間Pbyteを生産） 一般用＆教育用interface 2015/10/1 Data Grid Mini WorkShop 波及効果 大学・大学院教育の支援 初等・中等教育の支援 Public outreach 2015/10/1 Data Grid Mini WorkShop DB天文学 光学赤外線電波天文学／電波X線天文学 大量データの統計処理 →物理量を精度よく決定 →天文学は精密科学へと変貌する 未知天体の発見ラッシュ 2015/10/1 Data Grid Mini WorkShop mystery outliers 2015/10/1 Data Grid Mini WorkShop graphics from US NVO project 2015/10/1 Data Grid Mini WorkShop
© Copyright 2024 ExpyDoc
