数値モデルの出力データ及び NCEP再解析データの取り扱い方の現状石渡正樹 (北大・地球環境) dcmodel プロジェクト http://www.gfd-dennou.org/library/dcmodel 地球大気との比較階層的モデル群によるアプローチ dcchart プロジェクト http://dennou-k.gfd.dennou.org/arch/dcchart/ • 教科書的な図を集める・自分たちで書く – Gtool4 netCDF 規約に基づくデータ • モデルの答え合わせ • 現状では NCEP の再解析データを用いた地球の気候値の図 • 近い将来には火星も可視化作業 • データ生成・データ取得 – Gtool4 netCDF 規約に基づくデータ • 規則正しい, netCDF, 自己記述的情報 • 付加される情報 – 作成者・表題・履歴 etc... – 変数・時刻・座標・欠損値・単位 etc... – 数値モデルの場合、 I/O ライブラリ: gt4f90ioを使用 • 解析・描画 – Dennou Ruby ツール群 (GPhys, gpview, GAVE) • Web 化(公開) – 基本的には「手動で」ガシガシ作る – Ruby スクリプトでちょっと省力化具体例 • 大気大循環モデルを用いたパラメータ変更実験 – agcm5 – 放射のパラメータを変えたときに熱帯の雨の降り方はどう変わるか – 研究グループは１０人以下 • データの置き場の実際 – 実際のサーバ中のディレクトリ・ファイルを見てみましょう – １０ケース程度の実験で全部で１００GB程度 • 結果の図の置き方の実際 – http://dennou-k.gfd-dennou.org/ arch/ape/agcm5/mradl/stdexp/stdexp.html – このような web ページを介して結果の検討 hｔｍｌ生成 • dcmodel-thum.rb – ウエブページ生成のためのrubyスクリプト – 画像ファイルを先に用意しておく – サムネイルを自動生成 – 図に説明をつけることも可能 – 横に何枚並べるかくらいの指定はできる – http://www.gfd-dennou.org /library/dcmodel/doc/dcmodel-tools/dcmodelthum-rdoc/ 現状 • モデルが出力する数値データ、そこから派生する画像データの管理は基本的に「手動」で作業者の記憶に頼っている。 • 数値実験の履歴の管理はほとんどしてない – どんな実験やったのかわからなくなってしまう – 各実験の覚え書きをちゃんと残しておきたいが。。 • ファイル(数値データも画像も)の管理情報は基本的に頭の中に – ｃｄでディレクトリツリーの中をさまよったりする • 画像データの「属性」の管理をしたいのだが、「正解」は良くわかっていない – どうやって図を描いたか忘れてしまう – スクリプトの形で「コマンドライン」を残しておくというので必要十分？凝った画像メタデータ管理をやる？ • 管理すべきはディレクトリ構造と画像ファイル – 所詮はツリー構造 – XMLベースの管理でいけるんじゃないかとう話もある – しかし、凝ったことをするのには現在の個人的な気分はネガティブだが。。。 – どういうメタデータが必要かという考察は必要だろう • RDF,RSS,FOAFによる画像データ管理 – RDF： http://www.w3.org/RDF/ – RSS：３系統あるそうだ http://www.openspc2.org/RSS/ – FOAF： http://rdfweb.org/foaf/ おしまい具体例２ • ２次元乱流のパラメータ実験 – spmodel – パラメータを変えたときにエネルギースペクトル分布はどう変わるか – 研究グループは数人 • データの置き場の実際 – 実際のサーバ中のディレクトリ・ファイルを見てみましょう – １０ケース程度の実験で全部で１００GB程度 • 結果の図の置き方の実際 – http://www.gfd-dennou.org/library/spmodel/2d-cyclicee/baro/free-decay/exp/index.htm – このような web ページを介して結果の検討ソフトウェアの全体像 models SPMODEL tools for analysis and visualization GAVE DCPAM DCL GPhys ISPACK gt4f90io RubynetCDF gtool4 netCDF convention netCDF3.6 / netCDF4 data 歴史的経緯 • 1990： AGCM5 と GTOOL3 – もともと気象庁のモデルであったものを大学用モデルとして再構築 – データ形式の考案、I/Oライブラリと可視化ツールの作成 • 19９６：ISPACK開始 – スペクトル変換法のためのライブラリ • 1999： Davis プロジェクト – netCDF を用いることによる自己記述形式の検討：gtool4 – オブジェクト指向スクリプト言語Ruby 使用し始める • 2002 ：SPMODEL, Ruby モジュール達が本格的に • 2003 ：gt4f90io, GMS開始