我々の階層モデル群において 大量データをどのように取り扱かおうとして

数値モデルの出力データ及び
NCEP再解析データの
取り扱い方の現状
石渡 正樹 (北大・地球環境)
小高 正嗣 (北大・理)
森川 靖大 (北大・理)
林 祥介(北大・理)
dcmodel プロジェクト
http://www.gfd-dennou.org/library/dcmodel
地球大気との比較
階層的モデル群による
アプローチ
ソフトウェアの全体像
models
SPMODEL
tools for analysis and visualization
GAVE
DCPAM
DCL
GPhys
ISPACK
gt4f90io
RubynetCDF
gtool4 netCDF convention
netCDF3.6 / netCDF4
data
Dcchart プロジェクト
• 教科書的な図を集める・自分たちで書く
– Gtool4 netCDF 規約に基づくデータ
• モデルの答え合わせ
• 現状では NCEP の再解析データを用いた
地球の気候値の図
• 近い将来には火星も
可視化作業
• データ生成・データ取得
– Gtool4 netCDF 規約に基づくデータ
• 規則正しい, netCDF, 自己記述的情報
• 付加される情報
– 作成者・表題・履歴
etc...
– 変数・時刻・座標・欠損値・単位 etc...
– 数値モデルの場合、 I/O ライブラリ: gt4f90ioを使用
• 解析・描画
– Dennou Ruby ツール群 (GPhys, gpview, GAVE)
• Web 化(公開)
– 基本的には「手動で」ガシガシ作る
– Ruby スクリプトでちょっと省力化
Html生成
• dcmodel-thum.rb
– ウエブページ生成のためのrubyスクリプト
– 画像ファイルを先に用意しておく
– サムネールを自動生成(だっけ?)
– 図に説明をつけることも可能
– 横に何枚並べるかくらいの指定はできる
– http://www.gfddennou.org/library/dcmodel/doc/dcmodeltools/dcmodel-thum-rdoc/
具体例
• 大気大循環モデルを用いたパラメータ変更実験
– agcm5
– 放射のパラメータを変えたときに熱帯の雨の降り方はどう
変わるか
– 研究グループは10人以下
• データの置き場の実際
– 実際のサーバ中のディレクトリ・ファイルを見てみましょう
– 10ケース程度の実験で全部で100GB程度
• 結果の図の置き方の実際
– http://dennou-k.gfddennou.org/arch/ape/agcm5/mradl/stdexp/stdexp.html
– このような web ページを介して結果の検討
具体例2
• 2次元乱流のパラメータ実験
– spmodel
– 放射のパラメータを変えたときに熱帯の雨の降り方はどう
変わるか
– 研究グループは数人
• データの置き場の実際
– 実際のサーバ中のディレクトリ・ファイルを見てみましょう
– 10ケース程度の実験で全部で100GB程度
• 結果の図の置き方の実際
– http://dennou-k.gfddennou.org/arch/ape/agcm5/mradl/stdexp/stdexp.html
– このような web ページを介して結果の検討
現状
• モデルが出力する数値データ、そこから派生する画像データ
の管理は基本的に「手動」で作業者の記憶に頼っている。
• 数値実験の履歴の管理はほとんどしてない
– どんな実験やったのかわからなくなってしまう
– 各実験の覚え書きをちゃんと残しておきたいが。。
• ファイル(数値データも画像も)の管理情報は基本的に頭の
中に
– cd でディレクトリツリーの中をさまよったりする
• 画像データの「属性」の管理をしたいのだが、どうしたら良い
かわからない
– どうやって図を描いたか忘れてしまう
どうすれば良いのか?
• XML
• RSS?
• RDF?
おしまい
歴史的経緯
• 1990: AGCM5 と GTOOL3
– もともと気象庁のモデルであったものを大学用モデルとして
再構築
– データ形式の考案、I/Oライブラリと可視化ツールの作成
• 1996:ISPACK開始
– スペクトル変換法のためのライブラリ
• 1999: Davis プロジェクト
– netCDF を用いることによる自己記述形式の検討:gtool4
– オブジェクト指向スクリプト言語Ruby 使用し始める
• 2002 :SPMODEL, Ruby モジュール達が本格的に
• 2003 :gt4f90io, GMS開始