我々の階層モデル群において大量データをどのように取り扱かおうとしているか？石渡正樹 (北大・地球環境) 小高正嗣 (北大・理) 森川靖大 (北大・理) dcmodel プロジェクト http://www.gfd-dennou.org/library/dcmodel 地球大気との比較階層的モデル群によるアプローチ歴史的経緯 • • • • 1985 東大に気象庁モデルが来た 1988 地球流体電脳倶楽部立ち上げ 1990 AGCM5 と GTOOL3 1999 Davis (Data analysis and visualization) プロジェクト • 2002 SPMODEL, Ruby モジュール達, ISPACK • 2003 gt4f90io, GMS ソフトウェアの全体像 models SPMODEL tools for analysis and visualization GAVE DCPAM DCL GPhys ISPACK gt4f90io RubynetCDF gtool4 netCDF convention netCDF3.6 / netCDF4 data 我々の日々の営み • 数値モデルからデータ生成 – Gtool4 netCDF 規約に基づくデータ • 規則正しい, netCDF, 自己記述的情報 • 付加される情報 – 作成者・表題・履歴 etc... – 変数・時刻・座標・欠損値・単位 etc... – データ I/O ライブラリ: gt4f90io • 解析・可視化 – Dennou Ruby ツール群 (GPhys, gpview, GAVE) • 公開 (Web 化) – Ruby スクリプトでちょっと省力化数値データの管理の現状 • ファイル単体の情報 – – – – gtool4 netCDF 規約に沿って付加される自己記述的情報見るときは ncdump というコマンドで直接ファイル名もそれなりに工夫はする Namelist ファイルも組みで置いておく • ディレクトリ構成の情報 – 各ディレクトリに ****.SIGEN というファイルを作成 – SIGEN ファイルに製作者, 製作日時, ディレクトリ内に格納されるデータの総合的な情報 – 定期的にスクリプトを起動して各ディレクトリの SIGEN ファイルを解析, 各ディレクトリに SIGEN.htm というファイルを作成 (Web 上からでも確認できる.) • データベース専門のかっこいいソフトは使ってない数値データ管理の問題点は？ • 欲しいデータを抜き出すのが大変 • 他人（身内）とのデータ共有ための工夫がきっと必要 – データファイル名の規則など • 「データベース化」すると嬉しいのか？ – 事情に応じていろんな種類 (当然データベースの枠組みを作る際には想定していないもの) のデータを付加することになりそう • 単に「データベース」のちゃんとした使い方を知らないだけなのかも数値データから画像データ、更にWeb ページ • 現状では「手動でガシガシ」方式 – もっと賢い方法を考えた方が良いのかもしれないが完全な自動化は無理だろう • 画像データの管理がまた悩ましい – 「画像データ」の情報管理はやっぱり手動 • 付加情報はファイル名、図の中、SIGEN ふぁいるに埋め込む – しかし個々の画像データは数値データの自己記述的情報からはどうしても乖離 – 図が増えてくるとブラウズできない結論 • 工夫はしてません。根性でやってます • 根性だけではいずれ破綻するのは明らか • どうしたら良いんでしょう