ネットワークを利用した 環境情報データ自動収集

ネットワークを利用した
環境情報データ自動収集
サーバシステムの開発
環境計測
西木陽平
14 Feb 2003
環境計測 卒論発表会
1
研究背景
地球温暖化
大気汚染
酸性雨
そらまめ君
ダイオキシン 環境ホルモン
14 Feb 2003
環境計測 卒論発表会
2
そらまめ君について
大気汚染物質広域監視システム
1時間ごとの速報値
データの保存期間は1週間
地図表示や表表示やグラフ表示
14 Feb 2003
環境計測 卒論発表会
3
目的
長期間に渡り広域データを自動的にダウン
ロードし、格納し、2次的利用に対応したデー
タサーバを構築する
データサーバ
14 Feb 2003
環境計測 卒論発表会
4
Javaによる環境情報
グラフ化アプレット
京都府保健環境研究所(保環研)のデータ形式
14 Feb 2003
環境計測 卒論発表会
5
システム全体の概要図
ネットワークプログラムの概要図
データ要求
そらまめ君の
インター
ネット
WWWサーバ
データサーバ
データ送信
エラー
発生
14 Feb 2003
管理者へメールを送信
環境計測 卒論発表会
6
システム全体の概要図
データサーバの概要図
データ要求
そらまめ君の
インター
ネット
WWWサーバ
データ送信
14 Feb 2003
Web公開
データサーバ
そらまめ君の
データ形式
インター
ネット
Web公開
環境計測 卒論発表会
保環研の
データ形式
7
データサーバの備える機能
開発環境
プログラミング言語
正規表現で文字
列をマッチング
cron
Perl
サーバのOS
シェルスクリプト
Linux
Webサーバ
Apache
14 Feb 2003
多くのコマンド
サーバアプリケーション
環境計測 卒論発表会
8
データサーバの備える機能
定時に自動でデータを取得
データ取得エラー時に欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信
自動でHTMLを作成し、Web上にデータを公開
14 Feb 2003
環境計測 卒論発表会
9
データサーバの備える機能
定時に自動でデータを取得
cron
定期的にプログラムを実行する常駐プログラム
決められた時間に決められた仕事をこなす
シェルスクリプト
複数のコマンドが連続して動作する
一種のプログラミング言語
14 Feb 2003
環境計測 卒論発表会
10
データサーバの備える機能
1時間に2回起動するシェルスクリプト
毎正時10分 20分
40分
次正時 10分 20分
データ
取得
データ
取得
データ
取得
そらまめ君側
データ更新
データサーバ
そらまめ君側
データ更新
1時間に2回、10分と40分に起動する
14 Feb 2003
環境計測 卒論発表会
11
データサーバの備える機能
1日に1回起動するシェルスクリプト
午前1時40分
午前2時
10分 15分 20分
データ
取得
そらまめ君の1日 データ
取得
の最終データ
補正
(24時のデー
ファイル
データサーバ
タ)更新が次の
作成
HTML
保環研形式
日の午前1時20分
ファイル
に変換
1日に1回、2時15分に起動する。
1日に1回、2時20分に起動する
作成
14 Feb 2003
環境計測 卒論発表会
12
データサーバの備える機能
定時に自動でデータを取得
データ取得エラー時に欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信
自動でHTMLを作成し、Web上にデータを公開
14 Feb 2003
環境計測 卒論発表会
13
データサーバの備える機能
2003021401
京都市北区 北 null 0.001 0.005 0.006 null --- null null null
null null null null null null
京都市上京区 自排上京 null 0.006 0.012 0.018 0.4 null --- -- --- 0.005 null null null null null
~
2003021402
京都市北区 北 null 0.001 0.005 0.006 null --- null null null
null null null null null null
京都市上京区 自排上京 null 0.006 0.012 0.018 0.4 0.4 null
--- --- --- 0.005 null null null null null
14 Feb 2003
環境計測 卒論発表会
14
データサーバの備える機能
2003021401
京都市北区 北 null 0.001 0.005 0.006 null --- null null null
null null null null null null
京都市上京区 自排上京 null 0.006 0.012 0.018 0.4 null --- -- --- 0.005 null null null null null
~
2003021403
京都市北区 北 null 0.001 0.005 0.006 null --- null null null
null null null null null null
京都市上京区 自排上京 null 0.006 0.012 0.018 0.4 0.4 null
--- --- --- 0.005 null null null null null
14 Feb 2003
環境計測 卒論発表会
15
データサーバの備える機能
2003021401
京都市北区 北 null 0.001 0.005 0.006 null --- null null null
null null null null null null
京都市上京区 自排上京 null 0.006 0.012 0.018 0.4 null --- -- --- 0.005 null null null null null
~
2003021402
京都市北区 北 0000 0000 0000 0000 0000 0000 0000 0000
0000 0000 0000 0000 0000 0000 0000
京都市上京区 自排上京 0000 0000 0000 0000 0000 0000
0000 0000 0000 0000 0000 0000 0000 0000 0000
14 Feb 2003
環境計測 卒論発表会
16
データサーバの備える機能
定時に自動でデータを取得
データ取得エラー時に欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信
自動でHTMLを作成し、Web上にデータを公開
14 Feb 2003
環境計測 卒論発表会
17
データサーバの備える機能
2003021401
京都市北区 北 null 0.001 0.005 0.006 null --- null null null null
null null null null null
京都市上京区 自排上京 null 0.006 0.012 0.018 0.4 null --- ----- 0.005 null null null null null
京都市左京区 左京 0.001 0.004 0.01 0.014 null 0.027 null null
null 0.014 null null null null null
京都市中京区 市役所 0.004 0.001 0.008 0.009 null --- null null
null 0.007 null null null null null
14 Feb 2003
環境計測 卒論発表会
18
データサーバの備える機能
2003021401 0002 0001 0002 0002 0002 0001 0002 0002
0002 0002 0002 0000 0002 0002 0003 0003 0001 0001
0001 0003 0003 0002
2003021402 0002 0001 0002 0002 0002 0002 0001 0002
0003 0003 0002 0000 0003 0003 0003 0003 0001 0001
0001 0012 0004 0004
2003021403 0002 0001 0002 0002 0002 0001 0001 0002
0003 0003 0003 0000 0003 0003 0003 0003 0001 0002
0001 0011 0005 0006
2003021404 0002 0001 0002 0002 0002 0001 0001 0002
14 Feb 2003
環境計測 卒論発表会
19
データサーバの備える機能
定時に自動でデータを取得
データ取得エラー時に欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信
自動でHTMLを作成し、Web上にデータを公開
14 Feb 2003
環境計測 卒論発表会
20
データサーバの備える機能
管理者に送信されるエラーメール
データ取得時に何かエラーが発生した時
何時間かデータが欠損した時
何ヶ所かデータが欠損した時
12時間データが更新されなかった時
14 Feb 2003
環境計測 卒論発表会
21
データサーバの備える機能
管理者に送信されるエラーメール
携帯に送信された時
14 Feb 2003
環境計測 卒論発表会
22
データサーバの備える機能
定時に自動でデータを取得
データ取得エラー時に、欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信
自動でHTMLを作成し、Web上にデータを公開
14 Feb 2003
環境計測 卒論発表会
23
データサーバの備える機能
年と月を指定し、OKをクリック
14 Feb 2003
環境計測 卒論発表会
24
データサーバの備える機能
14 Feb 2003
環境計測 卒論発表会
25
結論
ネットワークを利用し、自動でデータを収集
し、長期間に渡り広域データを保存することが可能
データサーバの状況
1ヵ月半データを収集
1日のデータ増加量― 130kB
14 Feb 2003
環境計測 卒論発表会
26
結論
ネットワークを利用し、自動でデータを収集
し、長期間に渡り広域データを保存することが可能
自動でエラーメール送信やHTML作成が可能
Javaによる環境情報グラフ化アプレットと結合
が可能
環境情報提供の新たなスタイルを確立
14 Feb 2003
環境計測 卒論発表会
27
今後の展望
全国47都道府県のデータを収集
地震の即時データや気象データに応用
14 Feb 2003
環境計測 卒論発表会
28
おしまい
そらまめ君について
目的
Javaによる環境情報グラフ化アプレット
システム全体の概要図
データサーバの備える機能
定時に自動でデータを取得
データ取得エラー時に欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信
自動でHTMLを作成し、Web上にデータを公開
結論
今後の展望
14 Feb 2003
環境計測 卒論発表会
29
そらまめ君について
二 酸 化 硫 黄 ( SO2 ) ppm 、 一 酸 化 窒 素
地図表示 (NO)ppm、二酸化窒素(NO2 )ppm、一
及び
酸化炭素(CO)ppm、光化学オキシダント
表表示 (OX)ppm、非メタン炭化水素(NMHC)
項目
ppmC、浮遊粒子状物質(SPM)mg/m3 、
風向(WD)16 方位、風速(WS)m/s
表表示
項目
14 Feb 2003
窒素酸化物(NOX)ppm、メタン(CH4)
ppmC、全炭化水素(THC)ppmC、浮
遊粉塵(SP)mg/m3、気温(TEMP)℃、
湿度(HUM)%
環境計測 卒論発表会
30
ソケットについて
2つの通信し合うプロセス(サーバとクライアント)の
両端を表す抽象的な概念をソフトウェアとして実現
したもので、socketを介してプロセス間の通信がで
きるようになっている。
14 Feb 2003
環境計測 卒論発表会
31
データサーバの備える機能
管理者に送信されるエラーメール
何時間かデータが欠損した時
2003021401から
2003021403まで
データが欠損しました。
14 Feb 2003
環境計測 卒論発表会
32
データサーバの備える機能
管理者に送信されるエラーメール
何ヶ所かデータが欠損した時
2003021401 の デ ー タ は 、
京都市上京区 自排上京
京都市中京区 自排西ノ京
京都市山科区 自排山科
京都市西京区 自排桂
が欠損しました。
14 Feb 2003
環境計測 卒論発表会
33
データサーバの備える機能
12時間に1回起動するシェルスクリプト
12時35分
24時35分
12時間前に取得して
きたデータと比較
今回取得してきた
データ保存
今回取得してきた
データ保存
14 Feb 2003
環境計測 卒論発表会
34
データサーバの備える機能
管理者に送信されるエラーメールについて
• 12時間データが更新されなかった時
12時間たっても、新
しいデータが取得で
きていません。
14 Feb 2003
環境計測 卒論発表会
35
データサーバの備える機能
開発したプログラム
データを取得
データ取得エラー時に管理者へメールを送信
データ取得エラー時に欠損を補う
保環研のデータ形式に変換
自動でHTMLを作成
14 Feb 2003
環境計測 卒論発表会
36
開発のポイント
定時に自動でデータを取得
データ取得エラー時に欠損を補正
取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者にメールを送信
自動でHTMLを作成し、Web上にデータを公開
14 Feb 2003
環境計測 卒論発表会
37