PPT - DAQ-Middleware

DAQ M/Wに関わる
共同研究や業務について
株式会社 Bee Beans Technologies
和田正樹
Bee Beans Techonologiesの概要
商号
株式会社BeeBeansTechnologies
（英語表記 BeeBeansTechnologies Co.,Ltd.）
設立
2006年9月
代表者氏名浅井康裕
事務所所在地
〒305-0047 茨城県つくば市大穂109 2F
電話 029-858-2484 FAX 029-858-2543
ホームページアドレス http://www.bbtech.co.jp/
KEK発ベンチャーの認定を受けています。
共同研究




ミーティングには企業として参加。企業の視点で意見交換さ
せていただく。
DAQ M/Wコアに関わる問題の解決にも積極的ご協力
（しているつもりです）
MLF用コンポーネントの開発に関わる検討事項や連絡など
今後は制御系の拡張などでご協力させていただければ、、と
思います。
DAQ M/Wに関わる業務関連





MLFでのDAQシステムサポート業務
インストール、問題発生時の対応など
DAQ M/W1.1以降のMLFコンポーネントの開発★
Web UI試作など＜＜これは昨年の内容でした。
DAQ検証システムの構築★
Network Boot型DAQ M/Wの構築★
DAQ M/W MLFコンポーネント
HTTP or Command Line
DAQ Operator
DAQ Service
NEUNET08
EVENTs
EVENTs
GATENET
Setup
MonitorPSD
Component
Manyo LIB
LoggerMlf
Component
EVENTs
NEUNET
GathererPSD
Component
DAQ Service
Storage
Gatenet
Component
EVENTs
TRIGNET
Setup
GEM
Read Out
DispatcherMlf
Component
LoggerMlf
Component
Trignet
Component
EVENTs
GathererGEM
Component
DispatcherMlf
Component
MonitorGEM
Componentc
DAQ
Middleware
Core Componet
MLF Common
Component
H/W Dependent
Component
KENS DAQ検証システム構築
Inernet
19インチラック ( BBT東海事務所）
J-LAN (BBT-VPN)
Control
Storage
DAQ
daq4 (Type1)
BBT VPN Router
192.168.1.104
192.168.0.104
J-LAN SW(BBT VPN)
192.168.2.104
192.168.16.104
192.168.16.254
daq3 (Type1)
192.168.1.103
192.168.0.103
192.168.2.103
192.168.16.103
Switch2 -Control
daq2 (Type1)
192.168.0.102
192.168.1.102
192.168.1.254
192.168.2.102
192.168.0.254
192.168.16.102
Switch2-Storage
192.168.1.101
192.168.2.254
daq1 (Type1)
192.168.0.101
192.168.2.101
192.168.16.101
Server (Type2)
192.168.0.100 1.5TB RAID60
NEUNET x8
192.168.1.100
192.168.0.16~23
192.168.2.100
192.168.16.100
Serial comm.
nas
11TB RAID10 192.168.0.110
192.168.1.110
192.168.2.110
192.168.16.110
KENS-UPS
KENS DAQ検証システム(2)





CONTROLおよびSTORAGE、インターネットの3つのLANを重畳
した構成でトラフィックを分離。実際の現場ではANALYSIS（解
析用）など他のLANも
通常のHDD起動の他、NetworkBoot(後述)も可能
制御系（IROHA)、解析ライブラリ（Manyo)などもインストール
済み
Nagios/MRTGなどの監視システムを導入、Ploneで情報統合
その他一般的な監視、制御（一括起動=wol、シャットダウン、リ
スタート、UPSサーバー設定）
Network Boot型DAQ システム概要
Network Boot Server
Linux Diskless
Image
+ DAQ M/W MLF
Components
TFTP Server
DHCP SErver
NFS Server
Diskless DAQ CPUs
NAS
メリット

元のシステムを残したまま運用可能






サーバーBIOSのNetwork Boot のPriorityを上げておく
Network BootサーバーのDHCPを止めればHDDから起動
異なるOSイメージで起動することもできます。
複数バージョンを用意しておいて起動時に選択できる
イメージを複製してコピー後にカスタマイズしてためすことも可
能
故障、アップグレードが楽



サーバーの量が増えれば増えるほど、HDD故障、サーバー故障は
増加するけれど、、、
ディスクレスなので故障率が低い
サーバー故障時の入れ替えがスムース（OS等インストール不要）
デメリット・要検討項目



有償ソフトウェアのライセンスは要調査。
FiberChannelのような大容量高速ストレージを扱う場合の
対応？特殊なドライバが必要？
DAQ M/Wの場合、Operatorをどうするか？はまだ検討中
ですが、今のところ互換性が高いので問題は少なそうです。
構築作業の概要(1)

TFTP、DHCPサーバーの構築（嵌らなければ３０分もかか
ら無い）
起動イメージの配信設定（LiveDVDの内容コピーの時間）

とりあえず起動試験

起動イメージ内の設定





DAQミドルウェアコアの依存関係を解決。
MLFコンポーネント用のライブラリ依存関係の解決（Manyoライ
ブラリ周辺が中心）
xinetd、nfsd、bootComps(DAQ Remote boot)などの設
定を反映する
ひたすら再起動してテスト
構築作業の概要(2)
クライアント側 PXE BootのBIOS設定
サーバー側
※DHCPサーバーがなければHDDから起動
dhcpd, tftpd, nfsdのインストール
/etc/dhcp.confの編集
/etc/xinet.d/tftの編集
/etc/exportsの編集。※tftpbootをexport
SL5.5 x86_64のLiveDVDイメージ取得（iso)。
LiveDVDイメージを/tftpboot/DaqMwLiveへ展開
syslinux-4.04.tar.gzの取得とpxelinux.0の取り出し、配置
pxelinux.cfgおよびboot.msg編集
rootcopyのカスタマイズ（DaqM/W実行形式の配置、スクリプト編集）
構築作業の概要（３）
daqm
w
など
/tftproot
DaqMwLive１
…
DaqMwLive3
pxelinux.cfg
pxelinux.0
rootcopy
Scientific LinuxのLive DVDイメージ
rootcopy以下に起動した後に必要なDAQ
M/W関連ファイルなどを入れるとrootディレク
トリに上書きされる
default
起動オプションの設定
boot.ms
起動オプションのラベルなど表示するためのテキストファイル
g
/etc
xinet.d/tftや dhcp.conf、exportsによるルートファイルシステム設定
10分～20分くらいで終了する
カスタマイズ方法





基本はNetbootイメージのrootcopyに起動後に必要な
ファイルを追加しておく。起動後にrootディレクトリに上書きさ
れる。
IPアドレスをマシン毎に固定する場合、サーバーのDHCPに
MACアドレスを登録する（/etc/dhcpd.conf）。
ReadOutのH/W用I/FのIPアドレス設定方法は要検討
（DHCPでも可能。固定でも問題はない)
NFSのマウントはスクリプトに追加。
使用するReadOut H/Wの構成はDAQ Operatorに渡
すconfig.xmlに記載する。※DAQ Operatorはサーバー
にもたせています。
発生した問題


/etc/servicesを入れ替えてもbootCompsが有効になら
ない現象に悩まされた。起動後に再起動するとOKなのに。。。
＞＞bootCompsのユーザがdaqでユーザdaqが作成され
るのがxinetd起動のあとだったため。runlastというスクリプト
でユーザが作成される。
起動するたびに.ssh/knownhostsのエントリを削除る必要
があった（Boot毎にKeyが生成される）
＞/etc/sshd以下の鍵関係を起動後に上書きするように
変更した。
参考：起動シーケンス
サーバー
クライアント
IP アドレスと TFTP サーバー
DHCP サーバー
の IP アドレス取得（ DHCP)
※ BIOS 設定
(dhcpd)
TFTP サーバー
(tftp -serer )
LAN カードの ROM
pxelinux.0 の取得
（ TFTP)
pxelinux.cfg/default
pxelinux.0 が起動して
（など）
（ TFTP)
diskless/.../vmlinuz
( カーネル）
設定ファイルからカー
ネルを
読み込んで起動
（ TFTP)
NFS サーバー
(nfsd など )
LiveDVDイメージ
（ NFS)
NFS でルートファ
イルシステムをマウ
ントして起動
その他の情報






Live CDイメージを使用したらxinetdが入っていなかった。
DAQ M/WやManyoライブラリの依存物導入はそこそこ大変。
まず使用する実行形式をいれて、lddで依存物を入れてゆく
/etc/rc.localを/rootcopy/etc/rc.localでカスタマイズしたら
ログインできなくなった。runlastを呼び出しているところでユーザと
パスワードを設定している
LiveDVD内の.moファイル（ディレクトリイメージ）はmount –t
squeash.fs –o loopでマウントすると中身が見える。
起動待ち時間、デフォルト、パスワード、キーボードなどは
pxelinux/defaultで設定します。
社内のThinkPadではXウィンドウが起動しなかったです。 DAQ
用ならX Windowは不要なのでrootcopy/etc/initabの設定
でデフォルトのRUN LEVELを変更すればOK。

Download Report