CANDLES 実験における高速なデータ収集システム

CANDLES 実験における高速なデータ収集システムの構築と
システム環境整備
鈴木 耕拓
研究支援室
大阪大学理学研究科 技術部
1 はじめに
技術部研究支援室は電子回路、金属工作や放射線管理等に通じ研究室からの製作依頼や
相談に応じている。近年では実験の大型化、高度化、ネットワーク化が進み、研究室単位
で実験を遂行するには習得しなければならない知識が多岐にわたっている。研究支援室で
はこのような実験に必要な知識や技術の情報を集め、研究室がなるべく学術研究に専念で
きるようサポートを行っている。幅広い研究室に共通の技術を提供し、知識や技術を洗練
させ高度化させることにより、大学研究の発展に寄与することが目的の一つである。
物理系の実験には必ず計測機器からデータを取得するシステムが必要となる。年々新し
いデバイスが開発され、高速に取得できたり、大容量のデータを取得出来たりしており、
その都度更新が必要である。今回、神岡宇宙素粒子研究施設における CANDLES 実験で
はデータ収集システムの高速化とネットワーク分散化が求められた。これらの知識は少な
からず他の実験でも活用が期待されるため、なるべく多くの研究室にも導入できるような
システムを視野に入れた。
2 これまでの経緯と実験セットアップ
CANDLES 実験グループの中では計測機器やデータ収集システム部分を担当し、仕様決
定を経て実機の制作を行った。また PC やネットワークの整備といった全体の環境も整え
た。以降、具体的なシステムの説明を行う。
神岡宇宙素粒子研究施設における
CANDLES 実験では無機シンチレータであ
るフッ化カルシウムから発する光を光電子
増倍管で電気信号に変換し、その電気信号を
取得している。電気信号の取得には、FADC
と呼ばれる、信号を 2nsec 間隔でデジタル
化し信号情報を取得できる機器を用いてい
る。またデータ取得のためのトリガーを作成
するトリガーモジュールも存在する。この
CANDLES 実験において、検出器、データ
取得、測定回路やデータ処理といった分野で
研究、開発に協力している。右の写真は使用
した FADC とトリガーモジュールの同型
である。実際にはすべてのスロットに FADC が差し込まれ、全 96 チャンネル分のデー
タが取得できる。
これまで FADC やトリガーモジュールからの信号データは SpaceCube と呼ばれる
SpaceWire 規格 (宇宙開発用に開発された通信規格) を備えた小型 PC により読み出され
ていた。SpaceCube による読み出し速度はイベントあたり 50~60 msec であり、最大でも
20 cps 弱でしかデータ取得できなかった。今回は SpaceCube を廃止し、読み出し速度の速
い装置の導入と、今後のアップデートを考えたネットワークベースのデータ収集フレーム
ワークの導入を行った。
以前のデータ収集システムは FADC やトリガーモジュールの設定パラメータの管理や
設定方法が複雑であり、設定ミスが起こりやすい環境であった。今回の新システムの導入
に当たってはこれらの設定パラメータの取扱いを簡明にし、設定ミスを自動的に検知する
ように工夫した。また取得した実験データはデータサーバーにコピー、保存するようにし
ているが、実験シフトの人が手動で行っていた。これは誤って消去してしまうなどの危険
があるため、自動スクリプトを作成し誰が捜査してもミスが無く取り扱えるように変更を
行った。
3 導入したシステムの概要
まず読み出し速度の速い装置に変更するため、核物理研究センター (RCNP) 味村准教授、
能町教授により SpaceWire 通信を導入したアルテラ社 Arria-II GX (PC 接続用の
PCIexpress を備えた FPGA 開発キット、FPGA とはプログラムにより自由に回路設計
を行えるシステムのこと) を用い、FADC やトリガーモジュールのデータ読み出しを行う
C++ ベースのソフトウェアコンポーネントの開発を行った。この時、FADC やトリガー
モジュールの設定パラメータを簡明かつ容易に取り扱えるような設計にし、後述するネッ
トワークベースのデータ収集フレームワークにもすぐに導入できるようなクラスとして開
発を行った。Arria-II GX の導入により、データ読み出し速度は約 2 倍に増加したが、さ
らに読み出しの簡素化を行うことで約 3 倍 (読み出し時間 20 msec) を達成した。
SpaceWire はルーターにより FADC のようなデバイス同士をつなげるパスを構築で
きる。このメリットは複数の Arria-II GX のような読み出しモジュールから一つの
FADC にアクセスすることが可能となる点である。現状では一つの Arria-II GX にてす
べての FADC およびトリガーモジュールのデータを読み出しており、読み出し速度は 50
cps となっている。将来は複数の Arria-II GX により並列に読み出すことで読み出し速度
の大幅な改善ができる。例えば FADC を複数のグループに分け、それぞれのグループの
読み出しを担当する Arria-II GX を導入することや、FADC のもつデータバッファ 3 つ
を別々の Arria-II GX で読み出すなどの手法が考えられる。今後の導入を目指しており、
読み出し速度は導入した Arria-II GX 台数分の一になると期待される。さらに Arria-II
GX の持つ複数の読み出しチャンネルから同時にデータを読み出すことで高速化を図るこ
とも可能である。このように SpaceWire は宇宙開発用に導入された規格であるが、この
ようなパスを構築できるシステムを高速読み出しのための物理実験のデータ収集に応用す
ることは新しい試みである。
右 の 写 真 は 使 用 し た
Arria-II GX で あ り 、
PCIexpress を備えた PC で
読み出すことができる。FADC
とのデータ通信は LVDS 規格
を用いており、最大 8 つの通
信ポートを持っている。開発し
たソフトウェアコンポーネン
トは複数の通信ポートを使用
することを前提に作られ、並列
読み出し等への対応を行った。これはマルチスレッド処理や、複数のコンポーネントに分
け分散してデータを読み出す仕組みに対応している。現在は並列処理や分散読み出しは行
われていないが今後開発予定である。
ネ ッ ト ワ ー ク ベ ー ス の デ ー タ 収 集 フ レ ー ム は KEK と 産 総 研 で 開 発 さ れ た
DAQ-Middleware と呼ばれるシステムを基幹とした。このシステムはコンポーネントと呼
ばれる単位ごとにネットワークを介してデータの送受信が行う事ができる。データの送受
信は DAQ-Middleware に内蔵されており、ユーザーとしてはコンポーネント単位で開発
を行う事ができる。下図に DAQ-Middleware のコンポーネント構成を示す。
前 述 し た FADC や ト リ ガ ー モ ジ ュ ー ル の デ ー タ 読 み 出 し コ ン ポ ー ネ ン ト を
DAQ-Middleware に対応させたものが AtcaReader である。データは AtcaReader から
右側に流れ、Repeater と Dispatcher を経由し Logger により記録される。Monitor は
オンラインでデータがデコードされ簡単なヒストグラムを作成する。
DAQ-Middleware で想定される Monitor コンポーネントは立ち上げた PC でのみヒス
トグラムが表示されるが、CANDLES 実験では立ち上げた PC 以外からもヒストグラム
の確認を行う必要があった。またデータ取得中に表示されるヒストグラムの変更を行う事
ができないため、データ確認作業に手間がかかるなどのデメリットがある。これらの理由
により、DAQ-Middleware に頼らない独自の Monitor システムの開発も行った。これは
イベントをサーブする DAQ-Middleware コンポーネントの作成と、他の PC からソケッ
ト通信でデータを受け取るクライアント (DAQ-Middleware のコンポーネントではない
もの) の作成である。これにより動的に接続と切断が可能になり、他の PC から表示でき
るだけでなく、データ取得中にヒストグラムを変更することができるようになった。
上図が動的に接続、切断が可能なコンポーネントの動作状況である。図の左側に 4 つの
ヒストグラムが表示されており、右側にコンポーネントの命令を受け付ける端末がある。
4 今後の応用
これまでに開発したシステムの概要を述べたが、今後の将来性や多方面への活用につい
て述べる。DAQ-Middleware の導入を行う上で、開発者側と相談を行っており使い勝手の
良い方向へ仕様変更も視野にいれて活動している。今回開発したシステムの全体または一
部を導入したいと考えているグループも出ており、今後はそれらの意見を聞きつつさらに
より良いシステムにアップグレードさせようと考えている。これらはデータ収集に関する
研究会で何度か発表も行い、学内だけでなく学外への発信も行っている。
また理学研究科全体の放射線管理においては、特にバンデグラフと RI 実験室周辺にエ
リアモニターと呼ばれるガンマ線、中性子検出器が設置され、常時環境放射線を測定して
いる。このシステムは非常に古く徐々に交換が行われているが、故障しても替えの無いも
のもある。また全部で 10 点以上に設置されているが、それぞれについて数百メートルに
も及ぶケーブルで一か所に信号を集めている。今後、周辺環境の整備がされる場合には容
易に移動等ができないというデメリットがある。これらを考え、ネットワーク分散による
データ収集を行うシステムに置き換えるなどの対策が求められる。このような放射線を測
定するシステムは物理実験でよく用いられており、CANDLES 実験に用いたような計測機
器やシステムを活用することも可能である。したがって CANDLES 実験のシステムを変更
することで流用すれば安価に、実績のあるシステムの導入が行える。現在は初期の検討段
階であり、研究室への支援と共にデータ収集システムにおける知識と技術を集めている。
5 最後に
このシステムを完成させるに当たり、放射線計測の回路やシステム設計に関する知識を
得る必要があった。特に国内、海外の会議や研究会の一部は技術部の予算で参加し、技術
部からのサポートで助けられたことに感謝する。