Front-end of Read

HLab meeting
7/24/07
K. Shirotori
Hadron DAQについて
DAQ system for J-PARC
Hadron DAQ software
DAQ system for J-PARC
J-PARC 実験に向けたDAQ
• DAQの要求性能
– Trigger rate: 500 Hz ~ 10 kHz
– Channel 数 ~10 k
– データ量 1 MB/sec ~ 数10 MB/sec
• 問題点
– Dead time < 数 msecにする
– モジュールの供給
•
•
•
•
市場に物理測定用 A/D モジュールが少ない
トラディショナルなシステム(CAMAC,TKO)の相対的な高コスト化
Channel 数の増加
安価な高性能技術
– System integration
• 多数の channel
• 多数、多種にわたるクレート
解決手段 (Dead Time)
• モジュールの構造の変更
– バッファ・メモリをバスの前に
– モジュール単位で十分なバッファを持たせる
• Front-end data reduction
– モジュールの単位でのデータの削減
– エレクトロニクスの進歩により安価にフロントエンドに
メモリやシーケンサ、プロセッサを搭載することが可能
Front-end of Read-out module
TRIGGER
AD module
AD module
AD module
Standard bus
AD module
• トラディショナルなシステム
– Processor がデータを集め終
わるまでが Dead time
Processor
BUSY release
FIFO
AD
FIFO
AD
FIFO
AD
FIFO
Local bus
AD
• フロントエンドバッファリング
Processor
– 細かい単位で FIFO にデータ
をバッファリング
– Trigger の分布を一様に均す
ことで Dead time は～1/10
に
– FIFOの後ろでは Real-time
system が不要
解決手段 (モジュールの供給)
• モジュール開発のベースとなるプ
ラットフォームの開発
– Power/Bus crate: KEK-VME
– Read-out platform: COPPER
• ユーザーと共に必要なモジュールを
開発
A/D CARD
– 開発するのはプラットフォーム上の小さ
な A/D の部分のみ
POWER
CRATE
READOUT
PLATFORM
Schematic view of a read-out module
• Standard components
– 9U Euro card
– VME-32 compatible
– PCI
Front-end
Buffering
ADC/TDC
FIFO
(FINESSE)
ADC/TDC
FIFO
(FINESSE)
ADC/TDC
FIFO
(FINESSE)
PCI
ADC/TDC
FIFO
(FINESSE)
PrPMC
(Processor)
Bridge
PLX9054
On-board data
reduction
Trigger
module
To Central Trigger
Free Slot
To Downstream
DAQ System
On-board
Network
interface
9U Euro Card
VME
Shared
Memory
Local bus
Signals from detectors
Pipeline
read-out
•Module structure
Serial Link
Network
Etc…
解決手段 (System Integration)
• ネットワークによる分散システム
– ネットワーク技術の進歩により 1Gbps～10Gbps の転送が可
能
• PLD, PC, Linux など一般的で良く知られた技術の導入
– 組み上げのコストを下げるために出来るだけ特殊なものは使
わない
• PC を組み込んだモジュール群
– Read-out platform: COPPER
– PC 内臓 CAMAC C.C.: CC/Net
System integration
• ADC+PC をユニットとしてネットワークで組み合わ
せる
– COPPER
– CC/NET
– TKO/VME/VME-PC
A/D
PC
Network
• Read-out は違うが、その他は Software 上は同
じものとして扱える
• よく知られた馴染み深い環境の利用
– PC/Linux 2.4
• 豊富なアプリケーション/開発環境
• GCC
• Script 言語
Overview of DAQ configuration
COPPER
•Network
•VME-bus
•Open interface
(USB/FireWire/…)
Network
based
Event Builder
PC
New System
TKO
PC
Network
Back-end
PC
Network
To Data server
VICTOR/VME-CPU
SCH/SMP/VME-CPU
Local Storage
CAMAC
CC/NET
Traditional System
HD DAQ software
Software
• DAQ framework
– Bus を中心としたものから Network を中心とした
ものへ
– Network based Event builder
– Network based message exchanger
– Control
– Watch dog
• Read-out driver
方針
• メンテナンス/トラブルーシュートが出来るシステム
– Core の部分に関しては良く理解されていることが重要
• データ転送路/コマンド・メッセージ転送路に関して
–
–
–
–
–
ISO/POSIX のみ利用
C/C++
機能は出来るだけ少なく
コードの行数は出来るだけ短く
Platform を linux に絞らない
• 解析部/UI に関して
– 開発労力を最小に
• Root/Python/….
• Inter Process Communication は TCP/IP
– (パフォーマンスが問題にならない限り)
• とりあえずは樹形のネットワーク構造
DAQ design
• Read-out module は計算機か? デバイスか?
– Read-out module はデバイスと考えたシステム
• 限られた機能しか外に見せない
• 自分以外の情報を持たない
• 他の計算機から制御をおこなう
– TCP/IP を使って外から制御。Server にして Slave
– Watch dog
» フロントエンド機器の状態把握
» 数秒に一回 UDP で簡単に状態を吼える
• Data path
• Message path
– DAQ node management
– Run Control
Network DAQ overview
DAQ node
Recording
Program
connection
DAQ node
DAQ node
Partial
Event
Builder
connection
Partial
Event
Builder
Server/Client design
•
•
Event
distribution
buffer
Central
Event
Builder
Analysis
program
DAQ node program : Server
Partial event builder = Central event builder
– Client for DAQ node
– Server for down-stream event builder
•
Event distribution buffer
– Client for event builder
– Server for analysis/recording programs
Root
Root
Data
Display
Message system overview
node 1
node 2
MD
messages
1. request
2. response
node n
MD
MD
Message Daemon
Message Manager
data
Process
messages
control
MD
DAQ Software 概要
• DAQ Software は以下のプロセスで構成される。
– EventBuilder, EventDistributor, Recoder, Monitor, Controller,
DAQnode, Message daemon
• Data-path/Message-path
– DAQ Software は Data-path/Message-path の TCP/IP による
通信路を持ち、Data-path をつかって event data を収集し
Message-path をつかって制御を行う
• Data-path Server/Client の指針
– Server は常に立ち上がっている
– Client は RUN START 時に接続を開始し RUN STOP で接続
を切断する
• 細かい点はマニュアルを参照してください
Summary
• For J-PARC experiments, new DAQ
system is being developed.
– Small dead time
– Specified modules for the same platform
– Network based system
• Design and development of Hadron DAQ
software
– Test and help by user
Source file and documents
• Source : ~sirotori/prototype-1.2
– ~sirotori/prototype-1.2.tar.gz
• Documents : ~sirotori/prototype-1.2/doc
– userguide.pdf
– daqsoftware2007510.ppt
DAQ test @ LNS
• New DAQ system (Prototype-1.2)
successfully worked.
– COPPER+CC-net
• Checking system is needed.
– For trouble and check the DAQ node
connection and status
• Improvement of analyzer
Test ?
Hyperball2のDAQをNetwork DAQに置き換える
(ものすごくシンプルにしようとするとこんな感じ)
Present
Future
CAMAC
CAMAC
ADC
CC77
TDC
Interrupt
ADC
CC-net
TDC
Interrupt
専用
ケーブル
PC
VME
Memory NIVXI
I/O reg
専用
ケーブル
実験エリア
Network
ケーブル
Hub
PC
VME
On-board
Memory
PC
I/O reg
実験エリア
Network
ケーブル

Download Report