Document

スーパーカミオカンデに
おけるDAQシステム
1, イントロダクション
2, SKオンラインDAQ の構造
3, T2Kビームとの同期
4, 近傍超新星爆発時の対応
5, まとめ
東北大学
ニュートリノ科学研究センター
山田悟
1, イントロダクション
スーパーカミオカンデ検出器
Water Cherenkov detector
13,000 PMTs are equipped in
50,000 tons water tank
ν
Charge and timing information of
Cherenkov
PMT hits are recorded
light
©Scientific American
Obtain Cherenkov
Ring images
List of physics topics of the SK detector
- Atomospheric neutrino oscillation : Δm2, θ23
- Solar neutrino oscillation : Δm2, θ12
- Neutrino from accerelator(T2K) : search for θ13
- Search for neutrino from supernova (burst or diffused)
- Proton decay search
3
SK Electronics (installed in 2008)
QTC-Based Electronics with Ethernet
(QBEE)
Network
Interface Card
PMT
signal
Ethernet
Readout
60MHz Clock
TDC Trigger
Calibration Pulser
QTC
TDC
FPGA
Features
• 24channel input
• QTC (custom ASIC)
• Charge measurement
• wide dynamic range
(>2000pC)
• multi-hit TDC (AMT3)
• Data is sent to Online system
via Ethernet
• External 60MHz clock is used
for synchronization with other
Qbees
• On-board pulsar for charge
calibration
• Low power consumption
( < 1W/ch ) 4
Data-readout via Ethernet
QBEE throughput from analog pulsar
Input to a readout PC
throughput rate (MB/s)
Custom Network Interface Card
12
10
8
6
4
2
0
MAX :
11.8MB/s
(~95Mbps)
Requirement
0
4
8
12
16
20
input data rate (MB/s)



TCP/IP firmware (SiTCP *)
and interface logic are
implemented on FPGA
IP address is set by dip switch
32MB SDRAM
* Developed by Uchida-san(KEK)


Required data transfer speed :
(PMT dark noise) 10kHz x 6byte x 24ch
= 1.5MB/sec/board
Fast enough. Reaches the
theoretical limit of 100BASE-TX !!
5
2, SKオンラインDAQ の構造
SKオンラインシステムアップグレードの動機
a, より低エネルギーの太陽ニュートリノを観測する
(エネルギー閾値を下げた大量のデータを処理できるように)
b, 超新星背景ニュートリノの探索等のためによりintelligentなトリガーを用いたい
( e.g. ニュートリノイベントとそれによって発生した中性子によるガンマ線との遅延同時計測
→ハードウェアトリガーを無くしてで全ヒットを取るシステムを目指す,
Record Every Hit system
•従来のシステム
トリガーモジュールがある時間内の
PMTヒット数をモニタ
閾値を
超えた場合
Event Trigger
Event triggerが出されたhitのみ
がオンラインシステムに送信される
Higher rate
Complex trigger
•新システム
ハードウェアでトリガーはかけない ->全ヒットがオンラインで処理される
オンラインDAQにおいて、ソフトウェアトリガーがデジタイズされたヒット情報を
みてイベントビルディングとリダクションを行う
7
SKオンラインシステムの概略図
24PMTs
30QBees
QBee
QBee
.
.
.
.
.
.
13,000
PMTs
QBee
QBee
1hit cell
= 6bytel
(ch, T, Q)
Ethernet
Sorting
Data from 30Qbee
Merger
Software
trigger
Merger
Software
trigger
Merger
Software
trigger
550
20
10
QBees
Front-end PCs
Merger PCs
Organizer
Front
End PC
Front
End PC
Front
End PC
QBee
Event builder
Recorded
Data:
9MB/s
typical
Disk
Offline
analysis
オンラインDAQの特徴
- front-end エレクトロニクスからオフラインにいたるまで、イーサネットでTCP/IP通信を
用いるコンポーネントで構成されている
- オンラインＰＣは4コアＣＰＵのLinux PCで、Ｃ言語で書かれたマルチスレッドのアプリケーショ
ンが走る
- 分散処理のため、イベントビルディングは10PC、40プロセスが.並列して処理を行い、
data flow managerデーモンがデータの振り分けを担当している
8
SK DAQシステム坑内Network構成
坑外 offline
システムへ
コントロールルーム
×10
SW:24GbE
GPS
PC
Backup
FEPC
SW:48G
SW:48G
SW:48GbE
青: 100Base-T
黒：Gigabit Ethernet
周辺hut×4
SW:24G
Controller
, etc
TRG
PC
Organizer
Merger PC
中央ハット
FEPC
FEPC
FEPC FEPC FEPC
SW:24G
SW:48G
SW:48G SW:48G
QB×about20 QB×30
QB×30
QB×30
SW:48G
QB×30
9
Function of software in front-end PC
Hit-DATA cell Format ( 3Words/hit ）
15 14 13 12
ch
1st_Word
front-end
Electronics front-end
（24ch/Board）
QBee
QBee
.
.
.
.
QBee
2nd_word
PC
collector
collector
3rd_Word
TRG
9
Bit
8
7
6
5
4
3
2
1
0
QTC gate
Event # count
TDC
Allocated memory
of fixed size
FIFO
FIFO
Event #
n
To
Merger
n+1
.
.
.
.
pthread_create
collector
Range
11 10
n+2
Quick
sort
FIFO
Sender
n+3
.
Sort data
.
in time order
.
Collect. Data
FIFO
by event #
10
Performance of Front-end PC
To make use of multi core CPUs,
data in different time blocks are
sorted in parallel by multithreaded functions
↓
effective for the improvement of
throughput
offline
Function
To collect data From 30 Qbees
and sort the hit cells in time order
～550
QBs
20
10
1
Front Front Orga
End End nizer
PC
PC
PC
Performance with dummy data
Front-end PC can handle up
to 15kHz dark rate
( PMT dark rate = 4 ~ 5kHz )
11
Data flow manager (1)
役割
20台のfront-end PCからのデータを後段の40個のmerger プロセスに
分散させる → データの送信先指示、受信確認作業を行う
Network shared memory*
Data flow manager
Control distributing
of data
(各PC間でTCPを用いて
通信を行い、localにあるshared
memoryの内容を同期させる機
能を持つデーモンプロセス。
Belleグループによって開発、使
用されている。)
20ms
Time window
Block Block Block
1
2
3
FEPC
Switch
Block Block Block
1
2
3
FEPC
Block
1
Block
1 Merger
Block
2 Merger
Block
2
PC
PC
12
Data flow manager (2)
イベントビルディングのためには20台のFront-end PCから1台のmerger processにデータ
を送ることが必要 → 送信が集中してbottle neckとなる
これを避けるために、data flow managerで一度に複数の送信命令を出すようにした
例)
Data flow managerが
命令キュー内の
命令キュー内の
送信命令を出すrate
エントリ数 = 3
エントリ数 = 1
request:destination
Req10 : MGR0
Req11 : MGR1
Req12 : MGR2
Req13 : MGR3
Req14 : MGR4
Req15 : MGR5
Required rate
time
1個の命令が完了
してから次の命令を
出す.
time
Req10 : MGR0
Req11 : MGR1
Req12 : MGR2
Req13 : MGR3
Req14 : MGR4
Req15 : MGR5
request :destination
3個の命令を
同時に出し、各
FrontEnd PCが進み具合
に応じて送信を
行う
→ 各front-end PCから送るデータの行き先が分散され、全体のthroughputも上昇した
13
～550
QBs
20
Front
End
PC
10
Mer
ger
PC
1
Orga
nizer
PC
offline
Performance of the Online system
Change the threshold of the software trigger
and measure the efficiency of Online DAQ’s data processing.
process data w/o loss
- 12kHz of
Event Trigger rate
can be processed
without data loss,
which is much
larger than the max.
Trigger rate in the
previous System
(~4kHz )
- Bottleneck is the
disk write on the
organizer PC
( max. ~50MB/s)
14
Function of Merger
FEPC
Event
Header
.
.
.
.
Block
Header
data
.
.
.
.
Software
trigger
receiver
Merge the data from front-end PCs
And sort in time order
Heap sort
FEPC
event n
receiver
n+1
n+2
n+3
n+4
n+5
FEPC
Block header
receiver
event header
data
15
Function of Software trigger
Software trigger
Trigger windowをずらしながらdataをscan
Mergerからのデータ
全FEPCからの1344 event分(22ms)
が時間順にソートされた状態
200ns
200ns
Window内のhitsumが閾値を超えると
“Software”
event
“Software”
event
Offline (DISK)
Typical Trigger type
* Super Lowe
(低エネルギー太陽ニュートリノ解析)
* LowE, HIghE
( 大気ニュートリノ解析)
• T2K trigger (T2K用データ、T2Kビームに同期してデータを取り出す)
* After trigger (ニュートリノ反応後にできた中性子によるガンマ線測定)
16
稼働状況
Replacement work was done for 2weeks in the end of Aug. 2008.
After the installation of the DAQ system, it started working since Sep. 6. DAQ
system is stable and 24hrs operation is ongoing.
Installed DAQ system in an elec. Hut
Front-end PCs
and network switches
Qbees
１か月間のData-takingの状況
Running time
= 97%
Normal run
= 91%
17
3, T2Kビームとの同期
T2K (neutrino beam from Tokai to Kamioka) trigger

By using GPS data of SK and Tokai sites, PMT hits within ±500μs are
recorded as T2K triggered event ( 1st priority in software trigger )
check
From Tokai
T2K
triggered
data
Offline
Disk
T2K
triggered
data
3rd Reduction
SK-GPS data
HITSUM
Triggered
data
2nd Reduction
Merger
+
Software
trigger
1st Reduction
Every hit
data
Tokai-GPS
Data
Online trigger monitor at SK
Spill information
coming from J-PARC
19
4, 近傍超新星爆発時の対応
超新星爆発が起こった場合のSKでのイベントレート
SK: 宇宙線検出 → 通常時は安定なtrigger rate
107
106
event rate [Hz]
Event Rate [Hz]
# of events/10s
500光年で起こった場合の
SKでのイベントレートの時間変化
105
104
Prev
Distance between earth and SN (kpc)
21
103
102
ベテルギウスが爆発した場合
総イベント数：～30M events
Max. event rate : ～ 30MHz
time [s]
Setup of the SN burs test
Mimic a SN burst by a light pulsar (occupancy ~1.5 %)
Flash rate
Laser diode
1s
~10MHz
~5MHz
attenuator
Pre-scale = 1
2s
7s
~1MHz
Pre-scaler
SK tank
Time
pulsar
Duration = 10s
Max. flashing rate of this system = 10MHz
Max. event rate from the SN burst at the distance of 500ly will become 30MHz
So we usually increase the occupancy (x4: 6-7%) to mimic those high rate case.
Estimation of the Limitation factor
from DAQ system for processing SN burst data (reminder)
定常的なイベントレートは
Limitation of Online DAQ processing speed A, SLE trigger
rate : 12-13kHz
ボトルネックはdisk 書き込み
Max. rate=14kHz
38kevents total
1/700 atten.
(5kpc 位の距離での爆発)
Occupancy (∼2%)
Event counter information on
DFM (Data flow manager) monitor
少し処理が遅れるが
直ぐに復帰する
４０秒くらいであれば、FE ボードの
バッファに貯めておける。
-> O.K. @ 38kevents
更にレートを上げると
LD flashing condition : 7.2 Mevents and larger occupancy(~6.7%) case.
A : usual
Data processing
B : No disk writing onto
the disk
Processing
SN burst data
Merger PC
Organizer
Disk
Online DAQの通常運転状態でベテルギウスburst を処理するのは難しい
SN burst時間 (10s程度 )のデータを逃さないようにする方向で対応
まとめ
•
SKのオンラインDAQ
• 2008年夏にフロントエンドエレクトロニクスと一緒にアップグレード
• ハードウェアトリガーでイベントを選別せず、データはすべてオンラインPC
に送ってそこで処理（ソフトウェアトリガー）
• イベントビルディングは複数のPCで分散。エレキーPC、PC同士の接続は
イーサネットで行う。
• 複数PC間の調整はnetwork shared memoryで行う
•
その他に求められること
• T2Kビームとの同期
• 突発的なhigh rateへの対応（SN burst）
• ディスク書き込みがbottle neck
• SN burstのような短時間（～10s）のものに対しては
メモリバッファに貯めて処理を待つ方針でいる。
加えて情報量を減らした(時間当たりのhit数のみ)データを
取得するシステムを開発中。
26

Download Report