CTA大口径望遠鏡用40Gbps級超高帯域データ収集

素粒子実験領域 22aDL-12!
CTA大口径望遠鏡用40Gbps級超高帯域データ収集システム開発 !
Development and Evaluation of 40Gbps ultra high bandwidth DAQ System for the CTA Large-Sized Telescope
石尾一馬 A、中嶋大輔 A、大岡秀行 A、窪秀利 B、今野裕介 B、斎藤浩二 A、齋藤隆之 B、手嶋政廣
A, C、
花畑義隆 A、Daniela Hadasch A、林田将明 A、Daniel Mazin A、山本常夏 D、吉越貴紀A、他 CTAJapan Consortium
東大宇宙線研 A、京大理
B 、Max-Planck-Inst.
fuer Phys. C 、甲南大理工
D!
2015年3月22日日本物理学会春季大会於早稲田大学
B
C
宇宙ガンマ線のエネルギー領域とCTA計画
1GeV
10GeV
100GeV
Fermi
1TeV
10TeV
ガンマ線光子統計の限界
1 km
（人工衛星の大型化に限界）
検出難
CTA：次世代チェレンコフ望遠鏡
Fig. 6. Different possible array layouts with estimated construction costs within the assumed budget. The
size circles) and SSTs (small circles). The array with the most balanced performance in MC production 1 w
チェレンコフ光子密度の減少
大口径望遠鏡
(LST)
SST
LST
MST
低エネルギー閾値
3.2.1
23m
Tube
100
→高トリガレート
4桁のエネルギー領域で感度10倍にする
3.1.2
MAGIC(
), H.E.S.S.( )
Fig. CTA
7. Differential sensitivity (in units
of the energy-dependent
flux of the Crab
2015年3月22日
日本物理学会春季大会於
nebula) for
array E (50 h, 5r, 5% background, 早稲田大学
10 events, alpha = 0.2, i.e. intervals of
100
Fig. 8. Integral
sensitivities in co
HAWC) for some
大口径望遠鏡LSTのカメラ・DAQ
トリガ15kHz→32Gbps
Ref :
Version:
Date:
Page:
LST - Technical Design Report
MAN-PO/140408
1.4
January 5, 2015
43/277
焦点面に
LST
口径23m
1855本のPMT
CTA Telescope Simulation
Run 3, event 1, array 0, telescope 1
データ読出し
(a) Front
Number of triggered pixels: 61 of 1855
Number of pixels in selected image: 47
Number of significant pixels: 1855
Sum of signals in selected pixels: 2972.6 p.e.
(b) Side
Figure 37: Fixation of the Camera body to the frame in the Camera Support Structure.
30 nsの
波形情報
• The maximum temperature di↵erence between any two points of the front-end electronics has to be
• Once stabilized, the temperature at any point in the Camera should not vary more than ± 3°C over
the observation time.
smaller than 10°C.
The Environmental Control System is able to provide these parameters inside the Camera, whenever the
external temperature is in the range between -20°C and 40°C, according to the CTA requirements [10].
Moreover, the Environmental Control System is kept ON during no operation of the telescope to: a) keep
the temperature between 0°C and 30°C ; b) avoid temperature changes faster than 10°C per hour; c) keep
the humidity inside the Camera below 65%.
The Environment Control System is based on a mixed concept using liquid and air (see figure 38). The heat
produced by the electronic devices inside the Camera is transferred to a forced turbulent air flow. The air
flows along the ducts delimited by the Modules themselves and the internal load bearing structure. The air
circulation is forced by fans optimally placed to reach homogeneous temperature inside the Camera. The
heat accumulated in the air is transferred outside the Camera through a closed liquid circuit. The heat
exchange between the air and the liquid is produced either in a specific heat exchanger or through the plates
of the bearing structure of the Camera. The air is forced to pass through the former with the fans. The
latter have internal drilled holes in which the liquid circulates making the bearing structure also a heat
exchanger. The liquid is then re-circulated through a chiller on the telescope basement, and pumped back
to the Camera.
データ収集
265枚の“Dragon” FrontEndBoard
1枚あたりPMT7本から波形読み出し
FEB1枚が１回のトリガで
送信するデータは約1kB
→265kB/camera/event
SiTCP技術をFPGA内に実装し
TCP/IP通信でデータ伝送
トリガ頻度15kHz
43
pixel above threshold
Alt
pixel in selected image
simulated direction
シャワーのフラッシュを
x
reconstructed direction
second moments
y
Az
ellipse (*1/*2)
0
4
10 20 40 100 200 p.e.
Primary: gamma of 0.500 TeV energy at 62 m distance
「写真」にする
32Gbps/camera
(144TB/tel/night)
DAQハードウェア構成と開発環境
PMT!
×1855
:
Camera Server
Central!
Control
48port!
Ethernet Switch
制御信号
10Gbps!
SFP+
1Gbps
48port!
Ethernet Switch
部分的に開発、試験
FEB!
FEB!
FEB!
×45
×45
×45
監視データ
Camera!
Server
3.4GHz i7 4930K
6core 12thread
NIC
観測データ
…
FEB!
FEB!
FEB!
×45
×45
×45
…
:
FEB!
FEB!
FEB!
×45
×45
×45
…
:
Switch!
×6
FEB!
×265
Intel X520DA2
Data!
Store
48port!
Ethernet Switch
Chelsio T420CR
Dragon FEB
スイッチ
スケールテストでは
スイッチング・ファブリック：176Gbps
パケットフォワーディング：130.9Mpps
パケットバッファメモリ：2MB
PCで代用
SFP+ケーブル
2015年3月22日日本物理学会春季大会於早稲田大学
エミュレータを用いた試験の様子
エミュレータ(Max 26)
うち17台はiPMU大林先生提供
ありがとうございました。
48port!
Ethernet Switch
Camera Server
10Gbps!
SFP+
2015年3月22日日本物理学会春季大会於早稲田大学
エミュレータ開発
・PCはDragonFEB同様、1Gbps接続が可能
→エミュレータとして使用できる
・データの流れと逆方向はネットワークに余裕がある
→トリガの伝播に使える（ブロードキャストパケット）
・トリガに付番（送付データに埋込）
→イベント結合に利用
トリガ配布マシン
Trigger
Generator
エミュレータマシン
FakeFEB
Trigger
(Broadcast packet)
FakeFEB
データ収集マシン
FakeFEB
Data
2015年3月22日日本物理学会春季大会於早稲田大学
DAQ
データ収集プログラム構成
ring buffers
Dragon!
FEB
: :
:
:
Dragon!
FEB
:
:
Dragon!
FEB
: :
:
:
Dragon!
FEB
×265
:
:
:
:
:
:
:
collector
:
:
:
:
:
:
:
:
:
:
collector
~×N
:
:
:
:
:
:
:
:
Camera Server
builder
analyzer
storer
monitor
Disks
×265
開発範囲
・リングバッファ
・マルチスレッド
データを一時保管し、
collector ̶ TCP/IP通信でデータを取得
非同期通信による到着時間のずれを吸収
複数スレッドで収集可
builder ̶ イベント結合
2015年3月22日日本物理学会春季大会於早稲田大学
collectorスレッドを複数にした効果
１スレッド
2スレッド
40 kHz
30 kHz
20 kHz
60
40
CTA requirement
20
0
0
5
10
15
20
25
30
35
要求性能を満たさない
40 45 50
# connections
[kHz]
Eventsize
Accepted Trigger Rate
[kHz]
50 kHz
Throughput
-1.450e+04+1.097e+06
x
80
接続当たり取得レート＝ Eventsize
Accepted Trigger Rate
[kHz]
Throughput
接続当たり取得レート＝ 60 kHz
bps
70 kHz
bps
80 kHz
100
110 kHz
10 G
90 kHz
120
7.5 G
bps
100 kHz
5 Gbps
110 kHz
10 G
bps
7.5 G
120
×103
5 Gbps
[kHz]
×103
100 kHz
90 kHz
80 kHz
100
70 kHz
60 kHz
-8.047e+01+1.206e+06
x
80
50 kHz
40 kHz
30 kHz
20 kHz
60
40
CTA requirement
20
0
0
5
10
15
20
25
30
35
40 45 50
# connections
要求性能の約2倍が期待できる
（リングバッファ書込による性能低下を補えた）
2015年3月22日日本物理学会春季大会於早稲田大学
bondingの効果
48port!
Ethernet Switch
Camera Server
10Gbps!
SFP+ ×2
1Gbps!
Ethernet ×N
90 kHz
Throughput/# connection
Acquire rate =
[kHz]
event size
Eventsize
Accepted Trigger Rate
[kHz]
Throughput
bps
100 kHz
s
接続当たり取得レート＝ 20 G
110 kHz
80 kHz
100
70 kHz
60 kHz
50 kHz
80
40 kHz
30 kHz
20 kHz
60
40
CTA requirement
20
0
0
Gbp
40
17.5
20 kHz
60
bps
30 kHz
15 G
40 kHz
s
Gbp
50 kHz
12.5
-8.047e+01+1.206e+06
x
bps
60 kHz
bps
70 kHz
10 G
100
7.5 G
80 kHz
120
5 Gbps
100 kHz
90 kHz
80
collector2スレッド、2 10Gbps SFP+ 2スレッドの制約が見える
×103
110 kHz
bps
10 G
bps
7.5 G
120
5 Gbps
[kHz]
collector2スレッド、１ 10Gbps SFP+
ケーブルの制約が見える
×103
5
10
15
20
0
0
5
10 15 20
40 45 50
connections
2015年3月22日# 日本物理学会春季大会於
早稲田大学
25
30
35
CTA requirement
20
25
30
35
40 45 50
# connections
bonding
Throughput/#
connection
Throughput
[kHz]
[kHz]
bps
100 kHz
s
90 kHz
80 kHz
70 kHz
Eventsize
Acquire rate =
接続当たり取得レート＝ event size
接続当たり取得レート＝ 20 G
Gbp
5
17.5
0
0
bps
0
0
s
20
20
15 G
40
Gbp
40
bps
60
12.5
60
110 kHz
100
60
70kHz
×103 kHz
50 kHz3
60×10 kHz
40 kHz3
50×10 kHz
30 kHz
40×103 kHz
20 kHz
30×103 kHz
80
bps
70
80×10 kHz
10 G
kHz3
7.5 G
90kHz
×10 kHz
80
5 Gbps
bps
3
100 100
80
120
100
×103 kHz
90
kHz
s
Gbp
ps
110 kHz
110×
103 kHz
100
kHz
20 G
17.5
bps
120
b
15 G bps
10 G
s
Gbp
12.75.5 Gbps
×10
bps
Throughput/# connection
Acquire rate =
[kHz]
Throughput
event size
×103
10 5GGbps
120
collector 4スレッド
3
7.5 G
Eventsize
Accepted
Trigger Rate [kHz]
×103
5 Gbps
[kHz]
collector 3スレッド
60 kHz
50 kHz
40 kHz
80
20×103 kHz
30 kHz
20 kHz
60
40
CTA requirement
CTA requirement
5
10
10
15
15
20
20
25
25
30
30
35
35
40
45
CTA requirement
20
50
40# connections
45 50
# connections
0
0
5
10
15
20
2015年3月22日日本物理学会春季大会於早稲田大学
25
30
35
40 45 50
# connections
耐久試験結果
・エミュレータ16台に45kHzでトリガ、10時間収集に成功
（collectorは2スレッド使用）
・結果の外挿により、15kHzで48接続が可能と予想
上段：全リングバッファの平均レート
（赤）リングバッファへの書き込み
（緑）リングバッファからの読み出し
下段：各リングバッファ内滞留イベント数
2015年3月22日日本物理学会春季大会於早稲田大学
まとめ
・LSTはチェレンコフ望遠鏡による観測エネルギー閾値の限界に挑む。
そのため、15kHzのトリガレート、32Gbpsの超広帯域データ収集が必要
・ネットワークによるデータ収集プログラムを開発した。
・テスト結果の外挿より、要求性能を満たすと予想できる。
- 2 Collectorスレッド+1 Builderスレッドにより
16接続から45kHzで10時間DAQ稼働
→詳細の仕様は合致していないが、
45接続から15kHzでのデータ収集と同様の負荷
- スレッド数増やbondingによって性能の調整が可能
2015年3月22日日本物理学会春季大会於早稲田大学
エミュレータの調整
将来展望
・Dragon FEBのネットワーク特性を詳しく調査し、パラメータを
実際のDragon FEBを用いたスケールテスト
・データ構造の決定（トリガ番号、イベント番号の実装）が必要
後段処理の開発
・カスケードビルド
builderを多段化して負荷分散する。
・低レベル解析
実際のデータを用いて解析が必要
データリダクションの影響調査が必要→シミュレーション
・データ保存
ディスクの超広帯域書込は難度が高い。要注意
エラーハンドリング
・トリガ番号エラー、受信エラー、処理能力超過など
2015年3月22日日本物理学会春季大会於早稲田大学
える

Download Report