latency - 東京大学素粒子物理国際研究センター

坂本研、佐々木研ミーティング @ 2014-06-23
徳永 孝之
東京大学 素粒子物理国際研究センター
修士課程2年
坂本研
今週進捗
PT7におけるGTXデザインの作成、検証
-
リセット機能の追加
-
DRPCLKの追加(デザイン修正)
-
Bypassing RX and TX buffer advance mode
Latencyの測定
2014/6/23
2
PT7t2の動作確認(渡邉)見届け
LATENCYの測定
†
ILA
デザインの内部信号を観察する
ためのロジック アナライザー
Infiniband4x
3lane使用
TX
loopback
RX
PT7
Integrated
Logic
Analyzer
†
(ILA)
2014/6/23
ロジック・アナライザ
3
FPGA TESTPIN
LINE RATE:6.25Gbps/lane (<6.4Gbps)
62ns(測定)
816ns(測定)
ロジアナ測定画面、dataの下2桁のみ表示
ILA画面 (DRPクロックを使用することでズレなし
TXからRXまでのlatency:62ns(5回測定fix) RX、TXバッファー有りだと96ns
4
Protocol:aurora8b10b_singlelane
ズレても1クロック分(3.2ns))
LINE RATE:6.25Gbps/lane、6lane 使用
Bypassing TX buffer and RX buffer
デザイン:256回に1回にBCBC、その他は00B3をloopback
仕様@6.25Gpbs
TxusrclkとRxusrclkは共に312.5MHz
36.8ns≦TX+RX≦222.16ns
(16bit*312.5MHz=5Gbps=6.25Gbps*8/10)
1/312.5MHz=3.2ns. 255*3.2ns=816ns
LINE RATE:8.00Gbps/lane (>6.4Gbps)
92ns(測定)
1275ns(測定)
ロジアナ測定画面、dataの下2桁のみ表示
TXからRXまでのlatency:92ns(5回測定fix) RX、TXバッファー有りだと141ns
5
ILA画面 (DRPクロックを使用することでズレなし
Protocol:aurora8b10b_singlelane
ズレても1クロック分(5ns))
LINE RATE:8Gbps/lane、6lane 使用
Bypassing TX buffer and RX buffer
デザイン:256回に1回に0000BCBC、その他は000000B3をloopback
TxusrclkとRxusrclkは共に200MHz
仕様@8Gpbs
(32bit*200MHz=6.4Gbps=8Gbps*8/10)
28.75ns≦TX+RX≦173.5625ns
1/200MHz=5ns. 255*5ns=1275ns
LINE RATE:10.0Gbps/lane (>6.4Gbps)
75ns(測定)
1020ns(測定)
ロジアナ測定画面、dataの下2桁のみ表示
ILA画面 (DRPクロックを使用することでズレなし
TXからRXまでのlatency:75ns(5回測定fix) RX、TXバッファー有りだと108ns
6
Protocol:aurora8b10b_singlelane
ズレても1クロック分(4ns))
LINE RATE:10Gbps/lane、6lane 使用
Bypassing TX buffer and RX buffer
デザイン:256回に1回に0000BCBC、その他は000000B3をloopback
TxusrclkとRxusrclkは共に250MHz
仕様@10Gbps
(32bit*250MHz=8Gbps=10Gbps*8/10)
23ns≦TX+RX≦138.6ns
1/250MHz=4ns. 255*3.2ns=1020ns
RESULT OF LATENCY
通常
Bypassing TX buffer and RX buffer
6.25Gbps
96ns
62ns
8.00Gbps
141ns
92ns
10.0Gbps
108ns
75ns
←Line Rate足りない
PT7に載せているGTX用クロック125MHzからは
6.25Gbps, 8Gbps, 10Gbpsから選択可能
2014/6/23
7
求められる条件:
Line Rate 6.4Gbps以上
8b10b可能(not 64b66b)
92ns@8Gbps vs [email protected]
Line rate:6.25Gbps設定だとinternal dataは
20or40bitを選択可能→今回20bitを選択(16bit通信)
Line rate:8.00Gbps設定だとinternal dataは40bitの
み選択可能→今回40bitを選択(32bit通信)
40bitにすると20bitに比べ左図より合計
125.74375UI分Latencyが上がる
125.74375=(208.5-110.5)+(61.475-33.73125)
故に6.25Gbpsより8Gbpsの方がlatencyが上がってし
まう
Bypassing TX buffer and RX buffer
6.25Gbps
96ns
62ns
8.00Gbps
141ns
92ns
10.0Gbps
108ns
75ns
2014/6/23
※6.6Gbpsは16bit通信できる最高速のLineRate
8
通常
クロックのICを載せ替えてLine rate:6.6Gbps設定にす
ると、internal dataを20bitで設定できるので、Latency
は62ns以下でデザインを作成可能
GTX TRANSCEIVERS
SUPPORT PROTOCOL
LogiCORE IP 7 Series FPGAs Transceivers Wizard v3.3 (PG168) P.9
GTX transceivers support:
- Common Packet Radio Interface (CPRI): 0.6, 1.2, 2.4, 3.072, 4.9, 6.144, and 9.83 Gb/s
- OC-48: 2.488 Gb/s
- OC-192: 9.956 Gb/s
- Gigabit Ethernet: 1.25 Gb/s
- Aurora 64B/66B: 12.5 Gb/s
- Aurora 8B/10B: 6.6 Gb/s
- PCI Express® Gen1: 2.5 Gb/s
- PCI Express Gen2: 5 Gb/s
- DisplayPort: 1.620, 2.7, 5.4 Gb/s
- 10GBASE-R: 10.3125 Gb/s
- Interlaken: 4.25, 5.0, 6.25 Gb/s
条件:
- Open Base Station Architecture Initiative (OBSAI): 3.072 Gb/s
Line Rate 6.4Gbps以上
- OBSAI: 6.144 Gb/s
- 10 Gb Attachment Unit (XAUI): 3.125 Gb/s
8b10b可能(not 64b66b)
- 10 Gb Reduced Attachment Unit (RXAUI): 6.25 Gb/s
- Serial RapidIO Gen1: 1.25, 2.5, 3.125 Gb/s
128bit*10/8*40MHz=6.4Gbps
- Serial RapidIO Gen2: 5.0, 6.25 Gb/s
128bit*40MHz=5.12Gbps
- JESD204: 3.0, 6.0 Gb/s
- 100 Gb Attachment Unit Interface (CAUI): 10.3125 Gb/s
- 10GBASE-KR: 10.3125 Gb/s
- Common Electrical Interface (CEI) 6G-SR: 4.976–6.375 Gb/s
- 40 Gb Attachment Unit Interface (XLAUI): 10.3125 Gb/s
- Quad Serial Gigabit Media Independent Interface (QSGMII): 5 Gb/s
- High-Definition Serial Digital Interface (HD-SDI)/3 Gb/s Serial Digital Interface (3G-SDI): 1.485/2.97 Gb/s
2014/6/23
9
Custom protocols can be specified using the Start from Scratch option in the Vivado IDE.
GTX_AURORA8B10B
現PT7はReference Clock 125MHz
->Line Rate is 3.125, 5, 6.25, 8 or 10Gbps
2014/6/23
PT7に載せているGTX用クロック
KC7050Y125.000L30E00
10
もしLine Rateを6.6Gbpsにするなら
Reference Clockは右図の周波数
132, 165, 220MHzなど・・。
6.6Gbps用クロック
2014/6/23
FXO-LC735R-132
11
KC7050Y125.000L30EZU
CLOCK ON KC705
2014/6/23
12
Kintex-7 FPGA 用 KC705 評価ボー ド ユーザー ガイド(UG810) P34
CLOCK
Kc705に乗っているクロックジェネレーター、ICS844021I
2014/6/23
ジッターは大丈夫なのか・・?
13
PT7に載せているGTX用クロック
まとめ・今後
・リセット機能、Bypassing RX and TX buffer advance mode、DRPクロッ
クの追加でのデザインを作成
・latencyの測定
Bypassing TX buffer and RX buffer
External
data width
96ns
62ns
16bit, 32bit
62ns以下
16bit, 32bit
(6.60Gbps) 96ns以下
8.00Gbps
141ns
92ns
32bit
10.0Gbps
108ns
75ns
32bit
・PT7t2の動作確認完了(渡邉)
・クロックの載せ替え(?)
2014/6/23
good
07/04 内定先Summer Workshop
07/28 – 09/10 CERN
09/18 – 09/21 物理学会
09/22 – 09/23 佐賀会合
10/01 内定式
14
6.25Gbps
通常
2014/6/23
15
BACKUP
2014/6/23
16
REFERENCE CLOCK
TX AND RX LATENCY
VALUES
http://www.xilinx.com/support/answers/42662.html
仕様
• TX Latency
Minimum 94UI
Maximum 412UI
• RX Latency
Minimum 136.5UI
Maximum 967.5UI
•
What is a unit interval (UI)?
@3.125Gbps
1UI=1/3.125=0.32ns/bit
94+136 UI ≦TX+RX≦421+967.5 UI
73.6ns≦TX+RX≦444.32ns
@10Gbps
1UI=1/10=0.1ns/bit
230 UI ≦TX+RX≦1388.5 UI
23ns≦TX+RX≦138.6ns
@6.25Gbps 1/6.25=0.16ns/bit
36.8ns≦TX+RX≦222.16ns
@8Gbps 1/8=0.125ns/bit
28.75ns≦TX+RX≦173.5625ns
http://www.xilinx.com/support/answers/15581.html
2014/6/23
17
A unit interval, also referred to as a bit time, is the time taken in a data stream for one bit.
For example, in a serial line with a baud rate of 2.5 Gb/s, a unit interval is 1/(2.5 Gb/s) = 0.4
ns/bit.(0.4UI)
Interface between the NSW and Sector Logic
Combined track information is fannedout and delivered to corresponding SL
boards. The maximum number of
signals for distribution to SL boards is 7.
One track vector is represented as 24bit data.
Required resolutions for the NSW
Angle resolution : ~ 1 mrad (Phase-II)
Position : h : 0.005 f : 10 mrad
position matching between
the BW (RoI) and the NSW.
One NSW sector has capability to
transmit data of up to 8 tracks.
Two optical fibres per NSW sector.
4 tracks per fibre link
8b/10b encoding at 320 MHz
bit rate per link : 6.4 Gbps
2014/6/23
18