劉尚銘，曹 平，李 超，汪曉虎

（1.中國(guó)科學(xué)技術(shù)大學(xué) 核探測(cè)與核電子學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230026；2.中國(guó)科學(xué)技術(shù)大學(xué) 近代物理系，安徽 合肥 230026）

0 引言

核與粒子物理主要研究原子核內(nèi)部及以下層次的微觀結(jié)構(gòu)，為研究粒子間相互作用，人們通過(guò)數(shù)量龐大的探測(cè)器陣列和電子學(xué)設(shè)備對(duì)實(shí)驗(yàn)物理現(xiàn)象進(jìn)行觀測(cè)[1?2]。物理實(shí)驗(yàn)采用觸發(fā)判選機(jī)制來(lái)濾除實(shí)驗(yàn)本底與探測(cè)器噪聲，通過(guò)觸發(fā)系統(tǒng)的設(shè)計(jì)從前端原始信息中篩選出有效物理事例，從而降低后端數(shù)據(jù)傳輸與緩存壓力。

核與粒子物理實(shí)驗(yàn)中的觸發(fā)判選技術(shù)主要有模擬硬件觸發(fā)、無(wú)硬件觸發(fā)、數(shù)字硬件觸發(fā)三種方式。早期實(shí)驗(yàn)的觸發(fā)系統(tǒng)因技術(shù)限制，通常使用模擬硬件觸發(fā)方式提取前端信號(hào)特征參量并進(jìn)行觸發(fā)判選，如中國(guó)原子能院GTAF 譜儀[3]，這些觸發(fā)系統(tǒng)大多專用且固定，具有一定死時(shí)間，無(wú)法適應(yīng)物理實(shí)驗(yàn)高事例率的發(fā)展需要。隨著數(shù)據(jù)傳輸處理能力的快速提高，壓縮重物質(zhì)實(shí)驗(yàn)[4]、反質(zhì)子湮滅實(shí)驗(yàn)[5]、大型高海拔宇宙線觀測(cè)站[6]等實(shí)驗(yàn)開始采用無(wú)硬件觸發(fā)的數(shù)據(jù)讀出方法，將前端所有數(shù)據(jù)傳輸至后端，由后端高性能計(jì)算單元進(jìn)行觸發(fā)判選，但對(duì)所有數(shù)據(jù)不加區(qū)分的讀出給讀出系統(tǒng)與數(shù)據(jù)獲取系統(tǒng)帶來(lái)了更大的設(shè)計(jì)壓力與資源消耗。近年來(lái)在某些實(shí)驗(yàn)上，如反角白光中子源GTAF-II 譜儀[7]、江門中微子實(shí)驗(yàn)[8]，逐漸開展了基于FPGA 實(shí)時(shí)硬件的全數(shù)字化硬件觸發(fā)技術(shù)研究，充分利用FPGA 并行處理能力強(qiáng)和實(shí)時(shí)性高的優(yōu)點(diǎn)，對(duì)原始數(shù)據(jù)進(jìn)行實(shí)時(shí)的觸發(fā)判選與數(shù)據(jù)篩選。

物理實(shí)驗(yàn)中的觸發(fā)判選一般根據(jù)有效物理事例與本底噪聲的特點(diǎn)，設(shè)置相應(yīng)的判選條件。擊中多重?cái)?shù)（Hit multiplicity，NHit）是一種常用的判選依據(jù)，在反角白光中子源GTAF-II 譜儀、大型高海拔宇宙線觀測(cè)站、江門中微子實(shí)驗(yàn)、暗物質(zhì)探測(cè)[9]等實(shí)驗(yàn)中被廣泛應(yīng)用。觸發(fā)系統(tǒng)需要接收匯聚前端所有原始數(shù)據(jù)，并從中快速統(tǒng)計(jì)NHit 信息，從而完成全局觸發(fā)判選。在高事例率情況下，基于數(shù)字硬件方式的NHit 觸發(fā)相比于無(wú)硬件觸發(fā)方式具有更好實(shí)時(shí)性，同時(shí)可以有效降低實(shí)驗(yàn)成本資源開銷，而數(shù)字硬件觸發(fā)方式需要依托具體硬件電路的實(shí)現(xiàn)，才能完成實(shí)際的觸發(fā)判選。

針對(duì)核與粒子物理實(shí)驗(yàn)中的數(shù)字NHit 觸發(fā)處理需求，本文設(shè)計(jì)了一種高性能數(shù)字觸發(fā)判選電路。該電路支持多個(gè)通道的光纖數(shù)據(jù)傳輸與千兆網(wǎng)絡(luò)通信，使用大容量高速DDR4 緩存與高性能FPGA 支持高速數(shù)據(jù)緩存與實(shí)時(shí)硬件數(shù)字觸發(fā)處理。該電路靈活可擴(kuò)展，可應(yīng)用在不同的物理實(shí)驗(yàn)場(chǎng)景中，通過(guò)多塊該電路組合可實(shí)現(xiàn)靈活的觸發(fā)處理；同時(shí)具有一定兼容性，可作為機(jī)箱標(biāo)準(zhǔn)插卡并入某些物理實(shí)驗(yàn)電子學(xué)系統(tǒng)。通過(guò)對(duì)數(shù)字觸發(fā)硬件電路的數(shù)據(jù)傳輸與緩存接口的測(cè)試，結(jié)果表明數(shù)字硬件電路可以實(shí)現(xiàn)與多個(gè)硬件間的光纖數(shù)據(jù)傳輸，以及與上位機(jī)間的千兆網(wǎng)絡(luò)通信，同時(shí)支持高帶寬的DDR4 數(shù)據(jù)緩存，滿足電路設(shè)計(jì)需求。

1 數(shù)字觸發(fā)方案

在核與粒子物理實(shí)驗(yàn)中，基于光纖的數(shù)據(jù)傳輸是一種高效的遠(yuǎn)距離數(shù)據(jù)傳輸方式，被廣泛應(yīng)用在各個(gè)物理實(shí)驗(yàn)中。數(shù)字觸發(fā)判選電路可通過(guò)光纖與前端電子學(xué)硬件相連，通過(guò)多個(gè)光纖鏈路匯聚前端原始數(shù)據(jù)，同時(shí)在內(nèi)部通過(guò)高速大容量緩存將其緩存在本地等待后續(xù)觸發(fā)處理；在硬件上使用高性能FPGA 運(yùn)行實(shí)時(shí)的NHit觸發(fā)算法，通過(guò)分析原始數(shù)據(jù)的時(shí)間信息得到NHit 統(tǒng)計(jì)結(jié)果并進(jìn)行全局觸發(fā)判選；在得到觸發(fā)結(jié)果后，數(shù)字觸發(fā)判選電路挑選讀出本地緩存中的有效物理事例數(shù)據(jù)，并通過(guò)千兆網(wǎng)絡(luò)發(fā)送給后級(jí)數(shù)據(jù)獲取系統(tǒng)，其觸發(fā)處理架構(gòu)如圖1（a）所示。

由于物理實(shí)驗(yàn)通道數(shù)眾多，在某些多通道高事例率的物理實(shí)驗(yàn)中，單塊數(shù)字觸發(fā)判選電路難以實(shí)現(xiàn)對(duì)所有前端數(shù)據(jù)的匯聚、讀出以及觸發(fā)處理。該情況下可根據(jù)物理實(shí)驗(yàn)的前端通道數(shù)、原始事例率、有效事例數(shù)據(jù)率等具體情況，使用多塊數(shù)字觸發(fā)判選單元電路進(jìn)行級(jí)聯(lián)擴(kuò)展，從而實(shí)現(xiàn)靈活的觸發(fā)處理操作，圖1（b）展示了多塊數(shù)字觸發(fā)判選電路擴(kuò)展的應(yīng)用方式。

圖1 數(shù)字觸發(fā)判選電路

數(shù)字觸發(fā)判選電路具備多通道光纖數(shù)據(jù)傳輸與千兆網(wǎng)絡(luò)通信、大容量高帶寬數(shù)據(jù)緩存、實(shí)時(shí)數(shù)據(jù)處理與觸發(fā)判選能力，該電路實(shí)現(xiàn)不依賴具體的機(jī)箱平臺(tái)，出于兼容性考慮，將數(shù)字觸發(fā)判選電路設(shè)計(jì)成標(biāo)準(zhǔn)的MTCA 機(jī)箱插卡[10]，實(shí)際使用時(shí)可作為單獨(dú)的電子學(xué)模塊獨(dú)立運(yùn)行，也可兼容某些物理實(shí)驗(yàn)的電子學(xué)系統(tǒng)，可插到MTCA 機(jī)箱內(nèi)實(shí)現(xiàn)與其他插卡的數(shù)據(jù)交互，從而大大增強(qiáng)數(shù)字觸發(fā)判選電路的靈活性與可擴(kuò)展性。此外，本方法也不完全依賴于光纖技術(shù)，當(dāng)前端原始數(shù)據(jù)率不高情況下，也可利用電纜技術(shù)進(jìn)行數(shù)據(jù)的傳輸收集。

由于光纖數(shù)據(jù)傳輸需使用較多數(shù)量的SFP+模塊，因用戶插卡面板空間限制，數(shù)字觸發(fā)判選電路實(shí)際上由一個(gè)負(fù)責(zé)數(shù)據(jù)傳輸與處理的主處理模塊與一個(gè)IO 擴(kuò)展模塊組成，其電路結(jié)構(gòu)框圖如圖2 所示。在主處理模塊上使用1 顆高性能FPGA 芯片負(fù)責(zé)數(shù)據(jù)傳輸與實(shí)時(shí)處理，多顆DDR4 芯片用作大容量高速數(shù)據(jù)緩存，同時(shí)主處理模塊與IO 擴(kuò)展模塊上布有多個(gè)SFP+模塊用于多個(gè)通道的光纖數(shù)據(jù)傳輸與千兆網(wǎng)絡(luò)通信，數(shù)字觸發(fā)判選電路實(shí)物如圖3 所示。

圖2 數(shù)字觸發(fā)判選電路框圖

圖3 數(shù)字觸發(fā)判選電路實(shí)物圖

數(shù)字觸發(fā)判選電路基于光纖來(lái)進(jìn)行高速串行數(shù)據(jù)通信，使用SFP+光模塊進(jìn)行光電轉(zhuǎn)換，并將電信號(hào)連接到FPGA 的高速串行收發(fā)器上，通過(guò)FPGA 邏輯配置可以使各個(gè)高速串行收發(fā)器工作在不同的高速串行數(shù)據(jù)通信協(xié)議下，例如Aurora、SRIO、PCIe 等協(xié)議[11?13]。

在千兆網(wǎng)絡(luò)通信上數(shù)字觸發(fā)判選電路使用SiTCP 技術(shù)[14]，SiTCP 是為高能物理實(shí)驗(yàn)而開發(fā)的一種網(wǎng)絡(luò)通信技術(shù)，搭建了一種可在FPGA 芯片上運(yùn)行的硬件網(wǎng)絡(luò)通信處理單元，具有低資源消耗、低功耗等優(yōu)勢(shì)。從網(wǎng)絡(luò)協(xié)議層級(jí)上來(lái)看，SiTCP 用硬件實(shí)現(xiàn)了MAC 層及以上層級(jí)，可將FPGA 的高速串行收發(fā)器用作網(wǎng)絡(luò)通信的PHY層，數(shù)字觸發(fā)判選電路將以太網(wǎng)SFP 模塊插到該路的SFP+通道上，即可將該路SFP+通道用于千兆網(wǎng)絡(luò)數(shù)據(jù)傳輸。

2 數(shù)字觸發(fā)判選電路設(shè)計(jì)

2.1 主處理模塊

主處理模塊的具體電路結(jié)構(gòu)框圖如圖4 所示，可以看到主處理模塊主要由FPGA、DDR4、時(shí)鐘、電源、SFP+接口電路、背板接口電路幾部分組成。

到目前為止，對(duì)沈從文小說(shuō)的原型研究主要集中在“少女形象”“水”“湘西世界”這三個(gè)方面，還有少數(shù)研究成果涉及沈從文小說(shuō)中其他事物的原型研究。

圖4 主處理模塊電路結(jié)構(gòu)框圖

2.1.1 FPGA 與DDR4 芯 片

為了支持高速數(shù)據(jù)傳輸與緩存，主處理模塊上使用一顆Xilinx Kintex UltraScale 系列XCKU060 型號(hào)的FPGA 芯片，該芯片具有28 個(gè)可達(dá)16 Gb/s 傳輸速率的高速串行收發(fā)器（GTH），支持最高傳輸速率達(dá)2 400 Mb/s 的DDR4 緩存芯片連接。DDR4 芯片使用Micron公司的MT40A512M16LY-083 產(chǎn)品，單個(gè)芯片數(shù)據(jù)總線位寬為16 bit，該內(nèi)存顆粒的存儲(chǔ)容量為8 Gb，最大時(shí)鐘頻率為1.6 GHz。在本數(shù)字觸發(fā)判選電路中，為了實(shí)現(xiàn)高速數(shù)據(jù)緩存，使用4 片DDR4 芯片合并了數(shù)據(jù)總線位寬，將數(shù)據(jù)傳輸總線寬度擴(kuò)展為64 位，數(shù)據(jù)緩存速率理論最高可達(dá)153.6 Gb/s。

2.1.2 時(shí)鐘方案

主處理模塊的時(shí)鐘方案如圖5 所示，使用了兩顆時(shí)鐘扇出芯片，CLK BUF1 選擇接收本地晶振的156.25 MHz 時(shí)鐘，或者是CLK BUF2 扇出的時(shí)鐘信號(hào)，同時(shí)將輸入時(shí)鐘扇出多路，輸出時(shí)鐘作為FPGA 多個(gè)GT bank以及DDR 接口的參考時(shí)鐘。CLK BUF2 接收本地的高品質(zhì)10 MHz 時(shí)鐘信號(hào)，以及背板送過(guò)來(lái)的TCLKA 與TCLKC 時(shí)鐘，選通其中一路并扇出給FPGA、IO 擴(kuò)展模塊以及CLK BUF1。同時(shí)FPGA 芯片接收IO 擴(kuò)展模塊通過(guò)硬公制連接器送過(guò)來(lái)的時(shí)鐘，并輸出兩路時(shí)鐘信號(hào)作為TCLKB 與TLKD 時(shí)鐘送給機(jī)箱背板。通過(guò)以上的時(shí)鐘電路設(shè)計(jì)可以實(shí)現(xiàn)靈活的時(shí)鐘分配方案。

圖5 主處理模塊的時(shí)鐘方案

2.1.3 電源方案

圖6 主處理模塊的電源方案

2.1.4 SFP+接口電路

數(shù)字觸發(fā)判選電路使用SFP+模塊來(lái)實(shí)現(xiàn)光纖鏈路數(shù)據(jù)傳輸與網(wǎng)絡(luò)通信，在主處理模塊上載有5 路SFP+連接器插座與對(duì)應(yīng)的屏蔽罩，將不同功能以及傳輸速率的商用SFP+光纖收發(fā)器安裝到板卡上，即可實(shí)現(xiàn)不同功能與速率的高速串行數(shù)據(jù)通信。光纖鏈路的高速串行數(shù)據(jù)傳輸使用最高傳輸速率為8.5 Gb/s 的FTLF8528P3 BCV 光纖收發(fā)器；而千兆網(wǎng)絡(luò)通信使用FCLF8521P2 BTL 型號(hào)以太網(wǎng)SFP 模塊，該模塊使用RJ45 接口，通過(guò)尋常網(wǎng)線即可連接到其他網(wǎng)絡(luò)設(shè)備上。

2.1.5 背板接口電路

主處理模塊基于兼容性考慮，保留了MTCA 機(jī)箱平臺(tái)的背板總線連接，以便實(shí)現(xiàn)更靈活的數(shù)據(jù)傳輸與處理功能。機(jī)箱背板共有20 個(gè)Port，每個(gè)Port 都有一收一發(fā)兩對(duì)高速差分線，不同Port 可用于實(shí)現(xiàn)不同功能。主處理模塊卡將12 個(gè)GTH 連到了Port0～11 上面，其中Port0、1 分別連接到兩塊交換卡上，可實(shí)現(xiàn)千兆網(wǎng)絡(luò)通信；Port2、3 可用于相鄰槽位插卡間的數(shù)據(jù)通信；Port4～7與Port8～11 分別與交換卡1、2 相連，可實(shí)現(xiàn)×4 鏈路的PCIe 或者SRIO 總線通信。

2.2 IO 擴(kuò)展模塊設(shè)計(jì)

IO 擴(kuò)展模塊電路結(jié)構(gòu)如圖7 所示，IO 擴(kuò)展模塊使用MPS 公司的MPM3630GQV-Z 型號(hào)DC-DC 直流降壓芯片，將主處理模塊通過(guò)硬公制連接器提供的12 V 電源轉(zhuǎn)為3.3 V，供8 路SFP+模塊使用；板上有8 路SFP+模塊與2 路156.25 MHz 頻率的本地晶振，通過(guò)硬公制連接器將相應(yīng)信號(hào)送至主處理模塊上的FPGA 以實(shí)現(xiàn)光纖鏈路數(shù)據(jù)通信。

圖7 IO 擴(kuò)展模塊電路結(jié)構(gòu)框圖

3 硬件電路測(cè)試

為驗(yàn)證數(shù)字觸發(fā)判選電路的實(shí)測(cè)性能是否符合設(shè)計(jì)時(shí)的指標(biāo)，在實(shí)驗(yàn)室環(huán)境下對(duì)電路邏輯的數(shù)據(jù)傳輸與緩存接口進(jìn)行相應(yīng)測(cè)試。

3.1 高速串行數(shù)據(jù)傳輸測(cè)試

為驗(yàn)證高速串行數(shù)據(jù)傳輸?shù)姆€(wěn)定性，對(duì)高速串行收發(fā)器進(jìn)行誤碼率測(cè)試[15]，在FPGA 邏輯里例化Xilinx 提供的專用于高速串行收發(fā)器誤碼率測(cè)試的IBERT IP 核，通過(guò)IBERT 工具得到誤碼率與眼圖測(cè)試結(jié)果。測(cè)試時(shí)相鄰兩對(duì)收發(fā)器互相通過(guò)光纖傳輸數(shù)據(jù)，IBERT IP 核產(chǎn)生PRBS-7 偽隨機(jī)碼對(duì)傳輸鏈路進(jìn)行測(cè)試，現(xiàn)場(chǎng)照片如圖8 所示。經(jīng)過(guò)約10 小時(shí)的測(cè)試得到如圖9 所示的誤碼率測(cè)試結(jié)果，光纖鏈路傳輸了約3.79×1014bit 大小的數(shù)據(jù)量，通道誤碼數(shù)為0，在99%的置信度下小于2.645×10-15。其中一條鏈路眼圖測(cè)試結(jié)果如圖10 所示，眼圖睜開范圍較大，具有較好信號(hào)完整性。

圖8 現(xiàn)場(chǎng)測(cè)試照片

圖9 IBERT 測(cè)試誤碼率結(jié)果

圖10 IBERT 測(cè)試眼圖

3.2 SiTCP 上行網(wǎng)絡(luò)通信測(cè)速

SiTCP 使用TCP 連接實(shí)現(xiàn)硬件電路與上位機(jī)之間的數(shù)據(jù)通信，硬件內(nèi)邏輯持續(xù)通過(guò)SiTCP 上傳數(shù)據(jù)。在上位機(jī)編寫測(cè)速程序測(cè)試其上行網(wǎng)速，上位機(jī)作為客戶端與數(shù)字觸發(fā)判選電路建立TCP 連接，持續(xù)接收數(shù)字觸發(fā)判選電路上傳的數(shù)據(jù)，并對(duì)其上行網(wǎng)絡(luò)數(shù)據(jù)通信速率進(jìn)行測(cè)試。實(shí)測(cè)的網(wǎng)絡(luò)通信速率如圖11 所示，上行的平均網(wǎng)絡(luò)通信速率最高可達(dá)949.3 Mb/s左右。

圖11 SiTCP 上行網(wǎng)絡(luò)傳輸測(cè)速

3.3 DDR4 數(shù)據(jù)讀寫測(cè)試

為驗(yàn)證DDR4 芯片的高速數(shù)據(jù)緩存是否能夠正常工作，編寫了數(shù)據(jù)緩存接口的測(cè)試邏輯，例化了Xilinx 提供的AXI4 總線接口的DDR4 MIG IP 核[16]，DDR 傳輸速率設(shè)定為2 000 MT/s，理論傳輸帶寬為128 Gb/s。測(cè)試邏輯持續(xù)產(chǎn)生數(shù)據(jù)遞增碼，并通過(guò)AXI4 接口依次向DDR 地址單元中寫入數(shù)據(jù)，隨后再讀出數(shù)據(jù)檢測(cè)是否符合預(yù)期，通過(guò)多次操作驗(yàn)證DDR 緩存接口功能正確性，并記錄運(yùn)行時(shí)間與寫入讀出的數(shù)據(jù)量進(jìn)行讀寫測(cè)速。

某次寫入讀出過(guò)程的邏輯波形如圖12所示，寫入讀出功能正常，讀出數(shù)據(jù)與寫入數(shù)據(jù)完全一致。在經(jīng)過(guò)128 次對(duì)DDR所有地址單元的寫入讀出循環(huán)操作后得到如圖13所示的測(cè)速結(jié)果，共完成了4 096 Gb 數(shù)據(jù)量的DDR 數(shù)據(jù)讀寫操作，寫入讀出分別消耗了10 463 976 791、9 996 418 958 個(gè)時(shí)鐘周期，在整個(gè)測(cè)試過(guò)程中寫入與讀出值完全一致，數(shù)據(jù)讀寫無(wú)誤，DDR寫入讀出速度如表1所示。

表1 DDR4 實(shí)測(cè)寫入與讀出速度

圖12 DDR4 讀寫測(cè)速波形

圖13 DDR4 讀寫操作消耗時(shí)鐘周期計(jì)數(shù)

4 結(jié)論

針對(duì)核與粒子物理實(shí)驗(yàn)中的數(shù)字NHit 觸發(fā)判選需求，本文設(shè)計(jì)實(shí)現(xiàn)了一種高性能數(shù)字觸發(fā)判選電路，可支持多通道的光纖數(shù)據(jù)傳輸與千兆網(wǎng)絡(luò)通信、高速大容量數(shù)據(jù)存儲(chǔ)以及實(shí)時(shí)FPGA 數(shù)字觸發(fā)處理。在實(shí)驗(yàn)室條件下進(jìn)行了數(shù)據(jù)傳輸與緩存接口測(cè)試，測(cè)試結(jié)果表明板卡可實(shí)現(xiàn)8.125 Gb/s 光纖鏈路的高速串行數(shù)據(jù)傳輸速率，SiTCP 上行網(wǎng)絡(luò)傳輸速率達(dá)949.3 Mb/s，DDR 數(shù)據(jù)讀寫速率可達(dá)102.6 Gb/s，滿足電路設(shè)計(jì)需求。該硬件電路具有較強(qiáng)的擴(kuò)展性與靈活性，可通過(guò)多個(gè)該模塊的擴(kuò)展，靈活應(yīng)用在各個(gè)物理實(shí)驗(yàn)中。本文在完成硬件電路的設(shè)計(jì)實(shí)現(xiàn)以及數(shù)據(jù)傳輸與緩存接口的性能測(cè)試工作基礎(chǔ)上，后續(xù)將結(jié)合數(shù)字NHit 觸發(fā)算法，完成數(shù)字觸發(fā)判選電路的完整邏輯設(shè)計(jì)工作，并進(jìn)行多個(gè)模塊擴(kuò)展的系統(tǒng)級(jí)別綜合調(diào)試驗(yàn)證。