張雅希 曹 平 黃錫汝 鄭佳俊 蔣 荻 安 琪

1（中國(guó)科學(xué)技術(shù)大學(xué) 核探測(cè)與核電子學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室 合肥 230026）2（中國(guó)科學(xué)技術(shù)大學(xué) 近代物理系 合肥 230026）3（中國(guó)科學(xué)技術(shù)大學(xué) 核科學(xué)技術(shù)學(xué)院 合肥 230026）

用于CBM-TOF超級(jí)模塊探測(cè)器質(zhì)量控制的分布式數(shù)據(jù)讀出方法

張雅希1,2曹 平1,3黃錫汝1,2鄭佳俊1,2蔣 荻1,2安 琪1,2

1（中國(guó)科學(xué)技術(shù)大學(xué) 核探測(cè)與核電子學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室 合肥 230026）
2（中國(guó)科學(xué)技術(shù)大學(xué) 近代物理系 合肥 230026）
3（中國(guó)科學(xué)技術(shù)大學(xué) 核科學(xué)技術(shù)學(xué)院 合肥 230026）

高壓縮重子物質(zhì)(Compressed Baryonic Matter, CBM)實(shí)驗(yàn)裝置飛行時(shí)間譜儀利用由多氣隙電阻板室(Multi-gap Resistive Plate Chamber, MRPC)探測(cè)器構(gòu)建的超級(jí)模塊實(shí)現(xiàn)高密度、高精度的粒子飛行時(shí)間測(cè)量，該超級(jí)模塊可支持高達(dá)320通道的高精度時(shí)間測(cè)量能力，數(shù)據(jù)率高達(dá)6Gbit·s?1。為實(shí)現(xiàn)超級(jí)模塊探測(cè)器的性能評(píng)估，提出一種基于千兆以太網(wǎng)的分布式數(shù)據(jù)讀出方法，利用片上系統(tǒng)技術(shù)實(shí)現(xiàn)讀出節(jié)點(diǎn)的千兆網(wǎng)絡(luò)傳輸能力。測(cè)試結(jié)果表明，針對(duì)單條數(shù)據(jù)傳輸路徑，原型讀出模塊在全鏈路情況下，能實(shí)現(xiàn)約467Mbit·s?1的綜合數(shù)據(jù)傳輸速率。讀出方案中事例組裝、命令發(fā)送、狀態(tài)顯示等功能均運(yùn)行正常。

CBM-TOF超級(jí)模塊，分布式數(shù)據(jù)傳輸，千兆以太網(wǎng)

飛行時(shí)間探測(cè)器(Time-of-Flight, TOF)主要用于測(cè)量帶電粒子的飛行時(shí)間，在各物理實(shí)驗(yàn)裝置中扮演著重要的作用，其與徑跡探測(cè)器相配合，可進(jìn)行帶電粒子種類的鑒別。針對(duì)探測(cè)器結(jié)構(gòu)、規(guī)模的不同，需進(jìn)行相應(yīng)讀出電子學(xué)系統(tǒng)方案（包括數(shù)據(jù)傳輸方案）的設(shè)計(jì)及實(shí)現(xiàn)。多氣隙電阻板室(Multi-gap Resistive Plate Chamber, MRPC)探測(cè)器因其具有極高的時(shí)間分辨能力而受到越來(lái)越多的應(yīng)用。現(xiàn)有利用MRPC構(gòu)建飛行時(shí)間譜儀的大型物理實(shí)驗(yàn)包括北京譜儀(Beijing Spectrometer, BES) BESIII實(shí)驗(yàn)中的端蓋飛行時(shí)間探測(cè)器(End-cap Time-of-Flight, ETOF)[1]、美國(guó)布魯克海文國(guó)家實(shí)驗(yàn)室(Brookhaven National Laboratory, BNL) STAR (Solenoidal Tracker At RHIC)實(shí)驗(yàn)中的TOF探測(cè)器[2]、歐洲核子中心ALICE (A Large Ion Collider Experiment)實(shí)驗(yàn)中的TOF探測(cè)器等。

為了提高飛行時(shí)間測(cè)量精度，德國(guó)FAIR (Facility for Antiproton and Ion Research)裝置上在建的高壓縮重子物質(zhì)實(shí)驗(yàn)(Compressed Baryonic Matter, CBM)同樣采用了MRPC探測(cè)器來(lái)構(gòu)建其飛行時(shí)間譜儀，其主要目的是利用高能核子對(duì)撞的方式來(lái)探索在超高重子密度環(huán)境下的量子色動(dòng)力學(xué)相圖及潛在理論。

CBM實(shí)驗(yàn)的飛行時(shí)間譜儀設(shè)計(jì)為墻狀（即TOF墻），其由6種不同類型的超級(jí)模塊搭建而成，總通道數(shù)達(dá)到6×104量級(jí)。探測(cè)器超級(jí)模塊(Super Module, SM)由多塊小型的MRPC單元構(gòu)建，其外墻區(qū)域M5、M6類型超級(jí)模塊的結(jié)構(gòu)如圖 1所示[3]，單個(gè)SM的電子學(xué)通道數(shù)達(dá)到320。

為實(shí)現(xiàn)對(duì)電子學(xué)信號(hào)的讀出和精密時(shí)間測(cè)量，CBM物理實(shí)驗(yàn)開(kāi)發(fā)了多種專用集成電路，并提出了“無(wú)觸發(fā)”理念的新型數(shù)據(jù)獲取設(shè)計(jì)方法。然而在MRPC探測(cè)器研制過(guò)程中，需要完成對(duì)探測(cè)器性能評(píng)估和質(zhì)量控制，但CBM的專用芯片和讀出系統(tǒng)還在研制過(guò)程中，這就需要針對(duì)超級(jí)模塊研究用于質(zhì)量控制和性能評(píng)估的數(shù)據(jù)讀出方法。

現(xiàn)有的基于MRPC探測(cè)器的飛行時(shí)間譜儀大多利用VME (Versa Module Eurocard)總線機(jī)箱或光纖方式進(jìn)行數(shù)據(jù)的讀出。BESIII 端蓋飛行時(shí)間探測(cè)器包含72個(gè)MRPC模塊，共1728個(gè)電子學(xué)通道，其觸發(fā)事例率約為16kHz[1]，探測(cè)器輸出數(shù)據(jù)經(jīng)由前端電子學(xué)和后端讀出系統(tǒng)多級(jí)傳輸匯總。后端讀出系統(tǒng)位于VME機(jī)箱中，數(shù)據(jù)通過(guò)VME背板總線匯總至機(jī)箱控制器，機(jī)箱控制器對(duì)數(shù)據(jù)進(jìn)行打包處理后，通過(guò)以太網(wǎng)將數(shù)據(jù)傳輸至數(shù)據(jù)獲取系統(tǒng)(Data AcQuisition system, DAQ)。STAR實(shí)驗(yàn)中的TOF系統(tǒng)共計(jì)有約23000個(gè)通道，由120個(gè)支架(Tray)組成[2]，Level 0級(jí)觸發(fā)判選的事例率約為10kHz。STAR-TOF系統(tǒng)中每個(gè)支架對(duì)應(yīng)32個(gè)MRPC模塊（共192路信號(hào)），探測(cè)器輸出信號(hào)經(jīng)由前端電子學(xué)送入時(shí)間測(cè)量模塊進(jìn)行時(shí)間數(shù)字化后，送給負(fù)責(zé)數(shù)據(jù)傳輸和控制的支架控制模塊(The tray level central processing unit, TCPU)；TCPU繼而將數(shù)據(jù)送給支架級(jí)數(shù)據(jù)匯聚模塊(The tray level hub, THUB)；THUB通過(guò)光纖完成與DAQ系統(tǒng)間的通信[4]。ALICE TOF探測(cè)器共有約176000個(gè)通道，其Level 1級(jí)觸發(fā)事例率不超過(guò)2800Hz，Level 2級(jí)觸發(fā)事例率最大為660Hz[5]。前置放大模塊(Front-End Amplifier, FEA)對(duì)探測(cè)器輸出信號(hào)進(jìn)行放大甄別后送入TRM (TDC (Time to Digital Converter) Read-out Module)進(jìn)行時(shí)間數(shù)字化；TRM模塊設(shè)計(jì)為VME插件形式，通過(guò)VME總線傳輸數(shù)據(jù)至數(shù)據(jù)讀出插件(Data Read-out Module, DRM)；DRM通過(guò)雙向的DDL (Detector Data Link)將數(shù)據(jù)傳輸至DAQ系統(tǒng)。

CBM物理實(shí)驗(yàn)屬于重離子對(duì)撞（打靶）實(shí)驗(yàn)，其反應(yīng)率達(dá)到10MHz，有效事例率最高可達(dá)300kHz，這將使得超級(jí)模塊的數(shù)據(jù)傳輸能力高達(dá)6Gbit·s?1。采用傳統(tǒng)的數(shù)據(jù)傳輸讀出方法，如VME機(jī)箱、CompactPCI (Compact Peripheral Component Interconnect)機(jī)箱等，利用讀出機(jī)箱的背板總線及機(jī)箱控制器進(jìn)行數(shù)據(jù)匯聚而后傳輸?shù)姆绞?，受限于背板總線及機(jī)箱控制器的傳輸速率，難以完成數(shù)據(jù)的讀出任務(wù)。

本文提出了一套基于千兆以太網(wǎng)的分布式數(shù)據(jù)讀出方法，各讀出節(jié)點(diǎn)均具備數(shù)據(jù)傳輸能力，不再受機(jī)箱控制器匯總的局限。同時(shí)基于Linux操作系統(tǒng)，對(duì)數(shù)據(jù)讀出方法中的軟件部分進(jìn)行了設(shè)計(jì)實(shí)現(xiàn)及相關(guān)測(cè)試。

1 分布式數(shù)據(jù)讀出方法

CBM-TOF外層超級(jí)模塊結(jié)構(gòu)如圖1所示。CBM-TOF譜儀中外墻區(qū)域的超級(jí)模塊需要進(jìn)行高精度時(shí)間測(cè)量的電子學(xué)通道數(shù)為320。蒙特卡羅仿真結(jié)果表明，此類超級(jí)模塊所在區(qū)域單通道最大事例率為300kHz[3]。假設(shè)每個(gè)事例在TDC中將以48bit大小的數(shù)據(jù)形式保存，則超級(jí)模塊的最大數(shù)據(jù)率為4.6Gbit·s?1，考慮協(xié)議開(kāi)銷后將達(dá)6Gbit·s?1。為解決CBM-TOF超級(jí)模塊在進(jìn)行質(zhì)量控制時(shí)，面臨的320通道6Gbit·s?1數(shù)據(jù)讀出的問(wèn)題，本文提出了如圖 2所示的分布式數(shù)據(jù)讀出方法。

圖1 CBM-TOF外層M5 (a)、M6 (b)超級(jí)模塊結(jié)構(gòu)a: MRPC探測(cè)器，b: 讀出電極，c: 真空穿通件，d: 時(shí)間數(shù)字轉(zhuǎn)換器插卡，e: 機(jī)箱Fig.1 Block diagram of CBM-TOF M5 (a), M6 (b) super module. a: MRPCs, b: Read-out electrodes, c: Feed-throughs, d: TDC cards, e: Crate

圖2 單超級(jí)模塊分布式數(shù)據(jù)讀出方法示意圖Fig.2 Schematic diagram of a single super module distributed data readout.

此數(shù)據(jù)讀出方法包含4個(gè)部分，各組成部分介紹如下：

1) 前端電子學(xué)。負(fù)責(zé)對(duì)超級(jí)模塊320通道的數(shù)據(jù)進(jìn)行放大甄別、時(shí)間數(shù)字化等處理。

2) 分布式數(shù)據(jù)讀出節(jié)點(diǎn)。負(fù)責(zé)接收前端電子學(xué)傳送的數(shù)據(jù)，獨(dú)立、并行地將其轉(zhuǎn)發(fā)給后端計(jì)算機(jī)。

3) 交換機(jī)。負(fù)責(zé)分布式數(shù)據(jù)讀出節(jié)點(diǎn)與后端計(jì)算機(jī)之間科學(xué)數(shù)據(jù)和控制命令數(shù)據(jù)的交換。

4) 后端計(jì)算機(jī)。負(fù)責(zé)接收科學(xué)數(shù)據(jù)，對(duì)其進(jìn)行事例組裝，控制前端電子學(xué)及分布式數(shù)據(jù)讀出節(jié)點(diǎn)，監(jiān)測(cè)系統(tǒng)運(yùn)行狀態(tài)等。

粒子物理實(shí)驗(yàn)中的數(shù)據(jù)獲取系統(tǒng)所需實(shí)現(xiàn)的功能一般包括兩個(gè)方面：一是負(fù)責(zé)將前端電子學(xué)獲取得到的科學(xué)數(shù)據(jù)傳輸給后端計(jì)算機(jī)；二是負(fù)責(zé)向前端電子學(xué)及分布式數(shù)據(jù)讀出節(jié)點(diǎn)傳輸控制命令及相關(guān)參數(shù)，同時(shí)將前端電子學(xué)及分布式數(shù)據(jù)讀出節(jié)點(diǎn)的運(yùn)行狀態(tài)反饋給后端計(jì)算機(jī)。圖 2所示的分布式數(shù)據(jù)讀出側(cè)重實(shí)現(xiàn)的是第一方面的功能。各分布式數(shù)據(jù)讀出節(jié)點(diǎn)在具體實(shí)現(xiàn)時(shí)將被放置在讀出機(jī)箱中，因此可考慮利用機(jī)箱控制器及背板總線來(lái)完成對(duì)前端電子學(xué)及分布式數(shù)據(jù)讀出節(jié)點(diǎn)的配置、控制及狀態(tài)監(jiān)測(cè)。這樣科學(xué)數(shù)據(jù)讀出通道與系統(tǒng)狀態(tài)、控制傳輸通道相分離，互不干擾。

2 多節(jié)點(diǎn)并行化數(shù)據(jù)讀出軟件架構(gòu)

上述數(shù)據(jù)讀出方法中的分布式數(shù)據(jù)讀出節(jié)點(diǎn)實(shí)現(xiàn)上采用自行設(shè)計(jì)的千兆以太網(wǎng)扣板ROB (Read-Out Board)。利用ROB上的千兆位高速以太網(wǎng)口與后端計(jì)算機(jī)(Personal Computer, PC)進(jìn)行通信，實(shí)現(xiàn)獨(dú)立并行的數(shù)據(jù)傳輸。后端PC上運(yùn)行的DAQ軟件，則主要負(fù)責(zé)接收各數(shù)據(jù)讀出節(jié)點(diǎn)的數(shù)據(jù)，對(duì)數(shù)據(jù)率約為6Gbit·s?1的科學(xué)數(shù)據(jù)進(jìn)行實(shí)時(shí)事例組裝，并且提供友好的圖形界面。運(yùn)行在后端PC上的DAQ軟件與運(yùn)行在機(jī)箱控制器上的嵌入式軟件部分相配合，共同完成對(duì)前端電子學(xué)及分布式數(shù)據(jù)讀出節(jié)點(diǎn)的控制、參數(shù)配置、顯示系統(tǒng)的關(guān)鍵狀態(tài)信息等功能。

圖 3是為實(shí)現(xiàn)上述分布式數(shù)據(jù)讀出方案而設(shè)計(jì)的多節(jié)點(diǎn)并行化數(shù)據(jù)讀出軟件架構(gòu)，由數(shù)據(jù)子節(jié)點(diǎn)(Slave node)、數(shù)據(jù)主節(jié)點(diǎn)(Master node)和圖形界面(Graphical User Interface, GUI)三部分組成。其中各分布式數(shù)據(jù)讀出節(jié)點(diǎn)和讀出機(jī)箱上的機(jī)箱控制器上作為數(shù)據(jù)子節(jié)點(diǎn)，通過(guò)網(wǎng)絡(luò)與數(shù)據(jù)主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸通信；數(shù)據(jù)主節(jié)點(diǎn)及圖形界面運(yùn)行于后端PC，共同實(shí)現(xiàn)DAQ軟件的功能。

圖3 多節(jié)點(diǎn)并行化數(shù)據(jù)讀出軟件架構(gòu)Fig.3 Architecture of multi-node parallelized data readout.

3 數(shù)據(jù)讀出軟件架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 數(shù)據(jù)子節(jié)點(diǎn)

數(shù)據(jù)子節(jié)點(diǎn)包含兩種類型：第一類負(fù)責(zé)科學(xué)數(shù)據(jù)傳輸?shù)姆植际綌?shù)據(jù)讀出節(jié)點(diǎn)；第二類負(fù)責(zé)參數(shù)配置、命令控制及狀態(tài)監(jiān)測(cè)的讀出機(jī)箱控制器。第二類子節(jié)點(diǎn)的實(shí)現(xiàn)與數(shù)據(jù)主節(jié)點(diǎn)中命令狀態(tài)接收轉(zhuǎn)發(fā)的實(shí)現(xiàn)類似，在此不詳細(xì)說(shuō)明。這里主要對(duì)第一類子節(jié)點(diǎn)的軟件設(shè)計(jì)實(shí)現(xiàn)進(jìn)行介紹。

分布式數(shù)據(jù)讀出節(jié)點(diǎn)硬件實(shí)現(xiàn)采用自行設(shè)計(jì)的千兆以太網(wǎng)扣板ROB。ROB使用現(xiàn)場(chǎng)可編程門陣列(Field-Programmable Gate Array, FPGA)與ARM (Acorn Reduced Instruction Set Computer Machine)相結(jié)合的處理器，利用片上系統(tǒng)技術(shù)實(shí)現(xiàn)讀出子節(jié)點(diǎn)的千兆網(wǎng)絡(luò)傳輸能力，其結(jié)構(gòu)如圖 4所示。FEE (Front-End Electronic)數(shù)據(jù)接口為統(tǒng)一定義的邏輯接口，該接口模塊緩存數(shù)據(jù)并將其送入數(shù)據(jù)打包處理模塊進(jìn)行處理，打包好的數(shù)據(jù)送入DAQ接口模塊，該模塊利用TCP/IP收發(fā)功能將數(shù)據(jù)包送往DAQ。在網(wǎng)絡(luò)編程實(shí)現(xiàn)中，通常采用客戶/服務(wù)器模型[6]。此處，ROB作為服務(wù)器端，DAQ中的數(shù)據(jù)主節(jié)點(diǎn)作為客戶端。

圖4 ROB結(jié)構(gòu)圖Fig.4 Structure diagram of ROB.

ROB模塊基于嵌入式Linux系統(tǒng)的高性能數(shù)據(jù)傳輸軟件工作流程如圖 5所示。程序啟動(dòng)后，首先創(chuàng)建監(jiān)聽(tīng)套接字(Socket)、接受連接；在接收到開(kāi)始數(shù)據(jù)采集傳輸?shù)拿詈螅l(fā)起DMA (Direct Memory Access)操作，將在FPGA上接收并打包處理好的數(shù)據(jù)傳輸至嵌入式系統(tǒng)的內(nèi)核空間中；接下來(lái)通過(guò)read()方法，將數(shù)據(jù)從嵌入式系統(tǒng)的內(nèi)核空間復(fù)制到用戶空間；而后，調(diào)用send()方法，通過(guò)TCP Socket將數(shù)據(jù)發(fā)送給DAQ，實(shí)現(xiàn)一次數(shù)據(jù)的傳輸。上述數(shù)據(jù)讀出、傳輸過(guò)程一直循環(huán)，當(dāng)接收到停止數(shù)據(jù)采集傳輸?shù)拿詈?，程序結(jié)束退出。

利用iperf工具測(cè)得ROB模塊的理想傳輸速率為單線程下607Mbit·s?1、雙線程下714Mbit·s?1。在全鏈路情況下，測(cè)得ROB模塊的數(shù)據(jù)傳輸速率為467Mbit·s?1。

圖5 ROB模塊數(shù)據(jù)傳輸軟件工作流程圖Fig.5 Workflow diagram of ROB module data transmission software.

3.2 數(shù)據(jù)主節(jié)點(diǎn)

數(shù)據(jù)主節(jié)點(diǎn)運(yùn)行于后端PC上，通過(guò)網(wǎng)絡(luò)與各數(shù)據(jù)子節(jié)點(diǎn)及GUI進(jìn)行數(shù)據(jù)傳輸。在DAQ軟件中，數(shù)據(jù)主節(jié)點(diǎn)作為客戶端存在，實(shí)現(xiàn)下述功能：

1) 接收來(lái)自第一類數(shù)據(jù)子節(jié)點(diǎn)的科學(xué)數(shù)據(jù)。

2) 對(duì)接收到的科學(xué)數(shù)據(jù)進(jìn)行事例組裝。

3) 接收來(lái)自第二類數(shù)據(jù)子節(jié)點(diǎn)的狀態(tài)信息，并轉(zhuǎn)發(fā)給GUI。

4) 接收來(lái)自GUI的命令及配置信息，并轉(zhuǎn)發(fā)給第二類數(shù)據(jù)子節(jié)點(diǎn)。

3.2.1 多線程

使用多線程技術(shù)，將程序劃分成多個(gè)獨(dú)立的任務(wù)，可提高程序的響應(yīng)速度。這里將數(shù)據(jù)主節(jié)點(diǎn)設(shè)計(jì)為一個(gè)基于多線程技術(shù)的并發(fā)型軟件。由主線程、數(shù)據(jù)接收線程、數(shù)據(jù)存儲(chǔ)線程、命令狀態(tài)接收轉(zhuǎn)發(fā)線程4個(gè)部分組成。

主線程主要負(fù)責(zé)完成初始化互斥鎖、線程管理鏈表和用做事例組裝緩沖區(qū)的單鏈表；創(chuàng)建數(shù)據(jù)存儲(chǔ)線程；依次連接各服務(wù)器端，連接成功后，創(chuàng)建相應(yīng)的數(shù)據(jù)接收線程或命令、狀態(tài)接收轉(zhuǎn)發(fā)線程；并且更新線程管理鏈表。

數(shù)據(jù)接收線程的主要功能是接收來(lái)自分布式數(shù)據(jù)讀出節(jié)點(diǎn)的科學(xué)數(shù)據(jù)包，將其存放至事例組裝鏈表中。

數(shù)據(jù)存儲(chǔ)線程只有一個(gè)，該線程會(huì)在被條件變量喚醒后檢查packet_assembled_counter（該變量表示了已組裝好的事例的個(gè)數(shù)）的值。當(dāng)packet_assembled_counter值不為0時(shí)，數(shù)據(jù)存儲(chǔ)線程讀取事例組裝鏈表中的科學(xué)數(shù)據(jù)，按照預(yù)先定義的格式保存數(shù)據(jù)至文件中。

命令、狀態(tài)接收轉(zhuǎn)發(fā)線程則主要負(fù)責(zé)接收來(lái)自GUI的命令及配置信息并轉(zhuǎn)發(fā)給機(jī)箱控制器，以及接收來(lái)自機(jī)箱控制器的狀態(tài)信息并轉(zhuǎn)發(fā)給GUI。

3.2.2 事例組裝

事例組裝的實(shí)現(xiàn)是通過(guò)所有數(shù)據(jù)接收線程與數(shù)據(jù)存儲(chǔ)線程的相互協(xié)作，共同對(duì)事例組裝鏈表進(jìn)行維護(hù)處理完成的。事例組裝鏈表如圖 6所示，鏈表中的節(jié)點(diǎn)個(gè)數(shù)取決于數(shù)據(jù)率和數(shù)據(jù)存儲(chǔ)線程的處理能力。

圖6 事例組裝緩沖區(qū)鏈表Fig.6 Like list of event building buffer.

在數(shù)據(jù)接收線程的處理中，當(dāng)事例組裝鏈表各節(jié)點(diǎn)中的end_count等于已連接的第一類數(shù)據(jù)子節(jié)點(diǎn)個(gè)數(shù)時(shí)，將修改全局變量packet_assembled_counter的值，對(duì)其加1，然后通過(guò)pthread_cond_signal()系統(tǒng)調(diào)用通知數(shù)據(jù)保存線程進(jìn)行保存。數(shù)據(jù)存儲(chǔ)線程使用pthread_cond_wait()系統(tǒng)調(diào)用阻塞線程，等待目標(biāo)條件變量，當(dāng)數(shù)據(jù)接收線程通過(guò)pthread_cond_signal()將其喚醒后，檢查packet_assembled_counter的值，只要它不為0時(shí)，數(shù)據(jù)存儲(chǔ)線程每次讀取事例組裝鏈表中第一個(gè)節(jié)點(diǎn)下的科學(xué)數(shù)據(jù)，保存數(shù)據(jù)至文件中，之后刪除該節(jié)點(diǎn)，同時(shí)對(duì)packet_assembled_counter進(jìn)行減1操作。當(dāng)接收到整體工作結(jié)束的信息后，關(guān)閉文件，結(jié)束此次事例組裝。所有的數(shù)據(jù)接收線程相互協(xié)同，在事例組裝鏈表中完成事例組裝，并通過(guò)條件變量通知數(shù)據(jù)存儲(chǔ)線程讀取已組裝好的數(shù)據(jù)。從生產(chǎn)者-消費(fèi)者模型的角度看，數(shù)據(jù)接收線程是生產(chǎn)者，數(shù)據(jù)存儲(chǔ)線程是消費(fèi)者。

3.3 圖形界面

圖形界面作為DAQ軟件的一部分，通過(guò)網(wǎng)絡(luò)與數(shù)據(jù)主節(jié)點(diǎn)進(jìn)行命令、狀態(tài)數(shù)據(jù)的交互。這樣的分層設(shè)計(jì)便于日后軟件的升級(jí)和維護(hù)。界面軟件的功能包括：命令控制、參數(shù)配置和狀態(tài)顯示等。

此處選用Qt進(jìn)行圖形界面軟件的開(kāi)發(fā)。Qt是一個(gè)跨平臺(tái)的C++圖形用戶界面庫(kù)，支持Linux系統(tǒng)，Windows系統(tǒng)及所有的Unix系統(tǒng)[7]。利用千兆以太網(wǎng)和Qt提供的基于傳輸控制協(xié)議(TCP/IP)的Socket API即可實(shí)現(xiàn)圖形界面與數(shù)據(jù)主節(jié)點(diǎn)間穩(wěn)定可靠的雙向數(shù)據(jù)傳輸。采用多線程技術(shù)，利用Qt提供的QThread類，將耗時(shí)的數(shù)據(jù)收發(fā)置于一個(gè)新的線程，可提高界面應(yīng)用程序的響應(yīng)速率。

實(shí)現(xiàn)的圖形界面軟件如圖 7所示。界面主要分為上下兩塊區(qū)域：上方為命令控制、參數(shù)配置區(qū)，包括TDC參數(shù)配置、開(kāi)始/結(jié)束、自檢、TDC邏輯復(fù)位、TDC GTP (Gigabit Transceiver with low Power)復(fù)位、TRM邏輯使能、TRM邏輯復(fù)位、TDC同步啟動(dòng)等命令；下方為狀態(tài)信息顯示區(qū)域，將接收到的各模塊工作狀態(tài)信息實(shí)時(shí)地進(jìn)行顯示。

圖7 DAQ軟件圖形界面Fig.7 DAQ software graphic interface.

在實(shí)驗(yàn)室環(huán)境下，對(duì)設(shè)計(jì)實(shí)現(xiàn)的整個(gè)軟件原型進(jìn)行了功能測(cè)試。測(cè)試結(jié)果表明，事例組裝、參數(shù)配置、命令發(fā)送、狀態(tài)顯示等功能均工作正常，滿足預(yù)期要求。

4 測(cè)試與驗(yàn)證

本節(jié)對(duì)分布式數(shù)據(jù)讀出節(jié)點(diǎn)中的ROB原型模塊進(jìn)行數(shù)據(jù)傳輸性能的測(cè)試。測(cè)試內(nèi)容包括ROB模塊理想網(wǎng)絡(luò)傳輸速率以及在全鏈路情況下的數(shù)據(jù)傳輸速率。此處全鏈路是指ROB模塊從FPGA接收硬件數(shù)據(jù)到通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)發(fā)送出去的全過(guò)程。

使用iperf工具測(cè)得的ROB模塊理想網(wǎng)絡(luò)傳輸速率如圖 8所示。單線程情況下傳輸速率能夠達(dá)到607Mbit·s?1，雙線程下約714Mbit·s?1。單線程相比于雙線程速率較低并且波動(dòng)較大，表明ROB的CPU單核處理能力有限。表1中記錄的是ROB模塊在不同情況下的數(shù)據(jù)傳輸速率測(cè)試結(jié)果。ROB在全鏈路情況下的綜合傳輸速率為467Mbit·s?1。

圖8 ROB模塊理想網(wǎng)絡(luò)傳輸速率Fig.8 Ideal network transmission rate of ROB.

表1 ROB模塊數(shù)據(jù)傳輸速率測(cè)試結(jié)果Table 1 Test results of ROB module data transfer rate.

5 結(jié)語(yǔ)

CBM-TOF超級(jí)模塊探測(cè)器具有通道數(shù)多、通道擊中率高的特點(diǎn)。在對(duì)其性能評(píng)估、質(zhì)量控制時(shí)，面臨SM高數(shù)據(jù)率(6Gbit·s?1)情況下的數(shù)據(jù)讀出問(wèn)題，采用傳統(tǒng)的基于背板總線和機(jī)箱控制器匯總傳輸?shù)姆椒?，?shí)現(xiàn)難度較大?；诖?，本文提出了一種基于千兆以太網(wǎng)的分布式數(shù)據(jù)讀出方法，介紹了針對(duì)此讀出方案而設(shè)計(jì)的多節(jié)點(diǎn)并行化數(shù)據(jù)讀出軟件架構(gòu)。并基于Linux系統(tǒng)，對(duì)數(shù)據(jù)讀出軟件架構(gòu)中的各個(gè)部分進(jìn)行了具體的設(shè)計(jì)與實(shí)現(xiàn)，對(duì)分布式數(shù)據(jù)讀出子節(jié)點(diǎn)中的ROB模塊進(jìn)行了測(cè)試。測(cè)試結(jié)果表明，針對(duì)單條數(shù)據(jù)傳輸路徑，ROB原型模塊在全鏈路情況下，能實(shí)現(xiàn)約467Mbit·s?1的綜合數(shù)據(jù)傳輸速率。同時(shí)傳輸方案中事例組裝、命令發(fā)送、狀態(tài)顯示等功能均運(yùn)行正常。綜上，此分布式數(shù)據(jù)讀出方法及設(shè)計(jì)實(shí)現(xiàn)的軟件原型可后續(xù)用于對(duì)CBM-TOF超級(jí)模塊探測(cè)器的質(zhì)量控制數(shù)據(jù)讀出，方案中分布式數(shù)據(jù)讀出子節(jié)點(diǎn)實(shí)現(xiàn)還有待進(jìn)一步的改善。

致謝 感謝CBM合作組孫勇杰副教授、范歡歡博士、汪昀碩士對(duì)本文工作的熱心幫助，以及在測(cè)試方法方面的指導(dǎo)。

參考文獻(xiàn)

1 尹春艷. BESIII端蓋飛行時(shí)間讀出電子學(xué)系統(tǒng)升級(jí)設(shè)計(jì)[D] . 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 2011.

YIN Chunyan. Design of the upgrading readout electronics system for BESIII ETOF[D]. Hefei: University of Science and Technology of China, 2011.

2 Schambach J, Bridges L, Eppley G, et al. STAR time of flight readout electronics, DAQ, and cosmic ray test stand[C]. IEEE Nuclear Science Symposium Conference Record, San Diego, California, 2006: 485?488.

3 The CBM Collaboration. Technical design report for the CBM, time-of-flight system (TOF)[EB/OL]. 2017-01-30. https://repository.gsi.de/record/109024.

4 The STAR TOF Collaboration. Proposal for a large area time of flight system for STAR[EB/OL]. 2017-01-30. https://www.star.bnl.gov/public/tof/publications/TOF_200 40524.pdf.

5 Kluge A, Spegel M. Study of the ALICE time of flight readout system-AFRO[EB/OL]. 2017-01-30. https://cds. cern.ch/record/434208/files/p377.pdf.

6 游雙. Linux高性能服務(wù)器編程[M]. 北京: 機(jī)械工業(yè)出版社, 2013.

YOU Shuang. Linux high performance server programming[M]. Beijing: China Machine Press, 2013.

7 Blanchette J, Summerfield M. C++ GUI Qt4編程[M]. 2版. 北京: 電子工業(yè)出版社, 2013. Blanchette J, Summerfield M. C++ GUI programming with Qt4[M]. 2nd ed. Beijing: Publishing House of Electronics Industry, 2013.

A distributed data readout method for quality control of CBM-TOF super module detector

ZHANG Yaxi1,2CAO Ping1,3HUANG Xiru1,2ZHENG Jiajun1,2JIANG Di1,2AN Qi1,2
1(State Key Laboratory of Particle Detection and Electronics, University of Science and Technology of China, Hefei 230026, China)
2(Department of Modern Physics, University of Science and Technology of China, Hefei 230026, China)
3(School of Nuclear Science and Technology, University of Science and Technology of China, Hefei 230026, China)

Background: The time-of-flight (TOF) detector is a key component in the compressed baryonic matter (CBM) experiment at the facility for antiproton and ion research (FAIR). It utilizes super module detectors to achieve high-denseness, high-precision particle flight time measurement. Each super module supports up to 320 channels of high-precision time measurement capabilities, and the data transfer will reach up to 6-Gbit·s?1peak rate. Purpose: This study aims at the quality control of data readout system for CBM-TOF super module. Methods: First of all, the background and readout methods in similar TOF detectors were introduced. Then a distributed data readout method and related software framework was proposed to meet the quality control readout requirements by using the system on chip (SOC) techniques. Finally, a prototype software was implemented under Linux operating system to test and verify the feasibility of the distributed data readout method. Results: The read-out board (ROB) prototype module for

a single data transmission path achieved approximate 467-Mbit·s?1data transfer rate in the case of full-link. Both data acquisition and status monitoring of each component of CBM-TOF were implemented properly in the software. Conclusion: The distributed data readout method and the related prototype software implementation can be used for quality control of CBM-TOF super module readout.

CBM-TOF super module, Distributed data transmission, Gigabit Ethernet

ZHANG Yaxi, female, born in 1993, graduated from Huazhong Normal University in 2014, master student, mainly engaged in particle physics experiment data acquisition research

CAO Ping, E-mail: cping@ustc.edu.cn

date: 2017-01-30, accepted date: 2017-03-15

TL8

10.11889/j.0253-3219.2017.hjs.40.060404

國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（973計(jì)劃）項(xiàng)目(No.2015CB856906)、中國(guó)工程物理研究院中子物理重點(diǎn)實(shí)驗(yàn)室基金(No.2014AC03)資助

張雅希，女，1993年出生，2014年畢業(yè)于華中師范大學(xué)，現(xiàn)為碩士研究生，主要從事粒子物理實(shí)驗(yàn)數(shù)據(jù)獲取研究

曹平，E-mail: cping@ustc.edu.cn

2017-01-30，

2017-03-15

Supported by National Basic Research Program (973 Program) (No.2015CB856906), Key Laboratory of Neutron Physics of China Academy of

Engineering Physics (No.2014AC03)