馬友科

(中國(guó)電子科技集團(tuán)公司第五十四研究所，河北石家莊050081)

0 引言

隨著多種處理器協(xié)同處理數(shù)字信號(hào)的要求不斷增加，處理器間數(shù)據(jù)交換的帶寬不斷擴(kuò)大，數(shù)據(jù)交換能力的強(qiáng)弱直接影響著數(shù)字信號(hào)處理的能力。近年來(lái)，新興的高性能互連交換技術(shù)相繼涌現(xiàn)，其中專為嵌入式系統(tǒng)提出的串行RapidIO總線(SRIO)被認(rèn)為是最佳的選擇之一［1］，為了適應(yīng)信號(hào)并行處理技術(shù)發(fā)展的趨勢(shì)，有必要設(shè)計(jì)一種SRIO總線交換模塊。

在相關(guān)研究方面，文獻(xiàn)［2］采用FPGA芯片來(lái)實(shí)現(xiàn)SRIO交換，可靠性和兼容性沒有經(jīng)過(guò)充分的驗(yàn)證和測(cè)試，可能會(huì)存在一定問(wèn)題，同時(shí)成本也比較大;文獻(xiàn)［3］和文獻(xiàn)［4］分別采用 TSI568和 TSI578作為接口芯片來(lái)實(shí)現(xiàn)SRIO交換，但是這2款芯片只支持到RapidIO協(xié)議1.3版本，存在傳輸帶寬小，端口個(gè)數(shù)少等問(wèn)題，越來(lái)越不能夠滿足寬帶傳輸與交換的需求;文獻(xiàn)［5］采用CPS1848設(shè)計(jì)了一種基于光纖的SRIO交換模塊，交換模塊的單對(duì)差分線的最高數(shù)據(jù)傳輸速率為3．125 Gbit/s，與 CPS1848可以支持的最高速率6．25 Gbit/s相比，還有一定的提升空間。

本文基于CPS1848芯片設(shè)計(jì)了一種SRIO總線交換模塊，該交換模塊單對(duì)差分線工作在5 Gbit/s，傳輸帶寬最高可達(dá)192 Gbit/s，為需要進(jìn)行數(shù)據(jù)高速傳輸和交換的工程應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

1 SRIO交換模塊總體結(jié)構(gòu)

SRIO交換模塊的解決方案框圖如圖1所示，它由時(shí)鐘模塊、交換芯片、電源模塊、配置模塊和節(jié)點(diǎn)設(shè)備5部分組成。電源模塊為所有其他芯片提供需要的各種電壓，交換芯片的初始化配置主要由C8051F單片機(jī)或EEPROM來(lái)完成，交換芯片連接到系統(tǒng)中的各種節(jié)點(diǎn)設(shè)備或用于管理系統(tǒng)各節(jié)點(diǎn)設(shè)備的主設(shè)備，例如:DSP、FPGA和PowerPC等，交換芯片根據(jù)系統(tǒng)的規(guī)?？梢詥纹褂没驇灼?jí)聯(lián)使用，時(shí)鐘模塊為一片或多片交換芯片提供高精度的穩(wěn)定時(shí)鐘。

圖1 SRIO總線交換模塊總體結(jié)構(gòu)

2 SRIO交換模塊的設(shè)計(jì)

SRIO交換模塊的核心器件SRIO交換芯片選用IDT公司的CPS1848，其原理如2所示。

圖2 CPS1848原理

CPS1848是IDT公司最新推出的支持SRIO2.1標(biāo)準(zhǔn)的交換芯片［6］，有48個(gè)雙向的數(shù)據(jù)差分對(duì)(lane)，可以配置成1x、2x和4x三種端口模式，最多可以配置成18個(gè)1x或12個(gè)4x端口，每個(gè)lane的速 率 可 以 設(shè) 置 為 1.25 Gbit/s、2.5 Gbit/s、3.125 Gbit/s、5 Gbit/s或 6.25 Gbit/s。CPS1848 還有一個(gè)標(biāo)準(zhǔn)I2C接口，I2C接口可以用來(lái)完成對(duì)CPS1848的初始化配置，也可以通過(guò)讀取CPS1848內(nèi)部寄存器來(lái)監(jiān)視它的工作狀態(tài)。CPS1848的應(yīng)用面向大型處理器集群或背板，支持多種拓?fù)浣Y(jié)構(gòu)，可以采用靈活的方式進(jìn)行配置，可選的配置方案也非常豐富。

2.1 CPS1848外圍電路設(shè)計(jì)

2.1.1 I2C接口電路設(shè)計(jì)

因?yàn)镮2C接口中的SCL、SDA是漏極開路的，所以必須各加10 K上拉電阻，否則I2C總線是不能正常工作的。CPS1848在I2C總線上分配的地址，是由引腳ID0-ID9的高低電平來(lái)決定的。ADS引腳上的高低電平?jīng)Q定是采用7 bit還是10 bit的地址。引腳MM_n決定I2C總線是主模式還是從模式。

2.1.2 復(fù)位設(shè)計(jì)

CPS1848的復(fù)位有上電復(fù)位、硬復(fù)位、軟復(fù)位和寄存器復(fù)位4種方式。上電復(fù)位對(duì)參考時(shí)鐘穩(wěn)定度和電源的上電順序是有特定要求的。硬復(fù)位引腳RST_n連接到FPGA，由FPGA來(lái)完成CPS1848的硬復(fù)位，硬復(fù)位完成后，CPS1848和所連接的節(jié)點(diǎn)設(shè)備間立刻開始鏈接。CPS1848的芯片到目前有A、B和C三個(gè)版本，其中A版本的硬件復(fù)位不一定能成功復(fù)位芯片，需要在初始化CPS1848的程序開始時(shí)加上軟復(fù)位。寄存器復(fù)位可以復(fù)位指定的PORT和PLL，與上述3種復(fù)位不同的是，它不能復(fù)位已配置的寄存器。

2.1.3 端口設(shè)計(jì)

使用多個(gè)不同寬度端口的時(shí)候要通過(guò)設(shè)置QCFG來(lái)進(jìn)行規(guī)劃，lane組合成不同寬度的端口是有約束的，例如配置成2x模式的端口 PORT3由lane12和lane13組成，當(dāng)PORT3連接到1x的節(jié)點(diǎn)設(shè)備時(shí)，PORT3會(huì)降級(jí)使用，此時(shí)只有l(wèi)ane12可以當(dāng)成 1x使用，而 lane13不能當(dāng)成 1x的端口。CPS1848只支持AC耦合，lane上的耦合電容要盡量靠近接收端放置。為了得到更大的數(shù)據(jù)傳輸帶寬，SRIO交換模塊中CPS1848配置引腳QCFG［0∶7］都設(shè)置為低電平，即48條lane配置成12個(gè)4x的端口。受所連接的節(jié)點(diǎn)設(shè)備的限制，速度引腳SPD［2∶0］配置成010，即每條lane的數(shù)據(jù)傳輸速率為5 Gbit/s。

JTAG電路等比較簡(jiǎn)單，不再贅述。

2.2 CPS1848配置模塊的設(shè)計(jì)

CPS1848有多種配置方式，非常靈活。EEPROM配置模式主要用于在芯片上電復(fù)位后，對(duì)CPS1848進(jìn)行初始化配置。通過(guò)JTAG口可以直接對(duì)片內(nèi)寄存器進(jìn)行配置，這種方式一般在調(diào)試時(shí)使用。通過(guò)I2C接口和SRIO的Maintenance數(shù)據(jù)包不僅能完成CPS1848配置，而且還能監(jiān)控鏈路通信狀況，提高系統(tǒng)的可靠性。多片CPS1848級(jí)聯(lián)使用，需要進(jìn)行配置時(shí)，可以采用單片機(jī)作為I2C總線的主設(shè)備，來(lái)同時(shí)完成幾片作為從設(shè)備的CPS1848的配置。在交換模塊運(yùn)行的過(guò)程中，如果需要改變數(shù)據(jù)傳輸?shù)姆较?，可以通過(guò)Maintenance數(shù)據(jù)包設(shè)置CPS1848內(nèi)部的相關(guān)寄存器，重新配置路由表，來(lái)動(dòng)態(tài)地更改交換模塊節(jié)點(diǎn)設(shè)備間的拓?fù)潢P(guān)系［7］。

交換模塊的配置方法［8］如下:

①在上電復(fù)位時(shí)，通過(guò)配置引腳的上下拉電阻完成需要的配置;

②復(fù)位引腳RST_n由低變高后，立刻開始鏈接初始化直至完成;

③采用單片機(jī)通過(guò)I2C接口來(lái)完成CPS1848的寄存器初始化;

④通過(guò)maintenance數(shù)據(jù)包來(lái)完成CPS1848的路由表動(dòng)態(tài)更改、狀態(tài)監(jiān)測(cè)等。

3 關(guān)鍵技術(shù)

整個(gè)交換模塊的關(guān)鍵技術(shù)主要包括:阻抗穩(wěn)定、相互間串?dāng)_小的高速傳輸線設(shè)計(jì)，紋波小、上電順序符合芯片要求的電源電路設(shè)計(jì)和抖動(dòng)低、精度高的時(shí)鐘電路設(shè)計(jì)等3個(gè)方面的內(nèi)容。

交換模塊外圍的Lane都工作在5 GHz，為了保證信號(hào)的完整性和電磁兼容性，使用MENTOR公司的Hyperlynx仿真軟件［9］對(duì)交換模塊PCB上的高速信號(hào)線進(jìn)行了仿真分析，使得每對(duì)差分線的阻抗保持恒定100 Ω，同一個(gè)端口內(nèi)的各差分線之間的信號(hào)傳輸偏移時(shí)間小于11 ns，差分線之間沒有大的串?dāng)_，從而保證了信號(hào)的高質(zhì)量要求。

CPS1848需要的電源有核電壓+1.0 V、PLL模擬電壓+1.0 V、IO電壓+3.3 V、SerDes電壓模擬+1.0 V和模擬+1.2 V。各種電壓所耗電流大小必須滿足手冊(cè)中的要求。所有模擬電壓需用紋波非常小的線性電源來(lái)提供，該SRIO交換模塊采用的是TI公司的TPS74401線性電源模塊。CPS1848對(duì)各電壓的上升和下降時(shí)間沒有要求，但是對(duì)各電壓的上電順序有著嚴(yán)格的要求，SerDes的VDDS電壓先上電，然后是SerDes的VDDT電壓，其余電壓順序沒有要求，上電順序通過(guò)控制電源模塊使能端來(lái)實(shí)現(xiàn)。最后利用Allegro PCB PI工具對(duì)所有電源進(jìn)行電源完整性分析，確保電源噪聲不會(huì)干擾高速信號(hào)。

時(shí)鐘模塊原理框圖如圖3所示。

圖3 時(shí)鐘模塊原理

CPS1848的REF_CLK引腳為芯片內(nèi)部的PLL提供參考時(shí)鐘，它要求在1～20 MHz范圍的相噪要低于 2 ps RMS，頻率精確度要好于 100 ppm(156.25 MHz)，再考慮到交換模塊以及其所連各節(jié)點(diǎn)設(shè)備的時(shí)鐘同源可以進(jìn)一步改善信號(hào)完整性，因此選用高精度的VCXO作外部參考，使用ADI公司有兩級(jí)PLL的時(shí)鐘芯片AD9523 m提供所需的多路高精度時(shí)鐘［10］。

4 SRIO交換模塊的性能測(cè)試及分析

結(jié)合實(shí)際信號(hào)處理過(guò)程中的數(shù)據(jù)傳輸和交換方式，編寫DSP和FPGA測(cè)試程序，DSP和 FPGA的SRIO端口都設(shè)為4x(4對(duì)差分線組成一個(gè)端口使用)，以SRIO協(xié)議中的NWRITE、NREAD方式為例，通過(guò)DSP(型號(hào)為TMS320C6678)與FPGA(型號(hào)為VC6VSX315T)之間的數(shù)據(jù)傳輸，對(duì)SRIO交換模塊的性能進(jìn)行了實(shí)測(cè)［11］。

將DSP內(nèi)存空間0x10800000開始的4 KB數(shù)據(jù)循環(huán)發(fā)送131 072次，共512 MB數(shù)據(jù)至FPGA，然后再回讀同樣次數(shù)至DSP，分別測(cè)試寫的時(shí)間和讀的時(shí)間。DSP發(fā)送數(shù)據(jù)采用NWRITE方式，讀取數(shù)據(jù)采用NREAD方式，調(diào)用TI公司的MCSDK庫(kù)中的兩個(gè)函數(shù)分別為 SRIO_DIO_NWRITE_BLK()和SRIO_DIO_NREAD_BLK()，使用CCS5軟件來(lái)統(tǒng)計(jì)所耗的時(shí)鐘周期數(shù)，由于DSP主頻1 GHz，即每個(gè)時(shí)鐘周期1 ns，據(jù)此可以計(jì)算出所耗時(shí)間。通過(guò)CPS1848內(nèi)部的相關(guān)寄存器可以看到，接收并轉(zhuǎn)發(fā)的數(shù)據(jù)包的個(gè)數(shù)正確，無(wú)壞包，無(wú)重新發(fā)送的情況發(fā)生。最終的整個(gè)通道的測(cè)試結(jié)果如表1所示。

表1 DSP與FPGA之間數(shù)據(jù)傳輸帶寬測(cè)試結(jié)果

對(duì)RapidIO協(xié)議進(jìn)行分析可知，當(dāng)SRIO數(shù)據(jù)包中數(shù)據(jù)有效載荷為256 bytes時(shí)，RapidIO的有效數(shù)據(jù)傳輸效率約為72%［12］。因此在5 Gbit/s和4x模式下，RapidIO的理論數(shù)據(jù)傳輸速率為14.4 Gbit/s。

實(shí)測(cè)結(jié)果與理論值有一定差距。由于進(jìn)行測(cè)試時(shí)，DSP的測(cè)試程序進(jìn)行了131 072次的循環(huán)，循環(huán)程序的執(zhí)行占用一定的時(shí)間開銷。另外，DSP內(nèi)集成的SRIO模塊，將最多可達(dá)1 Mbyte的數(shù)據(jù)拆成每包256 bytes的SRIO協(xié)議數(shù)據(jù)包再發(fā)送，這種機(jī)制也占用一些時(shí)間開銷。

5 結(jié)束語(yǔ)

采用IDT公司最新的CPS1848芯片設(shè)計(jì)了一種新型的高性能SRIO總線交換模塊，作為節(jié)點(diǎn)設(shè)備(FPGA、DSP等)間的高速數(shù)據(jù)通道，保證了大數(shù)據(jù)量的高速傳輸穩(wěn)定可靠。該模塊的配置方法靈活，性能優(yōu)良，通過(guò)動(dòng)態(tài)改變路由表來(lái)改變數(shù)據(jù)流路徑，使得系統(tǒng)的可重構(gòu)可擴(kuò)展變得非常容易，具有很強(qiáng)的適應(yīng)性。隨著支持SRIO總線的設(shè)備越來(lái)越多，SRIO總線交換模塊將會(huì)有越來(lái)越廣泛的應(yīng)用。

［1］ 高 毅，劉永強(qiáng)，梁小虎．基于串行RapidIO協(xié)議的包交換模塊的設(shè)計(jì)與實(shí)現(xiàn)［J］．航空計(jì)算技術(shù)，2010，40(3):123－126．

［2］ 翟彥彬，蔣志焱，張保寧．大規(guī)模RapidIO協(xié)議交換的FPGA 實(shí)現(xiàn)［J］．現(xiàn)代雷達(dá)，2011，33(12):33 －35．

［3］ 王學(xué)寶，鄭波祥，朱 勇．基于TSI568的RapidIO交換模塊設(shè)計(jì)［J］．微計(jì)算機(jī)信息，2009，25(6):104 －105．

［4］ 張 靜，李漢波．基于TSI578的串行RapidIO交換模塊設(shè)計(jì)［J］．電子元器件應(yīng)用，2010，12(11):30 －32．

［5］ 千應(yīng)慶，王曉鋒，勞 力，等．一種基于RapidIO協(xié)議的光纖總線硬件架構(gòu)設(shè)計(jì)與分析［J］．兵工學(xué)報(bào)，2012，33(12):1 480－1 484．

［6］ 姚 鋼．全新SerialRapidIOGen2交換器提升嵌入式互聯(lián)性能［J］．EDN 電子設(shè)計(jì)技術(shù)，2010(10):10－11．

［7］ 謝麗斌，劉 凱，尚 煜．串行RapidIO交換技術(shù)［J］．電子科技，2012，25(9):129 －131．

［8］ 石海洋．一種RapidIO交換網(wǎng)絡(luò)配置方法的設(shè)計(jì)與實(shí)現(xiàn)［J］．航空計(jì)算技術(shù)，2012，42(2):132 －134．

［9］ 齊青茂，馮 鶴，馬友科．基于Hyperlynx的高速數(shù)據(jù)傳輸板 SI研究［J］．計(jì)算機(jī)與網(wǎng)絡(luò)，2012，38(14):47 －49．

［10］張婭婭，張 磊，崔海龍．分相位時(shí)鐘組的高速數(shù)據(jù)采樣［J］．無(wú)線電通信技術(shù)，2012，38(6):52－55．

［11］饒 坤．基于DSP和FPGA的串行RapidIO系統(tǒng)性能測(cè)試與分析［J］．信息與電子工程，2012，10(6):680－684．

［12］許烈華．一種基于openVPX的通用信號(hào)處理平臺(tái)設(shè)計(jì)［J］．電訊技術(shù)，2012，52(5):796－799．