高 遠(yuǎn)，何贊園，邢留洋

（1.中國人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)，河南 鄭州 450000；2.鄭州大學(xué)，河南 鄭州 450000）

0 引 言

網(wǎng)絡(luò)空間已成為國家繼陸、海、空、天四個(gè)疆域之后的第五疆域，自主可控是保障網(wǎng)絡(luò)安全、信息安全的前提。接入設(shè)備作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施，實(shí)現(xiàn)其自主可控對提升網(wǎng)絡(luò)數(shù)據(jù)的安全性具有重要意義。

一般來說，國產(chǎn)產(chǎn)品和服務(wù)容易符合自主可控要求，因此實(shí)行國產(chǎn)替代對于達(dá)到自主可控是完全必要的。本文從實(shí)際應(yīng)用出發(fā)，根據(jù)當(dāng)前國產(chǎn)化先進(jìn)電信計(jì)算架構(gòu)（Advanced Telecom Computing Architecture，ATCA）平臺(tái)的高速網(wǎng)絡(luò)數(shù)據(jù)接入需求，基于天津飛騰技術(shù)有限公司發(fā)布的新一代國產(chǎn)高性能通用處理器FT?2000/4，設(shè)計(jì)實(shí)現(xiàn)滿足需求的自主可控?cái)?shù)據(jù)高速接入系統(tǒng)。該系統(tǒng)主要完成IP 分組域數(shù)據(jù)的接收、篩選和分發(fā)功能，提供4 路10GE 速率的數(shù)據(jù)平面通道、2 路GE 速率的控制平面通道，實(shí)現(xiàn)數(shù)據(jù)與控制分離。

1 FT?2000/4 處理器

自2001年啟動(dòng)國產(chǎn)處理器設(shè)計(jì)項(xiàng)目至今已有20年，國內(nèi)產(chǎn)生了以龍芯、申威、飛騰、鯤鵬、海光、兆芯為代表的國產(chǎn)CPU 品牌，為構(gòu)建自主可控的國產(chǎn)化計(jì)算平臺(tái)奠定了基礎(chǔ)。

其中，F(xiàn)T?2000/4是天津飛騰技術(shù)有限公司于2019年發(fā)布的新一代高性能通用處理器，主要面向桌面應(yīng)用及高端嵌入式領(lǐng)域的應(yīng)用。該處理器集成了4 顆自主研制 的FT663 內(nèi) 核，兼 容64 位ARMv8 指 令 集，16 nm 制程，主頻2.6 GHz，內(nèi)置密碼加速引擎，最大功耗14 W。

從目前已經(jīng)發(fā)布的國產(chǎn)處理器產(chǎn)品來看，相較于龍芯和申威這類采用自主研制指令集的CPU，F(xiàn)T?2000/4處理器的ARMv8 指令集架構(gòu)具有更好的軟硬件生態(tài)，同時(shí)相較于兆芯這類采用x86 指令集架構(gòu)的CPU，F(xiàn)T?2000/4 處理器具有更高的自主可控等級。因此，綜合考慮當(dāng)前的國產(chǎn)CPU 發(fā)展現(xiàn)狀、性能表現(xiàn)、軟硬件生態(tài)以及自主可控程度，選用FT?2000/4 處理器設(shè)計(jì)自主可控的高速接入系統(tǒng)。

FT?2000/4 處理器并未針對通信應(yīng)用場景提供高速網(wǎng)絡(luò)接口，僅提供2 個(gè)RGMII 接口。為了實(shí)現(xiàn)多個(gè)線路側(cè)的數(shù)據(jù)接入網(wǎng)絡(luò)接口，利用FT?2000/4豐富的PCIe 3.0通道資源，設(shè)計(jì)萬兆以太網(wǎng)接入模塊，能夠提供4 路10GE 速率端口用于高速數(shù)據(jù)的接入與分發(fā)。

2 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

為了符合實(shí)際應(yīng)用場景的需求，系統(tǒng)設(shè)計(jì)基于ATCA架構(gòu)，該架構(gòu)是全球PCI 工業(yè)計(jì)算機(jī)制造組織（PCI Industrial Computer Manufacturers Group，PICMG）制定的新一代主流電信級模塊化通信平臺(tái)標(biāo)準(zhǔn)，旨在推廣電信級硬件系統(tǒng)的開放式標(biāo)準(zhǔn)架構(gòu)，能夠?yàn)殡娦偶壪到y(tǒng)解決帶寬、成本和擴(kuò)展維護(hù)等問題。ATCA 平臺(tái)的特點(diǎn)是底板與底板之間采用點(diǎn)對點(diǎn)交換互連結(jié)構(gòu)以實(shí)現(xiàn)高速數(shù)據(jù)傳輸。底板的連接被分成三個(gè)區(qū)域：ZONE1、ZONE2、ZONE3。ZONE1 中的連接器向底板提供電源和擴(kuò)展機(jī)架管理信號(hào)；ZONE2 中的連接器提供了到Base 通道和Fabric 通道的連接，Base 接口支持10 Mb/s，100 Mb/s，1 000 Mb/s的以太網(wǎng)通信，F(xiàn)abric接口采用高速并串行和串并行轉(zhuǎn)換器（Serializer/Deserializer，SerDes）提供高達(dá)2.1 Tb/s 的帶寬，支持以太網(wǎng)/光纖信道傳輸、InfiniBand 傳 輸、星 型 傳 輸、PCI Express 傳 輸 或 串 行Rapid I/O 傳輸五種協(xié)議規(guī)范；ZONE3 中的連接器是用戶可定義的，通常用于將前面板連接至后部轉(zhuǎn)換模塊（Rear Transition Module，RTM）。

基于FT?2000/4 的高速接入系統(tǒng)網(wǎng)絡(luò)拓?fù)淙鐖D1 所示，由ZONE2和ZONE3連接器、交換芯片以及FT?2000/4數(shù)據(jù)高速接入模塊四個(gè)部分組成。遵循ATCA 規(guī)范，IP分組域的數(shù)據(jù)通過RTM 背板的2 路10GE 端口接入ATCA 底板的ZONE3 連接器。之后，數(shù)據(jù)通過系統(tǒng)內(nèi)的交換芯片轉(zhuǎn)發(fā)給FT?2000/4 數(shù)據(jù)高速接入模塊，經(jīng)過篩選后再通過交換芯片分發(fā)到ZONE2 連接器的Fabric通道。

圖1 系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D

系統(tǒng)提供2 路GE 速率端口連接Base 平面，用于主控板卡實(shí)現(xiàn)單板的控制功能。另外，提供一個(gè)千兆的維護(hù)端口連接ZONE3 連接器，通過RTM 背板轉(zhuǎn)出，方便單板內(nèi)高速接入模塊的直接調(diào)試維護(hù)。

2.1 交換芯片

在ATCA 底板設(shè)計(jì)時(shí)，由于走線距離過長，直接將數(shù)據(jù)高速接入模塊的10GE 端口連接ZONE2 連接器的Fabric 通道會(huì)導(dǎo)致因信號(hào)強(qiáng)度不足，高速接入模塊無法驅(qū)動(dòng)數(shù)據(jù)在Fabric 通道進(jìn)行傳輸，影響后續(xù)的業(yè)務(wù)處理流程。為了解決該問題，使用交換芯片控制高速鏈路的聚合與分發(fā)。系統(tǒng)中選用盛科網(wǎng)絡(luò)自主研制的國產(chǎn)高性能以太網(wǎng)交換芯片CTC7148，能夠提供1G/2.5G/5G/10G/25G/40G/50G/100G 的端口速率。這樣一來，IP 分組域數(shù)據(jù)接入系統(tǒng)時(shí)，將其直連到交換芯片，由交換芯片控制數(shù)據(jù)在ZONE3 與FT?2000/4 高速接入模塊之間的交互過程，再通過交換芯片與ZONE2 連接器直連，驅(qū)動(dòng)高速接入模塊分發(fā)的數(shù)據(jù)在Fabric通道內(nèi)進(jìn)行傳輸。

2.2 Base 控制平面設(shè)計(jì)

系統(tǒng)中控制平面設(shè)計(jì)如圖2 所示，提供2 路GE 速率的端口分別用來訪問控制交換芯片和FT?2000/4 高速接入模塊。交換芯片的1 路QSGMII 接口與FT?2000/4 高速接入模塊的2 路GE 速率接口同時(shí)連接一個(gè)4 口PHY芯片。PHY 芯片使用物芯科技自主國內(nèi)設(shè)計(jì)、國內(nèi)流片的4 端口千兆物理層接口芯片WX5124G，MAC 側(cè)接口 支 持RGMII、SGMII 及QSGMII。PHY 芯 片 將2 路GE速率端口接入ZONE2 的Base 通道連接器，實(shí)現(xiàn)主控板卡通過Base 平面訪問控制功能。

圖2 Base 控制平面結(jié)構(gòu)圖

3 FT?2000/4 數(shù)據(jù)高速接入模塊設(shè)計(jì)

基于FT?2000/4 設(shè)計(jì)實(shí)現(xiàn)的數(shù)據(jù)高速接入模塊是系統(tǒng)的核心模塊，在上文系統(tǒng)的整體結(jié)構(gòu)敘述中介紹了該模塊的基本接口資源，其系統(tǒng)結(jié)構(gòu)如圖3 所示。該模塊面向Fabric 通道的連接需要4 路10GE 速率端口，面向Base 通道連接需要2 路2GE 速率端口，然而FT?2000/4作為面向桌面級應(yīng)用的處理器僅能提供2 個(gè)RGMII 接口，并不支持多路萬兆網(wǎng)口的接入。因此，綜合考慮FT?2000/4 的接口資源，本文提出一種基于PCIe 擴(kuò)展總線的解決方案。

圖3 FT?2000/4 數(shù)據(jù)高速接入模塊系統(tǒng)框圖

PCIe 是一種高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)，設(shè)備與主機(jī)之間采用端到端的連接方式，具有獨(dú)立的串行鏈路，支持任何兩個(gè)端點(diǎn)之間的全雙工通信，而且對跨多個(gè)端點(diǎn)的并發(fā)訪問沒有固有的限制。通過PCIe 總線擴(kuò)展芯片的接口資源是目前大部分系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)功能擴(kuò)展的方式。為了實(shí)現(xiàn)10GE 速率的數(shù)據(jù)接入端口和多個(gè)GE 速率的控制端口，在FT?2000/4 數(shù)據(jù)高速接入模塊中選用集成了媒體接入控制器（MAC）和物理接口收發(fā)器（PHY）的以太網(wǎng)控制芯片來提供系統(tǒng)中所需的網(wǎng)口資源。同時(shí)系統(tǒng)內(nèi)采用模塊化結(jié)構(gòu)，基于COM Express 3.0規(guī)范，設(shè)計(jì)FT?2000/4 COMe 子卡，通過TYPE 連接器將FT?2000/4 處理器的PCIe 總線轉(zhuǎn)接到以太網(wǎng)控制芯片。COM Express 3.0 PICMG 定義的計(jì)算機(jī)模塊標(biāo)準(zhǔn)是一種高度集成的單板計(jì)算機(jī)。每個(gè)COM Express 模塊都集成了CPU、內(nèi)存、通用I/O 接口、USB、音頻、圖形（PEG）和以太網(wǎng)。所有I/O 信號(hào)都映射到模塊底部的兩個(gè)高密度薄型連接器，即TYPE 連接器。規(guī)范中共定義了8 種不同的TYPE 輸出接口，每種接口提供不同種類和數(shù)量的引腳排列?？紤]到系統(tǒng)中ATCA 底板所需轉(zhuǎn)接通道類型和數(shù)量，選擇TYPE 6 連接器，該連接器能夠提供24 Lanes PCIe 接口、4 路SATA 接口、1 路帶有集成PHY的千兆網(wǎng)接口、8 路USB 2.0 端口、4 路USB 3.0 端口、2 路LVDS 接 口、1 路VGA 接口、3 路DDI 接口以及2 個(gè)TX/RX 串行對，可選擇一個(gè)端口作為CAN 接口，足夠滿足FT?2000/4 COMe 子卡所需映射的I/O 接口。下文將對以太網(wǎng)控制芯片的芯片選型、FT?2000/4 的PCIe 總線配置、COMe 子卡的基本結(jié)構(gòu)進(jìn)行闡述。

3.1 以太網(wǎng)控制芯片

根據(jù)自主可控的基本要求，以太網(wǎng)控制芯片選用北京網(wǎng)迅自主設(shè)計(jì)的WX1820AL 和WX1860AL4。

WX1820AL 是萬兆以太網(wǎng)控制芯片，帶有兩個(gè)完全集成的萬兆以太網(wǎng)媒體存取控制器（MAC）和SFP+端口，具有優(yōu)良的噪聲抗擾性，同時(shí)還支持300 m 距離光纖連接，適用于服務(wù)器和高端設(shè)備，能夠?qū)CIe X8 集成到萬兆網(wǎng)絡(luò)中，并且對網(wǎng)絡(luò)I/O性能進(jìn)行優(yōu)化。其具備兩個(gè)集成PHY 的10 Gb/s SFI/KR/XAUI/SGMII 端口，支持最大9.5 KB 的巨型幀。與上位機(jī)連接使用的是一個(gè)PCIe GEN3 X8 接口，同時(shí)支持PCIe 的復(fù)位和喚醒功能。

WX1860AL4 是4 口千兆以太網(wǎng)控制芯片，具備4 個(gè)集成PHY 的10 Mb/s，100 Mb/s，1 000 Mb/s 自適應(yīng)速率RGMII 接口，通過PCIe GEN2 X4 接口與上位機(jī)連接。

因此，利用FT?2000/4 COMe子卡PCIe通道連接兩個(gè)WX1820AL 萬兆以太網(wǎng)控制芯片能夠滿足系統(tǒng)設(shè)計(jì)中所需的4 路10GE 速率端口，連接一個(gè)WX1860AL4 千兆以太網(wǎng)控制芯片能夠提供Base 控制平面所需的GE 速率端口以及1 個(gè)維護(hù)端口。

3.2 PCIe 總線配置

為了滿足以太網(wǎng)控制芯片的接入需求和底板其他功能部件的實(shí)現(xiàn)，需要2 路PCIe X4 和2 路PCIe X8 接到TYPE6 底座上，此外還需要3 路PCIe X1 用于轉(zhuǎn)換成VGA/LVDS、SATA、USB。

FT?2000/4 的PCIe 接口分為PEU0 和PEU1 兩路接口，每路PEU 都支持PCIe 3.0 規(guī)范。其接口特性如下：

1）支持Root Complex 和End Point 兩種模式，軟件可配置；

2）兩路PEU 共34 Lanes，每路為1 個(gè)X16 和1 個(gè)X1，其中X16 可拆分為2 個(gè)X8；

3）PEU 內(nèi)部集成DMA 引擎，一讀一寫兩個(gè)通道。

如圖4所示，為了滿足ACTA 底板需求，對FT?2000/4的2 路PCIe X16 接口進(jìn)行拆分，拆分模式如表1 所示。

圖4 FT?2000/4 PCIe 資源分配圖

表1 FT?2000/4 PCIe 拆分模式

通過拆分，將FT?2000/4 的2 路PCIe X8 完全接到TYPE6 上，再將1 路PCIe X8 的4 Lanes 接到TYPE6 上作為1 路PCIe X4 使用。由于PCIe X8 不支持繼續(xù)拆分成PCIe X4 和X1，因此在TYPE6 的信號(hào)適配中，選擇通過PCIe橋片進(jìn)行接口擴(kuò)展。系統(tǒng)中選用89HPES16NT16G2芯片將剩余1 路PCIe X8 拆分成1 路PCIe X4 和4 路PCIe X1，其中PCIe X4 用于連接到TYPE6 上，剩余4 路PCIe X1 的1 路用于轉(zhuǎn)換成VGA/LVDS，其他3 路PCIe X1 接口備用。

另外，F(xiàn)T?2000/4 提供的2 路PCIe X1 接口也設(shè)計(jì)了具體的功能實(shí)現(xiàn)，PEU0_X1 連接SATA 3.0 控制芯片為COMe 子卡提供一個(gè)板內(nèi)的SSD 芯片用于操作系統(tǒng)的安裝，以及1 路SATA 總線通過TYPE6 接口轉(zhuǎn)接到ATCA底板的M.2 插槽用于外接大容量存儲(chǔ)設(shè)備。PEU1_X1連接USB 3.0 控制芯片，提供4 路USB 3.0 接口和4 路USB 2.0 接口。

3.3 FT?2000/4 COMe 子卡

FT?2000/4 COMe 子卡作為一個(gè)完整的計(jì)算機(jī)系統(tǒng)，除了對PCIe 總線進(jìn)行拆分配置外，如圖5 所示，子卡內(nèi)還包含DDR4 插槽、QSPI 底座、CPLD 功能模塊、SD 卡插槽、RGMII網(wǎng)口等其他功能子模塊，下面將對其中主要的DDR模塊、QSPI模塊、CPLD模塊的設(shè)計(jì)實(shí)現(xiàn)進(jìn)行介紹。

圖5 FT?2000 COMe 子卡系統(tǒng)框圖

3.3.1 DDR 模塊

FT?2000 COMe 子卡采用小型雙列直插式內(nèi)存模塊（Small Outline Dual In?line Memory Module，SODIMM）以減小內(nèi)存模塊的占用空間。內(nèi)存條選用紫光的DDR4 內(nèi)存條，型號(hào)為SCC08GS03H1F1C?26V。選擇FT?2000 處理的DDR_1 內(nèi)存控制器。FT?2000/4 的DDR4 通道最高支持3 200 Mb/s，可以通過調(diào)整FLASH 偏移地址0x000110 中的參數(shù)來調(diào)整DDR 速率。

3.3.2 QSPI 模塊

QSPI 接口兼容SPI，且作為啟動(dòng)加載片外固件的唯一接口。FT?2000 處理器的上電啟動(dòng)流程如圖6 所示，CPU 啟動(dòng)后，首先通過片內(nèi)可信根驗(yàn)簽片外固件；驗(yàn)證簽名通過后，通過QSPI接口的QSPI_CSN0片選的FLASH芯片加載固件，來執(zhí)行相關(guān)指令。

圖6 FT?2000/4 上電初始化流程圖

在系統(tǒng)中，COMe 子卡的QSPI FLASH 模塊采用QSPI SO16P127 插座的設(shè)計(jì)，便于調(diào)試過程中多次拆卸QSPI FLASH。

3.3.3 CPLD 模塊

系統(tǒng)中選用高云GWIN?UV4LQ144C6 作為COMe單板的邏輯芯片，該芯片內(nèi)置了User FLASH，容量為608 Kb，同時(shí)有120 個(gè)I/O 口，還板載了一顆MCU 芯片，用戶可以進(jìn)行視頻圖像處理、高速數(shù)據(jù)采集等方面的應(yīng)用。如圖7 所示，在FT?2000 COMe 子卡內(nèi)其主要承擔(dān)復(fù)位邏輯、電平轉(zhuǎn)換、接口轉(zhuǎn)換和一些控制功能。

圖7 CPLD 模塊框圖

4 系統(tǒng)測試

系統(tǒng)測試部分主要完成對系統(tǒng)中的萬兆網(wǎng)口的帶寬測試。操作系統(tǒng)選擇銀河麒麟操作系統(tǒng)，作為目前被廣泛使用的國產(chǎn)操作系統(tǒng)，其對于各類國產(chǎn)芯片都有較好的驅(qū)動(dòng)支持。測試平臺(tái)選擇標(biāo)準(zhǔn)14 槽ATCA 機(jī)架。上電后，F(xiàn)T?2000/4 COMe 子卡能夠正常啟動(dòng)，通過維護(hù)端口連接子卡后查看PCIe 總線的設(shè)備連接信息，如圖8所示。系統(tǒng)中能夠看到的PCIe 設(shè)備信息包括4 路10GE速率的SFP+網(wǎng)口、4 路WX1860AL4 提供的GE 速率網(wǎng)口、SATA 3.0 控制芯片、USB 控制芯片、用于PEU1_X8接口轉(zhuǎn)接的89HPES16NT16G2 PCIe 橋片以及連接該橋片的LVDS/VGA 控制芯片。

圖8 PCIe 總線設(shè)備連接圖

在對系統(tǒng)內(nèi)的萬兆網(wǎng)絡(luò)端口劃分VLAN 之后，使用iperf3 網(wǎng)絡(luò)測試工具測試其中一個(gè)網(wǎng)口的最大帶寬。使用兩張同樣的ATCA 單板進(jìn)行測試，板卡之間的網(wǎng)絡(luò)通過Fabric 通道連接，選擇其中任意一張單板作為服務(wù)端，另外一張作為客戶端，其對應(yīng)關(guān)系如表2 所示。

表2 調(diào)試端口地址對照表

iperf3 工具提供的測試結(jié)果如圖9 所示，該網(wǎng)口的最大帶寬是9.4 Gb/s。實(shí)際測試中，由于傳輸距離、信號(hào)干擾、線材損耗等因素影響，實(shí)際最大帶寬與理論設(shè)計(jì)的10 Gb/s 有誤差屬于正常情況，其他3 路10GE 速率網(wǎng)口在劃分VLAN 之后的帶寬測試結(jié)果都基本相同，不再做具體闡述。

圖9 網(wǎng)口帶寬測試結(jié)果

5 結(jié) 語

本文從自主可控的角度出發(fā)，介紹了一種基于FT?2000/4 的高速接入系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)。選擇合適的以太網(wǎng)控制芯片，利用FT?2000/4 的PCIe 總線解決了該處理器不支持萬兆網(wǎng)絡(luò)接入的問題，擴(kuò)展了應(yīng)用場景。同時(shí)通過模塊化的設(shè)計(jì)，使得文中基于FT?2000/4 設(shè)計(jì)的COMe 子卡不僅可作為通信處理機(jī)應(yīng)用于通信系統(tǒng)中，還可支持更加豐富的應(yīng)用場景。

注：本文通訊作者為何贊園。