曹慶年 鄭博 孟開(kāi)元 穆偉

關(guān)鍵詞：確定性網(wǎng)絡(luò)；RGMII接口；千兆以太網(wǎng)；MAC幀；節(jié)點(diǎn)；高并發(fā)

1 引言

在航空航天、工業(yè)控制、自動(dòng)駕駛、遠(yuǎn)程醫(yī)療等對(duì)網(wǎng)絡(luò)實(shí)時(shí)性要求比較苛刻的通信領(lǐng)域，需要將端到端的時(shí)延控制在微妙級(jí)，可靠性控制在接近百分之百。而傳統(tǒng)的網(wǎng)絡(luò)采用事件觸發(fā)的方式，端系統(tǒng)采用競(jìng)爭(zhēng)訪問(wèn)的方式，使得網(wǎng)絡(luò)的實(shí)時(shí)性和確定性較差[1]。確定性網(wǎng)絡(luò)在現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施上，借助SDN、節(jié)點(diǎn)控制與轉(zhuǎn)發(fā)擴(kuò)展等技術(shù)機(jī)制，提供確定性網(wǎng)絡(luò)服務(wù)，與現(xiàn)有網(wǎng)絡(luò)其他業(yè)務(wù)和設(shè)施兼容，可對(duì)5G場(chǎng)景下超低時(shí)延、超可靠連接場(chǎng)景提供有效的支撐[2]。

早前，維也納技術(shù)大學(xué)便提出時(shí)間觸發(fā)以太網(wǎng)（TTE） 技術(shù)，旨在改變傳統(tǒng)以太網(wǎng)基于事件觸發(fā)的傳輸模式。該技術(shù)是局域網(wǎng)首個(gè)時(shí)間確定性網(wǎng)絡(luò)組網(wǎng)技術(shù)，主要通過(guò)調(diào)度業(yè)務(wù)的傳輸時(shí)刻，保障業(yè)務(wù)的時(shí)延[3]。文獻(xiàn)[4]研究時(shí)間的分區(qū)技術(shù)，可以提高IMA體系網(wǎng)絡(luò)的帶寬利用率。文獻(xiàn)[5]在OPNET網(wǎng)絡(luò)仿真的基礎(chǔ)上，采用網(wǎng)絡(luò)演算理論，分析了TTE網(wǎng)絡(luò)的性能。

本設(shè)計(jì)采用了多節(jié)點(diǎn)收發(fā)的功能，將全部節(jié)點(diǎn)分為1個(gè)時(shí)鐘同步主端（MC） 節(jié)點(diǎn)和多個(gè)時(shí)鐘同步從端（RN） 節(jié)點(diǎn)。在消息發(fā)送的時(shí)候，MC節(jié)點(diǎn)可以向其他節(jié)點(diǎn)提供系統(tǒng)標(biāo)準(zhǔn)時(shí)間，RN節(jié)點(diǎn)將本節(jié)點(diǎn)的時(shí)間同步至系統(tǒng)時(shí)間，實(shí)現(xiàn)多設(shè)備之間數(shù)據(jù)的可靠傳輸，更適合千兆以太網(wǎng)等高速傳輸場(chǎng)合。

2 總體設(shè)計(jì)方案

2.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

該設(shè)計(jì)包括一路2.5G、4LANE的PCIe接口、一路RGMII接口的1000MHZ以太網(wǎng)MAC接口，在發(fā)送端支持至多可配置的64 條控制/狀態(tài)消息和8 條流消息、接收端支持可配置的64條控制/狀態(tài)消息和8條流消息。外圍接口電路包括PCIe接口、以太網(wǎng)MAC接口；內(nèi)部模塊包括DMA模塊、發(fā)送控制模塊、接收控制模塊、寄存器模塊、通道配置寄存器組模塊。PCIe空間包括BAR0、BAR1、BAR2三個(gè)空間，BAR0用于PCIe內(nèi)部的寄存器，BAR1和BAR2基地址可配置，系統(tǒng)結(jié)構(gòu)設(shè)計(jì)如圖1所示。

主要功能特性：

（1） 支持一路2.5Gbps 4Lane的PCIe2.0主機(jī)接口；

（2） 具有一路RGMII 接口的千兆以太網(wǎng)MAC 接口，支持與RGMII接口的千兆以太網(wǎng)PHY芯片通信；

（3） 支持通過(guò)配置表實(shí)現(xiàn)數(shù)據(jù)收發(fā)管理，配置表存儲(chǔ)在主機(jī)FLASH，上電后由主機(jī)寫(xiě)入芯片;

（4） 支持兩種數(shù)據(jù)幀格式，包括64路控制/狀態(tài)消息（數(shù)據(jù)包長(zhǎng)度至多128字節(jié)）和8路流消息（數(shù)據(jù)包負(fù)載長(zhǎng)度至多1416字節(jié)）；

（5） 提供DMA寄存器，供主機(jī)填寫(xiě)存儲(chǔ)流消息的主機(jī)地址、長(zhǎng)度和啟動(dòng)三個(gè)參數(shù)，主機(jī)填寫(xiě)啟動(dòng)后電路自動(dòng)將數(shù)據(jù)負(fù)載搬運(yùn)至主機(jī)指定內(nèi)存地址；

（6） 支持以太網(wǎng)數(shù)據(jù)包接收過(guò)濾功能，主機(jī)可設(shè)定過(guò)濾的消息ID，芯片將自動(dòng)對(duì)接收到的以太網(wǎng)數(shù)據(jù)包按照消息ID進(jìn)行過(guò)濾；

（7） 發(fā)送和接收的以太網(wǎng)數(shù)據(jù)包均支持單播、多播、廣播。

2.2 數(shù)據(jù)包格式

2.2.1 MAC 封裝

1） MAC地址的目的地址如表1所示。

其中相關(guān)定義如下：

（1） 單/多播：選擇單播時(shí)填入0x00，多播時(shí)填入0x01;

（2） MAC常量填入當(dāng)前節(jié)點(diǎn)的MAC常量;

（3） 節(jié)點(diǎn)ID/多播分組：選擇單播時(shí)填入目的節(jié)點(diǎn)的ID，選擇多播時(shí)填入目的節(jié)點(diǎn)的多播分組。

2） MAC地址的源地址如表2所示。

其中相關(guān)定義如下：

（1） 節(jié)點(diǎn)ID：填入本節(jié)點(diǎn)的節(jié)點(diǎn)ID；

（2） MAC常量填入當(dāng)前節(jié)點(diǎn)的MAC常量。

2.2.2 STOF（傳輸起始包）幀格式

其中相關(guān)定義如下：

（1） 目的地址使用的地址是廣播地址，為0XFFFFFFFFFFFF;

（2） 源地址為MC節(jié)點(diǎn)的MAC地址；

（3） 長(zhǎng)度/類(lèi)型字段填充長(zhǎng)度為0X002E（ETH數(shù)據(jù)包最小包長(zhǎng)度），實(shí)際有效數(shù)據(jù)長(zhǎng)度為5個(gè)字節(jié)；

（4） 幀類(lèi)型填充0x01，指示為STOF幀；

（5） 4個(gè)字節(jié)的節(jié)點(diǎn)狀態(tài)指示當(dāng)前網(wǎng)絡(luò)中節(jié)點(diǎn)上線狀態(tài);

（6） 填充字段使用0x00。

2.2.3 SNM（系統(tǒng)網(wǎng)絡(luò)管理包）幀格式

其中相關(guān)定義如下：

（1） 目的地址使用MC節(jié)點(diǎn)的MAC地址；

（2） 源地址使用RN節(jié)點(diǎn)的MAC地址；

（3） 長(zhǎng)度/類(lèi)型字段填充長(zhǎng)度為0x002E（ETH數(shù)據(jù)包最小包長(zhǎng)度），實(shí)際有效數(shù)據(jù)長(zhǎng)度為2個(gè)字節(jié)；

（4） 幀類(lèi)型填充0x02，指示為SNM幀；

（5） 節(jié)點(diǎn)ID填充RN分配的節(jié)點(diǎn)ID號(hào)；

（6） 填充字段使用0x00。

2.3 數(shù)據(jù)流程

2.3.1 數(shù)據(jù)包發(fā)送流程

數(shù)據(jù)包發(fā)送流程如下所示：

（1） 上層軟件上線后配置設(shè)備ID寄存器、MAC地址常量定義寄存器、節(jié)點(diǎn)狀態(tài)發(fā)送偏移寄存器、狀態(tài)/控制消息發(fā)送通道偏移寄存器、流消息發(fā)送通道偏移寄存器、流消息發(fā)送通道數(shù)據(jù)存儲(chǔ)地址寄存器；

（2） 上層軟件配置設(shè)備工作模式寄存器為正常工作模式，系統(tǒng)上線；發(fā)送控制/狀態(tài)消息參見(jiàn)第（3）步，發(fā)送流消息參見(jiàn)第（4）步；

（3） 上層軟件配置狀態(tài)/控制通道發(fā)送緩沖區(qū)，填入數(shù)據(jù)包PAYLOAD（負(fù)載），之后填寫(xiě)狀態(tài)/控制消息發(fā)送通道緩沖占用標(biāo)志寄存器，填入PAYLOAD存放位置，之后填寫(xiě)狀態(tài)/控制消息發(fā)送通道配置寄存器，填入數(shù)據(jù)包關(guān)鍵參數(shù)，之后讀取狀態(tài)/控制消息發(fā)送通道配置寄存器VLD（有效）位，直到此位段位0；

（4） 上層軟件在主機(jī)軟件可讀可寫(xiě)區(qū)域填入數(shù)據(jù)包PAYLOAD，之后填寫(xiě)流消息發(fā)送通道數(shù)據(jù)存儲(chǔ)地址寄存器，填入PAYLOAD存放位置，之后填寫(xiě)流消息發(fā)送通道配置寄存器，填入數(shù)據(jù)包關(guān)鍵參數(shù)，之后流消息讀取發(fā)送通道配置寄存器VLD位，直到此位段位0。

2.3.2 數(shù)據(jù)包接收流程

數(shù)據(jù)包發(fā)送流程如下所示：

（1） 上層軟件上線后配置設(shè)備ID寄存器、MAC地址常量定義寄存器、節(jié)點(diǎn)狀態(tài)發(fā)送偏移寄存器、狀態(tài)/控制消息發(fā)送通道偏移寄存器、流消息發(fā)送通道偏移寄存器、流消息發(fā)送通道數(shù)據(jù)存儲(chǔ)地址寄存器中斷屏蔽寄存器；

（2） 上層軟件配置設(shè)備工作模式寄存器為正常工作模式，系統(tǒng)上線；

（3） 上層軟件等待中斷，當(dāng)收到中斷時(shí)，首先配置中斷使能寄存器為0，之后讀接收消息信息FIFO狀態(tài)寄存器；

（4） 讀接收消息信息FIFO，判斷當(dāng)前接收包類(lèi)型、消息號(hào)、長(zhǎng)度等參數(shù)，若當(dāng)前數(shù)據(jù)包類(lèi)型為控制狀態(tài)消息，參見(jiàn)第（5）步，否則，參見(jiàn)第（6）步；

（5） 根據(jù)消息號(hào)和長(zhǎng)度讀相應(yīng)狀態(tài)/控制通道接收緩沖區(qū)；

（6） 根據(jù)消息號(hào)和長(zhǎng)度讀流消息接收通道數(shù)據(jù)存儲(chǔ)地址寄存器，根據(jù)讀得的數(shù)據(jù)讀主機(jī)內(nèi)存相應(yīng)地址；

（7） 寫(xiě)中斷狀態(tài)寄存器REV_MSG位段為1，清除中斷。

2.4 硬件電路設(shè)計(jì)

該設(shè)計(jì)采用Zynq-7000 MZ7035FA開(kāi)發(fā)板作為控制芯片，用戶可以基于核心板設(shè)計(jì)功能底板，降低項(xiàng)目底板設(shè)計(jì)難度和生產(chǎn)成本，加速項(xiàng)目開(kāi)發(fā)。具有多個(gè)高性能接口，4路PCIE2.0接口，3路千兆網(wǎng)口，4路DDR接口，可以充分滿足該設(shè)計(jì)的需求。

2.4.1 RGMII 接口電路

RGMII 時(shí)鐘頻率為125MHZ，TXD/RXD（發(fā)送/接收）數(shù)據(jù)寬度為4位。該接口為了保持1000Mbps的傳輸速率不變，在時(shí)鐘的上升沿和下降沿都采樣數(shù)據(jù)。發(fā)送方向，時(shí)鐘通過(guò)1 個(gè)DCM 和4 個(gè)BUFG 驅(qū)動(dòng)相位為0、90、180、270 的4 種時(shí)鐘。接收方向，線路時(shí)鐘通過(guò)1 個(gè)DCM 和2 個(gè)BUFG 恢復(fù)相位為0°和180°的2 種時(shí)鐘[6]。

RGMII以太網(wǎng)芯片集成在核心模塊上，將發(fā)送控制模塊發(fā)送的數(shù)據(jù)整理后轉(zhuǎn)換時(shí)序送至千兆以太網(wǎng)MAC模塊。如圖2為RGMII接口電路時(shí)序。

2.4.2 PCIE 接口電路

PCIe2.0 是全雙工串行總線，在物理層使用8B/10B 編碼[7]，PCIe2.0 x 1 的帶寬= （5Gb/s x 2（雙向通道）） / 10bit = 1GB/s。PCIe連接可以通過(guò)增加通道數(shù)擴(kuò)展帶寬，通道越多，速度越快，在該設(shè)計(jì)中最多使用4通道。各設(shè)備之間，數(shù)據(jù)傳輸都是以Packet形式進(jìn)行的。數(shù)據(jù)從一組信號(hào)線上發(fā)送，在另一組信號(hào)上接收。設(shè)備的各個(gè)端口使用差動(dòng)驅(qū)動(dòng)器和接收器，采用差分對(duì)進(jìn)行收發(fā)。在本文中，主機(jī)通過(guò)PCIe總線從接口訪問(wèn)內(nèi)部的地址空間包括各個(gè)寄存器、發(fā)送緩沖區(qū)、接收緩沖區(qū)。事務(wù)層根據(jù)上層（軟件層或者應(yīng)用層）請(qǐng)求的類(lèi)型、目的地址和其他相關(guān)屬性，把這些請(qǐng)求打包，產(chǎn)生TLP。然后這些TLP往下，經(jīng)歷數(shù)據(jù)鏈路層、物理層，最終到達(dá)目標(biāo)設(shè)備[8]。

PCIe接口電路的AC耦合電容要求靠近發(fā)送端放置，取值范圍在75～200nf；差分線阻抗要求為：68～105R，一般按照100R±10%設(shè)計(jì)；差分?jǐn)?shù)據(jù)信號(hào)線盡量做到等長(zhǎng)，長(zhǎng)度差控制在10mil 以?xún)?nèi)。如圖3 為PCIE接口電路。

2.5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證具體的設(shè)計(jì)功能，需要搭建自動(dòng)化仿真驗(yàn)證平臺(tái)，從而進(jìn)行功能仿真。在VNC 下使用Ca?dence NC Simvision15.1仿真驗(yàn)證工具[9]，如圖4為仿真驗(yàn)證結(jié)構(gòu)。

（1） 注入激勵(lì)用于驅(qū)動(dòng)主機(jī)模型；

（2） 主機(jī)模型驅(qū)動(dòng)PCIe主設(shè)備模型和ETH主設(shè)備模型；

（3） PCIe主設(shè)備模型用于向待測(cè)模塊發(fā)送寄存器讀寫(xiě)請(qǐng)求和MEM（存儲(chǔ)器）讀寫(xiě)請(qǐng)求；

（4） ETH主設(shè)備模型用于發(fā)送和接收以太網(wǎng)接口的數(shù)據(jù)包。

2.5.1 以太網(wǎng)發(fā)送數(shù)據(jù)包仿真

仿真步驟如下：

（1） 主機(jī)通過(guò)PCIe向以太網(wǎng)發(fā)送DATA發(fā)送STOF數(shù)據(jù)包，并對(duì)參數(shù)進(jìn)行配置，DATA_LENGTH（數(shù)據(jù)長(zhǎng)度）分別為32’h00000010，32’h00000014，32’h00000100，32’h00000200，32’h00000300，32’h00000400，32’h00000404，32’h00000588；

（2） 等待數(shù)據(jù)包接收完成，判斷數(shù)據(jù)包的IP地址與寫(xiě)入的是否一致；判斷數(shù)據(jù)包的UDP地址與寫(xiě)入的是否一致；

（3） 判斷數(shù)據(jù)包的最高8位是否為8’h00，是則為單播，否則為多播。如圖5，仿真后在波形圖中讀到的值與寫(xiě)入的值相同，符合要求。

在開(kāi)發(fā)板上進(jìn)行測(cè)試，數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)與發(fā)送的數(shù)據(jù)一致。將數(shù)據(jù)長(zhǎng)度傳入接收地址，在軟件中進(jìn)行抓包，接收地址中的數(shù)據(jù)與發(fā)送的數(shù)據(jù)一致，如圖6所示為抓包數(shù)據(jù)。

3 結(jié)論

相比傳統(tǒng)的事件觸發(fā)的傳輸模式，本文介紹的多節(jié)點(diǎn)收發(fā)傳輸方式可以實(shí)時(shí)獲取時(shí)鐘主端節(jié)點(diǎn)和時(shí)鐘從端節(jié)點(diǎn)的系統(tǒng)時(shí)間，極大地保證了系統(tǒng)的實(shí)時(shí)性、可靠性。由于FPGA硬件具有并行優(yōu)勢(shì)，在一個(gè)時(shí)鐘周期內(nèi)，可以完成更多的處理任務(wù)[10]。并且搭載的開(kāi)發(fā)板IO 口數(shù)量多、可編程、開(kāi)發(fā)靈活；具有豐富的IP核，可以縮短周期，提高穩(wěn)定性。每個(gè)數(shù)據(jù)幀都有8B/10B 和CRC 循環(huán)校驗(yàn)來(lái)增加系統(tǒng)的抗干擾和檢錯(cuò)能力。最后實(shí)現(xiàn)的基于千兆網(wǎng)的時(shí)間確定性網(wǎng)絡(luò)設(shè)計(jì)提供實(shí)時(shí)數(shù)據(jù)傳輸，保證確定的通信服務(wù)質(zhì)量，可以滿足大多數(shù)的高速設(shè)備的數(shù)據(jù)傳輸。