楊壯濤，朱紀洪，劉兆沛，李猛，文善賢，陳俊賢

（1.廣西大學機械工程學院，廣西 南寧 530004；2.清華大學精密儀器系；3.清華大學計算機系，北京 100084）

機動車的需求量和購買量在不斷提升，與此同時頻發(fā)的交通事故嚴重威脅人們的生命財產安全。自動駕駛技術的實現(xiàn)依賴于車輛對自身及周圍環(huán)境情況的采集及獲取，因此實現(xiàn)多傳感器的數(shù)據(jù)融合極其重要。各個傳感器間具有統(tǒng)一時間基準是實現(xiàn)各傳感器數(shù)據(jù)融合的基礎。

對多個通道數(shù)據(jù)進行采集，有采用單片機、DSP等串行微處理器實現(xiàn)的方案，因為處理器中的程序采用串行處理機制，適用于傳感器數(shù)量不多、數(shù)據(jù)量不大，同步要求不高的應用場景?；跀?shù)字電路的FPGA具有并行處理優(yōu)勢，文獻基于FPGA對多達24路磁異常數(shù)據(jù)進行采集，但是僅保證指令同時發(fā)送而不設計時間同步機制，隨著時間推移各傳感器間的時間基準可能會存在較大偏差?；贔PGA結合PPS進行多傳感器同步可較容易的獲得較高的時間同步精度，華中科技大學的文獻[1]、文獻[2]及文獻[3]基于PPS進行多傳感器數(shù)據(jù)融合，具有較高的時間同步精度，但是基于PPS實現(xiàn)需保證控制電平符合激光雷達等傳感器的電平需求，需進行額外的驅動電路設計及增加布線，另外因無人車車載設備集成度高，對同步信號可能產生較大電磁干擾。

為保障數(shù)據(jù)傳輸?shù)膶崟r性，本設計采用高帶寬的PCIe通信實現(xiàn)探測板卡與上位機的通信；為實現(xiàn)多通道并行處理，采用基于數(shù)字電路的FPGA作為開發(fā)平臺；為降低各通道間的耦合度，開發(fā)了以太網(wǎng)協(xié)議棧并封裝為IP核；為實現(xiàn)多個傳感器間時間同步，分析了IEEE 1588協(xié)議，并以探測節(jié)點板卡作為主節(jié)點設計了時間同步機制。

1 系統(tǒng)總體方案設計

采集系統(tǒng)采用“FPGA+CPU”的異構硬件平臺，數(shù)據(jù)同步采集系統(tǒng)架構如圖1所示。FPGA實現(xiàn)多傳感器數(shù)據(jù)的采集，并作為時間同步主節(jié)點對多個傳感器進行同步。計算機基于FPGA提交的數(shù)據(jù)繪制激光雷達點云圖、完成目標探測識別及無人車路徑規(guī)劃等任務，并產生控制指令發(fā)送至車輛控制系統(tǒng)，由車輛控制系統(tǒng)指控執(zhí)行機構完成無人車自主行駛、自主越障等任務。計算機與FPGA板卡通過PCIe接口進行通信，F(xiàn)PGA板卡與傳感器間采用以太網(wǎng)實現(xiàn)通信。在時間同步方面，以FPGA作為時間同步主節(jié)點，基于IEEE1588協(xié)議對激光雷達進行授時，另外可基于用戶配置寫入?yún)f(xié)議對多個激光雷達進行配置。因FPGA板卡主要實現(xiàn)探測數(shù)據(jù)的同步采集，以下敘述稱探測節(jié)點。

圖1 多通道同步采集系統(tǒng)設計框架

2 探測節(jié)點硬件設計

2.1 硬件總體方案

為增加設計方案的可移植性，降低硬件成本，本方案采用“核心板+底板”的實現(xiàn)方式。FPGA選用Xilinx公司的XC7A200TFBG676-2，此芯片有豐富的邏輯資源，LUT資源高達133.8K個；IO口高達400個，可與大量外設進行交互。相對應的核心板選擇米聯(lián)客MA704A，底板設計如下，為實現(xiàn)與激光雷達、攝像頭等多個傳感器進行數(shù)據(jù)交互，采用通信速率可達1Gbps的千兆以太網(wǎng)接口。上位機需實時對各傳感器數(shù)據(jù)進行解算，因此需采用通信速率更高的通信接口將多通道以太網(wǎng)數(shù)據(jù)實時上傳至上位機，選用PCIe-X4接口來實現(xiàn)。考慮試驗數(shù)據(jù)記錄需要底板設計了TF卡槽，對重要的參數(shù)進行記錄，以方便后續(xù)對試驗結果進行整理分析。串口通信應用廣泛，在通信速率要求不高的應用場景中，可滿足探測節(jié)點與其他控制器的通信需求。為方便項目調試，設計了多個LED燈及GPIO口。另外，設計了JTAG程序下載接口及供電電路；在使用FPGA的MGT高速接口時，需要設計低抖動的時鐘發(fā)生電路。探測節(jié)點硬件方案如圖2所示。

圖2 探測節(jié)點硬件方案示意圖

2.2 PCIe硬件設計

PCIe總線一般用于計算機與外圍設備互連，是第三代高性能IO總線，規(guī)范定義了其基本結構，包含根組件、交換器以及端節(jié)點設備。探測節(jié)點和上位機通過金手指連接，在X4模式下有4對差分信號發(fā)送管腳和4對差分信號接收管腳，為pcie_mgt_txp/n[3:0]及pcie_mgt_rxp/n[3:0]。參考時鐘clk_pcie_p/n頻率為100MHZ，由上位機板卡通過金手指差分時鐘管腳提供。上位機主板與探測節(jié)點板卡之間需進行直流電壓隔離，通過在數(shù)據(jù)發(fā)送端添加直流耦合電容的方式來實現(xiàn)。探測節(jié)點板卡pcie_mgt_rxp/n[3:0]的電容已經在主機板卡上添加，節(jié)點板卡只需為pcie_mgt_rxp/n[3:0]在靠近金手指處添加耦合電容即可。金手指數(shù)據(jù)傳輸通道與FPGA高速接口MGT相連，F(xiàn)PGA的GTX以Quad為單位進行劃分，每個Quad包含4個lane。

2.3 以太網(wǎng)硬件方案

以太網(wǎng)MII(Medium Independent Interface, MII)接口類型主要有GMII(Gigabit Media Independent Interface, GMII)、RGMII(Reduced Gigabit Media Independent Interface)、SGMII(Serial Gigabit Media Independent Interface)、TBI(Ten Bit interface)和RTBI(Reduced Ten Bit Interface)五種。其關鍵參數(shù)如表1所示。

表1 以太網(wǎng)接口參數(shù)匯總表

首先，進行多通道數(shù)據(jù)采集需采用多個網(wǎng)口，需考慮節(jié)省IO資源；其次，采用SGMII接口后期可升級采用光通信，相比傳統(tǒng)采用電壓信號進行通信的方式光通信具有較強的抗電磁干擾能力，另外光通信還能夠減輕設備質量，因此本文選用SGMII接口。

3 探測節(jié)點軟件架構

3.1 軟件總體架構

相比采用Verilog硬件描述語言進行連線的方式，探測節(jié)點軟件開發(fā)在VIVADO的Block Design中完成，連線更加簡潔。PCIe有兩種數(shù)據(jù)傳輸方式，PIO及DMA。PIO（Programmed Input-Output，PIO）每一次傳輸都通過CPU執(zhí)行IO端指令來實現(xiàn)。DMA(Direct Memory Access, DMA)數(shù)據(jù)傳輸由DMA控制器完成，幾乎不占用CPU資源，相較于PIO來說具有更高的數(shù)據(jù)吞吐量。常用于端點設備中的DMA傳輸方式可分為總線主控式和分散聚合式，總線主控式DMA要求系統(tǒng)開辟物理地址連續(xù)的內存空間，且每次傳輸完成后均需要處理器重新進行配置，適用于少量單塊數(shù)據(jù)傳輸。分散聚合式DMA通過描述符鏈表實現(xiàn)，將主機中分散的內存空間與描述符鏈表的映射關系映射到端節(jié)點設備的內存中。在多通道數(shù)據(jù)同步采集的應用場景下，且考慮后期需將攝像頭數(shù)據(jù)接入多通道探測節(jié)點板卡，本文采用分散聚合式DMA進行數(shù)據(jù)傳輸實現(xiàn)上位機與探測節(jié)點板卡的數(shù)據(jù)傳輸，以保障數(shù)據(jù)傳輸速率及實時性。

以太網(wǎng)通信具有靈活的拓撲結構，可用于長距離傳輸，在音視頻、雷達數(shù)據(jù)傳輸中廣泛使用。UDP協(xié)議在設計時優(yōu)先保障數(shù)據(jù)帶寬需求，沒有復雜的重傳機制，適宜在數(shù)據(jù)采集的應用場景下使用。為保障足夠的數(shù)據(jù)帶寬，探測節(jié)點板卡開發(fā)千兆以太網(wǎng)接口，兼容百兆傳輸速率。

探測節(jié)點軟件總體方案如圖3所示，探測節(jié)點板卡實現(xiàn)了上位機與傳感器間的高速通信。通過DMA操作實現(xiàn)上位機與探測節(jié)點板卡的數(shù)據(jù)傳輸，板卡與傳感器通過以太網(wǎng)進行數(shù)據(jù)交互，以太網(wǎng)通信接口與PCIe通信接口間通過共享RAM的形式實現(xiàn)數(shù)據(jù)交互，通過TIME_SYN模塊實現(xiàn)多個傳感器的同步。

圖3 探測節(jié)點軟件架構示意圖

3.2 PCIe軟件架構

PCIe設備A的待發(fā)送的用戶數(shù)據(jù)經過事務層、數(shù)據(jù)鏈路層和物理層進行逐層的數(shù)據(jù)打包，然后以串行差分信號的方式傳輸給設備B；設備B接收數(shù)據(jù)的過程是數(shù)據(jù)發(fā)送的逆過程，將數(shù)據(jù)逐層進行拆包解析。

PCIe通信通過分散聚合式DMA實現(xiàn)，通過MGT高速串行接口實現(xiàn)板間通信；進行DMA數(shù)據(jù)傳輸時，上位機可通過H2C（Host to Card）、C2H（Card to Host）通道實現(xiàn)對用戶數(shù)據(jù)的讀寫，用戶數(shù)據(jù)一側支持AXI4-memory map及AXI4-Stream接口。當描述符完成或數(shù)據(jù)讀寫出錯時，板卡以中斷的形式告知上位機。AXI Interconnect IP核可以與任何AXI主設備或從設備進行連接，允許這些AXI設備在不同的時鐘域，有不同的接口寬度及不同的AXI子協(xié)議類型?？赏ㄟ^AXI Interconnect IP核實現(xiàn)1對N、N對1及M對N的AXI設備間的數(shù)據(jù)交互。

XDMA核心實現(xiàn)通過PCIe接口實現(xiàn)板間通信，AXI Interconnect核心實現(xiàn)AXI設備間的數(shù)據(jù)交互，AXI BRAM Controller可通過AXI接口實現(xiàn)對RAM的讀寫控制。設計方案中4塊RAM用于緩存4個傳感器采集到板卡的數(shù)據(jù)，另外4塊RAM用于緩存上位機發(fā)送至傳感器的控制指令。時鐘域劃分上，所有的AXI Interconnect核心以及RAM讀寫時鐘均采用XDMA核心輸出的axi_aclk。

3.3 以太網(wǎng)軟件架構

主干網(wǎng)FPGA的軟件設計以以太網(wǎng)協(xié)議為依據(jù)進行。以太網(wǎng)幀格式中前導碼占8字節(jié)，7個連續(xù)的8’h55用于發(fā)送端及接收端設備數(shù)據(jù)的同步，1個8’hd5表示一個幀的開始。以太網(wǎng)幀首部包含各位8字節(jié)的目的MAC地址及源MAC地址，MAC地址是網(wǎng)卡中固化的唯一物理地址，占用2字節(jié)的類型用于標記上層協(xié)議的類型；FCS為幀校驗序列，以太網(wǎng)協(xié)議采用32bits的CRC校驗；包數(shù)據(jù)對于MAC層處理模塊而言是數(shù)據(jù)，其包含上層協(xié)議的首部及校驗，如IP首部及UDP首部。

用戶數(shù)據(jù)傳輸過程如圖4所示，數(shù)據(jù)發(fā)送時，在用戶自定義協(xié)議層添加用戶自定義頭部及CRC-32/MPEG-2校驗；“自上而下”依次添加UDP頭部、IP頭部及以太網(wǎng)頭部以及添加前導碼，整個過程稱作封包。接收數(shù)據(jù)是“自下而上”的過程，MAC層解析以太網(wǎng)頭部，并判斷數(shù)據(jù)幀目的MAC地址是否為本地MAC地址，并依據(jù)包類型交由不同模塊進行處理；由網(wǎng)絡層模塊、傳輸層模塊、用戶自定義協(xié)議模塊依次對相應首部進行解析判斷，將數(shù)據(jù)依次向上層進行提交，若所有判斷條件均滿足則將數(shù)據(jù)向應用層提交，若有條件不滿足則將數(shù)據(jù)丟棄，整個過程稱為解包。

依據(jù)以太網(wǎng)用戶數(shù)據(jù)傳輸過程，設計的探測節(jié)點主干網(wǎng)的軟件架構如圖5所示。1G/2.5G Ethernet PCS/PMA or SGMII IP核與MAC層通過GMII接口實現(xiàn)數(shù)據(jù)交互，依據(jù)參考模型進行FPGA軟件模塊設計，“自下而上”依次為MAC層處理模塊、LLC子層處理模塊、IP層處理、UDP層處理模塊及用戶自定義層處理模塊，另還開發(fā)了ARP數(shù)據(jù)處理模塊以及ICMP處理模塊。ARP（Address Resolution Protocol）地址解析協(xié)議能根據(jù)IP地址獲取物理地址（即MAC地址）。ICMP包含在IP數(shù)據(jù)報中，可用來確認網(wǎng)絡是否連通、主機是否可達，在系統(tǒng)開發(fā)調試中起不容忽視的作用。物理層單字節(jié)的編碼解碼通過1G/2.5G Ethernet PCS/PMA or SGMII IP核完成；MAC層處理模塊完成MAC地址的封裝及判斷，實現(xiàn)點對點通信；IP層處理模塊依據(jù)IP協(xié)議完成IP數(shù)據(jù)包的生成及解析，實現(xiàn)局域網(wǎng)間設備互聯(lián)；UDP層處理模塊區(qū)分不同的應用進程；另還根據(jù)需要自定義用戶層協(xié)議，以實現(xiàn)時間觸發(fā)通信機制，并在用戶層增加循環(huán)冗余校驗機制。下面將對數(shù)據(jù)包解析過程進行說明，數(shù)據(jù)包封裝是數(shù)據(jù)包解析的逆過程。

圖5 探測節(jié)點主干網(wǎng)軟件架構

4 時間同步設計

激光雷達的同步可通過PPS脈沖同步的方法實現(xiàn)，也可基于用戶配置寫入?yún)f(xié)議采用IEEE1588時間同步方法實現(xiàn)。激光雷達可采用PPS脈沖同步方法對傳感器進行授時，GPS模塊連續(xù)向設備發(fā)送PPS同步脈沖信號以及GPRMC數(shù)據(jù)。

文獻[11]及文獻基于PPS脈沖實現(xiàn)多傳感器數(shù)據(jù)同步，采用此方法可以獲得較高的時間同步精度，但是因FPGA引腳電壓及電流無法滿足激光雷達的電平需求，需另外設計驅動芯片，增加了設計的復雜度。另外，需要額外的使用IO口來實現(xiàn)多激光雷達同步，會增加車輛布線復雜度。

IEEE1588中存在主時間、從時間以及中間節(jié)點三部分，各部分通過網(wǎng)絡連接彼此形成一個主從同步系統(tǒng)?；贗EEE1588協(xié)議將FPGA作為時間同步主節(jié)點，F(xiàn)PGA中TIME_SYN模塊產生時間戳的低字節(jié)段，發(fā)送控制模塊將上位機產生的時間戳的高字節(jié)結合起來完成時間同步包的組裝；另外上位機還可根據(jù)用戶配置協(xié)議將配置數(shù)據(jù)寫入探測節(jié)點緩存指令的RAM中，通過全雙工以太網(wǎng)完成對激光雷達的配置。

5 測試

探測節(jié)點板卡通過以太網(wǎng)接口獲取激光雷達數(shù)據(jù)，將數(shù)據(jù)緩存在RAM中，上位機通過對幀計數(shù)的監(jiān)測判斷數(shù)據(jù)是否更新，監(jiān)測到數(shù)據(jù)更新后，上位機獲取數(shù)據(jù)進行運算及處理，圖6為上位機獲取激光雷達數(shù)據(jù)后繪制的激光雷達點云圖。

圖6 上位機激光雷達點云圖

基于IEEE1588協(xié)議以探測節(jié)點作為時間同步主節(jié)點對多個激光雷達進行授時。激光雷達的控制器不可修改，故通過主節(jié)點獲取的激光雷達的時間戳測試時間同步精度。對上位機獲取的時間戳數(shù)據(jù)進行觀察，在同一時刻通過PCIe讀取的多個通道時間差不會超過1s的前提下。在FPGA自定的以太網(wǎng)IP核中加入測試代碼，通過以太網(wǎng)獲取激光雷達時間戳后，當時間戳大于指定的毫秒、微妙計數(shù)器值則使觸發(fā)器中的測試信號電平翻轉，將各通道的測試信號連接到Integrated Logic Analyzer IP核，通過測試翻轉信號的相位差可得到時間同步精度。圖7為VIVADO的ILA時間同步精度測試截圖，經多次測試時間同步精度穩(wěn)定在微妙級，提高激光雷達數(shù)據(jù)上傳頻率可獲得更精確的測量結果。

圖7 時間同步精度測試圖

6 結語

在“CPU+FPGA”硬件架構下，完成了自定義IP核的開發(fā)，F(xiàn)PGA能夠將以太網(wǎng)口采集的傳感器數(shù)據(jù)通過PCIe接口送至上位機，上位機通過DMA操作能將數(shù)據(jù)配置數(shù)據(jù)通過以太網(wǎng)口實現(xiàn)傳感器配置?；贗EEE 1588協(xié)議并以FPGA板卡作為時間同步主節(jié)點，對多傳感器進行同步取得較好的時間同步效果，為多傳感器融合奠定了基礎。