白 玉,胡 旋,耿世松

(1.沈陽航空航天大學 電子信息工程學院,沈陽 110136;2.中國科學院軟件研究所,北京 100190)

0 引 言

當前傳統(tǒng)宇航級器件的開發(fā)通常是面向特定任務的專星專用器件,這一特性決定了傳統(tǒng)宇航級器件的開發(fā)具有硬件環(huán)境不可復用、研制成本較高且開發(fā)周期較長的弊端[1-2]。為解決上述問題,本文采用商用硬件平臺,并借鑒“軟件定義衛(wèi)星”系統(tǒng)架構[3]。Xilinx公司ZYNQ系列產(chǎn)品提供了完美的SoC解決方案,其具有處理系統(tǒng)(Processing System,PS)與 可編程邏輯(Programmable Logic,PL)搭配高性能體系架構,這為星上系統(tǒng)的研制提供了無與倫比的靈活性與可拓展性。其中可重復編程、時序管腳可控制的 ZYNQ UltraScale+板卡采用 XCZU7EV 芯片作為控制和處理中心,其功能強大、性能高,更加有利于實現(xiàn)商用器件向宇航級產(chǎn)品的過渡。,

在目前國內(nèi)外大多數(shù)星上數(shù)據(jù)傳輸與處理系統(tǒng)中,容易出現(xiàn)可靠性安全性不高,傳輸速率較低,兼容性通用性較差等問題。早期研究中,文獻[4-9]有人采用以太網(wǎng)幀協(xié)議解決了傳輸丟幀問題,但傳輸無效數(shù)據(jù)浪費帶寬。對于其中使用的數(shù)據(jù)傳輸協(xié)議,LVDS高速接口最高速率僅能達到100 Mb/s,TLK2711協(xié)議線速率可達到1.8 Gb/s但復雜度過高。且上述解決方案均未闡述使用商用開發(fā)平臺實現(xiàn)高速實時且可靠通用的星上數(shù)據(jù)傳輸系統(tǒng)。針對上述問題,本文采用Xilinx發(fā)布的一款可擴展Zynq UltraScale+ MPSoC ZCU106為商用衛(wèi)星開發(fā)平臺,其不僅滿足各項數(shù)據(jù)指標需求,同時支持星上復雜軟硬件算法的快速開發(fā)與編排。本系統(tǒng)可用于星上設備間需要高速數(shù)據(jù)傳輸?shù)膱鼍?使用Xilinx器件更具商用價值且縮短研制周期,為目前開發(fā)商用衛(wèi)星智能算法與軟件的更新迭代提出新的方向。

1 星上高速系統(tǒng)設計

1.1 系統(tǒng)總體設計方案

本文采用可重復編程、時序管腳可控制的 ZYNQ UltraScale+ 作為主控器件,采用其PS與PL的異步架構以滿足本系統(tǒng)軟件開發(fā)與硬件設計相聯(lián)合的需求。針對已有星上數(shù)據(jù)傳輸存在的不足,本文創(chuàng)新性地提出了一種高速實時且可靠通用的數(shù)據(jù)傳輸處理系統(tǒng)設計方案。本設計采用Xilinx開發(fā)平臺,從而可配置其提供的Aurora8B/10B IP以實現(xiàn)線速率2.5 Gb/s的接口交換速率,此方法簡單高效的實現(xiàn)了鏈路數(shù)據(jù)傳輸;采用自定義的幀格式對傳輸數(shù)據(jù)加密,添加幀頭構成內(nèi)幀,以保證傳輸?shù)目煽啃圆⑶夜?jié)約了帶寬和資源;采用異步架構實現(xiàn)PS與PL數(shù)據(jù)互傳,為ARM端各類嵌入式及軟件算法的開發(fā)提供保障。最后為驗證本系統(tǒng)具有算法的通用性及適配性,在邏輯側(cè)以Sobel算法對圖像進行實時處理。

發(fā)送總體框圖如圖1(a)所示。大容量星上圖像數(shù)據(jù)存入DDR4內(nèi)存后,PL通過直接存儲器(Direct Memory Access,DMA) 訪問PS。傳輸前對數(shù)據(jù)傳輸鏈路做自定義的幀信息添加(Frame_Gen),其對圖像數(shù)據(jù)加上專用幀標志,幀號,圖像分辨率等信息,以保證傳輸?shù)目煽啃耘c安全性。通過GTH并采用差分SMA接口來完成數(shù)據(jù)的高速串行發(fā)送。其中采用簡單高速的Aurora協(xié)議進行數(shù)據(jù)互傳,以通用性較強的高速串行收發(fā)器GTH基于Aurora協(xié)議來傳輸數(shù)據(jù)。在進行板間接口數(shù)據(jù)傳輸時,采用Serdes傳輸機制即可從數(shù)據(jù)中恢復出時鐘,以此保證時鐘同步。內(nèi)部各IP間數(shù)據(jù)流傳輸基于AXI-Stream總線實現(xiàn),相比其他星上傳輸系統(tǒng)接口,其具有更高的通用性及系統(tǒng)適配性。

圖1 衛(wèi)星數(shù)據(jù)傳輸與處理系統(tǒng)總體設計框圖

接收總體框圖如圖1(b)所示,接收端同樣通過串行GTH接收數(shù)據(jù),并將數(shù)據(jù)發(fā)送給幀頭信息提取模塊對幀數(shù)據(jù)進行解析。之后同樣通過DMA方式將數(shù)據(jù)送入DDR4存儲。為驗證整個系統(tǒng)的通用性,本文采用優(yōu)化的實時Sobel算法對衛(wèi)星圖像進行邊緣檢測。最后將其處理后的數(shù)據(jù)通過VGA接口在顯示器顯示以觀察處理后的圖像邊緣。

1.2 星上系統(tǒng)設計關鍵技術

本文將星上高速系統(tǒng)的設計分為星上異步架構數(shù)據(jù)傳輸、星上鏈路專用幀轉(zhuǎn)換、星上高速數(shù)據(jù)傳輸接口3個部分。

1.2.1 星上異步架構數(shù)據(jù)傳輸

采用軟硬件聯(lián)合設計的方式實現(xiàn)星上異步架構數(shù)據(jù)傳輸,此種方式為后續(xù)星上軟件定義開發(fā)提供基礎保證。

為實現(xiàn)PS與PL雙方共享內(nèi)存,本文創(chuàng)新地采用板卡的異步架構設計,兩者通信的物理基礎是AXI高速總線協(xié)議。采用AXI DMA并配置為簡單雙工模式以實現(xiàn)DDR4的高速讀寫。DDR4的系統(tǒng)時鐘為1 067 MHz,物理接口位寬為64位,因此DDR4的理論支持的最大速度為16.66 GB/s。

本文Block Design總體框圖如圖2所示。此處數(shù)據(jù)互傳涉及跨時鐘域傳輸,因此讀寫時鐘不一致會造成傳輸數(shù)據(jù)混亂的情況。為采用最簡單的方式解決此問題,本文添加異步FIFO(AXI-Stream Data FIFO)進行不同時鐘域間的數(shù)據(jù)傳輸與緩存。在整個系統(tǒng)進行實時數(shù)據(jù)傳輸處理過程中,AXI DMA負責讀取DDR4中的圖像數(shù)據(jù),同時還要負責將接收端處理后的圖像數(shù)據(jù)寫入DDR4。其中PS與PL的高速數(shù)據(jù)傳輸主要使用AXI_HP接口和AXI_GP接口完成。AXI_HP接口與PL相連后,相互獨立的讀寫通道經(jīng)過FIFO緩存。通過DMA將數(shù)據(jù)存儲在DDR4存儲器,以此完成流式數(shù)據(jù)與存儲器映射數(shù)據(jù)間相互轉(zhuǎn)化。系統(tǒng)對 AXI DMA 的控制是在 PS 上實現(xiàn),通過運行C代碼完成DMA初始化及寄存器配置。為減少CPU的空轉(zhuǎn)損耗減少星上傳輸延時,本文最終采用中斷方式實現(xiàn)DMA發(fā)送和接收。

圖2 Block Design示意圖

1.2.2 星上鏈路專用幀轉(zhuǎn)換

采用線性狀態(tài)機設計對星上幀信息加密成自定義專用幀,以保證星上信息傳輸?shù)目煽啃耘c安全性。

為了在進一步保證傳輸效率的同時提升系統(tǒng)的準確性與安全性。數(shù)據(jù)發(fā)送端要對接收到的PS端數(shù)據(jù)進行幀頭信息的添加構成內(nèi)幀,并在接收端進行幀頭信息的提取以進行同步。為保證系統(tǒng)通用性,此節(jié)仍按照AXI-Stream協(xié)議與Aurora接口進行交互。本文采用自定義的幀信息格式并在接收端進行數(shù)據(jù)檢驗,以此保證系統(tǒng)的安全性。幀頭信息自定義格式包括2 b幀標志、6 b幀號、12 b圖像的行數(shù)、12 b圖像的列數(shù)。發(fā)送模塊幀頭信息添加采用狀態(tài)機實現(xiàn),設計具體如圖3所示。

圖3 幀信息添加狀態(tài)機示意圖

復位系統(tǒng)后進入S_IDLE狀態(tài),等待一幀圖像數(shù)據(jù)的到來。當檢測到一幀圖像數(shù)據(jù)第一拍信號有效時,進入S_ADD_HEAD狀態(tài)。期間添加幀頭信息,維持一個時鐘周期,進入S_WRITE_DATA狀態(tài)。一幀圖像傳輸完成后進入S_FRAME_END。此種狀態(tài)機實現(xiàn)幀信息添加方式,有效解決了復雜邏輯的實現(xiàn)。其既覆蓋了鏈路所有情況出現(xiàn)的可能性,又保證了系統(tǒng)不會重復處理,極大的提高了傳輸?shù)男省?/p>

同理,解幀模塊也采用狀態(tài)機實現(xiàn)。類似封幀模塊,用于幀標志、幀號、圖像分辨率信息的提取,并將圖像數(shù)據(jù)傳輸給Sobel Edge Detect模塊進行后續(xù)算法處理。

1.2.3 星上高速數(shù)據(jù)傳輸接口

采用Aurora協(xié)議實現(xiàn)星上高速數(shù)據(jù)互傳,以保證系統(tǒng)高速性和穩(wěn)定性。

為了以簡單的方式實現(xiàn)星上鏈路的高速數(shù)據(jù)交互,本文以GTH收發(fā)器作為物理層、Aurora協(xié)議實現(xiàn)鏈路層功能。為保證星上模塊間用戶數(shù)據(jù)交互的通用性及靈活性,以AXI-Stream接口來實現(xiàn)各模塊銜接。此方式相比傳統(tǒng)專星專用的星上鏈路研制,具備可配置即插即用的功能。其具有帶寬高、支持全雙工和單工通道、幀格式幀長度可靈活定制等特點。

由于系統(tǒng)要求Aurora IP核通道的線速率(Line Rate)配置為3.125 Gb/s,且協(xié)議要求時鐘必須為同一bank或相鄰bank的時鐘,故此輸入?yún)⒖紩r鐘(GT_Refclk)156.25 MHz,用戶時鐘(User_clk)78.125 MHz[10]。Aurora采用幀模式(framing)進行全雙工數(shù)據(jù)傳輸,其接口模塊如圖4所示。

圖4 Aurora與AXIS交互關系圖

發(fā)送和接收數(shù)據(jù)位寬均設計為32 b(Lane Width=4 B),這樣整個系統(tǒng)數(shù)據(jù)位寬相同,適配性靈活性很高。由于發(fā)送的數(shù)據(jù)經(jīng)過RocketI/O 進行了8B/10B編碼,故而通道串行線速率為3.125 Gb/s×80%=2.5 Gb/s。本節(jié)各個模塊的設計均使用Aurora的輸出時鐘user_clk故沒有進行跨時鐘域處理。

2 星上圖像處理算法驗證

傳統(tǒng)算法在系統(tǒng)上實現(xiàn)多為一個時鐘處理單像素,而本系統(tǒng)傳輸時一個時鐘傳輸4個像素。為解決為各類其他傳統(tǒng)算法在本系統(tǒng)使用的通用性問題,采用Sobel圖像邊緣檢測算法驗證系統(tǒng)性能。同時,系統(tǒng)對于星上互傳的圖像數(shù)據(jù)具備實時處理能力。Sobel算法采用一階導數(shù)實現(xiàn)局部平均的計算方法。其優(yōu)勢在于平滑去噪,提高檢測精度。同時本文提出的優(yōu)化Sobel處理方案,相比現(xiàn)有的FPGA實現(xiàn)Sobel算法的思路,傳輸延時更小,性能也更加優(yōu)越。相比以往Sobel算法,本設計創(chuàng)新的將一個時鐘輸入的4個像素同時并行處理,可將系統(tǒng)速率提高3倍。其對后續(xù)其他復雜星上通用性實時處理算法開發(fā)具有一定的理論及現(xiàn)實指導意義。

現(xiàn)有Sobel算法為一個時鐘輸入一個像素(一個像素為8 b),由于系統(tǒng)一個時鐘輸入4個像素(數(shù)據(jù)位寬32 b)。為滿足實時性需求必須將時鐘提高四倍,通過異步FIFO將數(shù)據(jù)位寬將為8 b處理。但此方法一個時鐘只能處理一個像素,不能滿足本系統(tǒng)高性能需求。故將32 b像素在一個時鐘同時輸入進行Sobel運算,算法的設計整體流程如圖5所示。由于Sobel算法需要3行3列矩陣運算,故需要采用雙FIFO流水線操作對兩行圖像數(shù)據(jù)進行緩存。本文采用FIFO Generator中的Common Clock Block RAM進行一行數(shù)據(jù)的緩存,數(shù)據(jù)讀寫深度設置為2 048。由于數(shù)據(jù)位寬為32 b,本文Sobel算法處理部分時鐘采用user_clk=78.125 MHz。

圖5 優(yōu)化后的Sobel算法實現(xiàn)流程圖

以圖中Sobel1為例,把圖像每3行3列的數(shù)據(jù)分別乘上算子中對應位置的值再相加,然后進行如下運算,得到Dx和Dy。

Dx=(a2-a0)+(b2-b0)×2+(c2-c0)

Dy=(a0-c0)+(a1-c1)×2+(a2-c2)

由于數(shù)據(jù)傳輸鏈路位寬32 b即一個時鐘傳入4個像素,因此在CLK1下需要進行Sobel1和Sobel2運算,并且將第三個和第四個像素用寄存器緩存與CLK2傳入的像素進行Sobel運算。同理在后續(xù)的時鐘下,每個時鐘同時完成4次Sobel處理。

按照上文所述Sobel算法原理,對上面求得的Dx和Dy做平方和的平方根,再取近似值Dx和Dy的絕對值和得到Dxy。本文為對星上圖像進行較準確的邊緣檢測,閾值設置為100。若Dxy的值大于該閾值則表示該點為邊界點,就讓VGA顯示一個白點,否則顯示黑點。于是得到了一幅衛(wèi)星圖像的輪廓,為滿足1 080P像素顯示需求,VGA接口部分模塊時鐘為148.5 MHz。

3 試驗與分析

本文實現(xiàn)軟件開發(fā)與硬件設計相結合的設計架構,其中Aurora高速片間傳輸及Sobel并行算法等PL端設計是基于Xilinx Vivado2019.1平臺開發(fā)的。數(shù)據(jù)源發(fā)送與接收以及DMA配置與驅(qū)動程序是PS端基于Xilinx SDK開發(fā)的。在測試中,將1 920 pixel×1 080 pixel的8 b灰度圖衛(wèi)星圖像數(shù)據(jù)源放入SD卡,用于進行整個系統(tǒng)的性能測試。采用Xilinx專用的調(diào)試工具集成比特誤碼率測試儀(Integrated Bit Error Ratio Tester,IBERT)及在線邏輯分析儀(Integrated Logic Analyzer,ILA)驗證數(shù)據(jù)傳輸與處理的各項性能指標。本系統(tǒng)整個測試流程如下:

1)通過在PL端設計狀態(tài)機實現(xiàn)計數(shù)邏輯并且在SDK設置計時對DMA速度進行測試,通過觀測SDK界面DMA發(fā)送接收內(nèi)存數(shù)據(jù)以驗證數(shù)據(jù)傳輸準確性;

2)通過集成邏輯分析儀對Frame_Gen以及De_Frame模塊信號及數(shù)據(jù)進行觀測,以驗證設計的準確性;

3)通過集成比特誤碼率測試儀對數(shù)據(jù)鏈路進行誤碼率測試;

4)通過VGA接口顯示Sobel邊緣檢測之后的數(shù)據(jù)并和Matlab實現(xiàn)Sobel邊緣檢測的圖像處理結果對比,驗證結果的準確性。

3.1 PS與PL互傳性能

本文DMA發(fā)送速度能達到157.3 MB/s,接收速度能達到140.7 MB/s。AXI DMA數(shù)據(jù)存儲在0x01100000中,處理完成后的數(shù)據(jù)寫入地址0x01500000。DDR內(nèi)存結果顯示數(shù)據(jù)傳輸準確無誤碼,由此可見DMA實現(xiàn)了PS與PL數(shù)據(jù)準確且高速的互傳。

3.2 可靠性測試及安全性分析

由于測試所用圖像數(shù)據(jù)為1 080P的灰度圖,因此一幀圖像數(shù)據(jù)的幀頭為c0438780。其中frame flag=2’b11,frame ID=6’b000000,image high=1 080,image width=1 920。幀信息添加模塊將幀頭添加到由PS輸入的數(shù)據(jù)流前,輸出數(shù)據(jù)流為m_axi_tx_tdata。解幀模塊接收到幀頭信息c0438780后認為一幀數(shù)據(jù)到來,此自定義專用幀頭以保證系統(tǒng)的安全性。除去幀頭信息后將有效數(shù)據(jù)m_tdata傳輸給后續(xù)算法處理。圖6(a)為幀信息添加模塊輸出結果,圖6(b)為幀信息提取模塊輸出結果。經(jīng)測試系統(tǒng)傳輸準確無誤碼,具有較高的可靠性及安全性。

圖6 數(shù)據(jù)發(fā)送接收鏈路測試結果

3.3 誤碼性評估及線速率測試

ZCU106中提供的SMA接口信號一共4個,包括一對發(fā)送數(shù)據(jù)信號txp和txn,一對接收數(shù)據(jù)信號rxp和rxn。在進行系統(tǒng)仿真收發(fā)測試時,對于硬件驗證單板只能進行單核自回環(huán)連接,所以將TX(txp和txn)和RX(rxp和rxn)約束至開發(fā)板SMA接口,其外部采用光纖進行自環(huán)連接,模擬光纖高速數(shù)據(jù)互傳過程。通過IBERT IP對本系統(tǒng)的高速收發(fā)器接口進行誤碼率發(fā)送器發(fā)送偽隨機碼,接收器接收后檢查數(shù)據(jù)傳輸?shù)臏蚀_性。測試眼圖結果如圖7所示,可見信道質(zhì)量良好,線速率達到2.5 Gb/s,眼圖張開率82.35%,沒有數(shù)據(jù)接收誤碼。

圖7 IBERT測試眼圖

3.4 邊緣檢測算法驗證結果

本次測試應用到的衛(wèi)星圖像為機場圖像。在進行上板驗證之前,采用Matlab對圖像進行Sobel處理并采用Vivado自帶仿真工具進行仿真。

各個Sobel處理運行時間如表1所示,采用現(xiàn)有Sobel算法處理一幅圖需要32 ms,改進的并行Sobel算法用時11ms。試驗結果表明相比CPU實現(xiàn)圖像處理,FPGA將處理時間縮短了10倍左右。相比現(xiàn)有Sobel算法,采用改進的并行化Sobel算法將處理時間縮短了3倍。將Vivado仿真后的數(shù)據(jù)結果利用Matlab工具恢復可視化圖像,如圖8所示。Sobel邊緣檢測后在dell顯示器顯示結果如圖9所示。將顯示器顯示結果與Matlab仿真Sobel處理后的結果對比,表明利用本系統(tǒng)較好地實現(xiàn)了Sobel邊緣檢測功能,且呈現(xiàn)出的圖像邊緣信息也較為理想。

表1 Sobel處理運行時間對比圖

圖8 Sobel處理仿真顯示結果

圖9 Sobel處理后顯示器顯示結果

4 結束語

高速實時穩(wěn)定可靠的商用星上數(shù)據(jù)高速傳輸與實時處理系統(tǒng)成為航天衛(wèi)星研制的瓶頸。本文基于Xilinx ZYNQ UltraScale+設計了一種星上數(shù)據(jù)高速傳輸與實時處理系統(tǒng)。采用DMA方式實現(xiàn)PS與PL數(shù)據(jù)高速互傳,數(shù)據(jù)傳輸準確且讀寫性能優(yōu)異。發(fā)送端采用幀信息添加和接收端提取模塊以保證鏈路的可靠安全傳輸,采用簡單通用的Aurora協(xié)議作為星上設備交換高速接口,并且采用兩種Sobel算法證明系統(tǒng)具有較好的通用性與實時性,對星上數(shù)據(jù)處理設備的研制及星上圖像算法的處理具有一定的借鑒意義。

但是,本文研究仍然有值得改進的地方:一是PS端采用C代碼對DMA進行配置以及初始化,對整體性能存在影響;二是對衛(wèi)星圖像的Sobel算法可以進一步優(yōu)化,以實現(xiàn)對衛(wèi)星圖像更加有效的去噪,最大程度提取關鍵邊緣信息。