王有春，徐 昕，謝 芳，平佳偉，韓雨桐，王曉林，向四桂

(1.上海航天電子技術(shù)研究所，上海 201109；2.北京宇航系統(tǒng)工程研究所，北京 100076；3.航天系統(tǒng)工程研究所，北京 100048)

0 引言

隨著航天運(yùn)載領(lǐng)域的不斷發(fā)展，新技術(shù)不斷應(yīng)用，新型的低溫燃料運(yùn)載火箭不斷立項(xiàng)并入列執(zhí)行任務(wù)，運(yùn)載火箭作為航天探索領(lǐng)域的基礎(chǔ)[1]，在總裝、總測和發(fā)射前都需要與后端地面測發(fā)控系統(tǒng)進(jìn)行通信，進(jìn)行功能和性能的全面檢查和確認(rèn)。箭地通信裝置是連接運(yùn)載火箭箭上單機(jī)和后端地面測發(fā)控系統(tǒng)的關(guān)鍵通信設(shè)備，其通信質(zhì)量的好壞將直接影響箭上與地面系統(tǒng)通信的穩(wěn)定性、可靠性和安全性。

箭地通信裝置通過LVDS/RS422電纜與箭上系統(tǒng)通信，通過網(wǎng)絡(luò)與后端測發(fā)控進(jìn)行通信，同時(shí)需要具備信號處理以及數(shù)據(jù)分析的功能。傳統(tǒng)運(yùn)載火箭的箭地通信多采用工控機(jī)和功能板卡的形式，以工控機(jī)為核心進(jìn)行數(shù)據(jù)分析，以功能辦卡為外設(shè)實(shí)現(xiàn)信號處理和通信，這種方式具有板卡更換方便、軟件開發(fā)方便的優(yōu)點(diǎn)，但是同時(shí)帶來了體積大、重量大、可靠性低、價(jià)格昂貴等缺點(diǎn)。

目前，基于ZYNQ架構(gòu)的FPGA+ARM技術(shù)逐漸成熟，在民用市場已經(jīng)得到廣泛應(yīng)用，也逐漸進(jìn)入航天領(lǐng)域，針對箭地通信裝置的需求以及傳統(tǒng)方式缺點(diǎn)的深入分析和研究后，本文采用ZYNQ架構(gòu)研制了一套以ARM為主控核心進(jìn)行資源調(diào)度以及網(wǎng)絡(luò)通信控制、以FPGA作為邏輯控制核心進(jìn)行信號處理及高速LVDS/RS422通信控制的高速箭地通信裝置，同時(shí)通過雙機(jī)熱備份實(shí)現(xiàn)全冗余。該方案相比傳統(tǒng)方案具有通用性強(qiáng)、可靠性高、傳輸距離遠(yuǎn)、集成度高的特點(diǎn)，是箭地通信的一種新的解決方案，也符合高性能、低成本、通用性的航天產(chǎn)品研發(fā)理念。

1 系統(tǒng)結(jié)構(gòu)及原理

通信裝置主要需要滿足與箭上通信、與地面測發(fā)控系統(tǒng)通信、本地邏輯處理等功能。

根據(jù)使用需求，將通信裝置進(jìn)行功能層次劃分，主要分為軟件層、硬件實(shí)現(xiàn)層、接口層。系統(tǒng)組成框圖如圖1所示。

圖1 系統(tǒng)組成框圖

軟件層，運(yùn)行在Linux系統(tǒng)上，由網(wǎng)絡(luò)通信、數(shù)據(jù)存儲(chǔ)、DMA(direct memory access，直接存儲(chǔ)器訪問)通信、自檢及狀態(tài)監(jiān)測、數(shù)據(jù)解析5個(gè)功能模塊組成。主要完成上行郵箱數(shù)據(jù)的網(wǎng)絡(luò)接收、數(shù)據(jù)解析、DMA總線發(fā)送，下行郵箱數(shù)據(jù)和總線數(shù)據(jù)的DMA總線接收、數(shù)據(jù)解析、網(wǎng)絡(luò)轉(zhuǎn)發(fā)，信息流的存儲(chǔ)，裝置自檢及狀態(tài)監(jiān)測。

硬件實(shí)現(xiàn)層，主要包括AXI_DMA傳輸控制、數(shù)據(jù)存儲(chǔ)控制、數(shù)據(jù)采集及輸出、數(shù)據(jù)組幀以及ARM單元的生成。硬件實(shí)現(xiàn)層通過對需求深入分析，按功能進(jìn)行分割，進(jìn)行模塊化設(shè)計(jì)，包括總線及郵箱數(shù)據(jù)采集單元的邏輯設(shè)計(jì)，郵箱輸出單元的邏輯設(shè)計(jì)、數(shù)據(jù)8B/10B編解碼的邏輯設(shè)計(jì)以及組幀拆幀的邏輯設(shè)計(jì)，最終實(shí)現(xiàn)了功能的一體化集成。

接口層，主要包括網(wǎng)絡(luò)接口和高速串行總線接口。網(wǎng)絡(luò)接口實(shí)現(xiàn)雙網(wǎng)口綁定并與后端測發(fā)控系統(tǒng)的連接，高速串行總線接口完成與箭上設(shè)備的連接，包括節(jié)點(diǎn)、通道的分配，輸入輸出電平的匹配。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 原理設(shè)計(jì)

通信裝置采用分體式模塊設(shè)計(jì)，結(jié)構(gòu)尺寸設(shè)計(jì)為1U標(biāo)準(zhǔn)機(jī)箱，硬件結(jié)構(gòu)如圖2所示。各個(gè)模塊通過內(nèi)部接口連接到一起，同時(shí)可以通過背板擴(kuò)展出更多模塊。

圖2 硬件結(jié)構(gòu)圖

通信裝置根據(jù)功能可將內(nèi)部劃分為主制模塊、背板模塊、接口通信模塊以及電源模塊等。

主控模塊內(nèi)部集成處理器，DDR3高速緩存、大容量FLASH、RTC實(shí)時(shí)時(shí)鐘以及網(wǎng)絡(luò)控制器，主要完成系統(tǒng)控制、數(shù)據(jù)處理、以及與后端地面系統(tǒng)的數(shù)據(jù)通信工作。

背板互聯(lián)模塊主要提供系統(tǒng)內(nèi)部電源分配、模塊之間數(shù)據(jù)交互、機(jī)箱風(fēng)扇以及指示燈的接口。

接口通信模塊主要功能是完成設(shè)備LVDS/RS422接口的隔離和驅(qū)動(dòng)電路[2-3]。

實(shí)現(xiàn)與箭上系統(tǒng)的通信，通過LVDS/RS422接口接收箭上總線數(shù)據(jù)和郵箱數(shù)據(jù)，向箭上發(fā)送郵箱數(shù)據(jù)，滿足箭地之間150米的傳輸距離，10 Mbps波特率帶寬下的可靠傳輸。

通信裝置的功能框圖如圖3所示。

圖3 功能框圖

2.2 主要元器件選型

1)FPGA芯片:

FPGA采用XC7Z020芯片，該芯片主要分為PS和PL兩部分，PS部分為處理器系統(tǒng)，包含雙核ARM Cortex A9，運(yùn)行頻率776 MHz，有豐富的外設(shè)接口，例如CAN、UART、I2C、SPI、USB、SDIO、EMMC等；PL部分為可編程邏輯系統(tǒng)，帶有CLB、Block RAM等資源。PS和PL之間通過AXI接口進(jìn)行通訊[4]。

2)存儲(chǔ)模塊:

存儲(chǔ)模塊由2片DDR3、1片EMMC和1片QSPI FLASH組成。其中DDR3的型號為MT41J256M16HA-125IT，容量為1 GB、位寬為32 BIT，最大速率1 600 MHz，用于操作系統(tǒng)內(nèi)存。EMMC的型號為THGBMBG8D4KBAIR，容量為8 GB，用于操作系統(tǒng)文件存儲(chǔ)。QSPI FLASH，型號為S25FL128SAGMFIR01，容量為256 MBIT，用于存儲(chǔ)FPGA代碼。

3)接口通信模塊:

接口通信模塊主要由隔離芯片和RS422接口芯片組成，隔離芯片采用TI公司的ISO7221C，該芯片內(nèi)部采用電容隔離方式，傳輸速率可達(dá)25 Mbps，該芯片主要用于保護(hù)設(shè)備間通信安全，防止一方設(shè)備故障時(shí)損壞另一方設(shè)備。RS422接口芯片采用TI公司的SN65HVD23，該芯片主要用于長距離線纜傳輸?shù)尿?qū)動(dòng)。

2.3 系統(tǒng)資源分配

通信裝置需要兼顧ARM運(yùn)行LINUX操作系統(tǒng)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)解析處理以及FPGA端進(jìn)行接口數(shù)據(jù)的時(shí)序處理的需求，需要合理分配ZYNQ內(nèi)部公用資源[5]，搭建芯片的內(nèi)部系統(tǒng)硬件平臺為操作系統(tǒng)提供運(yùn)行環(huán)境，同時(shí)也為內(nèi)部ARM與FPGA之間建立AXI總線通信通道。

為通信裝置分配了兩個(gè)以太網(wǎng)控制器用于雙網(wǎng)口通信、兩個(gè)串口控制器用于系統(tǒng)配置參數(shù)交互、兩個(gè)DMA控制器用于FPGA與ARM之間的雙向數(shù)據(jù)傳輸、一個(gè)EMMC控制器用于系統(tǒng)文件存儲(chǔ)、一個(gè)DDR3控制器用于操作系統(tǒng)緩存、一個(gè)USB控制器用于系統(tǒng)調(diào)試、若干個(gè)GPIO用于狀態(tài)指示和風(fēng)扇控制。

2.4 雙機(jī)冗余備份設(shè)計(jì)

雙機(jī)冗余備份是硬件設(shè)計(jì)中的技術(shù)難點(diǎn)和關(guān)鍵技術(shù)，在硬件設(shè)計(jì)時(shí)綜合考慮后端地面系統(tǒng)和前端箭上系統(tǒng)的需求，采用兩臺硬件完全相同的通信裝置構(gòu)建整個(gè)系統(tǒng)。

通過在通信裝置1和通信裝置2之間的電纜互連，實(shí)現(xiàn)對箭上系統(tǒng)的全冗余，兩臺裝置可以同時(shí)接收箭上下行的數(shù)據(jù)。

同時(shí)兩臺通信裝置都處于正常工作狀態(tài)，將收到的數(shù)據(jù)解析后同時(shí)發(fā)送給后端地面系統(tǒng)，實(shí)現(xiàn)對地面系統(tǒng)的全冗余，后端地面系統(tǒng)根據(jù)當(dāng)班狀態(tài)選取其中一路數(shù)據(jù)。

圖4 主控軟件設(shè)計(jì)

3 系統(tǒng)軟件設(shè)計(jì)

3.1 ARM主控軟件設(shè)計(jì)

主控軟件運(yùn)行在Linux系統(tǒng)上，為了實(shí)現(xiàn)主控軟件的通用性以及擴(kuò)展性，開發(fā)時(shí)采用了多層次的軟件架構(gòu)[6]，采用模塊化設(shè)計(jì)，多層次接口標(biāo)準(zhǔn)開放，便于迭代開發(fā)和重構(gòu)，應(yīng)用于不同的場合，軟件架構(gòu)如圖5所示。

圖5 主控軟件設(shè)計(jì)

主控軟件作為設(shè)備運(yùn)行核心，實(shí)現(xiàn)了設(shè)備上電后自啟動(dòng)，實(shí)時(shí)監(jiān)測設(shè)備的自身狀態(tài)以及鏈路接口的狀態(tài)，通過網(wǎng)絡(luò)與系統(tǒng)內(nèi)其它軟件進(jìn)行通信，通過AXI總線與硬件層交互，對接收的指令及數(shù)據(jù)進(jìn)行存儲(chǔ)，實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)通信及內(nèi)部總線通信等關(guān)鍵功能，信息流如圖6所示。

圖6 主控軟件信息流

3.2 FPGA軟件設(shè)計(jì)

根據(jù)功能，對FPGA軟件進(jìn)行模塊化設(shè)計(jì)[7]。其中串行通信模塊進(jìn)行高速串行通信接口的時(shí)序控制、根據(jù)高速串行通信協(xié)議完成數(shù)據(jù)的收發(fā)；8B/10編碼模塊完成發(fā)送和接收數(shù)據(jù)的8B/10B編解碼；數(shù)據(jù)組幀發(fā)送模塊以及數(shù)據(jù)接收解析模塊對從網(wǎng)絡(luò)接口接收的數(shù)據(jù)進(jìn)行組幀、對外部LVDS/RS422接收的數(shù)據(jù)進(jìn)行解析；參數(shù)配置模塊以及系統(tǒng)交互模塊完成FPGA與ARM之間的AXI總線控制以及RTC時(shí)鐘授時(shí)。

FPGA軟件工作時(shí)，數(shù)據(jù)流圖如圖7所示。

圖7 FPGA軟件信息流

3.3 多DMA通道傳輸設(shè)計(jì)

箭地間通信具有數(shù)據(jù)量大、傳輸速度快、傳輸通道多的特點(diǎn)，采用單DMA通道進(jìn)行通信會(huì)導(dǎo)致系統(tǒng)資源占用嚴(yán)重、調(diào)度不及時(shí)，從而導(dǎo)致數(shù)據(jù)丟失或異常情況，因此需要采用多DMA通道。多DMA通道并行傳輸?shù)氖潜疚牡募夹g(shù)難點(diǎn)和關(guān)鍵技術(shù)之一。

本文采用了雙DMA引擎四DMA控制器的方案實(shí)現(xiàn)多通道并行傳輸，各通道承擔(dān)的功能如表1所示。

表1 多DMA通道分配

針對多通道并行工作時(shí)可能造成的系統(tǒng)資源競爭以及內(nèi)存資源不足的情況，在軟件中綜合采用多線程技術(shù)、高精度定時(shí)技術(shù)、資源鎖等方式，用高性能C語言開發(fā)了DMA傳輸模塊，并封裝為動(dòng)態(tài)鏈接庫，主控軟件通過調(diào)用該動(dòng)態(tài)鏈接庫與硬件的總線通信，這種形式具有較高的擴(kuò)展性以及可靠性。

多DMA通道同時(shí)接收箭上郵箱和總線數(shù)據(jù)時(shí)，在接收線程中直接進(jìn)行數(shù)據(jù)處理會(huì)導(dǎo)致單線程占用CPU時(shí)間長，從而引發(fā)系統(tǒng)CPU占用率大幅度提高，因此將數(shù)據(jù)接收以及數(shù)據(jù)處理分發(fā)分別用不同的線程來處理，涉及的主要實(shí)現(xiàn)函數(shù)如表2所示。

表2 主要實(shí)現(xiàn)函數(shù)

多DMA通道并行傳輸時(shí)，線程之間會(huì)彼此搶占CPU導(dǎo)致系統(tǒng)效率降低[8]，因此綜合利用通信裝置的2個(gè)CPU，將DMA接收線程1和郵箱數(shù)據(jù)解析線程分配給CPU1進(jìn)行處理，將DMA接收線程2和總線數(shù)據(jù)解析線程分配給CPU2進(jìn)行處理，同時(shí)采用Linux下Select函數(shù)實(shí)現(xiàn)毫秒級的高精度定時(shí)器，對多個(gè)線程進(jìn)行調(diào)度管理，避免了某個(gè)線程長期占用CPU，實(shí)現(xiàn)了CPU資源的合理分配[9]。

3.4 雙網(wǎng)口熱備份設(shè)計(jì)

本文采用雙網(wǎng)口熱備份(即雙網(wǎng)口綁定)的方式提高箭上與地面網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)目煽啃裕p網(wǎng)口綁定是本文的關(guān)鍵技術(shù)之一。

在硬件設(shè)計(jì)時(shí)配置了2個(gè)獨(dú)立的網(wǎng)卡，軟件上通過Bond方式將兩塊網(wǎng)卡綁定到一個(gè)IP地址。通過這種方式，當(dāng)一塊網(wǎng)卡發(fā)生物理性損壞的情況下，另一塊網(wǎng)卡自動(dòng)啟用，并提供正常的服務(wù)，實(shí)現(xiàn)了網(wǎng)卡的冗余，提高了網(wǎng)絡(luò)的可靠性和設(shè)備的穩(wěn)定性[10]。

雙網(wǎng)卡熱備份的實(shí)現(xiàn)步驟主要分為以下幾步：

1)在系統(tǒng)制作時(shí)將bonding模塊編譯進(jìn)內(nèi)核，每次系統(tǒng)啟動(dòng)時(shí)可以自動(dòng)加載bond模塊，無需手動(dòng)載入；

2)在系統(tǒng)中安裝負(fù)載均衡工具ifenslave；

3)進(jìn)入系統(tǒng)后，配置/etc/modules文件，將bond模式配置為模式1(Active-backup policy)，設(shè)置鏈路連接狀態(tài)監(jiān)測間隔為100毫秒；

4)進(jìn)入系統(tǒng)后，配置/etc/network/interfaces文件，將兩個(gè)網(wǎng)卡都設(shè)置為bond0模式，同時(shí)設(shè)置虛擬網(wǎng)口的IP地址等信息；

5)重啟系統(tǒng)并通過cat /pro/net/bonding/bond0查看并確認(rèn)雙網(wǎng)卡綁定狀態(tài)，當(dāng)前活動(dòng)網(wǎng)卡以及備份網(wǎng)卡。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 試驗(yàn)環(huán)境及步驟

為了驗(yàn)證通信裝置在遠(yuǎn)距離情況下高速數(shù)據(jù)傳輸?shù)男阅芎涂煽啃?，編寫了設(shè)備控制軟件和接收比對軟件，并制作了長度為1米和150米的兩根屏蔽雙絞測試電纜，在室溫條件下，對通信裝置的各個(gè)功能進(jìn)行了閉環(huán)測試，測試環(huán)境包含1臺交換機(jī)，2臺通信裝置，2臺測試計(jì)算機(jī)，測試環(huán)境中的設(shè)備及軟件說明如表3所示。

表3 測試設(shè)備及軟件

測試環(huán)境架構(gòu)如圖8所示。

圖8 測試環(huán)境

傳統(tǒng)的箭地通信裝置采用5 Mbps的波特率，而新型火箭采用10 Mbps的波特率，因此本文在測試時(shí)，采用了5 Mbps、10 Mbps的波特率，以驗(yàn)證設(shè)備可否滿足新老型號火箭的要求，同時(shí)也測試了20 Mbps的波特率，驗(yàn)證設(shè)備是否可以承受更高的傳輸壓力。

由于箭上單機(jī)與通信裝置傳輸數(shù)據(jù)時(shí)會(huì)經(jīng)過8b/10b編碼，且同時(shí)有3個(gè)通道在傳輸，因此測試時(shí)，設(shè)備實(shí)際的最大接收碼速率為波特率的2.4倍。

具體測試步驟如下：

1)兩臺通信裝置之間連接1米測試電纜；

2)啟動(dòng)通信裝置甲、通信裝置乙，設(shè)備內(nèi)部ARM和FPGA軟件上電自啟動(dòng)；

3)啟動(dòng)測試計(jì)算機(jī)1的自測軟件，啟動(dòng)測試計(jì)算機(jī)2的接收比對軟件；

4)自測軟件設(shè)置兩臺通信裝置的波特率為5 Mbps；

5)自測軟件設(shè)置通信裝置甲為發(fā)送狀態(tài)，設(shè)置發(fā)送數(shù)據(jù)的碼速率并啟動(dòng)發(fā)送；

6)通信裝置乙通過硬件接口收到數(shù)據(jù)后轉(zhuǎn)發(fā)給測試計(jì)算機(jī)2的接收比對軟件；

7)接收比對軟件實(shí)時(shí)接收數(shù)據(jù)并對數(shù)據(jù)進(jìn)行判讀，記錄測試結(jié)果。

8)自測軟件設(shè)置兩臺通信裝置的波特率為10 Mbps和20 Mbps并分別重復(fù)4)～6)步驟，記錄測試結(jié)果；

9)通信裝置斷電，換150米測試電纜連接；

10)重復(fù)2)～8)測試步驟，并記錄測試結(jié)果。

4.2 結(jié)果分析

首先對150米電纜情況下的測試數(shù)據(jù)進(jìn)行分析，測試結(jié)果統(tǒng)計(jì)如表4所示。

表4 試驗(yàn)結(jié)果(150米測試電纜)

測試結(jié)果表明，通道波特率設(shè)置為10 Mbps時(shí)，設(shè)備可以穩(wěn)定工作，沒有丟包和誤碼現(xiàn)象，可以滿足新老型號火箭的通訊要求。而通道波特率設(shè)置為20 Mbps時(shí)，信號在鏈路層衰減過于嚴(yán)重，從而出現(xiàn)了丟包和誤碼現(xiàn)象，內(nèi)部組幀和轉(zhuǎn)義等操作受到誤碼影響，導(dǎo)致了CPU資源占用率大幅度提升。

接著對1米電纜情況下的測試數(shù)據(jù)進(jìn)行分析，測試結(jié)果統(tǒng)計(jì)如表5所示。

表5 試驗(yàn)結(jié)果(1米測試電纜)

測試結(jié)果表明，在短距離通信情況下，通信裝置工作穩(wěn)定，沒有丟包和誤碼現(xiàn)象。在短距離通信時(shí)，設(shè)備的CPU利用率主要受實(shí)際碼流速率影響，不受傳輸波特率影響。

除此之外，還對通信裝置的雙網(wǎng)口熱冗余，內(nèi)部數(shù)據(jù)存盤功能，多通道獨(dú)立工作以及裝備自檢功能進(jìn)行了驗(yàn)證，測試結(jié)果都無異常。

箭地通信裝置為部署在發(fā)射場塔架地下室，實(shí)現(xiàn)箭上數(shù)據(jù)到后端的通信轉(zhuǎn)發(fā)功能的設(shè)備。傳統(tǒng)方案采用的工控機(jī)配備多張PCI/PCIE功能卡，再加上顯示器、鼠標(biāo)、鍵盤等外設(shè)實(shí)現(xiàn)，而本文研制的通信裝置，大小為標(biāo)準(zhǔn)的19英寸1U機(jī)箱，體積小，成本低且無需人工操作，提升明顯，具體對比如表6所示。

表6 與傳統(tǒng)方案對比

本文研制的通信裝置，不僅體積縮小到原來的1/4，成本降低為原來的1/3，通信速率提高了一倍，且無需人工操作，更加安全可靠。

5 結(jié)束語

本文設(shè)計(jì)并實(shí)現(xiàn)的基于ZYNQ架構(gòu)的全冗余高速箭地通信裝置，目前已成功應(yīng)用在某新型低溫液體運(yùn)載火箭上，該通信裝置具有小型化、成本低、擴(kuò)展靈活、運(yùn)行可靠和性能優(yōu)越的特點(diǎn)，后續(xù)可廣泛應(yīng)用在我國航天發(fā)射領(lǐng)域以及地面通信領(lǐng)域。