吳連慧，周建江，夏偉杰，陳雅雯

（南京航空航天大學(xué) 電子信息工程學(xué)院，南京210016）

引 言

現(xiàn)代機(jī)載視頻圖形顯示系統(tǒng)對于實(shí)時(shí)性等性能的要求越來越高。常見的系統(tǒng)架構(gòu)主要分為3種：

①基于GSP＋VRAM＋ASIC的架構(gòu)[1]。優(yōu)點(diǎn)是，圖形ASIC能夠有效提高圖形顯示質(zhì)量和速度；缺點(diǎn)是，國內(nèi)復(fù)雜的ASIC設(shè)計(jì)成本極高且工藝還不成熟。

②基于DSP＋FPGA的架構(gòu)[2]。優(yōu)點(diǎn)是，充分發(fā)揮DSP對算法分析處理和FPGA對數(shù)據(jù)流并行執(zhí)行的獨(dú)特優(yōu)勢，提高圖形處理的性能；缺點(diǎn)是，上層CPU端將OpenGL繪圖函數(shù)封裝后發(fā)給DSP，DSP拆分后再調(diào)用FPGA，系統(tǒng)的集成度不高，接口設(shè)計(jì)復(fù)雜。

③基于FPGA的SOPC架構(gòu)[3]。優(yōu)點(diǎn)是，集成度非常高；缺點(diǎn)是，邏輯與CPU整合到一起，不利于開發(fā)。

經(jīng)過對比，機(jī)載視頻圖形顯示系統(tǒng)的架構(gòu)設(shè)計(jì)可優(yōu)化空間，值得進(jìn)一步深入研究，從而設(shè)計(jì)出實(shí)時(shí)性更高的方案。

本文設(shè)計(jì)一種基于FPGA的圖形生成與視頻處理系統(tǒng)，能夠?qū)崿F(xiàn)2D圖形和字符的繪制，構(gòu)成各種飛行參數(shù)畫面，同時(shí)疊加外景視頻圖像。在保證顯示質(zhì)量的同時(shí)，對其進(jìn)行優(yōu)化，進(jìn)一步提高實(shí)時(shí)性，減少內(nèi)部BRAM的使用，降低DDR3的吞吐量。

1 總體架構(gòu)設(shè)計(jì)

本系統(tǒng)總體設(shè)計(jì)方案如圖1所示。以Xilinx的Kintex-7 FPGA為核心，構(gòu)建出一個(gè)實(shí)時(shí)性高的機(jī)載視頻圖形顯示系統(tǒng)。上層CPU接收來自飛控、導(dǎo)航等系統(tǒng)的圖形和視頻控制命令，對數(shù)據(jù)進(jìn)行格式化和預(yù)處理后，通過PCIe接口傳送給FPGA。本文主要是進(jìn)行FPGA內(nèi)部邏輯模塊的設(shè)計(jì)和優(yōu)化。

圖1 機(jī)載顯示系統(tǒng)總體設(shè)計(jì)框圖

2 機(jī)載顯示系統(tǒng)架構(gòu)設(shè)計(jì)

機(jī)載顯示系統(tǒng)設(shè)計(jì)主要包括2D繪圖、視頻處理和疊加輸出。2D繪圖功能包括直線、圓、字符等的快速生成。視頻處理功能包括輸入視頻選擇、視頻縮放、旋轉(zhuǎn)、翻轉(zhuǎn)等處理。疊加輸出功能，將視頻作為背景與圖形疊加，送到兩路DVI輸出，一路經(jīng)過預(yù)畸變校正后輸出到屏顯上，另一路直接輸出來進(jìn)行地面記錄。

為了實(shí)現(xiàn)上述功能，F(xiàn)PGA邏輯設(shè)計(jì)的整體流程圖如圖2所示。

圖2 FPGA邏輯設(shè)計(jì)的整體流程圖

2.1 實(shí)時(shí)性分析

視頻處理既要實(shí)現(xiàn)單純的外視頻處理，同時(shí)又要能夠?qū)崿F(xiàn)疊加后視頻處理。以旋轉(zhuǎn)處理為例，若在單純外視頻旋轉(zhuǎn)處理后，與圖形疊加，再進(jìn)行疊加后旋轉(zhuǎn)處理，延遲非常大。因此為了提高實(shí)時(shí)性，考慮將圖形整體和外視頻分別進(jìn)行旋轉(zhuǎn)處理后，再相互疊加。整個(gè)流程中，幀速率提升模塊延遲最大。

幀速率提升指在原有的圖像幀之間插值出新的圖像幀。常見的幀速率提升算法[4]主要包括幀復(fù)制法、幀平均法和運(yùn)動補(bǔ)償法。綜合考慮顯示效果和實(shí)時(shí)性要求，最終選擇幀復(fù)制法。幀復(fù)制法易于實(shí)現(xiàn)、計(jì)算量小。其表達(dá)式為：

此處輸入PAL視頻幀速率為25幀/s，輸出DVI視頻幀速率為60幀/s，即在0.2 s內(nèi)將5幀圖像插值到12幀。如圖3所示，DDR3中開辟5幀存儲空間用于存放25 Hz的原始圖像，在0.2 s內(nèi)輸入5幀原始圖像，輸出12幀圖像。延遲為PAL的1.5～2.6幀，最大延遲為2.6×（1/25 Hz）＝104 ms。

圖3 幀速率提升示意圖

2.2 BRAM資源占用

機(jī)載顯示系統(tǒng)利用1片DDR3作為外部存儲器，所有圖形和視頻數(shù)據(jù)都需要緩存到DDR3中。為了解決數(shù)據(jù)存儲沖突，需要將數(shù)據(jù)先緩存到內(nèi)部BRAM中。XC7k410T共有795個(gè)36 Kb的BRAM。整個(gè)流程中，BRAM資源占用最大的是圖形整體旋轉(zhuǎn)和視頻旋轉(zhuǎn)模塊。

視頻旋轉(zhuǎn)包括兩個(gè)基本操作[5]：空間坐標(biāo)變換和灰度級插值?；叶燃壊逯邓惴ㄟx擇雙線性插值，此處重點(diǎn)討論空間坐標(biāo)變換的選擇。空間坐標(biāo)變換主要包括兩種：正向映射和反向映射。由于正向映射旋轉(zhuǎn)后得到浮點(diǎn)坐標(biāo)，而圖像坐標(biāo)是整點(diǎn)，使得旋轉(zhuǎn)圖像存在“空洞”現(xiàn)象，因此采用反向映射。反向旋轉(zhuǎn)映射算法的思想是：對旋轉(zhuǎn)后的每行每個(gè)像素坐標(biāo)（x′，y′）進(jìn)行遍歷，繞屏幕中心（x0，y0）沿逆時(shí)針旋轉(zhuǎn)-θ角度后，得到旋轉(zhuǎn)前圖像坐標(biāo)（x，y）。（x′，y′）與（x，y）之間的反變換公式為：

反向旋轉(zhuǎn)映射的優(yōu)點(diǎn)是，旋轉(zhuǎn)后坐標(biāo)反向旋轉(zhuǎn)，除了超出原始坐標(biāo)范圍的，在旋轉(zhuǎn)前坐標(biāo)中都能對應(yīng)到浮點(diǎn)坐標(biāo)，并可以用該坐標(biāo)鄰域的像素點(diǎn)來唯一確定該坐標(biāo)的像素值，不會出現(xiàn)“空洞”現(xiàn)象。

圖4 視頻旋轉(zhuǎn)算法示意圖

充分考慮項(xiàng)目的特殊情況，由于項(xiàng)目中旋轉(zhuǎn)是用來校正屏幕的，旋轉(zhuǎn)角度范圍是-10≤θ≤10。如圖4所示，對旋轉(zhuǎn)后目標(biāo)圖像的第N行進(jìn)行反向旋轉(zhuǎn)獲取坐標(biāo)時(shí)，原始坐標(biāo)在N-M～N＋M行之間。分辨率為1920×1080且角度為10°時(shí)，M 為1920/2×sin（10π/180）＝167行，即當(dāng)計(jì)算輸出第N行時(shí)，需要知道原始圖像的N-167～N＋167行來獲取，即需要緩存334行，每行需要1920×16＝30 Kb，即一共需要279個(gè)36 Kb的BRAM。

2.3 DDR3吞吐量分析

本系統(tǒng)處理的數(shù)據(jù)量大，F(xiàn)PGA內(nèi)部的存儲資源無法滿足數(shù)據(jù)存儲要求，需要配置系統(tǒng)外部存儲器DDR3[6]。從圖2可以看出，整個(gè)系統(tǒng)流程最多經(jīng)過DDR3共9次。每次讀寫DDR3的必要性和數(shù)據(jù)量略——編者注。

表1為該系統(tǒng)數(shù)據(jù)吞吐量的匯總表，其吞吐量合計(jì)為2 677.6 MB/s。

表1 系統(tǒng)數(shù)據(jù)吞吐量匯總表

本設(shè)計(jì)采用DDR3作為系統(tǒng)外部存儲器，其型號為W3H128M72E，數(shù)據(jù)寬度為72位（64位為數(shù)據(jù)位，8位為校正位），采用的時(shí)鐘頻率為400 MHz。由于DDR3在上升沿和下降沿都進(jìn)行數(shù)據(jù)的讀寫操作，等效于其內(nèi)部讀寫時(shí)鐘頻率為800 MHz，即數(shù)據(jù)帶寬為6400 MB/s（800 MHz×64位），滿足設(shè)計(jì)系統(tǒng)的數(shù)據(jù)吞吐量要求。

3 機(jī)載顯示系統(tǒng)架構(gòu)優(yōu)化

設(shè)計(jì)的機(jī)載顯示系統(tǒng)架構(gòu)能夠滿足性能要求，但是還需要進(jìn)一步優(yōu)化。如圖5所示，改變不同模塊之間的順序來優(yōu)化設(shè)計(jì)，同時(shí)改進(jìn)算法。具體改變?nèi)缦拢?/p>

①圖形整體相對于屏幕的縮放和旋轉(zhuǎn)功能在CPU端發(fā)送命令前實(shí)現(xiàn)。因?yàn)镃PU端旋轉(zhuǎn)和縮放是針對頂點(diǎn)進(jìn)行的，方便快速，同時(shí)減少了FPGA的BRAM資源占用，也減少了進(jìn)出DDR3的次數(shù)。

②改進(jìn)幀速率提升算法，進(jìn)一步減少延遲，提高實(shí)時(shí)性。

③改進(jìn)視頻旋轉(zhuǎn)算法，進(jìn)一步減少緩存區(qū)的大小，降低BRAM的占用率。

④幀速率提升和平移、翻轉(zhuǎn)、鏡像都需要通過讀寫DDR3來完成，將兩者合并，同時(shí)完成，減少進(jìn)出DDR3的次數(shù)。

圖5 FPGA邏輯優(yōu)化的整體流程圖

3.1 實(shí)時(shí)性分析

實(shí)時(shí)性是機(jī)載顯示系統(tǒng)重要的衡量標(biāo)準(zhǔn)之一。為了確保飛機(jī)運(yùn)行安全，必須確保視頻處理的各個(gè)模塊都有較高的實(shí)時(shí)性。視頻采集、視頻縮放、視頻校正、視頻輸出延遲都是幾行，延遲時(shí)間在0.1 ms以內(nèi)。幀速率提升模塊的延遲遠(yuǎn)大于其他各個(gè)模塊延遲之和，需要進(jìn)一步改進(jìn)，在保證顯示質(zhì)量的同時(shí)，進(jìn)一步縮短延遲時(shí)間。

改進(jìn)的幀速率提升算法仍使用幀復(fù)制法。在DDR3中，開辟4個(gè)存儲空間做切換，用于存放幀速率為25 Hz、場速率為50 Hz的PAL圖像。有4個(gè)場緩存區(qū)，當(dāng)接收當(dāng)前幀的奇場后與前一幀的偶場結(jié)合成一幀數(shù)據(jù)輸出。

圖6 幀速率改進(jìn)算法示意圖

幀速率改進(jìn)算法示意圖如圖6所示。A場正好寫完，B場正好讀完，下一幀讀取A場數(shù)據(jù)，這樣延遲為PAL的1場（半幀）；A場正好還差1行寫完，B場已讀完，下一幀繼續(xù)讀B場，這樣延遲為PAL的1＋（25/60）＝1.42場。延遲為PAL的1～1.42場。最大延遲為1.42×（1/50 Hz）＝28.4 ms。

3.2 BRAM資源占用

原設(shè)計(jì)的機(jī)載顯示系統(tǒng)架構(gòu)使用反向映射的方法實(shí)現(xiàn)旋轉(zhuǎn)算法，每一行旋轉(zhuǎn)后數(shù)據(jù)反向旋轉(zhuǎn)時(shí)需要緩存334行視頻旋轉(zhuǎn)前數(shù)據(jù)，即需要279個(gè)36 Kb的BRAM。相對于其他模塊緩存幾行相比，占用了大量的BRAM空間，因此需要改進(jìn)。

視頻旋轉(zhuǎn)算法優(yōu)化的方法是，提出一種改進(jìn)的旋轉(zhuǎn)映射法，降低緩存空間，示意圖如圖7所示。對以行掃描的方式獲取的視頻圖像，緩存兩行就能開始旋轉(zhuǎn)處理。先進(jìn)行正向映射，根據(jù)當(dāng)前兩行對應(yīng)的旋轉(zhuǎn)后浮點(diǎn)坐標(biāo)，找到兩行內(nèi)的整點(diǎn)坐標(biāo)，再對其進(jìn)行反向映射，利用當(dāng)前兩行來得到旋轉(zhuǎn)后整點(diǎn)坐標(biāo)的像素值。

圖7 視頻旋轉(zhuǎn)改進(jìn)算法示意圖

該算法涉及原始圖像中的2×2大小鄰域，為了提高該模塊的處理速度，設(shè)計(jì)了1組由3個(gè)雙端口塊存儲器BRAM組成的原始圖像數(shù)據(jù)緩存器。每個(gè)BRAM用來存儲一行原始圖像的數(shù)據(jù)，3個(gè)BRAM中存儲的原始圖像數(shù)據(jù)包括當(dāng)前旋轉(zhuǎn)計(jì)算涉及的2行原始圖像數(shù)據(jù)以及下一行旋轉(zhuǎn)計(jì)算涉及的1行原始圖像數(shù)據(jù)。因此，需要緩存3行，使用3個(gè)36 Kb的BRAM。

3.3 DDR3吞吐量分析

從圖5可以看出，優(yōu)化后的系統(tǒng)流程最多經(jīng)過DDR3共5次。每次讀寫DDR3的必要性和數(shù)據(jù)量略——編者注。

表2為該系統(tǒng)數(shù)據(jù)吞吐量的匯總表，其吞吐量合計(jì)為2 135.7 MB/s。DDR3 的 數(shù) 據(jù) 帶 寬 為 6 400 MB/s（800 MHz×64 bit），滿足本設(shè)計(jì)系統(tǒng)的數(shù)據(jù)吞吐量要求。

表2 優(yōu)化后系統(tǒng)數(shù)據(jù)吞吐量匯總表

結(jié) 語

本文設(shè)計(jì)一種基于FPGA的機(jī)載顯示系統(tǒng)架構(gòu)，能夠?qū)崿F(xiàn)2D圖形繪制，構(gòu)成各種飛行參數(shù)畫面，同時(shí)疊加外景視頻圖像。實(shí)時(shí)性方面，幀速率提升模塊延遲最大為104 ms；BRAM資源占用方面，視頻旋轉(zhuǎn)算法需要279個(gè)36 Kb的BRAM；DDR3吞吐量方面，系統(tǒng)吞吐量為2 677.6 MB/s。

優(yōu)化后的機(jī)載顯示系統(tǒng)，實(shí)時(shí)性方面，幀速率提升模塊延遲最大為28.4 ms；BRAM資源占用方面，視頻旋轉(zhuǎn)算法需要3個(gè)36 Kb的BRAM；DDR3吞吐量方面，吞吐量為2135.7 MB/s。

經(jīng)過對比分析，優(yōu)化后的機(jī)載顯示系統(tǒng)實(shí)時(shí)性提高、BRAM資源占用減少、吞吐量降低，整體性能得到了提升。

編者注：本文為期刊縮略版，全文見本刊網(wǎng)站www.mesnet.com.cn。

[1]Bailey D C.F-22 cockpit display system[C]//SPIE＇s International Symposium on Optical Engineering and Photonics in Aerospace Sensing.Phoenix.AZ：International Society for Optics and Photonics，1994：157-165.

[2]李孟華，牛文生，裴靜靜.DSP＋FPGA結(jié)構(gòu)的嵌入式圖形處理設(shè)計(jì)[J].航空計(jì)算技術(shù)，2013（1）：120-122.

[3]謝軍，杜黎明，史小白.用SoC實(shí)現(xiàn)視頻圖形引擎功能的研究[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2002（10）：23-26.

[4]張曉燕.基于FPGA的機(jī)載視頻處理與圖形生成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京航空航天大學(xué)，2012.

[5]王濱海，許正飛，陳西廣，等.圖像旋轉(zhuǎn)算法的分析與對比[J].光學(xué)與光電技術(shù)，2011，9（2）：46-49.

[6]劉德保，汪安民.多核DSP芯片TMS320C6678的DDR3接口設(shè)計(jì)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2013，13（9）：53-55.