楊光宇，朱 丹，佟新鑫，王玉良，栗霄峰

(1.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所，遼寧 沈陽(yáng) 110016;2.中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110016;3.遼寧省圖像理解與視覺(jué)計(jì)算重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110016)

責(zé)任編輯:孫 卓

0 引言

電子穩(wěn)像技術(shù)是綜合電子、計(jì)算機(jī)、數(shù)字信號(hào)處理等技術(shù)，利用數(shù)字圖像處理方法直接確定圖像序列的偏移并進(jìn)行補(bǔ)償?shù)募夹g(shù)［1］。利用電子穩(wěn)像技術(shù)對(duì)不穩(wěn)定的視頻序列進(jìn)行穩(wěn)定處理，可提高監(jiān)視質(zhì)量，便于后續(xù)應(yīng)用處理。電子穩(wěn)像技術(shù)廣泛用于機(jī)器導(dǎo)航、目標(biāo)識(shí)別與跟蹤、安全監(jiān)控等視頻分析和處理領(lǐng)域。實(shí)際應(yīng)用中對(duì)電子穩(wěn)像系統(tǒng)的處理時(shí)間、體積、重量、功耗等要求不斷提高，基于嵌入式的實(shí)時(shí)電子穩(wěn)像系統(tǒng)具有更高的實(shí)際應(yīng)用價(jià)值。

鑒于電子穩(wěn)像技術(shù)在軍事和民用領(lǐng)域中的重要作用，美國(guó)、加拿大、以色列等國(guó)家較早地進(jìn)行了研究和開(kāi)發(fā)，并取得了一定成果。我國(guó)在2000年之后開(kāi)始進(jìn)行穩(wěn)像技術(shù)研究。中國(guó)科學(xué)院長(zhǎng)春光機(jī)所鐘平針對(duì)具體應(yīng)用環(huán)境特點(diǎn)，采用基于特征跟蹤的電子穩(wěn)像方法用于機(jī)載電子穩(wěn)像，取得了良好的結(jié)果［2］。哈爾濱工業(yè)大學(xué)張博等將基于幀矢量疊加和自適應(yīng)中止技術(shù)的快速運(yùn)動(dòng)估計(jì)方法用于電子穩(wěn)像，運(yùn)算量顯著減?。?］。國(guó)防科大羅詩(shī)途等采用了一種由粗到精、由局部到全局配準(zhǔn)的高效匹配策略實(shí)現(xiàn)了車(chē)載圖像匹配，滿(mǎn)足了車(chē)載圖像跟蹤系統(tǒng)對(duì)電子穩(wěn)像技術(shù)的實(shí)時(shí)性及精度要求［4］。這些電子穩(wěn)像系統(tǒng)大多基于VC編程在PC機(jī)上實(shí)現(xiàn)。北京理工大學(xué)趙躍進(jìn)采用XC95144XL CPLD+DSP6711為處理平臺(tái)實(shí)現(xiàn)了256×256像素圖像的實(shí)時(shí)穩(wěn)定［5］。中國(guó)科學(xué)院長(zhǎng)春光機(jī)所孫輝采用灰度投影法檢測(cè)序列圖像當(dāng)前幀和參考幀之間的運(yùn)動(dòng)矢量實(shí)現(xiàn)亞像元檢測(cè)，并基于DSP6416圖像處理平臺(tái)應(yīng)用在船載電視監(jiān)視系統(tǒng)中，但沒(méi)有講述硬件實(shí)現(xiàn)過(guò)程［6］。本文重點(diǎn)研究了基于EP2S30 FPGA+DSP6416架構(gòu)的電子穩(wěn)像平臺(tái)硬件開(kāi)發(fā)流程。采用灰度投影算法，本平臺(tái)能實(shí)時(shí)完成25 f/s的標(biāo)準(zhǔn)PAL制視頻的穩(wěn)定。

1 灰度投影算法簡(jiǎn)介

電子穩(wěn)像的原理是對(duì)不穩(wěn)定的視頻序列圖像進(jìn)行局部運(yùn)動(dòng)估計(jì)和全局運(yùn)動(dòng)估計(jì)，并對(duì)運(yùn)動(dòng)參數(shù)進(jìn)行綜合評(píng)價(jià)得到運(yùn)動(dòng)補(bǔ)償參數(shù)，進(jìn)而對(duì)圖像進(jìn)行運(yùn)動(dòng)校正得到穩(wěn)定的輸出圖像序列。依據(jù)上述原理，電子穩(wěn)像過(guò)程分為運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波、運(yùn)動(dòng)補(bǔ)償3個(gè)部分，而關(guān)鍵技術(shù)就在于估計(jì)視頻序列圖像相鄰兩幀之間的全局運(yùn)動(dòng)參數(shù)。

灰度投影算法的原理是基于行列灰度曲線的變化規(guī)律進(jìn)行運(yùn)動(dòng)估計(jì)，其方法是將灰度圖像的二維圖像信息映射成2個(gè)獨(dú)立的一維波形，即獲取圖像的行列灰度投影曲線，然后進(jìn)行相關(guān)運(yùn)算，找到相關(guān)值曲線中的單峰值即為當(dāng)前圖像相對(duì)于參考圖像的位移值?；叶韧队八惴ㄗ鳛橐环N二維平移模型的算法具有獨(dú)到的優(yōu)勢(shì)，例如計(jì)算速度快，易于VLSI實(shí)現(xiàn)等。

2 電子穩(wěn)像平臺(tái)設(shè)計(jì)

2.1 平臺(tái)硬件設(shè)計(jì)方案

電子穩(wěn)像平臺(tái)硬件結(jié)構(gòu)框圖如圖1所示。平臺(tái)完成灰度投影法電子穩(wěn)像的流程為:視頻解碼器接收模擬視頻并將其轉(zhuǎn)換為數(shù)字視頻數(shù)據(jù)流送入FPGA內(nèi)部的圖像采集控制模塊。圖像采集控制模塊進(jìn)行圖像處理區(qū)域的剪裁和圖像數(shù)據(jù)的YCbCr分解，分解之后的灰度數(shù)據(jù)分成兩路，一路通過(guò)視頻采集FIFO存入SDRAM進(jìn)行幀存儲(chǔ);另一路先進(jìn)行圖像預(yù)處理，然后進(jìn)行行列方向的灰度投影數(shù)據(jù)累加。DSP通過(guò)EMIF總線讀取這個(gè)累加結(jié)果，完成運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)濾波的計(jì)算得到運(yùn)動(dòng)矢量數(shù)據(jù)。Nios II處理器通過(guò)EMIF總線讀取這個(gè)運(yùn)動(dòng)矢量，在下一幀圖像掃描開(kāi)始時(shí)將SDRAM幀存儲(chǔ)中的圖像數(shù)據(jù)讀入到視頻顯示FIFO中，經(jīng)運(yùn)動(dòng)補(bǔ)償模塊后得到穩(wěn)定的數(shù)字視頻數(shù)據(jù)流，最后通過(guò)圖像顯示控制模塊送到視頻編碼器輸出穩(wěn)定的模擬視頻。

圖1 電子穩(wěn)像平臺(tái)硬件架構(gòu)圖

2.2 平臺(tái)軟件設(shè)計(jì)方案

電子穩(wěn)像平臺(tái)的軟件設(shè)計(jì)分為兩部分，分別在DSP6416和Nios II處理器中完成，其中DSP6416完成穩(wěn)像算法的運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波功能，Nios II處理器完成圖像幀存儲(chǔ)設(shè)計(jì)、視頻編碼器、視頻解碼器配置等功能。軟件框架分為3個(gè)層次:

1)頂層管理。利用C6416芯片支持庫(kù)以及DSP/BIOS完成系統(tǒng)配置及實(shí)時(shí)多任務(wù)調(diào)度［6］;

2)設(shè)備驅(qū)動(dòng)。利用Nios II處理器的HAL完成編碼器、解碼器及SDRAM等外設(shè)的配置［7］;

3)算法應(yīng)用。利用C6000的FastRTS函數(shù)庫(kù)完成穩(wěn)像算法中的浮點(diǎn)運(yùn)算部分。

2.3 平臺(tái)整體時(shí)序設(shè)計(jì)

圖2是通過(guò)FPGA內(nèi)部的邏輯分析儀采集到的穩(wěn)像平臺(tái)硬件設(shè)計(jì)時(shí)序圖。

圖2 硬件設(shè)計(jì)時(shí)序圖(截圖)

系統(tǒng)上電后FPGA通過(guò)內(nèi)部Nios II處理器完成視頻編碼器、視頻解碼器的配置，之后通知DSP配置過(guò)程結(jié)束，DSP接收到配置結(jié)束信號(hào)后產(chǎn)生穩(wěn)像開(kāi)始信號(hào)(圖2中信號(hào)4)送給FPGA。對(duì)于FPGA，接收到這個(gè)信號(hào)的時(shí)間是隨機(jī)的，而本文的穩(wěn)像算法是基于幀處理的，所以FPGA必須從穩(wěn)像開(kāi)始信號(hào)有效之后最新到來(lái)的一幀圖像開(kāi)始進(jìn)行穩(wěn)像處理。穩(wěn)像平臺(tái)的整體時(shí)序設(shè)計(jì)如下:

1)幀起始信號(hào)(圖2中信號(hào)5)代表著穩(wěn)像開(kāi)始信號(hào)有效后每一幀新圖像的到來(lái)，本文用這個(gè)信號(hào)觸發(fā)Nios II處理器的外部中斷來(lái)讀取DSP計(jì)算出來(lái)的全局運(yùn)動(dòng)矢量。

2)處理區(qū)域奇場(chǎng)、偶場(chǎng)行有效信號(hào)(圖2中信號(hào)6和信號(hào)7)，這2個(gè)信號(hào)的下降沿分別代表穩(wěn)像開(kāi)始后每幀圖像中奇場(chǎng)及偶場(chǎng)處理區(qū)域的結(jié)束，通知DSP通過(guò)EDMA通道讀取圖像灰度投影累加數(shù)據(jù)。為了完成實(shí)時(shí)穩(wěn)像，DSP必須在信號(hào)7的下降沿和信號(hào)6的上升沿之間完成全局運(yùn)動(dòng)矢量的解算。

2.4 圖像幀存儲(chǔ)時(shí)序設(shè)計(jì)

電子穩(wěn)像算法中，根據(jù)全局運(yùn)動(dòng)估計(jì)算法復(fù)雜程度的不同，需要存儲(chǔ)圖像的幀數(shù)就不同，圖像延時(shí)的時(shí)間也就不同?；诨叶韧队胺ǖ碾娮臃€(wěn)像平臺(tái)需要進(jìn)行一幀的圖像存儲(chǔ)，穩(wěn)定之后的圖像有一幀的延時(shí)。

在FPGA中利用SOPC_Builder生成SDRAM控制器通過(guò)DMA方式將圖像存儲(chǔ)在外部SDRAM中。同時(shí)在FPGA中還分別設(shè)計(jì)了采集FIFO和顯示FIFO對(duì)圖像采集和顯示作行緩存。需要注意的是對(duì)于顯示FIFO，本文必須提前寫(xiě)入一行數(shù)據(jù)以防止圖像處理區(qū)域掃描信號(hào)到來(lái)時(shí)顯示FIFO的讀空。

圖3是邏輯分析儀采集的幀存儲(chǔ)時(shí)序波形，為了便于顯示省略了中間的部分。分析如下:

圖3 圖像幀存儲(chǔ)時(shí)序設(shè)計(jì)圖(截圖)

1)利用處理區(qū)域列有效信號(hào)(圖3中信號(hào)3)作為采集FIFO的寫(xiě)使能信號(hào)，信號(hào)的下降沿代表著一行有效數(shù)據(jù)采集完畢同時(shí)中斷通知Nios II處理器通過(guò)DMA方式將數(shù)據(jù)寫(xiě)入SDRAM的采集存儲(chǔ)區(qū)。采集FIFO的讀使能、數(shù)據(jù)入、數(shù)據(jù)出分別對(duì)應(yīng)于上圖中的信號(hào)4，5，6。

2)利用提前一行的列有效信號(hào)(圖3中信號(hào)8)上升沿去觸發(fā)Nios II處理器的外部中斷，通過(guò)DMA方式從SDRAM顯示存儲(chǔ)區(qū)中讀出一行有效數(shù)據(jù)寫(xiě)入顯示FIFO，而顯示FIFO的讀使能信號(hào)仍然使用信號(hào)3，這樣便能防止顯示FIFO的讀空，同時(shí)保證顯示FIFO中處理區(qū)域最后一行的有效數(shù)據(jù)被讀出。顯示FIFO的寫(xiě)使能、數(shù)據(jù)入、數(shù)據(jù)出分別對(duì)應(yīng)于上圖中的信號(hào)9，10，11。

由圖3可見(jiàn)，上述設(shè)計(jì)中SDRAM讀寫(xiě)操作時(shí)序不會(huì)出現(xiàn)重疊，完全滿(mǎn)足時(shí)序要求。進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)，上述設(shè)計(jì)的采集FIFO時(shí)序不發(fā)生變化，而顯示FIFO的輸出數(shù)據(jù)及相應(yīng)的使能信號(hào)會(huì)發(fā)生變化。具體設(shè)計(jì)見(jiàn)圖像運(yùn)動(dòng)補(bǔ)償時(shí)序設(shè)計(jì)部分。

2.5 灰度投影數(shù)據(jù)累加時(shí)序設(shè)計(jì)

灰度投影數(shù)據(jù)累加包括行方向和列方向的數(shù)據(jù)累加，累加結(jié)果存儲(chǔ)在FPGA片上的雙端口RAM中。由于視頻數(shù)據(jù)流的輸入是隨著行方向的掃描而來(lái)的，因此行方向上只要隨著像素時(shí)鐘對(duì)行方向投影數(shù)據(jù)作累加就可以了。

列方向投影數(shù)據(jù)累加采用2個(gè)雙端口RAM，第1個(gè)雙端口RAM存儲(chǔ)圖像處理區(qū)域內(nèi)除最后1行圖像外的列向投影數(shù)據(jù)累加結(jié)果，當(dāng)圖像掃描到處理區(qū)域最后一行時(shí)，從第1個(gè)雙端口RAM讀出之前的累加數(shù)據(jù)、加上圖像最后1行當(dāng)前列的數(shù)據(jù)、寫(xiě)入到第2個(gè)雙端口RAM對(duì)應(yīng)于列地址的存儲(chǔ)單元中，同時(shí)將第1個(gè)雙端口RAM對(duì)應(yīng)列地址的存儲(chǔ)單元清零。為了在1個(gè)像素時(shí)鐘內(nèi)完成數(shù)據(jù)讀出、累加、寫(xiě)回的操作，本文用像素時(shí)鐘的4倍頻時(shí)鐘驅(qū)動(dòng)一個(gè)具有4個(gè)狀態(tài)的狀態(tài)機(jī)來(lái)完成上述的操作。圖4為雙端口RAM完成列方向投影數(shù)據(jù)累加過(guò)程示意圖。

圖4 列方向灰度投影數(shù)據(jù)累加(截圖)

2.6 圖像運(yùn)動(dòng)補(bǔ)償設(shè)計(jì)

圖像運(yùn)動(dòng)補(bǔ)償模塊的功能就是根據(jù)全局運(yùn)動(dòng)矢量計(jì)算出經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償之后的圖像在SDRAM幀存中的位置并將圖像取出來(lái)作顯示。對(duì)于運(yùn)動(dòng)補(bǔ)償之后產(chǎn)生的空白區(qū)域，本文作補(bǔ)零處理。

圖像運(yùn)動(dòng)補(bǔ)償功能由FPGA邏輯和Nios II處理器共同完成。Nios II處理器接收來(lái)自DSP的水平向和垂直向的全局運(yùn)動(dòng)矢量d x，d y，計(jì)算出運(yùn)動(dòng)補(bǔ)償圖像區(qū)域的首地址作為DMA的起始源地址。由于本文定義的DMA總線位寬為32位，為了地址對(duì)齊，定義每次DMA的數(shù)據(jù)長(zhǎng)度為圖像處理區(qū)域的長(zhǎng)度img_h，為4的整數(shù)倍。這樣對(duì)于每幀圖像的運(yùn)動(dòng)補(bǔ)償，實(shí)際上啟動(dòng)了(img_v－d y)次DMA傳輸，而每次DMA傳輸?shù)臄?shù)據(jù)中包含了d x個(gè)無(wú)效數(shù)據(jù)，其中img_h和img_v分別為圖像處理區(qū)域的長(zhǎng)度和寬度。

在FPGA的邏輯設(shè)計(jì)中，本文產(chǎn)生運(yùn)動(dòng)補(bǔ)償所需的各使能信號(hào)控制顯示FIFO接收DMA數(shù)據(jù)，在圖像顯示控制模塊中去除每行的d x個(gè)無(wú)效數(shù)據(jù)，并最終將運(yùn)動(dòng)補(bǔ)償圖像區(qū)域的圖像作顯示。各使能信號(hào)的定義如圖5所示。

圖5 運(yùn)動(dòng)補(bǔ)償使能信號(hào)

在圖5中，Clip_H為處理區(qū)域列有效信號(hào);Clip_V為處理區(qū)域行有效信號(hào);Trans_H為圖像補(bǔ)償區(qū)域列有效信號(hào);Trans_V為圖像補(bǔ)償區(qū)域行有效信號(hào);Trans_H_Fake為提前一行的圖像補(bǔ)償區(qū)域列有效信號(hào);Trans_V_Fake為提前一行的圖像補(bǔ)償區(qū)域行有效信號(hào)。圖5在空間位置上定義的圖像補(bǔ)償區(qū)域與2.4節(jié)中從時(shí)序上定義的圖像處理區(qū)域是一致的，只不過(guò)2.4節(jié)中是在圖像不發(fā)生抖動(dòng)時(shí)將全部圖像處理區(qū)域作顯示，而在圖像發(fā)生抖動(dòng)時(shí)，本文只將運(yùn)動(dòng)補(bǔ)償之后的有效圖像區(qū)域作顯示，無(wú)效部分作補(bǔ)零處理。

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證穩(wěn)像平臺(tái)的穩(wěn)像效果，本文做了如下實(shí)驗(yàn)。通過(guò)人為隨機(jī)設(shè)定的水平和垂直偏移量，截取攝像機(jī)輸出100幀序列圖像的512×512區(qū)域大小來(lái)模擬抖動(dòng)的視頻序列，圖像所加偏移量的大小在［－30，+30］個(gè)像素之間。在DSP6416程序中記錄算法解算出的抖動(dòng)圖像序列的幀間運(yùn)動(dòng)矢量。將當(dāng)前幀前面的所有幀間運(yùn)動(dòng)矢量作累加即可得到當(dāng)前幀圖像相對(duì)于基準(zhǔn)幀圖像的運(yùn)動(dòng)軌跡。將實(shí)際運(yùn)動(dòng)軌跡和濾波后的運(yùn)動(dòng)軌跡數(shù)據(jù)通過(guò)Matlab軟件繪圖如圖6所示。

圖6 x，y方向運(yùn)動(dòng)軌跡

由圖6可見(jiàn)穩(wěn)像算法能正確計(jì)算幀間運(yùn)動(dòng)矢量，并通過(guò)運(yùn)動(dòng)濾波去除視頻中的無(wú)意抖動(dòng)將攝像機(jī)的有意運(yùn)動(dòng)提取出來(lái)。同時(shí)將抖動(dòng)的圖像視頻和穩(wěn)像之后的視頻分別在監(jiān)視器上輸出，穩(wěn)像之后的視頻達(dá)到了穩(wěn)定效果。

4 設(shè)計(jì)總結(jié)

本文詳細(xì)介紹了基于EP2S30 FPGA+DSP6416架構(gòu)的電子穩(wěn)像平臺(tái)的硬件開(kāi)發(fā)流程。采用灰度投影算法，平臺(tái)能實(shí)時(shí)對(duì)水平向和垂直向抖動(dòng)的范圍為［－30，+30］個(gè)像素之間的標(biāo)準(zhǔn)PAL制視頻進(jìn)行穩(wěn)定，穩(wěn)像精度為1個(gè)像素。表1顯示了FPGA中硬件資源的使用情況。

表1 FPGA硬件資源使用結(jié)果

本文沒(méi)有對(duì)穩(wěn)像算法本身作深入地研究，而將重點(diǎn)放在了穩(wěn)像平臺(tái)的硬件架構(gòu)設(shè)計(jì)和時(shí)序設(shè)計(jì)上。由表1可見(jiàn)FPGA內(nèi)部硬件資源的裕量很大，同時(shí)在FPGA的外部也擴(kuò)展了足夠的存儲(chǔ)器，加之DSP6416的使用，本穩(wěn)像平臺(tái)完全有能力完成更復(fù)雜的算法。

［1］趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術(shù)概述［J］.光學(xué)精密工程，2001，9(4):353－359.

［2］鐘平，于前洋，金光.基于特征點(diǎn)匹配技術(shù)的運(yùn)動(dòng)估計(jì)及補(bǔ)償方法［J］.光電子.激光，2004，15(1):73－77.

［3］張博，吳芝路，張欣宇，等.基于矢量疊加和自適應(yīng)中止的快速運(yùn)動(dòng)估計(jì)［J］.電視技術(shù)，2006，30(4):7－10.

［4］羅詩(shī)途，王艷玲，張圮，等.車(chē)載圖像跟蹤系統(tǒng)中電子穩(wěn)像算法的研究［J］.光學(xué)精密工程，2005，13(1):95－103.

［5］周渝斌，趙躍進(jìn)，劉明，等.基于C6711 DSP的實(shí)時(shí)數(shù)字穩(wěn)像系統(tǒng)［J］.北京理工大學(xué)學(xué)報(bào)，2004，24(5):435－438.

［6］孫輝，熊經(jīng)武，趙紅穎.電子穩(wěn)像技術(shù)在船載電視監(jiān)視系統(tǒng)中的應(yīng)用［J］.光電工程，2008，35(2):103－108.