吳浩，鄧宏彬

(1.北京理工大學信息與電子學院，北京100081;2.北京理工大學計算機學院，北京100081;3.北京理工大學 機電學院，北京100081)

0 引言

基于視覺的導航技術(shù)已經(jīng)廣泛應用于信息化彈藥的導航導引等領(lǐng)域，但是由于成像載體自身的運動和隨機抖動，會使采集到的視頻圖像發(fā)生不規(guī)則的抖動，嚴重影響圖像信息的有效利用和導航效果。因此消除圖像序列中的隨機抖動干擾，對處于運動載體上的攝像系統(tǒng)進行實時視頻穩(wěn)像處理十分必要[1]。信息化彈藥導引頭體積較小，彈上計算能力有限，成像載體抖動劇烈，對穩(wěn)像的實時性和準確性具有較高要求。傳統(tǒng)視頻穩(wěn)像方法如機械式穩(wěn)像和光學穩(wěn)像，由于需要依賴于硬件系統(tǒng)的支持(如陀螺、伺服平臺、光學器件等)，不利于穩(wěn)像系統(tǒng)的小型化，穩(wěn)像精度較低，價格昂貴。因此傳統(tǒng)的視頻穩(wěn)像方法無法滿足信息化彈藥視頻穩(wěn)像的特殊需求。

電子穩(wěn)像(EIS)技術(shù)應用數(shù)字圖像處理方法，直接從圖像序列的幀間差別中檢測出攝像機的全局運動，根據(jù)全局運動計算出運動補償矢量用以校正圖像的位置，消除或減輕攝像機的隨機抖動對圖像序列的干擾，從而獲得穩(wěn)定的視頻圖像。EIS 技術(shù)具有精度高、體積小、質(zhì)量輕、功耗低、集成化和智能化等優(yōu)點。另一方面，由于EIS 系統(tǒng)是一種數(shù)字信號處理系統(tǒng)，不可避免地存在系統(tǒng)延時，所以其實時性相比于機械式穩(wěn)像和光學穩(wěn)像略低。但是隨著數(shù)字信號處理器性能的不斷提升，系統(tǒng)延時越來越小，對于大多數(shù)應用可以認為是實時系統(tǒng)[2]。此外，還可以通過改進和優(yōu)化EIS 算法來提高EIS 的實時性。因此EIS 技術(shù)已成為信息化彈藥視覺導航系統(tǒng)穩(wěn)像技術(shù)的首選。

運動估計是EIS 技術(shù)的核心，主要方法有塊匹配法、位平面匹配法、特征匹配法、光流法和灰度投影法等[3]。其中，灰度投影法是利用圖像總體灰度分布規(guī)律的變化確定幀間運動的一種方法，不同于其它算法對像素逐點進行相關(guān)運算，投影法利用圖像的投影曲線做一次相關(guān)運算，即可準確地獲得圖像的運動矢量，因而該算法運算速度較快[4]。但是，傳統(tǒng)灰度投影算法存在著前景局部運動影響全局運動估計精度和不能估計旋轉(zhuǎn)運動等問題。

針對傳統(tǒng)灰度投影算法存在的問題，本文提出一種基于分塊灰度投影運動估計的視頻穩(wěn)像方法。該方法的核心是分塊灰度投影運動估計算法，分塊投影能夠有效提高全局運動矢量的估計精度，并且通過剔除容易導致錯誤運動估計的低灰度梯度分塊來降低投影計算量。同時，在分塊灰度梯度判斷的過程中采用提前終止的方法，加快判斷的收斂速度，進一步提高運動估計的實時性。實驗證明，本文提出的分塊灰度投影運動估計算法在實時性和準確性等方面均能達到令人滿意的效果，從而實現(xiàn)快速、準確的視頻穩(wěn)像。

1 分塊灰度投影運動矢量估計

傳統(tǒng)的灰度投影算法主要問題在于只能估計出成像系統(tǒng)水平和垂直方向上的平移運動，無法估計出圖像的旋轉(zhuǎn)運動。另外拍攝場景中可能存在前景目標的運動或者背景中小目標的移動，此時圖像中單一區(qū)域的運動矢量不能準確代表整幀圖像的運動，導致全局運動矢量估計精度下降[5]。本文采用分塊投影的方法降低局部運動對全局運動估計精度的影響，并將分塊的局部運動矢量代入剛性運動模型，以計算出圖像全局運動矢量的旋轉(zhuǎn)分量。

1.1 子區(qū)域劃分

對原始視頻圖像進行子區(qū)域劃分，以子區(qū)域為單位進行運動估計。子區(qū)域的大小將直接影響灰度投影運算的計算量及全局運動估計的精度。子區(qū)域劃分過小，子區(qū)域包含的信息量相應減少，投影曲線變化不明顯，導致子區(qū)域的局部運動估計精度下降;而子區(qū)域劃分過大，會導致子區(qū)域數(shù)量減少，不能達到由子區(qū)域局部運動準確估計圖像全局運動的目的。因此確定適當?shù)淖訁^(qū)域大小對于圖像全局運動的準確估計是非常重要的。在子區(qū)域劃分時需要綜合考慮圖像像面大小、子區(qū)域內(nèi)灰度信息的豐富程度以及子區(qū)域的數(shù)量等因素。在圖像邊緣預留補償區(qū)域后，子區(qū)域按照陣列的形式排列。

1.2 子區(qū)域灰度梯度判斷

由于對圖像中紋理特征不清晰、灰度梯度較低的區(qū)域進行投影計算，會得到不可靠的或者錯誤的運動矢量。因此，在對子區(qū)域進行灰度投影之前，對子區(qū)域運動估計的可靠性進行判斷，提前發(fā)現(xiàn)可能會導致不準確估計的子區(qū)域并予以剔除，以降低局部運動估計的計算量，同時提高全局運動矢量的估計精度[6]。在灰度投影之前，首先判斷子區(qū)域的灰度對比度是否滿足要求，判斷方法是將子區(qū)域進一步劃分為4 個宏塊，計算相鄰宏塊之間的對應像素的絕對差和(SAD)，如果4 個SAD 值均小于給定的閾值，則說明該子區(qū)域灰度梯度較低，會導致局部運動矢量的錯誤估計，應剔除該子區(qū)域[7]。

SAD 的計算公式為

式中:W 和H 分別為宏塊的寬度和高度;(xk，yk)為第k 個宏塊左上角頂點的坐標值;Gk(i，j)為第k 個宏塊在(i，j)位置處像素的灰度值。

子區(qū)域灰度梯度閾值判斷算法的具體步驟如下:

1)設(shè)定灰度梯度閾值SADthr，表示2 個宏塊之間的灰度期望差別度，其取值可根據(jù)滿足灰度梯度要求的子區(qū)域個數(shù)N 自適應調(diào)整，初始置N=0.

2)將選取的子區(qū)域劃分為4 個宏塊，計數(shù)器n=0.

3)計算相鄰2 個宏塊之間對應像素點的SAD值，n+ +.

4)如果SAD ＞SADthr，則N + +，并轉(zhuǎn)入步驟6執(zhí)行。

5)如果n ＜4 轉(zhuǎn)入步驟3 執(zhí)行;否則，標記該子區(qū)域為低灰度對比度子區(qū)域。

6)如果存在未檢驗過的子區(qū)域，則選取另一個子區(qū)域，轉(zhuǎn)入步驟2 計算;如果全部子區(qū)域檢查完畢，則轉(zhuǎn)入步驟7 執(zhí)行。

7)如果Nmin＜N ＜Nmax，則停止迭代，算法結(jié)束;如果N ＜Nmin，則SADthr=SADthr－Δ;或者如果N ＞Nmax，則SADthr=SADthr+Δ，后2 種情況轉(zhuǎn)入步驟2繼續(xù)執(zhí)行。其中Δ 為一正整數(shù)，Nmin和Nmax分別是滿足灰度梯度要求的子區(qū)域個數(shù)的極小值和極大值。隨著閾值SADthr的增加，滿足灰度梯度要求的子區(qū)域數(shù)量將會減少;反之，滿足灰度梯度要求的子區(qū)域數(shù)量將會增加。

子區(qū)域灰度梯度閾值判斷算法的實驗結(jié)果如圖1 所示，圖1(a)為原始圖像進行子區(qū)域劃分后的結(jié)果，子區(qū)域的大小取64 像素×64 像素，圖像周圍黑色區(qū)域是在圖像邊緣預留的補償區(qū)域。圖1(b)為采用子區(qū)域灰度梯度閾值判斷算法進行子區(qū)域剔除后的結(jié)果，圖中黑色子區(qū)域為不滿足灰度梯度要求的子區(qū)域。

圖1 子區(qū)域灰度梯度判斷結(jié)果Fig.1 Estimated results of sub－block gray gradients

由實驗結(jié)果可知，原始圖像經(jīng)過子區(qū)域劃分后共有108 個子區(qū)域，經(jīng)子區(qū)域灰度梯度閾值判斷算法剔除不滿足灰度梯度要求的28 個子區(qū)域后，圖像中只有80 個子區(qū)域參與灰度投影運算。理論上，分塊投影運算的計算量可降低27%左右。雖然該算法增加了剔除子區(qū)域運算的時間，但是由于算法采用了提前終止宏塊SAD 值判斷的機制，因此，綜合考慮剔除的子區(qū)域個數(shù)以及子區(qū)域灰度對比度判斷所用時間，本算法并未引入過多的時間開銷，與傳統(tǒng)灰度投影算法的運算時間基本相當。但是剔除了容易導致錯誤運動估計的低對比度子區(qū)域后，全局運動估計精度得以提高。

1.3 參考幀的選擇

選取適當?shù)膮⒖紟沁M行準確幀間運動估計的前提條件，參考幀的選取有2 種方法:1)固定幀匹配，即把圖像序列的第一幀圖像作為參考幀，后續(xù)圖像均作為當前幀;2)相鄰幀匹配，即以相鄰2 幀圖像中的前一幀作為參考幀，后一幀作為當前幀[8]。

固定幀匹配方法由于不存在累積誤差，所以運動矢量估計較為準確，且相對簡單易行。其主要問題是攝像機進行掃描運動時，隨著時間的推移，參考幀和當前幀中的信息重合度越來越小，當超出某一范圍后便不能估算出當前幀的運動矢量，因此該方法比較適用于攝像機定點拍攝的情況。

相鄰幀匹配的優(yōu)點在于相鄰幀間信息重合度較大，用于運動估計的信息較為豐富，并且在一定幀速率下相鄰幀間旋轉(zhuǎn)運動較小，因而可以忽略相鄰幀間圖像的旋轉(zhuǎn)運動，使運動估計得到簡化。并且相鄰幀匹配方法不會因為參考幀的較大差異而出現(xiàn)明顯的圖像跳變現(xiàn)象。但是由于相鄰幀匹配得到的是后一幀到前一幀的相對位移矢量，因此其缺點在于運動矢量存在累積誤差，影響匹配精度。

1.4 子區(qū)域局部運動估計

灰度投影算法進行圖像幀間運動估計主要包括3 個步驟:灰度投影、投影濾波和運動矢量提取。

對滿足灰度梯度要求的子區(qū)域進行水平方向和垂直方向上的灰度投影，投影成為2 個獨立的一維波形，投影公式為

式中:m 和n 分別為子區(qū)域的寬度和高度;Gk(i ，j)為第k 幀圖像在(i ，j)位置處像素的灰度值;Colk(j)為圖像第j 列像素灰度值的累加和，即第j 列像素的投影值;Rowk(i)為圖像第i 行像素灰度值的累加和，即第i 行像素的投影值。投影曲線反映了圖像灰度分布的統(tǒng)計特征。

當圖像存在幀間運動時，子區(qū)域邊緣像素會隨著幀間運動移出或移入子區(qū)域，因此子區(qū)域邊緣信息是唯一的，導致子區(qū)域的投影波形在邊緣處的差異，對互相關(guān)波形的峰值產(chǎn)生影響，從而降低運動矢量的檢測精度?？梢允褂糜嘞覟V波器對水平和垂直投影曲線進行濾波，以降低邊緣信息的幅值，保留中心區(qū)域的波形，從而降低邊緣信息對互相關(guān)峰值的影響，提高運動矢量檢測精度。

投影濾波后，對當前幀和參考幀對應子區(qū)域的行、列投影曲線做相關(guān)運算，根據(jù)2 條相關(guān)曲線的最小值即可確定當前幀相對于參考幀的水平和垂直方向上的運動偏移量。相關(guān)運算公式為

式中:Colk(j)，Colr(j)分別為第k 幀圖像和第r 幀圖像第j 列的灰度投影值;NC 為子區(qū)域的寬度;m 為運動矢量估計的最大范圍。設(shè)wmin為C(w)取最小值時w 的值，則第k 幀圖像相對于第r 幀圖像在垂直方向上的位移矢量為

式中:dy為正時表示第k 幀相對于第r 幀向上移動了|dy|個像素;dy為負時則表明向下運動了|dy|個像素。同理可以求得水平方向的位移矢量dx.

1.5 全局運動計算

分塊灰度投影相關(guān)計算得到了各個子區(qū)域的局部運動矢量，由子區(qū)域的局部運動可以計算出全局運動矢量。為提高全局運動矢量的計算精度，本文采用圖像幀間運動模型計算全局運動矢量的方法，將保留下來的各子區(qū)域的局部運動矢量帶入到圖像幀間運動模型中，利用最小二乘法求解方程組得到全局運動矢量。

對于攝像機不在景深方向做快速大幅度運動的情況，通常使用剛性模型作為圖像幀間運動模型:

式中:[x0，y0]T為t0時刻圖像中一像素點的坐標;[x1，y1]T為同一像素點在t1時刻圖像中的新坐標;Tx，Ty分別為同一像素點在2 幅圖像間的水平和垂直平移分量;θ 為圖像間相對旋轉(zhuǎn)角度;k 為變焦系數(shù)，當攝像機不做快速大幅度變焦時，k≈1.剛性運動模型能夠描述傳感器的平移、旋轉(zhuǎn)以及變焦運動，根據(jù)該模型，只要確定參數(shù)k、θ、Tx和Ty即可確定2幀圖像間的全局運動矢量[9]。雖然灰度投影算法本身無法估計旋轉(zhuǎn)運動，但是將其估計的子區(qū)域局部運動矢量代入到剛性運動模型后計算出的全局運動矢量包含有圖像的旋轉(zhuǎn)運動分量，可以描述出圖像的旋轉(zhuǎn)運動。

2 運動補償

圖像序列幀間運動產(chǎn)生的原因主要有:1)由攝像機的掃描運動所引起的圖像運動，2)由于攝像機隨載體的隨機振動而引起的運動。在對圖像進行運動補償時，只需要補償攝像機的隨機抖動，而對于攝像機的掃描運動是需要保留的。攝像機的掃描運動在一定時間內(nèi)具有方向和幅度的一致性，是平滑的低頻運動分量;而攝像機隨機抖動的方向和幅度則表現(xiàn)出較大的隨機性，屬于高頻運動分量?；谶\動平滑的有效性和實時性，可以采用均值濾波的方法濾除全局運動矢量中的高頻分量，即攝像機的隨機抖動。

依據(jù)運動濾波后保留的運動分量，可進一步求得運動補償矢量。當攝像機不做掃描運動時，全局運動矢量即為抖動運動矢量，即需要補償?shù)牟糠?。當攝像機存在掃描運動時，由當前幀的全局運動矢量減去濾波后保留的掃描運動矢量即可得到運動補償矢量。

根據(jù)運動補償矢量對當前幀進行反方向移動，矯正抖動運動對圖像畫面的影響，即可得到穩(wěn)定的圖像序列。

3 實驗結(jié)果

使用快速分塊灰度投影運動估計算法(ISGPA)對幀速率為20 幀/s，分辨率為820 像素×614像素的真實視頻圖像進行運動估計，進而進行穩(wěn)像處理。由于該視頻中包含了攝像機的掃描運動，因此實驗中采用相鄰幀匹配的方法進行運動估計。實驗對該算法的準確性和實時性進行了驗證，并給出了最終的穩(wěn)像效果。

3.1 子區(qū)域運動估計分析

全搜索塊匹配算法(FS－BMA)是目前國際標準組織推薦的運動估計標準方法，運動估計較為準確。實驗通過計算IS－GPA 算法在不同子區(qū)域尺度下得到的運動矢量與FS－BMA 算法估算的運動矢量的均方根差值RMSE，來衡量本文算法運動矢量的估計精度。RMSE 計算公式為

式中:(Txi，Tyi)為IS－GPA 算法估算出的子區(qū)域i 的局部運動矢量;(T'xi，T'yi)為FS－BMA 算法估算出的子區(qū)域i 的局部運動矢量;N 為參與投影運算的子區(qū)域數(shù)量。表1 為不同子區(qū)域尺度下IS－GPA 算法運動矢量估計的RMSE 值和運算時間的比較。

表1 子區(qū)域運動估計精度和時間消耗Tab.1 Accuracy and time consumption of sub－block motion estimation

由實驗結(jié)果對比可知，快速分塊投影運動估計算法在子區(qū)域尺寸為32 像素×32 像素時，由于子區(qū)域所包含的像素灰度信息不足，不能正確估算出運動矢量。隨著子區(qū)域尺寸的增大，子區(qū)域包含的灰度信息量隨之增加，運動矢量估計精度也相應提高，當子區(qū)域大小為64 像素×64 像素及以上時，子區(qū)域運動估計的RMSE 值已經(jīng)小于0.5 個像素，即可以達到半像素級精度的運動矢量估計。運動估計時間消耗方面，隨著子區(qū)域尺寸的增加，通過灰度梯度閾值判斷剔除的子區(qū)域數(shù)量減少，參與灰度投影運算的子區(qū)域總面積增加，導致運動估計運算時間增加。因此，在選擇子區(qū)域大小時應平衡考慮運動估計精度和時間消耗等因素。

圖2 為子區(qū)域大小為64 像素×64 像素時，快速分塊灰度投影算法和全搜索塊匹配算法對同一視頻中的30 幀圖像進行運動矢量估計所用時間的比較。

由圖2 可以看出，IS－GPA 算法運動矢量估計時間只有FS－BMA 算法運動估計時間的30%左右，具有較明顯的實時性優(yōu)勢。

3.2 穩(wěn)像效果評價

峰值信噪比PSNR 是評價穩(wěn)像效果的重要數(shù)據(jù)指標，通過比較穩(wěn)像前后相鄰2 幀圖像的PSNR 值可以反映出穩(wěn)像算法的穩(wěn)像準確度。經(jīng)穩(wěn)像處理后，相鄰2 幀圖像的PSNR 值越高，則說明圖像穩(wěn)定效果越好[10]。峰值信噪比計算公式為

圖2 運動矢量估計時間比較Fig.2 Estimated time consumption of motion vector

式中:Ic為當前幀圖像;Ir為參考幀圖像;Gk(i ，j )為圖像k 在(i ，j )處像素的灰度值;M 和N 分別為圖像的高度和寬度。MSE 為2 幀圖像在搜索范圍內(nèi)對應像素灰度的均方偏差值，它反映了圖像序列幀間變化的快慢和變化量的大小，MSE 值越大說明2 幀圖像幀間變化越大，即圖像序列越不穩(wěn)定;反之，則說明圖像序列的穩(wěn)定程度越高。

圖3 為采用快速分塊灰度投影算法(IS－GPA)、傳統(tǒng)灰度投影算法(GPA)和FS－BMA 對同一視頻序列的30 幀圖像進行運動估計并穩(wěn)像后PSNR 值的比較。

由圖3 分析可知，作為標準運動估計方法的FS－BMA 算法穩(wěn)像后相鄰幀圖像間的PSNR 值最大，說明圖像序列的穩(wěn)定程度最高，穩(wěn)像效果最好，運動估計的準確性最高。而IS－GPA 算法的穩(wěn)像準確性比較接近于BMA－FS 算法，相比于GPA 算法有了一定幅度的提高。

圖3 PSNR 值比較Fig.3 Comparison of PSNR

圖4給出了使用快速分塊灰度投影算法進行運動估計并穩(wěn)像的結(jié)果。

圖4 視頻穩(wěn)像結(jié)果Fig.4 Consequence of video stabilization

由穩(wěn)像結(jié)果圖像可知，當前幀圖像相對于參考幀圖像的運動偏移包含了水平方向和垂直方向的平移運動以及較小的旋轉(zhuǎn)運動。經(jīng)過本文提出的穩(wěn)像方法穩(wěn)定處理后，圖像的運動偏移得到了較好的補償，從而實現(xiàn)了圖像序列的穩(wěn)定。

6 結(jié)論

本文提出的視頻穩(wěn)像方法采用了分塊灰度投影運動估計算法。該算法在對圖像進行分塊灰度投影運算的同時，以分塊灰度梯度為依據(jù)對分塊進行了篩選，剔除容易導致錯誤運動估計的分塊，在提高全局運動估計精度的同時，減少了投影運算的計算量，提高了運動估計的實時性。并且由于在該算法中采用了剛性運動模型，從而能夠估計出圖像的旋轉(zhuǎn)運動分量，解決了傳統(tǒng)灰度投影算法無法估計旋轉(zhuǎn)運動的問題。根據(jù)分塊灰度投影算法得到的圖像全局運動矢量可以實現(xiàn)快速、準確的視頻穩(wěn)像。實驗結(jié)果表明，本文提出的運動估計算法運算時間僅相當于標準運動估計算法FS－BMA 的30%左右，而2 種算法的準確性幾乎一致。并且本文算法較傳統(tǒng)灰度投影算法在準確性方面有了顯著提高。本文提出的視頻穩(wěn)像方法為信息化彈藥視覺導航嵌入式系統(tǒng)提供了技術(shù)基礎(chǔ)。

References)

[1]Mai Y，Zhao H，Guo S.The analysis of image stabilization technology based on small－UAV airborne video[C]∥Proceedings of International Conference on Computer Science and Electronics Engineering.Hangzhou:IEEE Computer Society，2012:586 －589.

[2]Liu L，Du W.The vehicle－borne electronic image stabilization system based on Gray Projection Algorithm[C]∥Proceedings of 2011 International Conference on Electric Information and Control Engineering.Wuhan:IEEE，2011:4687 －4690.

[3]Oreifej O，Li X，Shah M.Simultaneous video stabilization and moving object detection in turbulence[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(2):450－462.

[4]Yang W，Zhang Z，Zhang Y.A real－time gray projection algorithm for electronic image stabilization[C]∥Proceedings of 4th International Symposium on Photoelectronic Detection and Imaging (ISPDI).Beijing:Internation Society for Optics and Photonics，2011:81932G－81932G－9.

[5]武治國，韓廣良，王明佳.運動背景下的幀間穩(wěn)像技術(shù)[J].中國光學，2011，4(5):519 －524.WU Zhi－guo，HAN Guang－liang，WANG Ming－jia.Effective image stabilization for moving background[J].Chinese Optics，2011，4(5):519 －524.(in Chinese)

[6]Lee J，Lee S，Paik J.Digital image stabilization based on statistical selection of feasible regions[J].IEEE Transactions on Consumer Electronics，2009，55(4):1748 －1755.

[7]仲訓昱，朱齊丹，張智.數(shù)字穩(wěn)像中的快速和魯棒運動估計研究[J].電子學報，2010，38(1):251 －256.ZHONG Xun－yu，ZHU Qi－dan，ZHANG Zhi.Study of fast and robust motion estimation in the digital image stabilization[J].Acta Electronica Sinica，2010，38(1):251 － 256.(in Chinese)

[8]黃金權(quán)，王程，王潤生.基于投影特征的快速圖像穩(wěn)定算法[J].計算機工程與科學，2006，28(1):82 －85.HUANG Jin－quan，WANG Cheng，WANG Run－sheng.A fast image stabilizing algorithm based on projected features[J].Computer Engineering ＆ Science，2006，28(1):82 －85.(in Chinese)

[9]Kumar S，Azartash H，Biswas M，et al.Real－time affine global motion estimation using phase correlation and its application for digital image stabilization[J].IEEE Transactions on Image Processing，2011，20(12):3406 －3418.

[10]Li Q，F(xiàn)eng H，Xu Z，et al.Study on performance evaluation and frequency characteristic for real－time image stabilization system[C]∥Proceedings of 2011 International Conference on Electronic and Mechanical Engineering and Information Technology.Harbin:IEEE Press，2011:347 －350.