武治國，韓廣良，王明佳

(中國科學院長春光學精密機械與物理研究所，吉林長春130033)

1 引言

幀間穩(wěn)像技術的研究始于20世紀80年代中期。幀間穩(wěn)像是集電子學、計算機、圖像識別等技術于一體，直接確定圖像序列幀間映射關系的新一代序列圖像穩(wěn)定技術。在光電探測、目標跟蹤、偵察等任務中，根據(jù)傳感器架設的平臺不同，目標識別跟蹤所采集的實時圖像序列可分為2種類型:靜止背景和運動背景。靜止背景是當傳感器處于相對靜止的狀態(tài)時采集的圖像，如攝像頭固定的視頻監(jiān)控。運動背景是當傳感器處于運動的狀態(tài)時采集的圖像，如車載設備、轉(zhuǎn)臺掃描探測等［1-2］。對于靜止背景和簡單運動背景下的目標檢測識別，可采用幀間差分或直接根據(jù)目標特征計算。對于復雜運動背景下的變化目標提取，則通常采用幀間穩(wěn)像和配準，然后對處理后的圖像檢測不同幀間的目標特征來識別目標。

幀間穩(wěn)像是通過檢測并補償圖像幀間運動矢量來減緩甚至消除圖像序列的抖動。幀間穩(wěn)像包括2 個步驟［3］:運動估計和運動補償［4］。運動估計是幀間穩(wěn)像的核心，其目的是檢測出由圖像運動導致的幀間全局運動矢量。目前有很多種運動矢量估計方法，如位平面法［5］、塊匹配法［6］和特征點法等。這些方法均不同程度地舍棄了一部分灰度信息。由于在精度、運行速度、圖像特征位置選取等方面的原因，這些方法有其應用的局限性［7，12-15］。本文提出了一種有效的帶運動矢量修正的灰度投影運動估計算法，該算法分塊計算當前幀與參考幀之間的運動矢量，然后對各運動矢量根據(jù)分塊區(qū)域的相關性置信度求取加權幀間運動位移。實驗表明:本文方法可實現(xiàn)更高的穩(wěn)定精度，有效提高了圖像補償質(zhì)量。

2 運動矢量估計

攝像機運動會使固定背景采集時視頻圖像序列產(chǎn)生全局運動，運動矢量估計就是要計算背景在圖像各幀中x、y方向的偏移量，其原理如圖1所示。其中圖1(a)為第k幀，圖1(b)為第k+1幀。

圖1 運動矢量估計原理圖Fig.1 Principle diagram of motion estimation

假設黑色圓形為圖像背景中的固定物體，在圖1(a)中第k幀物體以左上角為原點的坐標是(x，y)，圖1(b)中第k+1幀物體的坐標是(m，n)，則物體在第k+1幀中位置相對第k幀橫軸方向位移為m－x，縱軸方向為n－y。

2.1 投影算法原理

灰度投影就是將輸入圖像序列中的每一幀圖像的二維灰度信息映射成2個獨立的一維投影序列，其行、列灰度投影可分別由下式表示［7-9］:

式中:m，n分別是圖像的寬度，高度;Gk(x)為第k幀圖像第x列所有像素灰度值之和;Gk(y)表示第k幀圖像第y行所有像素灰度值之和;Gk(x，y)為第k幀圖像上(x，y)處的像素灰度值。圖2(a)是分辨率為768 pixel×576 pixel的8 bit灰度圖像，圖2(b)、(c)為運用式(1)對圖1(a)進行行、列投影的曲線圖，其中橫坐標為行/列號，縱坐標為像素灰度值之和。

圖2 圖像灰度投影示意圖Fig.2 Projection schemes of image gray

2.2 投影相關計算

為了得到當前幀相對于在x、y方向上的位移，分別對當前幀和參考幀的行、列投影曲線計算相關度。由于幀間在某一方向的全局運動，當前幀的邊沿圖像仍未移入?yún)⒖紟?，因此需要選擇合適的投影區(qū)域大小作為相關計算的參數(shù)。一方面，投影區(qū)域大小需要考慮幀間像素的運動速度，保證所選擇的區(qū)域在參考幀中存在對應區(qū)域。另一方面，投影選擇區(qū)域應足夠大，保證灰度變化等級以充分反映該區(qū)域與參考幀相應位置的相關程度［10］。

設參考幀為m幀，當前幀為m+k幀，m幀的第i行灰度投影為Gm(i)，m+k幀的第i行灰度投影為Gm+k(i)，進行互相關運算的計算公式為［11］:式中:j為位移矢量相對于參考幀在一側(cè)的搜索寬度，w的取值范圍為1到2j+1。令wmin為C(w)取得最小值時的w值，則第m+k幀圖像相對于m幀在垂直方向的位移矢量為:式中:dy為正時表示m+k幀相對于m幀向上運動了個像素，為負時則表明向下運動了個像素。同樣的方法可求得水平方向的位移矢量，根據(jù)得到的水平方向和垂直方向的位移矢量反向運動相應大小的像素距離，便可得到穩(wěn)向后的圖像。

圖3(a)為參考幀圖像，(b)為當前幀圖像。在列投影曲線中取中心位置左右各100 pixel做匹配量計算，圖像分辨率為768 pixel×576 pixel。圖3(d)為列投影相關曲線，(c)為穩(wěn)向后的結(jié)果圖像。

圖3(a)和(b)為相鄰兩幀圖像，以前一幀為參考圖像，下一幀為當前圖像，計算列相關程度如圖3(d)所示，得到水平方向運動矢量dx=0。利用求出的運動矢量對當前圖像進行運動補償，得到配準圖像如圖3(c)所示。

圖3 全局灰度投影穩(wěn)像處理Fig.3 Image stabilization processing of global gray projection

2.3 運動矢量分塊檢索

由于圖像相鄰幀中運動目標可能造成圖像整體投影分布局部變動，這種變動會造成背景運動檢測誤差，導致穩(wěn)像失敗。因此，本文引入局部投影分布，采用分塊檢索策略。這種方法可以使運動目標造成的影響只作用在其中的若干個局部分塊上，而其他分塊不受此影響，從而盡可能地保證穩(wěn)像的準確性。

將當前幀行、列投影曲線分成幾部分，分別將每一部分與參考幀行、列投影曲線進行互相關計算，得到基于局部投影的運動矢量集合，然后從得到的運動矢量集合中選取有效像素偏移量。設計算得到的運動矢量集合為{L1…Ln}，平均運動矢量為，則有效像素偏移量滿足公式:其中，T為像素偏移量差異閾值，該值與圖像運動速度相關。

設得到m個有效像素偏移量，由于各分塊區(qū)域灰度變化差異及圖像曝光等原因，m個偏移量可能不相等。以分塊區(qū)域的相關置信度為權系數(shù)衡量參數(shù)，計算m個偏移量的加權運動矢量值作為最終的圖像偏移量。置信度越大，說明圖像對應區(qū)域匹配程度越高，權值越大;相反，權值越小。置信度計算公式為:

式中:G(n)為參考幀圖像行或列灰度投影;G'(n+i)為當前幀圖像偏移距離為i的行或列的灰度投影。

將各置信度與平均置信度差異程度的倒數(shù)作為加權運動矢量的權值，則第j塊權值求取公式為:

則某一方向的加權運動矢量d'為:

根據(jù)上述公式計算得到的每幀圖像水平方向的加權運動矢量結(jié)果如表1所示。

表1 加權運動矢量Tab.1 Weighted motion vectors

3 仿真實驗結(jié)果

為驗證算法的精度及穩(wěn)像效果，采用轉(zhuǎn)臺實時采集運動背景圖像進行運動補償處理。實驗在雙核2.4 GHz，內(nèi)存2 G，帶有標準視頻采集卡的工控機上進行，操作系統(tǒng)為 Windows XP，用VC 6.0實現(xiàn)。

以相鄰10幀圖像為例，采用上述算法實驗。本文根據(jù)實際背景特點分別將行、列投影曲線分成7部分，由于第1、7部分為邊沿部分，取中間5部分計算相關性。參考幀為當前幀的上一幀圖像，下表為分塊對列投影計算結(jié)果。

表2 分塊列投影計算結(jié)果Tab.2 Computational results of columns of blocks

采用均方根誤差(RMSE)衡量本文算法的性能。均方根誤差反映2幀圖像對應位置的逼近程度，可以體現(xiàn)2幀圖像的相似程度。圖4表示全局運動矢量和分塊運動矢量計算后的RMSE比較結(jié)果，其中橫坐標為幀號，縱坐標為RMSE誤差。從圖中可以看出分塊檢測后的運動背景補償圖像RMSE有了明顯提高。

圖4 穩(wěn)像后圖像RMSEs的比較Fig.4 Comparison of RMSEs after image stabilization

實驗驗證表明:本文所采用技術相比于傳統(tǒng)的穩(wěn)像技術穩(wěn)像效果更好，是一種亞像素精度的穩(wěn)像技術。

4 結(jié)論

本文著重對幀間運動背景補償技術進行了討論，提出了帶修正的運動矢量估計方法。通過局部灰度投影分布，采用分塊檢索策略計算像素偏移量。然后，以相似度作為權值系數(shù)，計算精確幀間圖像運動偏移量。實驗證明:該方法有效提高了圖像運動補償精度，均方根誤差下降了31%，與參考幀相似性程度更加接近。

［1］趙紅穎，晏磊，熊經(jīng)武.艦船圖像序列電子穩(wěn)定算法的研究［J］.光學 精密工程，2003，11(6):602-606.ZHAO H Y，YAN L，XIONG J W.Image composition based on EIS model［J］.Opt.Precision Eng.，2003，11(6):602-606.(in Chinese)

［2］羅詩途，王艷玲，張玘，等.車載圖像跟蹤系統(tǒng)中電子穩(wěn)像算法的研究［J］.光學 精密工程，2003，13(1):95-103.LUO SH T，WANG Y L，ZHANG Q，et al.Electronic image stabilizing algorithm for image tracking system on vehicle［J］.Opt.Precision Eng.，2003，13(1):95-103.(in Chinese)

［3］彭健，賈彥茹，汪佩.基于電子穩(wěn)像的視頻序列抖動處理技術［J］.現(xiàn)代顯示，2010，112(5):84-87.PENG J，JIA Y R，WANG P.Jitter processing of video sequence based on electronic image stabilization［J］.Advanced Display，2010，112(5):84-87.(in Chinese)

［4］朱娟娟，郭寶龍.一種運動載體攝像的自適應穩(wěn)像系統(tǒng)［J］.光電子·激光，2007，18(1):108-112.ZHU J J，GUO B L.Adaptive video stabilization system for camera on moving vehicle［J］.J.Optoelectronics·Laser，2007，18(1):108-112.(in Chinese)

［5］KO S J，LEE S H，LEE K H.Digital image stabilizing algorithms based on bit-plane matching［J］.IEEE T.Consu.Electr.，1998，44(3):617-622.

［6］孫輝，李志強，孫麗娜，等.基于相位相關的亞像素配準技術及其在電子穩(wěn)像中的應用［J］.中國光學與應用光學，2010，3(5):480-485.SUN H，LI ZH Q，SUN L N，et al..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3(5):480-485.(in Chinese)

［7］王小鵬，成亮，晏鑫，等.基于灰度投影和宏塊線性搜索的電子穩(wěn)像［J］.蘭州交通大學學報，2009，28(4):90-93.WANG X P，CHENG L，YAN X，et al.Electronic image stabilization based on gray projection and block line searching［J］.J.Lanzhou Jiaotong University，2009，28(4):90-93.(in Chinese)

［8］任航，張濤.基于灰度投影法運動估計的成像CCD平移補償法［J］.激光與紅外，2009，39(6):665-668.REN H，ZHANG T.Motion compensation by moving the imaging CCD based on the gray projection algorithm estimation［J］.Laser＆Infrared，2009，39(6):665-668.(in Chinese)

［9］周亞軍，王翔，蘇享，等.快速灰度投影穩(wěn)像算法研究［J］.兵工自動化，2009，28(8):88-90.ZH0U Y J，WANG X，SU X，et al..Research on fast gray projection algorithm for image stabilization［J］.Ordnance Industry Automation，2009，28(8):88-90.(in Chinese)

［10］李計添，何永強，陳財森，等.一種基于灰度投影算法的車載電子穩(wěn)像方法［J］.紅外技術，2010，32(6):328-332.LI J T，HE Y Q，CHEN C S，et al..A method of vehicle-bone electronic image stabilization based on gray projection algorithm［J］.Infrared Technol.，2010，32(6):328-332.(in Chinese)

［11］汪小勇，李奇，徐之海，等.用于實時數(shù)字穩(wěn)像的灰度投影算法研究［J］.光子學報，2006，35(8):1268-1271.WANG X Y，LI Q，XU ZH H，et al..Real-time digital linage stabilization system based on gray projection algorithm［J］.Acta Photonica Sinica，2006，35(8):1268-1271.(in Chinese)

［12］Zhang F，Wang X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］.Optoelectronics Lett.，2007，3(4):308-311.

［13］URHAN O，ERTTIRK S.Single sub-image matching based low complexity motion estimation for digital image stabilization using constrained one-bit transform［J］.IEEE T.Consu.Electr.，2006，52(4):1275-1279.

［14］XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consu.Electr.，2006，52(2):566-574.

［15］OHYUN K，BYUNGDEOK N，JOONKI P.Binary edge based adaptive motion correction for accurate and robust digital image stabilization［J］.Lecture Notes in Computer Science，2006，4319(1):1142-1149.