吳 威，許廷發(fā)，王亞偉，閆 輝，徐 磊

（北京理工大學光電學院光電成像技術與系統(tǒng)教育部重點實驗室，北京100081）

高精度全景補償電子穩(wěn)像

吳 威，許廷發(fā)*，王亞偉，閆 輝，徐 磊

（北京理工大學光電學院光電成像技術與系統(tǒng)教育部重點實驗室，北京100081）

針對攝像機拍攝目標過程中自身的隨機抖動造成的視頻序列不穩(wěn)定，以及穩(wěn)像補償過程中邊緣信息的丟失，提出了基于SURF（Speed-up Robust Feature）算法的全景電子穩(wěn)像方法。首先，運用SURF算法提取當前幀圖像和參考幀圖像的興趣點，將兩幅圖像的興趣點進行匹配，建立兩幀的對應關系。針對興趣點數(shù)目較少及場景中部分區(qū)域特征相似的情況，引入了興趣點位移一致性抑制策略，改進了RANSAC（RANdom SAmple Consensus）誤匹配的剔除算法，使得運動矢量的精確度小于1 pixel。然后，判定參考幀的更新策略，獲取平滑的運動變量。最后，進行運動補償，運用圖像鑲嵌技術對丟失的邊緣區(qū)域信息進行全景補償，得到了高精度的全景穩(wěn)像結果，實驗得到的輸出視頻峰值信噪比（PSNR）提高了33.1%。

電子穩(wěn)像；SURF算法；全景補償；興趣點位移；峰值信噪比

1 引 言

運用穩(wěn)像的手段來解決視頻圖像序列的不穩(wěn)定問題已得到越來越多的應用，主要方法有：灰度投影法、塊匹配法和特征匹配法。其中特征匹配法就是利用圖像中的某些特征，如邊緣、直線、角點和特征點等來進行穩(wěn)像的方法［1-5］。

2004年，英國學者David Lowe提出了SIFT（Scale Invariant Feature Transform）［6］特征匹配算法，該算法可以對發(fā)生平移、旋轉、仿射變換、視角變換、光照變化情況的圖像進行匹配，故得到了廣泛運用。2006年，Bay提出SURF（Speed-up Robust Features）算法［7］，該算法在SIFT算法思想的基礎上，采用快速Hessian矩陣檢測特征點，并運用積分圖像方法減少計算時間，使得算法的效率得到了很大的提高。陽吉斌等人提出了運用GTM（Graph Transformation Matching）方法［8］對SURF算法進行改進后用于遙感圖像配準，但通過迭代的方法來剔除誤匹配，其復雜程度可想而知，速度自然會比較慢。因此，之后有人提出將特征匹配法運用到電子穩(wěn)像中，在運動估計過程中高精度地計算出全局變量來提高電子穩(wěn)像的效果［9-14］。

張坤等提出了高精度實時SURF的電子穩(wěn)像算法［15］。王智慧等人提出了一種基于KLTRANSAC（KLT-RANdom SAmple Consensus）全局運動估計的電子穩(wěn)像算法［16］，選擇KLT快速匹配和RANSAC誤匹配點剔除相結合的方法，消除場景中運動目標的影響。Yasuyuki等人提出了一種全屏幕視頻穩(wěn)定技術［17］，通過判斷相鄰幾幀的光流變化，并利用光流法填補當前幀的丟失像素，有效地實現(xiàn)了相鄰圖像的自然模擬和鑲嵌。

但是基于特征的電子穩(wěn)像方法存在以下關鍵問題：（1）當場景中存在局部運動時，目標物體上的特征點容易帶來誤匹配，導致全局運動參數(shù)估計不準確;（2）當場景很復雜并且場景中部分區(qū)域中的特征相似時，特征點檢測的精度及匹配的正確率會影響全局運動估計的精度;（3）補償過程中邊緣區(qū)域信息的丟失，會導致穩(wěn)像后視頻不能全屏顯示。因此，基于特征點匹配的全局運動參數(shù)估計的關鍵問題更深一層就是如何快速而且精確地獲得匹配正確的特征點對。

針對以上問題，本文采用SURF算法提取參考幀與當前幀的特征點及其匹配關系，并運用RANSAC算法剔除誤匹配對，針對特征點數(shù)目較少時RANSAC誤匹配剔除不準確的情況，提出了改進的RANSAC誤匹配的剔除算法，以提高匹配結果的準確性，并獲得準確的運動估計矢量。通過判定選擇合適的參考幀，計算出精確的運動向量，并進行運動補償及全景補償，以實現(xiàn)全景補償電子穩(wěn)像。

2 基于SURF算法的運動估計

2.1 SURF算法的特征點檢測

尺度空間的建立是通過圖像與高斯函數(shù)進行卷積運算，得到不同階的圖像，從而形成圖像金字塔。SURF算法利用不同尺度下的盒子濾波器（box filters）代替SIFT算法中的二階高斯函數(shù)，而原始圖像保持不變，由于盒子濾波器是簡化的高斯濾波器，所以其計算更為簡單。

尺度空間金字塔建立后，需要求取某一特定尺度下的圖像中局部極值。為了簡化，采用盒子濾波器近似代替高斯核函數(shù)，得到的Hessian矩陣如下：

式中，Dxx（x，σ），Dxy（x，σ），Dyx（x，σ），Dyy（x，σ）表示高斯二階偏導在x處與圖像I的卷積，H矩陣判別式可表示為：

式中，w為權重，一般取值為0.9。判別式Δ（H）值的正負，可以判定該點為極大值或者極小值。

為了獲取圖像中的興趣點，用Hessian矩陣求出極值后，采用非極大值抑制方法，將該點的值在它的3×3×3的立體鄰域內進行比較，當比26個鄰域值都大或者都小時，即把這個點視為預選特征點。為了得到更加穩(wěn)定的特征點，需要在尺度空間和圖像空間中進行插值，剔除掉對比度較低的點。

2.2 特征點的主方向和描述符

確定特征點的主方向是為了保證算法的旋轉不變性。首先選取需要確定主方向的特征點為中心，如圖1所示，計算在檢測半徑為6σ（σ為特征點的尺度值）范圍內的鄰域點的Harr小波響應，這些響應值會被賦予高斯權重系數(shù)，得到大小不同的向量;遍歷整個圓周，計算60°范圍內的響應值之和，選擇其中最大值的向量，該向量的方向即為該特征點的主方向。

圖1 特征點的主方向確定Fig.1 Main direction of the features

特征點的主方向確定后，需要描述特征點的特征。以特征點為坐標原點，主方向為坐標軸，在特征點周圍選取邊長大小為20σ的正方形區(qū)域，在4×4個子區(qū)域中，計算邊長為25σ的Harr小波響應。令水平于特征點主方向上的響應為d x，垂直于特征點主方向上的響應為d y，將這些響應賦予高斯權重系數(shù)。這樣每個子區(qū)域的響應及響應的絕對值共同構成了描述符，如圖2所示，用特征向量V表示：

圖2 特征點的描述符Fig.2 Descriptor of the features

每個子區(qū)域的描述符是一個4維向量，4×4個子區(qū)域的描述符，構成了該特征點的64維向量的描述符。

2.3 RANSAC誤匹配剔除

匹配產(chǎn)生的結果中，有些匹配點會對電子穩(wěn)像的全局運動估計產(chǎn)生影響［18-19］，其中包括兩種情況：（1）在匹配過程中產(chǎn)生的誤匹配點，這是匹配過程中不可避免的，可以通過RANSAC算法將其剔除。對于場景比較簡單，并且場景特征沒有重復性，采用RANSAC剔除誤匹配點會有很好的效果;但是對于特征點數(shù)目較少，或者場景中部分區(qū)域的特征相似的情況下，RANSAC不能夠很好地剔除誤匹配點;（2）場景中目標的運動產(chǎn)生的匹配點雖然是正確匹配的，但是會給全局變量的估計帶來誤差，所以需要剔除運動目標產(chǎn)生的誤匹配點。

針對以上兩點問題，本文提出了興趣點位移一致性抑制的方法。假設當前幀t中的點PA和參考幀t′中的點PA′是一對經(jīng)過預匹配后的匹配點，則興趣點PA和點PA′在x和y方向上的位移Lx和Ly分別是：

設匹配點集C=｛｛P1，P1′｝，…，｛Pi，Pi′｝，…，｛Pn，Pn′｝｝，形成的x和y方向上的位移集合分別為｛LX1，…，LXn｝，｛LY1，…，LYn｝，則特征點的對齊誤差為：

為了抑制匹配過程中產(chǎn)生的誤匹配，同時能夠抑制場景中的目標運動帶來的全局運動變量的誤差，需要將不必要的匹配結果剔除掉。由于經(jīng)過RANSAC幾乎剔除了所有的誤匹配點，剩下的誤匹配點已經(jīng)很少了。同時目標上的特征點，相比于整個場景中的特征點也少很多。所以利用抑制的方法，將這些點剔除掉，是很合理的做法。根據(jù)公式（8），只有對齊誤差滿足一定的范圍，則認定該點為我們需要的點。

式中，｛Pi，Pi′｝∈C，w為權重因子。利用興趣點位移一致性抑制的方法能夠快速地進一步剔除RANSAC算法未能完全剔除的誤匹配點，提高了匹配的精度，且對整個算法的速度影響很小。

3 運動濾波和運動補償

運動估計過程中得到的運動矢量往往并不是平滑的，所以需要進行平滑處理，以便于補償。Kalman濾波方法采用的是統(tǒng)計估計的方法，跟蹤運動矢量的整個變化過程，并對其進行濾波處理，消除變化劇烈的運動矢量。

在電子穩(wěn)像中，攝像機的運動包括：攝像機的隨機抖動，屬于高頻噪聲，需要補償;正常的掃描運動，是平滑穩(wěn)定的，予以保留。因此，在運動補償時，需要在穩(wěn)像的過程中不斷地更新參考幀。

圖3 參考幀更新策略Fig.3 Strategy of updating reference frame

圖3所示為參考幀的更新策略，令全局運動向量為v，判定閾值為S1、S2，且S1＜S2，更新標志為flag（flag的初始值為0），描述如下：

（1）當|v|≤S1時，判定為攝像機隨機抖動，不更新參考幀。

（2）當|v|≥S2時，判定為攝像機的掃描運動，將參考幀更新為當前幀。

（3）當S1＜|v|＜S2時，判定為攝像機運動既包含隨機抖動又包含掃描運動。是否更新參考幀需要進一步判定。

（4）當運動向量滿足該條件（3）時，flag加1;當運動向量滿足該條件（1）或（2）時，flag清零。

（5）當flag≥N（N為最大連續(xù)抖動幀數(shù)）時，認為攝像機的掃描運動占主要成分，則將參考幀設置為當前幀;當flag＜N時，不需要更新參考幀。

4 全景補償

穩(wěn)像后的圖像會由于當前幀的位置變換丟失邊緣信息，目前大多數(shù)穩(wěn)像儀器采用兩種處理方法：預留丟失區(qū)域為黑框，這種方法會產(chǎn)生較差的視覺效果;擴展補償后的保留圖像到整個屏幕，這種方法會帶來圖像分辨率的降低。本文利用圖像鑲嵌技術來對丟失區(qū)域進行補償，從而輸出全景圖像，使得連接處的像素能夠平滑地過渡，補償后的圖像沒有明顯的接隙，且能夠觀察到邊緣丟失的信息。

當前幀t與參考幀t′連接的邊緣區(qū)域L為預留區(qū)域，是需要進行平滑融合的部分，其中間列為l。采用高斯函數(shù)加權的方法，當像素在預留區(qū)域中間時，即x=l，漸變因子d=1/2;當像素處于預留區(qū)域的兩端時，即x=l±L/2，漸變因子d=0，利用式（9）計算可以得σ2：

將當前幀和參考幀圖像的平滑融合在列l(wèi)的左和右邊分別進行，這兩部分的圖像像素值分別通過式（10）和式（11）計算得到補償后圖像：

式中，l≤x≤l+L/2。

經(jīng)過融合拼接補償?shù)膱D像，消除了當前幀和參考幀結合部分明顯的分界線，使得補償后的圖像的邊緣部分更加平滑。

5 實驗結果及分析

5.1 改進SURF算法的特征點匹配驗證

實驗采用的視頻中場景高度復雜，且有許多特征相似的區(qū)域，這就對SURF點的匹配帶來了很多誤匹配的結果。運用RANSAC剔除算法后，剔除了大部分錯誤的匹配點，但是由于樣本本身太離散，所以RANSAC剔除以后，仍然有個別的誤匹配點，如圖4（a），其中的匹配點為112對，但從圖中可以觀察到個別誤匹配點仍然沒有被剔除掉。通過加入本文提出的興趣點位移一致性抑制的方法，效果有了很大的提高，如圖4（b）所示，其中的匹配點為94個，成功的剔除掉了所有的誤匹配點。

圖4 特征點匹配驗證Fig.4 Verification of feature pointmatching

5.2 全局運動估計

運用SURF提取當前幀和參考幀中的特征點，并對提取到的特征點進行興趣點位移一致性抑制方法的RANSAC算法剔除誤匹配點，這樣能夠準確地提取到兩幀圖像中的特征點，從而提高了全局變量的計算精確度。實驗中采用的是一段366 frame的視頻，表1列出的是每隔50 frame，當前幀圖像的SURF點（是相對與參考幀的）以及全局變量的估計。

表1 運動估計數(shù)據(jù)表格Tab.1 Results ofmotion estimation

由表1可以看出，匹配點數(shù)越少，運動矢量越小時，錯誤的匹配點對于結果的影響會越明顯，因此，加入一致性抑制是很有必要的，保留的匹配點都是穩(wěn)定性高、定位準確的特征點，保證了運動矢量計算的精度，運動矢量精度小于1 pixel。

5.3 全景補償結果及分析

對圖像進行穩(wěn)像后的邊緣信息補償，使得補償后的視頻能夠全屏顯示，且不失真。當前幀通過補償?shù)絽⒖紟奈恢?，并通過全景補償?shù)姆椒ǎ瑢⑦吘墔^(qū)域的丟失信息補回來。

圖5 全景補償前后的圖像（從左到右依次為參考幀圖像、當前幀圖像、全景補償后的圖像）Fig.5 Images before and after full-frame compensations Left to Right：reference frame，current frame，full-frame image

如圖5所示，從左到右分別是參考幀、當前幀以及全景補償后的圖像，可以看到邊緣信息已經(jīng)很好地補償?shù)搅朔€(wěn)像后的圖像中，從而實現(xiàn)了全景穩(wěn)像。

本文利用一種常見的穩(wěn)像的評價標準PSNR來分析全景補償?shù)慕Y果。公式定義如下：

式中：P1和P2分別表示當前幀和參考幀，MSE（P1，P2）表示當前幀圖像與參考幀圖像之間對應像素值的均方誤差，對穩(wěn)像而言，MSE的值越小越好，即PSNR越大，穩(wěn)像的質量越好。圖6為全景補償前后的PSNR比較圖，其中虛線是原始視頻的PSNR，實線是經(jīng)過全景穩(wěn)像后的PSNR。

對全景補償前后的PSNR進行對比后，可以發(fā)現(xiàn)PSNR有了明顯的提高，說明全景補償后圖像序列的灰度差變小了，圖像的穩(wěn)定效果得到了改善。其中原始視頻的PSNR的平均值為20.945 5 dB，而全景補償穩(wěn)像后的PSNR有所改善，其平均值變?yōu)?7.879 3 dB，相對于穩(wěn)像前提高了33.1%，即相比穩(wěn)像前穩(wěn)定了33.1%。

圖6 全景補償前后的PSNR比較Fig.6 PSNRs before and after stabilizations

6 結 論

本文采用SURF算法檢測了當前幀與參考幀中的特征點及其匹配關系，通過加入興趣點位移一致性抑制方法的RANSAC算法剔除誤匹配對，計算出了精確的運動矢量，確立了當前幀和參考幀之間的關系。通過全景補償?shù)姆椒▽σ曨l進行穩(wěn)像，消除由于補償導致的當前幀的邊緣信息的丟失，并且所補償?shù)倪吘壊糠制交逯敌旁氡扔辛撕艽蟮奶岣?，穩(wěn)像后的視頻序列較原始視頻穩(wěn)定了33.1%。實驗結果表明：該算法具有較高的魯棒性，針對不同場景均能夠實現(xiàn)全景穩(wěn)像，精確度小于1 pixel。

［1］趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術概述［J］.光學精密工程，2001，9（4）：353-359. ZHAO H Y，JIN H，XIONG JW.Overview of the electronic image stabilization technology［J］.Opt.Precision Eng.，2001，9（4）：353-359.（in Chinese）

［2］KIM JH，BYUN K Y，KO S J.Highly precise digital image stabilization scheme for a hybrid stabilizing system［J］.Opt. Eng.，2010，49（7）：61-67.

［3］LIU J，SHIC CH.Image stabilization based on BM-EMD［C］//Communication Software and Networks（ICCSN），2011 IEEE 3rd International Conference on，May 27-29，2011，Xi′an，China，2011：591-593.

［4］孫輝，李志強，孫麗娜，等.基于相位相關的亞像素配準技術及其在電子穩(wěn)像中的應［J?.中國光學，2010，3（5）：480-485. SUN H，LIZH Q，SUN LN，etal..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese Optics，2010，3（5）：480-485.（in Chinese）

［5］王鵬，趙躍進，孔令琴，等.預測掃描提前跳轉的電子穩(wěn)像方法［J］.光學精密工程，2012，20（10）：2268-2274. WANG P，ZHAO Y J，KONG L Q，et al..Scanning image stabilizing algorithm：predicting scanningmotion and jumping in advance［J］.Opt.Precision Eng.，2012，20（10）：2268-2274.（in Chinese）

［6］DAVID G L.Distinctive image features from scale-Invariant keypoints［J］.International J.Computer Vision，2004，60（2）：91-110.

［7］BAY HE，TUYTELAARS T，GOOL L V.SURF：speeded up robust features［EB/OL］.（2010-05-06）［2013-02-13］.http：//www.computerrobotvision.org/2010/tutorial-day/tam-surf-rev3.pdf.

［8］陽吉斌，胡訪宇，朱高.基于改進SURF算法的遙感圖像配準［J］.電子測量技術，2012，35（3）：69-72. YANG JB，HU F Y，ZHU G.Remote sensing image registration based on improved SURF［J］.Electronic Measurement Technology，2012，35（3）：69-72.（in Chinese）

［9］張淼，郭成嬌，李向陽，等.基于SIFT和卡爾曼濾波的電子穩(wěn)像技術研究［J］.信息技術，2012，3：60-64. ZHANG M，GUO CH J，LIX Y，et al..Digital image stabilization based on SIFT and Kalman filtering［J］.Information Technology，2012，3：60-64.（in Chinese）

［10］丁南南，劉艷瀅，朱明.尺度相互作用墨西哥帽小波提取圖像特征點［J］.液晶與顯示，2012，27（1）：125-129. DING N N，LIU Y Y，ZHUM.Extracting image feature points using scale-unteraction ofmexican-HatWavelets［J］.Chinese J.Liquid Crystals and Display，2012，27（1）：125-129.（in Chinese）.

［11］SONG CH H，ZHAO H，JINGW，etal..Robust video stabilization based on particle filteringwith weighted feature points［J］.IEEE T.Consum.Electr.，2012，58（2）：570-577.

［12］程明明，王賀，安平，等.基于特征點匹配的多視圖像校正［J］.液晶與顯示，2010，25（4）：593-597. CHENGM M，WANG H，AN P，et al..Multi-view images rectification based on feature pointsmatching［J］.Chinese J. Liquid Crystals and Display，2010，25（4）：593-597.

［13］PINTO B，ANURENJAN PR.Video stabilization using speeded up robust features［C］//Communications and Signal Processing（ICCSP），International Conference on，F(xiàn)eb.10-12，2011，Calicut，IND，2011：527-531.

［14］李英，李靜宇，徐正平.結合SURF與聚類分析方法實現(xiàn)運動目標的快速跟蹤［J］.液晶與顯示，2011，26（4）：544-550. LIY，LIJY，Xu ZH P.Moving target fast tracking using SURF and cluster analysismethod［J］.Chinese J.Liquid Crystals and Display，2011，26（4）：544-550.（in Chinese）

［15］張坤，許廷發(fā)，王平，等.高精度實時全幀頻SURF電子穩(wěn)像方法［J］.光學精密工程，2011，8（19）：1964-1970. ZHANG K，XU TF，WANGP，etal..Real time full frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，8（19）：1964-1970.（in Chinese）

［16］王智慧，王敬東，李鵬，等.一種基于KLT-RANSAC全局運動估計的電子穩(wěn)像算法研究［J］.光電子技術，2012，32（1）：46-51. WANG ZH H，WANG JD，LIP，et al..Research on electronic image stabilization based on KLT-RANSAC globalmotion estimation［J］.Optoelectronic Technology，2012，32（1）：46-51.

［17］MATSUSHITA Y，OFEK E，GEW N，et al..Full-frame video stabilization with motion inpainting［J］.IEEE T.Pattern Anal.，2006，7（28）：1150-1163.

［18］王思珺，趙建，韓希珍.基于仿射變換的快速全局運動估計算法［J］.液晶與顯示，2012，27（2）：263-266. WANG S J，ZHAO J，HAN X ZH.Fast globalmotion estimation algorithm based on affine transformation［J］.Chinese J. Liquid Crystals and Display，2012，27（2）：263-266

［19］邱家濤，李玉山，初秀琴，等..穩(wěn)定運動物體視頻的特征方法［J］.光學精密工程，2012，20（10）：2300-2307. QIU JT，LIY SH，CHU X Q，et al..Feature-based approach for stabilizing videoswithmoving objects［J］.Opt.Precision Eng.，2012，20（10）：2300-2307.（in Chinese）

High precision digital image stabilization with full frame compensation

WUWei，XU Ting-fa*，WANG Ya-wei，YAN Hui，XU Lei
（Key Laboratory of Photo Electronic Imaging Technology and System of the Ministry of Education，School of Optics and Electronics，Beijing Institute of Technology，Beijing 100081，China）
*Corresponding author，E-mail：ciom_xtf1@bit.edu.cn

To overcome the instability of the video sequences caused by the undesirable shakes of a camera，and to reduce themissing of edge information in the process of compensation，a full-frame video stabilization system based on the Speed-Up Robust Feature（SURF）was proposed.Firstly，the SURF was employed to extract the features in the images of the current and the reference frames and tomatch the features between the two images，so that the correspondence could be established.As a few featureswere extracted and the features of some areas in the scenewere similar，amethod of consistency restrain of the features′displacementwas proposed to ameliorate the RANSAC.Themotion vector precision is less than 1 pixel.Secondly，by determining the reference frame update strategy，the smoothed inter-frame globalmotion vector was obtained.Finally，mosaic was used to implement themotion compensation，and the corresponding pixels of the reference framewere filled with a stabilized frame to compensate the unstablemotion and to outputa stabilized full frame video.The Peak Signal to Noise Ratio（PSNR）is improved by 33.1 percent.

digital image stabilization;SURF algorithm;full frame compensation;feature displacement;Peak Signal to Noise Ratio（PSNR）

TN941.1

A

10.3788/CO.20130603.0378

吳 威（1988—），男，安徽六安人，碩士研究生，2010年于中北大學獲得學士學位，主要從事圖像處理與電子穩(wěn)像軟件算法及硬件實現(xiàn)的研究。E-mail：wu3944387@163.com

許廷發(fā)（1968—），男，黑龍江肇東人，教授，博士生導師，1992年、2000年于東北師范大學分別獲得學士、碩士學位，2004年于中國科學院長春光學精密機械與物理研究所獲得博士學位，主要從事光電成像探測與識別等方面的研究。E-mail：ciom_xtf1@bit.edu.cn

王亞偉（1988—），男，河南魯山人，碩士研究生，2010年于濟南大學獲得學士學位，主要從事圖像處理和模式識別方面的研究。E-mail：wangyw39@ 163.com

閆 輝（1987-），男，山東菏澤人，碩士研究生，2008年于北京航空航天大學獲得學士學位，主要從事多目標跟蹤和目標識別方面的研究。E-mail：yanhui17@sina.com

徐 磊（1989-），男，山西忻州人，碩士研究生，2010年于長春理工大學獲得學士學位，主要從事FPGA開發(fā)和圖像融合方面的研究。E-mail：670642781@qq.com

1674-2915（2013）03-0378-08

2013-03-12；

2013-05-17

國家自然科學基金重點資助項目（科學儀器專項）（No.61027002）;國家重點基礎研究發(fā)展計劃（973計劃）資助項目（No.2009CB72400603）;國家自然科學基金資助項目（No.60972100）