姜哲穎，周華兵，劉姣

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

SIFT特征匹配和VFC算法的電子穩(wěn)像技術(shù)

姜哲穎，周華兵*，劉姣

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

為了處理較為模糊的抖動(dòng)視頻，提出了一種基于尺度不變特征轉(zhuǎn)換（SIFT）的特征匹配和向量場(chǎng)一致（VFC）優(yōu)化算法的電子穩(wěn)像技術(shù).該技術(shù)著重于研究視頻的運(yùn)動(dòng)估計(jì)階段，利用SIFT提取高獨(dú)特性的特征點(diǎn)，根據(jù)特征點(diǎn)進(jìn)行幀間匹配，結(jié)合VFC，通過(guò)向量場(chǎng)的學(xué)習(xí)將外點(diǎn)從內(nèi)點(diǎn)區(qū)分開(kāi)來(lái)，得到兩幀圖像中特征序列的平移軌跡，然后估算出運(yùn)動(dòng)補(bǔ)償向量并校正每一幀圖像的相對(duì)位置，從而輸出穩(wěn)定視頻．實(shí)驗(yàn)表明，該電子穩(wěn)像技術(shù)處理抖動(dòng)視頻時(shí)精度高和耗時(shí)短.

運(yùn)動(dòng)估計(jì)；向量場(chǎng)一致性；電子穩(wěn)像

0 引言

近年來(lái)，穩(wěn)像技術(shù)得到廣泛的應(yīng)用，無(wú)論是航空、車載、船艦上，為了獲得清晰不晃動(dòng)的視頻，穩(wěn)像技術(shù)都可以用來(lái)消除載體不穩(wěn)定所引起的視頻抖動(dòng)［1］.穩(wěn)像技術(shù)一般分為三種：機(jī)械穩(wěn)像、光學(xué)穩(wěn)像和電子穩(wěn)像，從各方面的考慮，包括體積小、操作方便、可移植性強(qiáng)、實(shí)時(shí)性等，電子穩(wěn)像技術(shù)得到更多的普及.電子穩(wěn)像技術(shù)大體分為三步：運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)濾波和運(yùn)動(dòng)補(bǔ)償.本文大部分的工作集中于運(yùn)動(dòng)估計(jì)中.處理運(yùn)動(dòng)估計(jì)有基于灰度和基于特征的方法［2］：基于灰度的方法可以得到精確的結(jié)果，但要處理所有的像素點(diǎn)而耗時(shí)太多；提取圖像特征的方法處理速度快，然而精度又得不到保證.對(duì)于特征匹配，可以查閱到豐富的文獻(xiàn)資料，角點(diǎn)匹配，邊緣模型匹配，SIFT點(diǎn)匹配，MSER特征匹配，KLT特征追蹤等［3］，在處理較為模糊的圖片時(shí)，SIFT點(diǎn)匹配的優(yōu)勢(shì)就更為明顯.在匹配的過(guò)程中，消除產(chǎn)生的誤匹配，很多用到最小二乘法，然而當(dāng)數(shù)據(jù)里有很多外點(diǎn)的情況，該方法處理得并不好.在此，就用到向量場(chǎng)優(yōu)化算法，向量場(chǎng)一致性是在希爾伯特空間中基于吉洪諾夫正則化，保持向量場(chǎng)的平滑性.在貝葉斯框架下，將每個(gè)樣點(diǎn)與潛在變量相結(jié)合來(lái)判斷是否為內(nèi)點(diǎn)，然后構(gòu)建成后驗(yàn)概率問(wèn)題，通過(guò)EM算法求解.運(yùn)動(dòng)估計(jì)過(guò)程由局部向量估計(jì)得到全局運(yùn)動(dòng)向量，就可以進(jìn)行運(yùn)動(dòng)濾波和運(yùn)動(dòng)補(bǔ)償，從而得到穩(wěn)定清晰的輸出圖像［4］.

1 SIFT算法的實(shí)現(xiàn)

尺度不變特征轉(zhuǎn)換能夠從圖像中提取高度獨(dú)特的不變特征，這些特征被用在不同的圖像里針對(duì)相同對(duì)象進(jìn)行匹配.最初提取這些特征是為了對(duì)象識(shí)別：將樣例圖片中檢測(cè)到的特征與由眾多不同視角中提取的特征而組成的數(shù)據(jù)庫(kù)進(jìn)行匹配.

SIFT算法需要獲得全方位的大量特征，主要階段是對(duì)一系列的圖像特征的計(jì)算：尺度空間極值檢測(cè)、關(guān)鍵點(diǎn)的精確定位、方向賦值、描述算子的計(jì)算［5］.

圖像處理中，避免不穩(wěn)定的特征非常重要，運(yùn)動(dòng)估計(jì)算法需要高度獨(dú)特的特征，而誤匹配往往會(huì)影響算法的準(zhǔn)確性.對(duì)于去除誤匹配，這里用到向量場(chǎng)一致性算法［6］（VFC）.

2 基于VFC的去除誤匹配

最小二乘法經(jīng)常被用來(lái)處理去除特征的外點(diǎn)，但是當(dāng)外點(diǎn)過(guò)多時(shí)，處理效果不甚明顯.VFC算法有很強(qiáng)的魯棒性，能夠處理含90%外點(diǎn)的特征圖像.

2.1 問(wèn)題公式化

式（1）中θ={f,σ2,γ}是含未知參數(shù)的集合，XN×P＝（x1，…，xN）T，YN×D＝（y1，…，yN）T，Vn＝f（xn）．

考慮到平滑性的約束，先驗(yàn)f可寫為：

結(jié)合式（1）和式（2），其后的分布p（θ｜X，Y）∝p（X｜Y，θ）p（f）估算出來(lái).

為了得到最佳的θ，假設(shè)一個(gè)θ*為

θ*對(duì)應(yīng)真正的θ，從而得到f.然后運(yùn)用EM方法來(lái)討論f減少對(duì)外點(diǎn)的影響.

2.2 EM方法

EM算法分為兩步，一是期望步驟，另一個(gè)是最大化步驟.

首先，將樣點(diǎn)n賦予一個(gè)變量Zn∈｛0，1｝，當(dāng)Zn＝1，代表高斯分布；當(dāng)Zn＝0，代表平均分布.根據(jù)EM算法的標(biāo)準(zhǔn)步驟，并且忽略與θ獨(dú)立的項(xiàng)，得到：

可以通過(guò)把Zn視為混合模型中缺失的數(shù)據(jù)來(lái)實(shí)現(xiàn)最大化.

期望步驟：P＝diag（P1，…，Pn），其中Pn=P（zn= 1|xn,yn,θold）可以通過(guò)貝葉斯法則來(lái)計(jì)算：

最大化步驟：定義修正的參數(shù)估計(jì)為θnew，θnew＝arg maxθQ（θ，θold）．考慮到P是對(duì)角矩陣，將Q（θ）對(duì)σ2求導(dǎo)并置為零，得到：

其中tr（·）是矩陣的跡.將Q（θ）對(duì)γ求導(dǎo)并置為零，得到：

高斯部分的混合系數(shù)γ通過(guò)后驗(yàn)概率的均值得到.

EM算法收斂后，應(yīng)該對(duì)樣點(diǎn)是否為內(nèi)點(diǎn)做一個(gè)判斷.設(shè)定閾值τ，可以得到內(nèi)點(diǎn)集T＝｛n｜Pn＞τ，n＝1，…，N｝，這個(gè)集合T就是隨機(jī)采樣一致性中的一致性.

2.3 向量場(chǎng)正則化

考慮到式（4）中Q與f相關(guān)的項(xiàng)，并把它們乘以－1，得到一個(gè)能量函數(shù)：

這個(gè)能量函數(shù)是一個(gè)吉洪諾夫正則化的向量值的推廣，其中第一項(xiàng)可以看成是權(quán)值經(jīng)驗(yàn)誤差.

使用向量值表現(xiàn)定理，對(duì)f的最優(yōu)化有如下形式：

3 穩(wěn)像步驟及實(shí)驗(yàn)結(jié)果

利用SIFT算法計(jì)算幀間圖像的關(guān)鍵點(diǎn)，以及匹配點(diǎn)對(duì).

結(jié)合VFC優(yōu)化算法，去除誤匹配，根據(jù)準(zhǔn)確的幀間匹配關(guān)系估算出全局運(yùn)動(dòng)向量.

由全局運(yùn)動(dòng)向量估算出運(yùn)動(dòng)補(bǔ)償向量并校正每一幀圖像的相對(duì)位置，從而輸出穩(wěn)定視頻.

從一段較為抖動(dòng)的視頻圖像中，選取了4張連續(xù)幀圖像進(jìn)行特征匹配實(shí)驗(yàn).

圖1是平直公路上汽車行駛，由于后方拍攝工具的不穩(wěn)定而引起的視頻抖動(dòng)，從視頻中提取前4幀圖像，分別對(duì)圖像幀進(jìn)行SIFT特征提取后和VFC的優(yōu)化算法去除誤匹配，能夠得到如圖2所示兩兩之間較為準(zhǔn)確的匹配關(guān)系.

圖1 抖動(dòng)視頻中4張連幀圖Fig.1 Four successive frames of the shaky video

圖2中的4幀圖像里，分別對(duì)1＆2、1＆3、1＆4進(jìn)行了匹配，從而可以得到幀間運(yùn)動(dòng)向量，即可獲知兩幀圖像之間的相對(duì)運(yùn)動(dòng)，然后就可以估計(jì)出運(yùn)動(dòng)補(bǔ)償圖像.圖3中可以看出，由局部到整體，多張運(yùn)動(dòng)補(bǔ)償圖像幀即可輸出穩(wěn)定視頻圖像.

圖2 圖像幀之間的匹配關(guān)系Fig.2 The matching relationship between image frames

圖3 處理合成后的穩(wěn)定幀F(xiàn)ig.3 Composite steady frame

4 結(jié)語(yǔ)

基于SIFT特征匹配與VFC優(yōu)化算法的穩(wěn)像技術(shù)，主要針對(duì)運(yùn)動(dòng)估計(jì)過(guò)程，將幀間圖像的匹配達(dá)到高精度而得到清晰的輸出視頻.在實(shí)時(shí)性與高精度兩者間取得了較為合適的搭配，各取所長(zhǎng)、不失偏頗，也是處理視頻抖動(dòng)研究中一個(gè)小的進(jìn)步.當(dāng)然，不足之處在于還未與其他方法作直觀的對(duì)比，和未對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行更為客觀的評(píng)價(jià)，如幀間保真度、峰值信噪比，并且時(shí)間復(fù)雜度相對(duì)較大，這些問(wèn)題將在之后作進(jìn)一步研究.

致謝

感謝湖北省教育廳對(duì)本研究的支持！

［1］張躍飛．車載攝像機(jī)數(shù)字穩(wěn)像技術(shù)研究［M］．成都：電子科技大學(xué)，2011．

ZHANG Yue－fei．The research of the digital image stabilizationtechnologyfortheIn-Carcameras［M］．Chengdu：University of Electronic Science and Technology of China，2011．（in Chinese）

［2］KUMAR S，AZARTASH H，BISWAS M，et al．Realtime affine global motion estimation using phase corre-lation and its application for digital image stabilization［J］.IEEE Trans Image Process，2011，20（12）：3406－3418．

［3］OKADE M，BISWAS P K.Video stabilization using maximally stable extremal region features［J］．Multimedia Tools Appl，2014，68（3）：947－968．

［4］王海暉，盧培磊，吳云韜，等．無(wú)參考視頻平滑度的評(píng)價(jià)方法［J］．武漢工程大學(xué)學(xué)報(bào)，2015，37（6）：56－62．

WANG Hai－h(huán)ui，LU Pei－lei，WU Yun－tao，et al．Evaluation method of no－reference video smoothness［J］. Journal of Wuhan Institute of Technology，2015，37（6）：56－62．（in Chinese）

［5］BATTIATO S，GALLO G，PUGLISI G，et al．SIFT features tracking for video stabilization［J］.IEEE Computer Society，2007，27（5）：825－830．

［6］ZHAO Ji，MA Jiayi，JIN Wen et al．A robust method for vector field learning with application to mismatch removing［J］．Computer Vision and Pattern Recognition（CVPR）2011 IEEE Conference on，2011，30（6）：2977－2984．

Electronic Image Stabilization Based on SIFT Matching and VFC

JIANG Zhe－ying，ZHOU Hua－bing，LIU Jiao
School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China

To process the blurry shaky video，electronic image stabilization based on scale invariant feature transform（SIFT）matching and vector field consensus（VFC）was proposed，which is mainly applied to video motion estimation．First，SIFT was used for extracting highly distinctive invariant feature and setting up the initial feature matching．Then，by the vector field consensus algorithm，we distinguished inliers from outliers and obtained the characteristics of translational trajectory in sequence of two video frames．Finally，we estimated the motion compensation to correct the relative position of every video frame by trajectory．Experiment results show the advantages of the method in precision and efficiency．

motion estimation；vector field consensus；electronic image stabilization

TP391

A

10.3969/j.issn.1674-2869.2015.09.008

1674－2869（2015）09－0045－05

本文編輯：陳小平

2015－08－28

湖北省教育廳科學(xué)技術(shù)研究項(xiàng)目（Q20151503）

姜哲穎（1991-），男，湖北武漢人，碩士研究生.研究方向：數(shù)字圖像處理.*通信聯(lián)系人.