謝 征，崔少輝，李金倫

(軍械工程學(xué)院 導(dǎo)彈工程系，河北 石家莊 050003)

?

基于特征匹配的快速魯棒數(shù)字穩(wěn)像

謝 征，崔少輝，李金倫

(軍械工程學(xué)院 導(dǎo)彈工程系，河北 石家莊 050003)

針對手持移動攝像裝置拍攝視頻序列相鄰幀間存在平移、小角度旋轉(zhuǎn)運(yùn)動，而且易受噪聲、光照變化的影響等問題，提出一種基于優(yōu)化Oriented FAST and rotated BRIEF(ORB)特征匹配的實(shí)時(shí)魯棒電子穩(wěn)像算法。對相鄰幀預(yù)處理后用Oriented FAST算子檢測特征點(diǎn)，再用Rotated BRIEF描述提取的特征點(diǎn)并采用近鄰漢明距離匹配特征點(diǎn)對，然后采用級聯(lián)濾波去除誤匹配點(diǎn)對，最后使用迭代最小二乘法(ILSM)擬合模型參量進(jìn)行運(yùn)動補(bǔ)償實(shí)現(xiàn)穩(wěn)像。圖像匹配測試和穩(wěn)像實(shí)驗(yàn)結(jié)果表明：基于改進(jìn)的ORB算法的電子穩(wěn)像方法補(bǔ)償每一幀的時(shí)間均小于0.1 s，定位精度可達(dá)亞像素級，能有效補(bǔ)償幀間平移旋轉(zhuǎn)運(yùn)動，而且對噪聲和光照變化有較強(qiáng)魯棒性。經(jīng)穩(wěn)像處理后，實(shí)拍視頻質(zhì)量明顯提高，峰值信噪比(PSNR)平均提高了10 db。

數(shù)字穩(wěn)像；ORB特征匹配；運(yùn)動估計(jì)；級聯(lián)濾波；迭代最小二乘法

引言

手持移動成像設(shè)備，如手機(jī)、平板電腦等在獲取視頻的過程中，受人為因素影響，不可避免地存在抖動現(xiàn)象，導(dǎo)致輸出視頻圖像存在晃動、模糊現(xiàn)象，降低了視頻質(zhì)量，不易于觀察識別，影響觀察者心情，甚至帶來誤判，不利于后續(xù)視頻處理。而且手持成像設(shè)備存儲量低，計(jì)算能力有限，對速度要求較高，因此研究實(shí)時(shí)魯棒的數(shù)字穩(wěn)像技術(shù)具有極大的應(yīng)用價(jià)值。

數(shù)字穩(wěn)像技術(shù)[1]是基于硬件設(shè)備或者計(jì)算機(jī)，運(yùn)用數(shù)字圖像處理技術(shù)計(jì)算視頻相鄰幀間變換關(guān)系，并通過運(yùn)動補(bǔ)償輸出清晰平穩(wěn)的視頻序列的技術(shù)。目前應(yīng)用較多的數(shù)字穩(wěn)像算法如塊匹配法[2]、灰度投影法[3]、位平面匹配法[4]和相位相關(guān)法[5]，主要用于估計(jì)平移運(yùn)動，對旋轉(zhuǎn)運(yùn)動效果不佳；而基于特征匹配的電子穩(wěn)像算法，如Harris角點(diǎn)[6]、尺度不變特征(SIFT)[7]、加速魯棒特征(SURF)[8]等，均能有效估計(jì)平移和旋轉(zhuǎn)運(yùn)動，而且具有較強(qiáng)的魯棒性，但是算法復(fù)雜，運(yùn)算量大，難以應(yīng)用到手機(jī)、平板電腦等對實(shí)時(shí)性要求很高的手持移動成像設(shè)備上。

二進(jìn)制ORB特征[9]是在FAST[10]角點(diǎn)和BRIEF[11]描述子基礎(chǔ)上發(fā)展而來的，不僅計(jì)算代價(jià)小、內(nèi)存要求低，性能十分優(yōu)秀，而且對平移、旋轉(zhuǎn)具有不變性。ORB相比于SURF算法快一個數(shù)量級，因而適于許多實(shí)時(shí)圖像匹配場合。例如，文獻(xiàn)[12]將ORB特征用于仿射不變圖像匹配，速度比ASIFT提高了6倍，文獻(xiàn)[13]利用ORB特征對航拍圖像進(jìn)行快速拼接，能有效抵抗復(fù)雜噪聲干擾。

本文將ORB特征應(yīng)用于數(shù)字穩(wěn)像領(lǐng)域，首先對相鄰幀圖像提取ORB特征點(diǎn)進(jìn)行匹配，然后依據(jù)匹配的特征點(diǎn)對建立平移旋轉(zhuǎn)矩陣，計(jì)算平移分量和抖動分量，從而進(jìn)行補(bǔ)償，實(shí)現(xiàn)穩(wěn)像。

1 采用優(yōu)化ORB特征匹配數(shù)字穩(wěn)像原理

本文算法原理框圖如圖1所示。首先對輸入原始抖動視頻序列依次進(jìn)行預(yù)處理并檢測ORB特征點(diǎn)，然后在相鄰幀間匹配特征點(diǎn)對并采用級聯(lián)濾波提高匹配精度，再采用迭代最小二乘法(ISLA)進(jìn)行參數(shù)估計(jì)，獲取補(bǔ)償參數(shù)，實(shí)現(xiàn)穩(wěn)像，輸出穩(wěn)定的視頻序列。其中，ORB特征提取與匹配是運(yùn)動估計(jì)的關(guān)鍵技術(shù)，決定了數(shù)字穩(wěn)像的精度與速度。

圖1 優(yōu)化ORB特征匹配數(shù)字穩(wěn)像系統(tǒng)原理圖Fig.1 Schematic diagram of optimized ORB feature matching digital image system

2 ORB算法原理

ORB算法是建立在FAST算法和BRIEF描述子基礎(chǔ)上的，在保留了這兩種算法的優(yōu)點(diǎn)的同時(shí)，還分別對其進(jìn)行改進(jìn)以克服其缺點(diǎn)。FAST檢測子的速度非?？?，但它沒有旋轉(zhuǎn)不變性，對圖像旋轉(zhuǎn)比較敏感，而ORB算法采用灰度矩心將FAST改進(jìn)為具有方向的Oriented FAST檢測子。下面簡要介紹其思想。

圖像某角點(diǎn)區(qū)域的灰度矩定義為

(1)

式中：I(x,y)為點(diǎn)(x,y)處的灰度值；p、q決定了灰度矩的階數(shù)。

于是該點(diǎn)灰度矩心可表示為

(2)

以角點(diǎn)O為中心，質(zhì)心C為終點(diǎn)構(gòu)造向量，此向量的方向即為此處角點(diǎn)的主方向θ：

θ=arctan(M01,M10)

(3)

這樣，就將FAST改進(jìn)成了有方向的OrientedFAST檢測子，然后將OrientedFAST檢測子所提取的角點(diǎn)主方向應(yīng)用于BRIEF描述子，將其改進(jìn)為旋轉(zhuǎn)不變的RotatedBRIEF描述子。BRIEF二進(jìn)制描述子是在經(jīng)過平滑濾波后的角點(diǎn)的鄰域上，隨機(jī)選取若干點(diǎn)對進(jìn)行二進(jìn)制測試(binarytest)，并將binarytest值組合成一個二進(jìn)制串，作為該角點(diǎn)的BRIEF描述子。binarytest定義為

(4)

式中：p(x)是圖像平滑濾波后的角點(diǎn)的鄰域P中點(diǎn)x=(μ,v)T處的像素灰度值。選擇n個二進(jìn)制測試點(diǎn)對，則得到的BRIEF描述子為n維的二進(jìn)制碼串，如下式所示：

(5)

式中：n可為128，256或512等，本文n=256。上述生成的BRIEF描述子沒有方向，不具備旋轉(zhuǎn)不變性，當(dāng)圖像的旋轉(zhuǎn)角度較大時(shí)，其性能急劇下降。因此，ORB將角點(diǎn)主方向θ作為BRIEF描述子的主方向，以此取得旋轉(zhuǎn)不變性。原理為在點(diǎn)對(xi,yi)處，對于任意具有n個二進(jìn)制準(zhǔn)則集，可以定義一個2×n的矩陣：

(6)

利用角點(diǎn)主方向?yàn)棣鹊男D(zhuǎn)矩陣Rθ就可構(gòu)造S的有向形式Sθ=RθS。因此最終得到具備旋轉(zhuǎn)不變性的Rotated BRIEF為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(7)

3 優(yōu)化的ORB算法

ORB算法采用FAST算法檢測角點(diǎn)，而FAST算子對光照亮度噪聲不敏感，魯棒性差，會引入一些不穩(wěn)定的邊緣點(diǎn)。另外，采用最近鄰漢明距離粗匹配時(shí)存在錯誤匹配的情況，需要進(jìn)一步提高匹配精度?；谝陨戏治?，本文提出一種優(yōu)化的ORB算法，它采用預(yù)處理增強(qiáng)魯棒性以及改進(jìn)匹配策略剔除誤匹配的方法。

3.1 預(yù)處理

在角點(diǎn)檢測之前，考慮到光照變化和噪聲的影響，采用圖像增強(qiáng)技術(shù)和拉普拉斯-高斯算子對圖像序列進(jìn)行預(yù)處理。首先對于光照變化和對比度大的序列采用直方圖均衡化技術(shù)進(jìn)行預(yù)處理，可以增加圖像像素灰度值范圍，而且使圖像更清晰，角點(diǎn)分布更均勻，更穩(wěn)定，消除光照強(qiáng)度的影響。然后考慮到圖像采集中存在較多的高斯噪聲，先采用高斯濾波函數(shù)去除噪聲，再使用拉普拉斯算子銳化圖像。經(jīng)過拉普拉斯-高斯算子對圖像進(jìn)行去噪處理后，增強(qiáng)圖像的邊緣及灰度變化大的部分，圖像更加清晰，更加有利于FAST算子檢測角點(diǎn)。高斯濾波函數(shù)如下：

(8)

對上式進(jìn)行拉普拉斯變換可以得到拉普拉斯-高斯算子：

(9)

(10)

3.2 改進(jìn)的特征匹配方法

傳統(tǒng)的ORB算法采用最近鄰漢明距離作為特征點(diǎn)相似性判定準(zhǔn)則，來獲得圖像間的匹配點(diǎn)對，但該方法保留了待匹配ORB點(diǎn)的最近鄰作為和它匹配的點(diǎn)，并且沒有對初匹配點(diǎn)對進(jìn)行驗(yàn)證和篩選，因而會引入大量的誤匹配點(diǎn)對，降低了求解仿射參數(shù)的精度和速度，導(dǎo)致穩(wěn)像結(jié)果存在較大的誤差，因而不適用本文移動平臺數(shù)字穩(wěn)像算法。

參考SURF算法特征匹配采用的近鄰歐式距離，本文中ORB特征向量的匹配采用近鄰漢明距離，首先找到目標(biāo)幀中與參考幀ORB特征點(diǎn)P漢明距離最近的關(guān)鍵點(diǎn)P1和次近的關(guān)鍵點(diǎn)P2，并將P1、P2與P的漢明距離分別記為d1和d2，d1

3.3 級聯(lián)濾波

由于局部運(yùn)動物體的存在，以及噪聲等原因，造成粗匹配點(diǎn)存在部分誤匹配點(diǎn)，影響全局運(yùn)動參數(shù)估計(jì)的速度與精度，故有必要在求解補(bǔ)償參數(shù)前剔除誤匹配點(diǎn)對。本文提出2個判斷誤匹配點(diǎn)對的準(zhǔn)則。

準(zhǔn)則一：提取的Rotated BRIEF描述子的主方向代表了該ORB特征點(diǎn)的方向，正確匹配的P與P′點(diǎn)的對應(yīng)的主方向應(yīng)該一致，若主方向角度差值過大可以予以剔除。

準(zhǔn)則二：正確匹配點(diǎn)對與各自鄰域內(nèi)角點(diǎn)的數(shù)量應(yīng)該相同，假如存在縮放運(yùn)動則不可以使用固定的鄰域范圍。而相鄰幀圖像縮放可以忽略不計(jì)，主要考慮平移和旋轉(zhuǎn)運(yùn)動，故可以選擇圓形鄰域，具體定義如下式：

(11)

式中：σ和σ′分別表示P和P′點(diǎn)的特征尺度；(t,s)和(t′,s′)表示滿足半徑為r的鄰域條件的角點(diǎn)坐標(biāo)；k為權(quán)值。

對通過鄰近漢明距離匹配得到的初步匹配點(diǎn)對進(jìn)行級聯(lián)濾波處理，滿足準(zhǔn)則一和二的予以保留，反之剔除，直到保留的匹配結(jié)果小于設(shè)定的最小閾值時(shí)停止濾波，并進(jìn)行下一步參數(shù)估計(jì)。

4 參數(shù)估計(jì)與補(bǔ)償

4.1 參數(shù)模型

本文同時(shí)考慮了模型參數(shù)的精度及速度需求，采用Similarity模型對造成幀間場景變化的攝像機(jī)運(yùn)動進(jìn)行建模。Similarity模型如下：

(12)

式中：s表示縮放因子；θ表示旋轉(zhuǎn)角度的大?。籘為平移矢量。

由于視頻序列幀間圖像尺度縮放變換可以忽略，而且旋轉(zhuǎn)角度一般小于5°，所以Similarity模型中可取s=1，cosθ≈1，sinθ≈θ，于是該模型簡化為如下形式：

(13)

設(shè)正確匹配點(diǎn)對總數(shù)為N，參考幀圖像中點(diǎn)(xi,yi)和目標(biāo)幀圖像中點(diǎn)(Xi,Yi)為第i對匹配點(diǎn)對，則由(13)式可得

(14)

進(jìn)一步變形得

(15)

(15)式中含有3個未知參數(shù)，故最少需3對匹配點(diǎn)即可得到補(bǔ)償參數(shù)(dx,dy,θ)。當(dāng)N>2時(shí)，根據(jù)(15)式計(jì)算最小二乘解即可。(15)式可縮寫為

Ax=b

(16)

進(jìn)一步變形得

x=[ATA]-1ATb

(17)

求解方程(17)的最小二乘解，即可得到相鄰兩幀的運(yùn)動矢量(dx,dy,θ)。

4.2 運(yùn)動補(bǔ)償

由于視頻幀中物體可能存在局部運(yùn)動，雖然改進(jìn)了匹配策略，但仍然會存在少量的錯誤匹配點(diǎn)對。如果直接使用最小二乘估計(jì)算法，可能得不到正確的補(bǔ)償參數(shù)。為了避免誤匹配數(shù)據(jù)對求解補(bǔ)償參數(shù)的影響，一般采用隨機(jī)抽樣一致算法[14](RANSAC)剔除外點(diǎn)(誤匹配點(diǎn)對)，計(jì)算仿射矩陣，但是該算法復(fù)雜，效率不高，不適合本文實(shí)時(shí)應(yīng)用的要求。

考慮到本文經(jīng)級聯(lián)濾波得到的粗匹配點(diǎn)對集合正確率較高，可采用迭代最小二乘估計(jì)算法(ILSA)求解運(yùn)動估計(jì)參數(shù)。算法流程如下：

1) 將ORB特征匹配結(jié)果對代入Similarity模型，建立運(yùn)動方程Ax=b；

5) 重復(fù)步驟1)～4)若干次，當(dāng)?shù)^程中某次匹配結(jié)果與前一次相同時(shí)或者參數(shù)x的變化量小于設(shè)定閾值時(shí)，迭代結(jié)束并得到最終補(bǔ)償參數(shù)x；

6) 對經(jīng)過迭代排除的ORB特征匹配內(nèi)點(diǎn)再進(jìn)行LSA擬合，估計(jì)出高精度全局運(yùn)動參數(shù)，對目標(biāo)幀圖像進(jìn)行運(yùn)動補(bǔ)償，消除抖動，最終實(shí)現(xiàn)穩(wěn)像。

采用ILSA估計(jì)運(yùn)動參數(shù)，雖然比RANSAC精度有所降低，但是只需少數(shù)幾次迭代即可，運(yùn)算速度較快，同時(shí)也滿足參數(shù)精度要求。

5 穩(wěn)像實(shí)驗(yàn)與分析

為驗(yàn)證文中改進(jìn)ORB算法的魯棒性以及穩(wěn)像算法的有效性，分別從標(biāo)準(zhǔn)測試圖片(來自Corel5k數(shù)據(jù)集)特征匹配效果和實(shí)拍視頻(分辨率為856 pixel x 480 pixel)穩(wěn)像效果2個方面進(jìn)行實(shí)驗(yàn)說明。在PC機(jī)(Inter Core i7-4790，CPU 3.60 GHz，4.00 GB RAM)采用Matlab2011b編程進(jìn)行實(shí)驗(yàn)。

5.1 優(yōu)化ORB算法匹配性能測試

選擇Corel5k數(shù)據(jù)集中不同標(biāo)準(zhǔn)測試圖片用本文優(yōu)化ORB算法和傳統(tǒng)ORB算法進(jìn)行匹配效果對比，如圖2所示，圖2(b)為光照變化情況，圖2(a)為添加0.02高斯噪聲實(shí)現(xiàn)目標(biāo)在平移、旋轉(zhuǎn)運(yùn)動下的匹配。從圖2可以看出，本文優(yōu)化ORB算法匹配點(diǎn)對數(shù)明顯減少，但在保證足夠匹配點(diǎn)對數(shù)的情況下，同時(shí)也大大減少了誤匹配點(diǎn)對數(shù)，進(jìn)一步提高了匹配精度，可以很好地滿足仿射參數(shù)求解的需要。

圖2 傳統(tǒng)ORB算法(左)與優(yōu)化ORB算法(右)匹配效果對比Fig.2 Matching effect comparison of traditional ORB algorithms(left) and optimized ORB algorithm (right)

為了體現(xiàn)本文算法在匹配速度和精度上的優(yōu)越性，將本文算法與傳統(tǒng)算法進(jìn)行了對比，結(jié)果如表1所示。從表1中可以看出，本文優(yōu)化算法運(yùn)算速度快，存在噪聲和光照變化情況下誤匹配點(diǎn)數(shù)明顯減少，匹配精度提高了20%以上，有很好的魯棒性。

表1 兩種算法匹配性能測試比較

5.2 優(yōu)化ORB特征匹配穩(wěn)像算法效果驗(yàn)證

為了評估本文算法的穩(wěn)像效果，本文利用幀間逼真度，即峰值信噪比(peak signal to noise ratio，PSNR)作為客觀質(zhì)量評價(jià)標(biāo)準(zhǔn)。質(zhì)量良好的視頻的PSNR值一般在30 dB以上，PSNR值越大，視頻質(zhì)量越好。另以f(x,y)為參考圖像，f′(x,y)為重建圖像。則兩幅圖像(尺寸為M×N)f(x,y)和f′(x,y)之間均方根誤差為

(18)

則PSNR定義為

(19)

式中L為灰度級數(shù)。

分辨率為856pixelx480pixel實(shí)拍視頻序列的穩(wěn)像實(shí)驗(yàn)結(jié)果如圖3所示。由于對視頻序列運(yùn)動補(bǔ)償后沒有考慮無定義的邊緣區(qū)域，因此計(jì)算整幅圖像的峰值信噪比(PSNR)沒有意義，因此本文只計(jì)算中心區(qū)域的PSNR，并給出各自的補(bǔ)償參數(shù)，如表2所示。由補(bǔ)償參數(shù)可知，計(jì)算精度為浮點(diǎn)精度，故補(bǔ)償精度可達(dá)亞像素級。

圖3 實(shí)拍視頻穩(wěn)像結(jié)果(由左至右分別為參考幀、目標(biāo)幀、補(bǔ)償幀)Fig.3 Results of real video image stabilization (from left to right respectively reference frame, target frame, compensation frame)

視頻序列(dx，dy，θ)中心區(qū)域PSNR/dB補(bǔ)償前補(bǔ)償后穩(wěn)像時(shí)間/s圖2(a)(-6．4856，1．6356，-0．0342)24360．096圖2(b)(2．1831，-5．6724，0．0216)28400．093圖2(c)(-9．6241，2．4373，-0．0142)26370．095

由圖3、表2實(shí)驗(yàn)結(jié)果可以看出，補(bǔ)償后的視頻序列不但主觀視覺感受良好，而且客觀的PSNR平均提高了10 dB以上，視頻質(zhì)量有顯著提高。另一方面，基于改進(jìn)的ORB算法的電子穩(wěn)像方法補(bǔ)償每一幀的時(shí)間均小于0.1 s，可以滿足實(shí)時(shí)性要求。

6 結(jié)論

首先對ORB算法進(jìn)行理論介紹與分析，然后提出一種優(yōu)化ORB算法用于特征匹配進(jìn)行運(yùn)動估計(jì)，采用預(yù)處理和級聯(lián)濾波增強(qiáng)圖像清晰度，減少誤匹配點(diǎn)，提高匹配精度與速度，最后采用迭代最小二乘估計(jì)進(jìn)行運(yùn)動補(bǔ)償實(shí)現(xiàn)穩(wěn)像。實(shí)驗(yàn)結(jié)果表明，該數(shù)字穩(wěn)像方法對光照亮度、噪聲不敏感，而且速度快，穩(wěn)像效果良好，用專用硬件加速以后能夠滿足手持、車載、機(jī)器人等移動成像裝置的需求，可應(yīng)用于無人偵察、目標(biāo)識別與跟蹤等領(lǐng)域。但該算法也有一定的局限性，由于ORB算法不具備尺度不變性，因此對可能存在的輕微縮放運(yùn)動不具備補(bǔ)償效果，限制了該算法的應(yīng)用范圍，這也是本文下一步需要研究的問題。

[1] Wang Zhimin, Xu Xiaogang. A survey on electronic image stabilization[J].Journal of Image and Graphics, 2010, 15(3): 470-480. 王志民，徐曉剛. 電子穩(wěn)像技術(shù)綜述[J]. 中國圖像圖形學(xué)報(bào)，2010，15(3)：470-479.

[2] Cuevas E，Zaldvara D, Pérez-Cisneros M，et.al. Block matching algorithm for motion estimation based on Artificial Bee Colony (ABC)[J].Applied Soft Computing，2013,13(6)：3047-3059.

[3] Gu Guohua,Gu Xuehai, Wang Liping. Electric image stabilization based on improved gray projection[J].Journal of Applied Optics，2013，34(6):867-963. 顧國華，顧學(xué)海，王利平. 基于灰度投影改進(jìn)的電子穩(wěn)像[J]. 應(yīng)用光學(xué)，2013，34(6): 867-963.

[4] Luo Jun, Dong Hongyan, Shen Zhenkang. Video stabilization based on bit-plane registration and Kalman filter[J]. Infrared and Laser Engineering，2008, 37(2): 304-307. 羅軍，董鴻雁，沈振康. 基于位平面匹配和卡爾曼濾波的視頻穩(wěn)定[J]. 紅外與激光工程，2008, 37(2): 304-307.

[5] Xing Hui，Yan Jinglong，Zhang Shujiang. Digital image stabilization algorithm based on phase correlation[J]. Opto-Electronic Engineering，2007，34(3): 37-41. 邢慧，顏景龍，張樹江. 基于相位相關(guān)的數(shù)字穩(wěn)像算法研究[J]. 光電工程，2007，34(3): 37-41.

[6] Zhang Yanning,Zhang Xingong,Zhu Yu,et.al. A stabilized Harris confidence based 3SS of digital video stabilizing method[J]. Acta Photonica Sinica,2010,39(2)：364-368. 張艷寧,張新功,朱宇,等. 基于穩(wěn)定Harris置信度的三步搜索數(shù)字穩(wěn)像方法[J]. 光子學(xué)報(bào),2010,39(2)：364-368.

[7] Chu Shouyan, Xi Zhihong. Digital image stabilization based on SURF[J].Journal of Computer-Aided Design & Computer Graphics，2014，26(2),242-247. 初守艷，席志紅. 結(jié)合SURF的數(shù)字穩(wěn)像技術(shù)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2014，26(2),242-247.

[8] Schulze C, Liwicki M. Optimized SIFT feature matching for image retrieval[J]. Lecture Notes in Computer Science，2014，1(1)：102-115.

[9] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]// ICCV.New York:IEEE, 2011: 2564-2571.

[10]Rosten E, Porter R,Drummond T. Faster and better: a machine learning approach to corner detection[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2010，32(1)：105-119.

[11]Calonder M, Lepetit V, Strecha C, et al. BRIEF: binary robust independent elementary features[C]//ECCV.Berlin:Springer Berlin Heidelberg,2010: 778-792.

[12]Hou Yi, Zhou Shilin, Lei Lin,et.al. Fast fully affine invariant image matching based on ORB[J].Computer Engineering & Science，2014，36(2)：303-310. 候毅，周石琳，雷琳,等. 基于ORB的快速完全仿射不變圖像匹配[J]. 計(jì)算機(jī)工程與科學(xué)，2014，36(2)：303-310.

[13]Wang Guodong， Wen Pengcheng， Chen Yue. A method for aerial image stitching using ORB feature points[J].Journal of Inner Mongolia University:Natural Science Edition，2014，43(4)：425-433. 王國東，文鵬程，程岳. 一種利用ORB特征進(jìn)行航拍圖像拼接的方法[J]. 內(nèi)蒙古師范大學(xué)學(xué)報(bào):自然科學(xué)漢文版，2014，43(4)：425-433.

[14]Chen Fuxin，Wang Runsheng. Fast RANSAC with preview model parameters evaluation[J]. Journal of Software,2005，16(8)：1431-1437. 陳付幸，王潤生. 基于預(yù)檢驗(yàn)的快速隨機(jī)抽樣一致性算法[J].軟件學(xué)報(bào)，2005，16(8)：1431-1437.

Fast robust digital image stabilization based on feature matching

Xie Zheng, Cui Shaohui, Li Jinlun

(Ordnance Engineering College, Shijiazhuang 050003, China)

In view of the problems that the translation and small angle rotation motion always exist between adjacent frames when the handheld mobile camera is filming video sequence, and it is easily affected by noise and illumination changes,we put forward a kind of real-time robust digital image algorithm based on optimized oriented features from accelerated segment test (FAST) and rotated binary robust independent elementary features (BRIEF) (ORB) feature matching algorithm.Firstly the adjacent frame images were preprocessed to enhance image clarity and to avoid noise interference;secondly the oriented FAST operator was used to detect feature points and the rotated BRIEF was used to describe feature points, then the neighbor hamming distance was adopted to match the ORB feature point pairs; thirdly the cascaded filter was used to remove the false matching points; finally the iterative least squares method(ILSM) was used to fit model parameters,then the motion compensation was done to achieve digital image stabilization. Standard image matching test and digital image stabilization experimental results show that the run time of compensation for each frame by the electric image stabilization method based on improved ORB algorithm is faster than 0.1 s, the positioning accuracy can reach sub-pixel level, this method can effectively compensate the translation and rotation movement between the adjacent frames, and is not sensitive to noise and illumination changes, has strong robustness. After image stabilization processing,the real scene shooting video quality obviously improves and the peak signal-to-noise ratio (PSNR) increases by an average of 10 db.Key words:digital image stabilization; ORB feature matching; motion estimation; cascade filter; iterative least squares method

1002-2082(2015)06-0893-07

2015-04-28；

2015-08-10

軍內(nèi)科技創(chuàng)新項(xiàng)目(裝司字[2012]665)

謝征(1991-)，男，安徽亳州人，碩士研究生，主要從事捷聯(lián)圖像制導(dǎo)電子穩(wěn)像技術(shù)研究。

E-mail：xiezheng@mail.ustc.edu.cn 。

TN911.73;TP394.1

A

10.5768/JAO201536.0602003