吉淑嬌,朱 明,胡漢平,2,邢笑雪
(1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,長(zhǎng)春130033;2.中國(guó)科學(xué)院研究生院,北京100039;3.長(zhǎng)春大學(xué)電子信息工程學(xué)院,長(zhǎng)春130022)
機(jī)載成像設(shè)備安裝在軍用偵察系統(tǒng),無(wú)人車輛導(dǎo)航系統(tǒng)以及一些民用的監(jiān)控系統(tǒng)上,由于工作環(huán)境惡劣使得這種攝像載體所攝取的視頻存在不確定的抖動(dòng),因此有必要采用電子穩(wěn)像技術(shù)去除抖動(dòng),獲得高質(zhì)量的穩(wěn)定視頻序列。
電子穏像技術(shù)關(guān)鍵是運(yùn)動(dòng)矢量的提取。精度高速度快的特征法是運(yùn)動(dòng)矢量估計(jì)算法中較常用的算法[1-2]。筆者采用基于特征點(diǎn)的匹配進(jìn)行運(yùn)動(dòng)矢量估計(jì)。該算法主要采用分區(qū)Harris的特征點(diǎn)檢測(cè)方法,將檢測(cè)出的特征點(diǎn)利用距離準(zhǔn)則剔除誤匹配點(diǎn)。將正確匹配的特征點(diǎn)代入仿射模型求解出運(yùn)動(dòng)矢量,再進(jìn)行運(yùn)動(dòng)濾波,分離出抖動(dòng)分量和有意運(yùn)動(dòng)分量。最后進(jìn)行逐幀運(yùn)動(dòng)補(bǔ)償,實(shí)現(xiàn)圖像的平移、旋轉(zhuǎn)補(bǔ)償。算法流程如圖1所示。
圖1 電子穩(wěn)像系統(tǒng)的算法流程Fig.1 The algorithm process of Electronic stability system
在基于特征的圖像配準(zhǔn)過(guò)程中,角點(diǎn)提取具有非常重要的意義。角點(diǎn)或點(diǎn)特征是圖像的諸多特征如亮度、顏色信息、邊緣、直線以及輪廓等直接特征中較能代表圖像特點(diǎn)的特征。比較常用的角點(diǎn)提取算子有sift以及其升級(jí)的surf算子[2]、KLT算法[3]、Harris算子及其各種改進(jìn)的算法[4-5]等。由于機(jī)載成像設(shè)備所攝取的視頻序列噪聲較多,因此筆者采用抗噪性能較強(qiáng)的Harris算子提取特征點(diǎn)。算子的核心為
當(dāng)λ1,λ2都是較大的點(diǎn)時(shí),該點(diǎn)視為特征點(diǎn)。為使特征點(diǎn)均勻分布,采用分區(qū)的角點(diǎn)檢測(cè)方法。
特征匹配采用基于模板的思想,以參考幀圖像的特征點(diǎn)為中心,構(gòu)造一個(gè)大小合適的模板圖像作為特征窗,利用SAD(最小像素差之和)準(zhǔn)則,在當(dāng)前幀中的一個(gè)較大搜索區(qū)域內(nèi)進(jìn)行搜索,得到匹配圖像塊中心點(diǎn)即為對(duì)應(yīng)匹配點(diǎn),搜索區(qū)域及特征窗大小要根據(jù)圖像實(shí)際情況進(jìn)行調(diào)整。
由于受噪聲干擾、被遮擋等原因,在特征點(diǎn)匹配過(guò)程中部分特征點(diǎn)不能正確匹配。隨機(jī)抽樣一次性RANSAC是較常用的剔除誤匹配點(diǎn)的算法,但由于其計(jì)算量稍大,采用文獻(xiàn)[1]的距離不變準(zhǔn)則剔除誤匹配特征點(diǎn)。
圖2給出了一個(gè)距離準(zhǔn)則的示意圖,圖2(a)在參考幀中選取6個(gè)特征點(diǎn)構(gòu)成的特征點(diǎn)集,以點(diǎn)1為例,其余5個(gè)點(diǎn)到它的距離構(gòu)成一個(gè)穩(wěn)定的結(jié)構(gòu),在攝像機(jī)運(yùn)動(dòng)前后應(yīng)該保持不變。圖2中除了d15和d'15的距離不等,其余大部分特征點(diǎn)都滿足距離準(zhǔn)則,故可以判斷點(diǎn)1和1'是正確匹配點(diǎn)對(duì);而對(duì)于點(diǎn)5,它到其余各點(diǎn)的距離都不相等,故可判斷5和5'為誤匹配點(diǎn)對(duì).
描述算法時(shí),可設(shè)定距離差的閾值,當(dāng)穩(wěn)定結(jié)構(gòu)中有半數(shù)以上距離小于閾值,就可認(rèn)為是正確匹配點(diǎn)對(duì),閾值越小所提取特征點(diǎn)對(duì)越準(zhǔn)確。
圖2 距離準(zhǔn)則示意圖Fig.2 Distance criterion schematic diagram
實(shí)驗(yàn)以30幀/s的幀率采集到的236×32像素0的80幀航拍圖像為研究對(duì)象,計(jì)算機(jī)采用酷睿2代E7500處理器,CPU主頻2.93 GByts,內(nèi)存2 GByts,Windows XP操作系統(tǒng)。首先對(duì)所采集圖像做剪切處理,以免特征點(diǎn)匹配移除場(chǎng)景,無(wú)法進(jìn)行正確匹配。
圖3為該視頻序列的參考幀序列提取的特征點(diǎn)以及匹配的特征點(diǎn)顯示,正確匹配點(diǎn)標(biāo)記“o”,錯(cuò)誤匹配點(diǎn)標(biāo)記“+”。
圖3 參考幀的特征點(diǎn)顯示Fig.3 Feature points of Reference frame
采用四參數(shù)仿射變換模型,對(duì)運(yùn)動(dòng)參數(shù)進(jìn)行估計(jì)。確定參考幀和當(dāng)前幀的正確匹配的特征點(diǎn)對(duì)的坐標(biāo)后,分別代入如下仿射模型:
其中(Xi,Yi)和(Xi',Yi')分別代表參考幀和當(dāng)前幀的特征點(diǎn)坐標(biāo)。參數(shù)s代表變焦系數(shù),通常取1;θ為旋轉(zhuǎn)角度;Δx,Δy分別代表水平和垂直位移。
每對(duì)特征點(diǎn)都可得到2個(gè)線性方程,N個(gè)特征點(diǎn)就會(huì)有2N個(gè)線性方程,而未知量就3個(gè)即:θ,Δx,Δy。系統(tǒng)為超定方程組,采用最小二乘法即可求得運(yùn)動(dòng)矢量的值。實(shí)驗(yàn)所求得的運(yùn)動(dòng)矢量為M1=[3.008 7;6.193 6;1.247 7],通過(guò)以上方法,可求得該實(shí)驗(yàn)的80幀圖片相鄰幀的運(yùn)動(dòng)矢量79個(gè)。
對(duì)所求得的運(yùn)動(dòng)矢量直接用于運(yùn)動(dòng)補(bǔ)償,會(huì)導(dǎo)致補(bǔ)償過(guò)度等問(wèn)題,因此出現(xiàn)了很多對(duì)運(yùn)動(dòng)矢量進(jìn)行處理的方法。文獻(xiàn)[6]采用一階線性回歸的方法分離出抖動(dòng)矢量,文獻(xiàn)[7]采用支持向量機(jī)的方法,將運(yùn)動(dòng)矢量分為可靠的和不可靠矢量,然后對(duì)可靠運(yùn)動(dòng)矢量進(jìn)行處理。更多的運(yùn)動(dòng)矢量處理方法是采用各種運(yùn)動(dòng)濾波的方式。
運(yùn)動(dòng)濾波的目的就是分離出有意運(yùn)動(dòng)和頻率較高的隨機(jī)抖動(dòng)。運(yùn)動(dòng)濾波比較常用的方法有均值濾波、Kalman濾波和粒子濾波等。筆者采用基于統(tǒng)計(jì)的Kalman濾波方法。
Kalman濾波是能從被提取信號(hào)有關(guān)的量,測(cè)量中通過(guò)算法估計(jì)出所需要的信號(hào),估計(jì)過(guò)程用到了狀態(tài)方程、測(cè)量方程、系統(tǒng)噪聲和兩側(cè)噪聲的統(tǒng)計(jì)特性。這里,狀態(tài)矢量為
測(cè)量矢量為
對(duì)上面的狀態(tài)矢量和測(cè)量矢量列寫(xiě)出下述3種方程。
狀態(tài)方程和量測(cè)方程:
預(yù)測(cè)方程:
A為狀態(tài)矩陣,H為觀測(cè)矩陣。其取值分別為
w(k),v(k)都為均值為零、方差分別為Q和R的高斯噪聲。
該實(shí)驗(yàn)結(jié)果為Q=0.01,R=1以及Q= 0.001,R=1時(shí)的結(jié)果。對(duì)濾波前后的運(yùn)動(dòng)矢量進(jìn)行對(duì)比,結(jié)果如圖4所示:
圖4 取值不同的濾波曲線Fig.4 Curve of filter w ith difference value
所取Q值不同,即所取過(guò)程噪聲的方差不同,濾波效果有較大差別。Q值很大,會(huì)影響平滑運(yùn)動(dòng)矢量,補(bǔ)償效果會(huì)很差;Q較小,濾波結(jié)果平滑,但補(bǔ)償結(jié)果和真實(shí)掃描的結(jié)果之間存在差異。
補(bǔ)償方法包括逐幀補(bǔ)償和固定幀補(bǔ)償。固定幀補(bǔ)償容易產(chǎn)生邊緣發(fā)散,因此采用逐幀補(bǔ)償。傳統(tǒng)的補(bǔ)償方式可用濾波后得到比較平滑的運(yùn)動(dòng)矢量MVS對(duì)參考幀所有坐標(biāo)進(jìn)行仿射變換。
參考幀坐標(biāo)點(diǎn)取值為X1到行高,為Y1到列寬,而對(duì)所有坐標(biāo)都進(jìn)行的是一樣的旋轉(zhuǎn)平移變換比較耗時(shí)。即:
因此只對(duì)圖像首行和首列的像素的旋轉(zhuǎn)結(jié)果計(jì)算出來(lái),其余行列的像素進(jìn)行簡(jiǎn)單的加減運(yùn)算就可以計(jì)算出運(yùn)動(dòng)矢量,節(jié)省了計(jì)算時(shí)間。
在補(bǔ)償過(guò)程中,由于運(yùn)動(dòng)矢量都為浮點(diǎn)類型數(shù)值,變換后的坐標(biāo)值一般不在整數(shù)格上。因此采用插值法將當(dāng)前坐標(biāo)的像素值賦給變換之后的坐標(biāo)點(diǎn)上??紤]浮點(diǎn)數(shù)的計(jì)算比較耗時(shí),因此采用最近鄰域插值法。
對(duì)運(yùn)動(dòng)補(bǔ)償后出現(xiàn)的黑邊即“無(wú)定義區(qū)”,筆者采用簡(jiǎn)單的圖像剪切方式。補(bǔ)償后的參考幀如圖5所示。
圖5 補(bǔ)償后的參考幀F(xiàn)ig.5 Compensation of reference frame
穏像效果可通過(guò)輸入輸出視頻序列的前后兩幀圖像差值或峰值信噪比等評(píng)價(jià)。采用圖像差值來(lái)驗(yàn)證效果。差值如圖6所示。
圖6 視頻序列幀間差值Fig.6 Video sequence fidelity comparison between frames
筆者采用基于特征匹配的視頻穩(wěn)像方法,通過(guò)分區(qū)的Harris算法提取特征點(diǎn),并利用正確匹配的特征點(diǎn)坐標(biāo),求取幀間運(yùn)動(dòng)矢量。采用Kalman濾波方法對(duì)所提取的進(jìn)行矢量進(jìn)行濾波,去除了抖動(dòng)分量。最后利用改進(jìn)的逐幀補(bǔ)償方法實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償。為了驗(yàn)證穏像的效果,對(duì)輸入視頻及輸出視頻的前后兩幀進(jìn)行減法運(yùn)算,結(jié)果表明采用筆者算法所做的穩(wěn)像算法,取得了一定的效果。
[1]朱娟娟,郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)[J].西安電子科技大學(xué)學(xué)報(bào):自然科學(xué)版,2007,34(3):418-422.
ZHU Juan-juan,GUO Bao-long.Electronic image stabilization system based on global features tracking[J]. Journal of Xidian University:Science and Technology,2007,34(3):418-422.
[2]Huang JC.Automatic feature-based globalmotion estimation in video sequences[J].IEEE,2004,50(3): 911-915.
[3]Marius Tico,Vehvilainen M.Constraintmotion filtering for video stabilization[C]//IEEE International Conference on Image.2005:569-572.
[4]GAO Peng-qi,YAN Lei,ZHAO Hong-ying.A newmethod for stabilization of video images with large moving object[C]//Proc SPIE 6833,68330H.2007:476-490.
[5]彭健,汪佩,賈彥茹.一種用于電子穩(wěn)像的運(yùn)動(dòng)矢量處理方法[J].電子測(cè)量與儀器學(xué)報(bào),2010,24(6): 580-584.
PENG Jian,WANG Pei,JIA Yan-ru,Motion vector processing method for electronic image stabilization[J]. Journal of Electronic Measurement and Instrument,2010,24(6):580-584.
[6]陳正華,章毓晉.基于運(yùn)動(dòng)矢量可靠性分析的視頻全局運(yùn)動(dòng)估計(jì)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2010,50(4):623-627.
CHEN Zheng-h(huán)ua,ZHANG Yu-jin.Global motion estimation based on the reliability analysis ofmotion vectors[J].Journal of Tsinghua University:Science and Technology,201050(4):623-627.
[7]王斌,趙躍進(jìn).基于電子穏像跟蹤技術(shù)的運(yùn)動(dòng)濾波算法[J].光學(xué)精密工程,2009,17(1):202-206.
WANG Bin,ZHAO Yue-jin.Motion filtering algorithm for tracking technology based on image stabilization[J].Optics and Precision Engineering,2009,17(1): 202-206.