亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于特征匹配的視頻穩(wěn)像算法

        2013-04-03 00:13:16吉淑嬌胡漢平邢笑雪
        關(guān)鍵詞:矢量濾波補(bǔ)償

        吉淑嬌,朱 明,胡漢平,2,邢笑雪

        (1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,長(zhǎng)春130033;2.中國(guó)科學(xué)院研究生院,北京100039;3.長(zhǎng)春大學(xué)電子信息工程學(xué)院,長(zhǎng)春130022)

        機(jī)載成像設(shè)備安裝在軍用偵察系統(tǒng),無(wú)人車輛導(dǎo)航系統(tǒng)以及一些民用的監(jiān)控系統(tǒng)上,由于工作環(huán)境惡劣使得這種攝像載體所攝取的視頻存在不確定的抖動(dòng),因此有必要采用電子穩(wěn)像技術(shù)去除抖動(dòng),獲得高質(zhì)量的穩(wěn)定視頻序列。

        電子穏像技術(shù)關(guān)鍵是運(yùn)動(dòng)矢量的提取。精度高速度快的特征法是運(yùn)動(dòng)矢量估計(jì)算法中較常用的算法[1-2]。筆者采用基于特征點(diǎn)的匹配進(jìn)行運(yùn)動(dòng)矢量估計(jì)。該算法主要采用分區(qū)Harris的特征點(diǎn)檢測(cè)方法,將檢測(cè)出的特征點(diǎn)利用距離準(zhǔn)則剔除誤匹配點(diǎn)。將正確匹配的特征點(diǎn)代入仿射模型求解出運(yùn)動(dòng)矢量,再進(jìn)行運(yùn)動(dòng)濾波,分離出抖動(dòng)分量和有意運(yùn)動(dòng)分量。最后進(jìn)行逐幀運(yùn)動(dòng)補(bǔ)償,實(shí)現(xiàn)圖像的平移、旋轉(zhuǎn)補(bǔ)償。算法流程如圖1所示。

        圖1 電子穩(wěn)像系統(tǒng)的算法流程Fig.1 The algorithm process of Electronic stability system

        1 運(yùn)動(dòng)矢量的提取

        1.1 角點(diǎn)的提取和特征匹配

        在基于特征的圖像配準(zhǔn)過(guò)程中,角點(diǎn)提取具有非常重要的意義。角點(diǎn)或點(diǎn)特征是圖像的諸多特征如亮度、顏色信息、邊緣、直線以及輪廓等直接特征中較能代表圖像特點(diǎn)的特征。比較常用的角點(diǎn)提取算子有sift以及其升級(jí)的surf算子[2]、KLT算法[3]、Harris算子及其各種改進(jìn)的算法[4-5]等。由于機(jī)載成像設(shè)備所攝取的視頻序列噪聲較多,因此筆者采用抗噪性能較強(qiáng)的Harris算子提取特征點(diǎn)。算子的核心為

        當(dāng)λ1,λ2都是較大的點(diǎn)時(shí),該點(diǎn)視為特征點(diǎn)。為使特征點(diǎn)均勻分布,采用分區(qū)的角點(diǎn)檢測(cè)方法。

        特征匹配采用基于模板的思想,以參考幀圖像的特征點(diǎn)為中心,構(gòu)造一個(gè)大小合適的模板圖像作為特征窗,利用SAD(最小像素差之和)準(zhǔn)則,在當(dāng)前幀中的一個(gè)較大搜索區(qū)域內(nèi)進(jìn)行搜索,得到匹配圖像塊中心點(diǎn)即為對(duì)應(yīng)匹配點(diǎn),搜索區(qū)域及特征窗大小要根據(jù)圖像實(shí)際情況進(jìn)行調(diào)整。

        1.2 剔除誤匹配點(diǎn)

        由于受噪聲干擾、被遮擋等原因,在特征點(diǎn)匹配過(guò)程中部分特征點(diǎn)不能正確匹配。隨機(jī)抽樣一次性RANSAC是較常用的剔除誤匹配點(diǎn)的算法,但由于其計(jì)算量稍大,采用文獻(xiàn)[1]的距離不變準(zhǔn)則剔除誤匹配特征點(diǎn)。

        圖2給出了一個(gè)距離準(zhǔn)則的示意圖,圖2(a)在參考幀中選取6個(gè)特征點(diǎn)構(gòu)成的特征點(diǎn)集,以點(diǎn)1為例,其余5個(gè)點(diǎn)到它的距離構(gòu)成一個(gè)穩(wěn)定的結(jié)構(gòu),在攝像機(jī)運(yùn)動(dòng)前后應(yīng)該保持不變。圖2中除了d15和d'15的距離不等,其余大部分特征點(diǎn)都滿足距離準(zhǔn)則,故可以判斷點(diǎn)1和1'是正確匹配點(diǎn)對(duì);而對(duì)于點(diǎn)5,它到其余各點(diǎn)的距離都不相等,故可判斷5和5'為誤匹配點(diǎn)對(duì).

        描述算法時(shí),可設(shè)定距離差的閾值,當(dāng)穩(wěn)定結(jié)構(gòu)中有半數(shù)以上距離小于閾值,就可認(rèn)為是正確匹配點(diǎn)對(duì),閾值越小所提取特征點(diǎn)對(duì)越準(zhǔn)確。

        圖2 距離準(zhǔn)則示意圖Fig.2 Distance criterion schematic diagram

        1.3 實(shí)驗(yàn)

        實(shí)驗(yàn)以30幀/s的幀率采集到的236×32像素0的80幀航拍圖像為研究對(duì)象,計(jì)算機(jī)采用酷睿2代E7500處理器,CPU主頻2.93 GByts,內(nèi)存2 GByts,Windows XP操作系統(tǒng)。首先對(duì)所采集圖像做剪切處理,以免特征點(diǎn)匹配移除場(chǎng)景,無(wú)法進(jìn)行正確匹配。

        圖3為該視頻序列的參考幀序列提取的特征點(diǎn)以及匹配的特征點(diǎn)顯示,正確匹配點(diǎn)標(biāo)記“o”,錯(cuò)誤匹配點(diǎn)標(biāo)記“+”。

        圖3 參考幀的特征點(diǎn)顯示Fig.3 Feature points of Reference frame

        1.4 計(jì)算運(yùn)動(dòng)矢量

        采用四參數(shù)仿射變換模型,對(duì)運(yùn)動(dòng)參數(shù)進(jìn)行估計(jì)。確定參考幀和當(dāng)前幀的正確匹配的特征點(diǎn)對(duì)的坐標(biāo)后,分別代入如下仿射模型:

        其中(Xi,Yi)和(Xi',Yi')分別代表參考幀和當(dāng)前幀的特征點(diǎn)坐標(biāo)。參數(shù)s代表變焦系數(shù),通常取1;θ為旋轉(zhuǎn)角度;Δx,Δy分別代表水平和垂直位移。

        每對(duì)特征點(diǎn)都可得到2個(gè)線性方程,N個(gè)特征點(diǎn)就會(huì)有2N個(gè)線性方程,而未知量就3個(gè)即:θ,Δx,Δy。系統(tǒng)為超定方程組,采用最小二乘法即可求得運(yùn)動(dòng)矢量的值。實(shí)驗(yàn)所求得的運(yùn)動(dòng)矢量為M1=[3.008 7;6.193 6;1.247 7],通過(guò)以上方法,可求得該實(shí)驗(yàn)的80幀圖片相鄰幀的運(yùn)動(dòng)矢量79個(gè)。

        2 運(yùn)動(dòng)濾波

        對(duì)所求得的運(yùn)動(dòng)矢量直接用于運(yùn)動(dòng)補(bǔ)償,會(huì)導(dǎo)致補(bǔ)償過(guò)度等問(wèn)題,因此出現(xiàn)了很多對(duì)運(yùn)動(dòng)矢量進(jìn)行處理的方法。文獻(xiàn)[6]采用一階線性回歸的方法分離出抖動(dòng)矢量,文獻(xiàn)[7]采用支持向量機(jī)的方法,將運(yùn)動(dòng)矢量分為可靠的和不可靠矢量,然后對(duì)可靠運(yùn)動(dòng)矢量進(jìn)行處理。更多的運(yùn)動(dòng)矢量處理方法是采用各種運(yùn)動(dòng)濾波的方式。

        運(yùn)動(dòng)濾波的目的就是分離出有意運(yùn)動(dòng)和頻率較高的隨機(jī)抖動(dòng)。運(yùn)動(dòng)濾波比較常用的方法有均值濾波、Kalman濾波和粒子濾波等。筆者采用基于統(tǒng)計(jì)的Kalman濾波方法。

        2.1 Kalm an濾波

        Kalman濾波是能從被提取信號(hào)有關(guān)的量,測(cè)量中通過(guò)算法估計(jì)出所需要的信號(hào),估計(jì)過(guò)程用到了狀態(tài)方程、測(cè)量方程、系統(tǒng)噪聲和兩側(cè)噪聲的統(tǒng)計(jì)特性。這里,狀態(tài)矢量為

        測(cè)量矢量為

        對(duì)上面的狀態(tài)矢量和測(cè)量矢量列寫(xiě)出下述3種方程。

        狀態(tài)方程和量測(cè)方程:

        預(yù)測(cè)方程:

        A為狀態(tài)矩陣,H為觀測(cè)矩陣。其取值分別為

        w(k),v(k)都為均值為零、方差分別為Q和R的高斯噪聲。

        2.2 實(shí)驗(yàn)結(jié)果

        該實(shí)驗(yàn)結(jié)果為Q=0.01,R=1以及Q= 0.001,R=1時(shí)的結(jié)果。對(duì)濾波前后的運(yùn)動(dòng)矢量進(jìn)行對(duì)比,結(jié)果如圖4所示:

        圖4 取值不同的濾波曲線Fig.4 Curve of filter w ith difference value

        所取Q值不同,即所取過(guò)程噪聲的方差不同,濾波效果有較大差別。Q值很大,會(huì)影響平滑運(yùn)動(dòng)矢量,補(bǔ)償效果會(huì)很差;Q較小,濾波結(jié)果平滑,但補(bǔ)償結(jié)果和真實(shí)掃描的結(jié)果之間存在差異。

        3 運(yùn)動(dòng)補(bǔ)償

        3.1 傳統(tǒng)補(bǔ)償算法

        補(bǔ)償方法包括逐幀補(bǔ)償和固定幀補(bǔ)償。固定幀補(bǔ)償容易產(chǎn)生邊緣發(fā)散,因此采用逐幀補(bǔ)償。傳統(tǒng)的補(bǔ)償方式可用濾波后得到比較平滑的運(yùn)動(dòng)矢量MVS對(duì)參考幀所有坐標(biāo)進(jìn)行仿射變換。

        3.2 優(yōu)化的運(yùn)動(dòng)補(bǔ)償算法

        參考幀坐標(biāo)點(diǎn)取值為X1到行高,為Y1到列寬,而對(duì)所有坐標(biāo)都進(jìn)行的是一樣的旋轉(zhuǎn)平移變換比較耗時(shí)。即:

        因此只對(duì)圖像首行和首列的像素的旋轉(zhuǎn)結(jié)果計(jì)算出來(lái),其余行列的像素進(jìn)行簡(jiǎn)單的加減運(yùn)算就可以計(jì)算出運(yùn)動(dòng)矢量,節(jié)省了計(jì)算時(shí)間。

        在補(bǔ)償過(guò)程中,由于運(yùn)動(dòng)矢量都為浮點(diǎn)類型數(shù)值,變換后的坐標(biāo)值一般不在整數(shù)格上。因此采用插值法將當(dāng)前坐標(biāo)的像素值賦給變換之后的坐標(biāo)點(diǎn)上??紤]浮點(diǎn)數(shù)的計(jì)算比較耗時(shí),因此采用最近鄰域插值法。

        對(duì)運(yùn)動(dòng)補(bǔ)償后出現(xiàn)的黑邊即“無(wú)定義區(qū)”,筆者采用簡(jiǎn)單的圖像剪切方式。補(bǔ)償后的參考幀如圖5所示。

        圖5 補(bǔ)償后的參考幀F(xiàn)ig.5 Compensation of reference frame

        4 穏像效果評(píng)價(jià)

        穏像效果可通過(guò)輸入輸出視頻序列的前后兩幀圖像差值或峰值信噪比等評(píng)價(jià)。采用圖像差值來(lái)驗(yàn)證效果。差值如圖6所示。

        圖6 視頻序列幀間差值Fig.6 Video sequence fidelity comparison between frames

        5 結(jié)論

        筆者采用基于特征匹配的視頻穩(wěn)像方法,通過(guò)分區(qū)的Harris算法提取特征點(diǎn),并利用正確匹配的特征點(diǎn)坐標(biāo),求取幀間運(yùn)動(dòng)矢量。采用Kalman濾波方法對(duì)所提取的進(jìn)行矢量進(jìn)行濾波,去除了抖動(dòng)分量。最后利用改進(jìn)的逐幀補(bǔ)償方法實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償。為了驗(yàn)證穏像的效果,對(duì)輸入視頻及輸出視頻的前后兩幀進(jìn)行減法運(yùn)算,結(jié)果表明采用筆者算法所做的穩(wěn)像算法,取得了一定的效果。

        [1]朱娟娟,郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)[J].西安電子科技大學(xué)學(xué)報(bào):自然科學(xué)版,2007,34(3):418-422.

        ZHU Juan-juan,GUO Bao-long.Electronic image stabilization system based on global features tracking[J]. Journal of Xidian University:Science and Technology,2007,34(3):418-422.

        [2]Huang JC.Automatic feature-based globalmotion estimation in video sequences[J].IEEE,2004,50(3): 911-915.

        [3]Marius Tico,Vehvilainen M.Constraintmotion filtering for video stabilization[C]//IEEE International Conference on Image.2005:569-572.

        [4]GAO Peng-qi,YAN Lei,ZHAO Hong-ying.A newmethod for stabilization of video images with large moving object[C]//Proc SPIE 6833,68330H.2007:476-490.

        [5]彭健,汪佩,賈彥茹.一種用于電子穩(wěn)像的運(yùn)動(dòng)矢量處理方法[J].電子測(cè)量與儀器學(xué)報(bào),2010,24(6): 580-584.

        PENG Jian,WANG Pei,JIA Yan-ru,Motion vector processing method for electronic image stabilization[J]. Journal of Electronic Measurement and Instrument,2010,24(6):580-584.

        [6]陳正華,章毓晉.基于運(yùn)動(dòng)矢量可靠性分析的視頻全局運(yùn)動(dòng)估計(jì)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2010,50(4):623-627.

        CHEN Zheng-h(huán)ua,ZHANG Yu-jin.Global motion estimation based on the reliability analysis ofmotion vectors[J].Journal of Tsinghua University:Science and Technology,201050(4):623-627.

        [7]王斌,趙躍進(jìn).基于電子穏像跟蹤技術(shù)的運(yùn)動(dòng)濾波算法[J].光學(xué)精密工程,2009,17(1):202-206.

        WANG Bin,ZHAO Yue-jin.Motion filtering algorithm for tracking technology based on image stabilization[J].Optics and Precision Engineering,2009,17(1): 202-206.

        猜你喜歡
        矢量濾波補(bǔ)償
        矢量三角形法的應(yīng)用
        無(wú)功補(bǔ)償電容器的應(yīng)用
        山東冶金(2019年5期)2019-11-16 09:09:38
        解讀補(bǔ)償心理
        基于矢量最優(yōu)估計(jì)的穩(wěn)健測(cè)向方法
        三角形法則在動(dòng)態(tài)平衡問(wèn)題中的應(yīng)用
        RTS平滑濾波在事后姿態(tài)確定中的應(yīng)用
        基于線性正則變換的 LMS 自適應(yīng)濾波
        植物補(bǔ)償和超補(bǔ)償作用
        離婚時(shí),能否要求家務(wù)補(bǔ)償
        海峽姐妹(2014年5期)2014-02-27 15:09:41
        基于隨機(jī)加權(quán)估計(jì)的Sage自適應(yīng)濾波及其在導(dǎo)航中的應(yīng)用
        91精品国产91综合久久蜜臀| 欧美老熟妇又粗又大| 国产在线视频h| 久久久精品国产亚洲AV蜜| 亚洲国产精品午夜电影| 亚洲一区二区一区二区免费视频| 国产丝袜长腿在线看片网站| 亚洲国产综合人成综合网站| 亚洲av午夜福利精品一区| 女人扒开下面无遮挡| 成人在线免费视频亚洲| 视频一区中文字幕在线观看| 国产99一区二区三区四区| 玩中年熟妇让你爽视频| 牲欲强的熟妇农村老妇女| 中文人成影院| 国产一区二区av男人| 高清中文字幕一区二区| 天天鲁在视频在线观看| 国产精品第1页在线观看| 国产女主播视频一区二区三区| 亚洲国产精品国自产拍久久蜜av| 国产精品毛片一区二区| 精品国产AⅤ无码一区二区| 色婷婷丁香综合激情| 日本一区二区三区精品免费| 四虎成人精品国产永久免费无码| 少妇性饥渴无码a区免费| 亚洲精品毛片一区二区三区| 尤物yw午夜国产精品视频| 久久久精品亚洲人与狗| 精人妻无码一区二区三区| 日产国产精品亚洲系列| 精品久久杨幂国产杨幂| 少妇人妻精品久久888| 99国产精品自在自在久久| 亚洲爱婷婷色婷婷五月| 中国精品久久久久国产| 成人av综合资源在线| 99精品人妻少妇一区二区| 精品国产免费Av无码久久久|