石春雷,楊文佳,黃培康
(1.光學(xué)輻射重點(diǎn)實(shí)驗(yàn)室,北京100854;2.北京環(huán)境特性研究所,北京100854;3.電磁散射重點(diǎn)實(shí)驗(yàn)室,北京100854)
基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法
石春雷1,2,楊文佳2,黃培康3
(1.光學(xué)輻射重點(diǎn)實(shí)驗(yàn)室,北京100854;2.北京環(huán)境特性研究所,北京100854;3.電磁散射重點(diǎn)實(shí)驗(yàn)室,北京100854)
針對運(yùn)動相機(jī)中視頻的隨機(jī)抖動和低頻晃動問題,提出了一種基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法。該算法在特征點(diǎn)粗匹配之后引入概率進(jìn)化抽樣一致性算法剔除誤匹配點(diǎn),避免了局部運(yùn)動對全局運(yùn)動估計的影響,然后在定制的L1范數(shù)約束下構(gòu)建相機(jī)的最優(yōu)化運(yùn)動路徑,最后利用新的路徑進(jìn)行運(yùn)動矯正獲取穩(wěn)定的視頻圖像序列,實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性。
視頻穩(wěn)像;概率進(jìn)化抽樣;L1范數(shù)優(yōu)化;相機(jī)運(yùn)動路徑
視頻穩(wěn)像技術(shù)廣泛應(yīng)用于飛行器光電制導(dǎo)系統(tǒng)、視頻偵察系統(tǒng)、車載觀瞄系統(tǒng)以及無人車輛導(dǎo)航系統(tǒng)等,是目標(biāo)檢測與跟蹤、光電精確制導(dǎo)的關(guān)鍵預(yù)處理技術(shù)。面對信息豐富的視頻序列,人們首先希望獲取的視頻能夠清晰穩(wěn)定,然而攝像機(jī)載體的不規(guī)則運(yùn)動,會使拍攝的視頻產(chǎn)生不穩(wěn)定現(xiàn)象。因此,對于這種攝像載體存在不規(guī)則運(yùn)動的視頻序列,如何在不同的環(huán)境下消除其隨機(jī)抖動干擾成為國內(nèi)外學(xué)者研究的熱點(diǎn)。經(jīng)典的二維穩(wěn)像算法[1],如塊匹配、空域灰度相關(guān)以及特征匹配等方法,均采用變換模型來描述幀間關(guān)系,具有魯棒性和速度快的優(yōu)點(diǎn),但是由于其運(yùn)動模型本身受到約束,所以往往無法很好地解決存在旋轉(zhuǎn)或者前景運(yùn)動目標(biāo)的視頻抖動場景。三維視頻穩(wěn)像通過運(yùn)動模型技術(shù)[2]重構(gòu)場景和相機(jī)運(yùn)動的三維模型,然后在新的、平滑的三維相機(jī)運(yùn)動軌跡上構(gòu)建出新的圖像,能夠獲得更好的穩(wěn)像效果,但是出現(xiàn)的新問題在于運(yùn)動模型太復(fù)雜而難以保證魯棒性和實(shí)時性。因?yàn)橐曨l并不都具有足夠的運(yùn)動信息而允許三維重建,在某些場景下并不具有魯棒性和一般性。例如文獻(xiàn)[3-4]都需要對攝像機(jī)進(jìn)行標(biāo)定。文獻(xiàn)[5]在統(tǒng)一的優(yōu)化框架內(nèi)使用多元的、稀疏的運(yùn)動模型擬合原始運(yùn)動軌跡,包括顯著點(diǎn)、模糊和剪切窗的約束。除了在二維或者三維運(yùn)動模型上描述相機(jī)軌跡外,文獻(xiàn)[6]中使用特征點(diǎn)軌跡描述相機(jī)運(yùn)動軌跡。該類方法首先抽取每幀圖像的特征點(diǎn),關(guān)聯(lián)相鄰幀之間的特征點(diǎn),建立特征點(diǎn)軌跡。優(yōu)化的目標(biāo)是平滑幀序列內(nèi)每一條特征軌跡。文獻(xiàn)[7]通過添加、聯(lián)系、傳播和剪枝等步驟獲得特征軌跡,平滑軌跡則采用優(yōu)化每一條特征軌跡的二次梯度的方法。這種方法的缺點(diǎn)在于建立特征軌跡和平滑軌跡都采用優(yōu)化的方法,費(fèi)時、魯棒性低,而且對每一條特征軌跡進(jìn)行優(yōu)化很多時候無解。文獻(xiàn)[8]通過頻域與空域處理相結(jié)合的方法能夠?qū)崟r、高精度地穩(wěn)定大運(yùn)動偏移圖像序列,但是該方法仍難以很好地解決視頻中的低頻晃動問題。
本文吸取了二維和三維穩(wěn)像算法的優(yōu)點(diǎn),提出了一種基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法。通過特征點(diǎn)的匹配和概率進(jìn)化抽樣一致性算法(probability evolution sample consensus,PESAC)剪枝構(gòu)建二維運(yùn)動模型,在定制化L1范數(shù)約束下獲取新的攝像機(jī)運(yùn)動軌跡,并進(jìn)行運(yùn)動矯正,獲取穩(wěn)定的視頻圖像序列。
1.1 誤匹配點(diǎn)消除
通過匹配相鄰幀之間的尺度不變特征變換匹配(scale invariant feature transform,SIFT)算法來計算二維運(yùn)動模型。首先利用SIFT算法[9-10]在尺度空間進(jìn)行特征檢測,并確定特征點(diǎn)的位置和特征點(diǎn)所處的尺度,然后使用特征點(diǎn)鄰域梯度的主方向作為該特征點(diǎn)的方向特征,以獲取算子對尺度和方向的不變性。利用SIFT算法從圖像中提取出的特征可用于同一個物體或場景的可靠匹配,對圖像尺度和旋轉(zhuǎn)具有不變性,對光照變化、噪聲以及仿射變換都具有很好的魯棒性。區(qū)分SIFT特征點(diǎn)對的內(nèi)點(diǎn)和外點(diǎn)一般采用隨機(jī)抽樣一致性(random sample consensus,RANSAC)算法[11-12]。RANSAC是一種根據(jù)樣本數(shù)據(jù)集合估算符合大部分樣本數(shù)據(jù)的數(shù)學(xué)模型的算法。該算法的主要思想是通過多次的采樣求解符合樣本的數(shù)學(xué)模型參數(shù),從中選取最符合整個樣本數(shù)據(jù)集合的模型作為最佳模型,而符合最佳模型的樣本點(diǎn)認(rèn)為是精確的樣本點(diǎn)(內(nèi)點(diǎn)),不符合最佳模型的樣本點(diǎn)則認(rèn)為是存在誤差的樣本點(diǎn)(外點(diǎn))。在進(jìn)行隨機(jī)采樣時有個隱含的假設(shè):每次采樣時每個樣本被抽取的概率是相同的。
本文使用SIFT描述子生成的描述矢量進(jìn)行匹配,經(jīng)過粗匹配得到的匹配點(diǎn)對的距離可以作為其屬于內(nèi)點(diǎn)的置信度。當(dāng)點(diǎn)對距離很大時,其是內(nèi)點(diǎn)的概率低;當(dāng)點(diǎn)對距離很小時,其是內(nèi)點(diǎn)的概率高。本文對兩對已知變換模型的待匹配圖像使用SIFT描述子進(jìn)行特征描述,然后進(jìn)行粗匹配,根據(jù)匹配點(diǎn)對的距離對點(diǎn)對排序,距離越小,序號越靠前。如圖1中內(nèi)點(diǎn)概率曲線所示,橫軸為經(jīng)過排序的匹配點(diǎn)對的數(shù)量,縱軸為內(nèi)點(diǎn)存在的概率。
圖1 內(nèi)點(diǎn)概率曲線
從圖1可以看到,一般地,匹配點(diǎn)對的距離越小,其是內(nèi)點(diǎn)的概率就越高。因此本文提出了一種改進(jìn)的RANSAC算法,稱之為PESAC算法,算法可以根據(jù)匹配點(diǎn)對的距離設(shè)置匹配點(diǎn)對的置信度。同時為了保證隨著迭代進(jìn)行,距離大的內(nèi)點(diǎn)被抽中的概率增加,距離小的外點(diǎn)被抽中的概率減小,使用每次迭代驗(yàn)證中匹配點(diǎn)對與估計模型的誤差對匹配點(diǎn)對的抽取概率進(jìn)行更新。
1.2 PESAC算法實(shí)現(xiàn)
步驟1 設(shè)置樣本初始的置信度τi為
式中,i=1,2,…,n,n為樣本總數(shù);Di為第i個匹配點(diǎn)對的距離;D′k為按從小到大排序后第k個距離。當(dāng)k越小,距離小的樣本置信度越大;當(dāng)k越大,樣本的置信度趨于平均。
步驟2 使用輪盤賭的方式抽取樣本,如圖2所示,抽取時生成0~1之間隨機(jī)數(shù),隨機(jī)數(shù)落在的置信度區(qū)間所屬的樣本被抽中。置信度越高,抽中的概率越高。根據(jù)抽取樣本估計變換矩陣,計算樣本與變換矩陣的誤差erri,當(dāng)erri≤β時則將該點(diǎn)統(tǒng)計為內(nèi)點(diǎn),反之則統(tǒng)計為外點(diǎn),并根據(jù)新的內(nèi)點(diǎn)更新最優(yōu)矩陣。
圖2 輪盤賭抽樣
步驟3 更新樣本的抽取概率,特別地,被抽取樣本的概率不做更新:
步驟4 轉(zhuǎn)步驟2,直到滿足設(shè)置的迭代次數(shù)終止條件N。
設(shè)樣本中內(nèi)點(diǎn)個數(shù)為nI;外點(diǎn)個數(shù)為no;當(dāng)前內(nèi)點(diǎn)被抽中概率為pI;當(dāng)前外點(diǎn)被抽中概率為po;正確模型被內(nèi)點(diǎn)檢驗(yàn)時誤差為δ,被外點(diǎn)檢驗(yàn)時誤差為T;錯誤模型被內(nèi)點(diǎn)檢驗(yàn)時誤差為e1,被外點(diǎn)檢驗(yàn)時的誤差為e2。
當(dāng)抽樣得出錯誤模型時,內(nèi)點(diǎn)被抽取概率更新為
外點(diǎn)被抽取概率更新為
當(dāng)抽樣得出正確模型時,內(nèi)點(diǎn)被抽取概率更新為
外點(diǎn)被抽取概率更新為
因此隨著迭代次數(shù)增加,內(nèi)點(diǎn)被抽取的概率逐漸增加,外點(diǎn)被抽取的概率逐漸減小。為了驗(yàn)證PESAC算法的性能,分別用RANSAC算法和PESAC算法對使用的3對待配準(zhǔn)圖像進(jìn)行粗匹配點(diǎn)對提純,迭代總數(shù)為N=500次實(shí)驗(yàn)的平均值,其中β=0.002為判斷內(nèi)點(diǎn)和外點(diǎn)的門限值,如表1所示。
表1 PESAC算法和RANSAC算法迭代時間比較s
表1的數(shù)據(jù)顯示PESAC算法大大減少了迭代次數(shù),相比RANSAC算法減少了60%左右。定義樣本置信度和更新樣本置信度,對PESAC算法的實(shí)時性起了很好的作用。
規(guī)律的相機(jī)運(yùn)動軌跡和平滑的運(yùn)動軌跡過渡能直接帶來穩(wěn)定的圖像效果??柭鼮V波或者高斯平滑雖然能夠去除相機(jī)運(yùn)動軌跡中的毛刺,但是不能重新構(gòu)建相機(jī)的運(yùn)動軌跡,對于相機(jī)運(yùn)動中的突變往往會帶來穩(wěn)像誤差。本文采用四參數(shù)二維運(yùn)動模型來表征相鄰幀圖像之間的變換關(guān)系,設(shè)第i幀和第i+1幀圖像之間的變換矩陣為Mi,i+1,則
式中,s為縮放因子;x和y分別表示水平和垂直方向的平移;θ表示旋轉(zhuǎn)角度。
分別定義四參數(shù)的相機(jī)運(yùn)動軌跡S(i)、X(i)、Y(i)和Θ(i),表示從第1幀到第i幀的運(yùn)動積累:
為了重新構(gòu)建相機(jī)的運(yùn)動軌跡,每一幀在4個參數(shù)上可分別添加一個矯正變量Δsi、Δxi、Δyi和Δθi。相機(jī)運(yùn)動軌跡可由下面3種不同的獨(dú)立部分組成:
(1)固定軌跡,等同于固定相機(jī)的拍攝效果。使用一階前向差分P1作為優(yōu)化標(biāo)準(zhǔn)
其中,pt為相機(jī)路徑,L1范數(shù)約束設(shè)為ei1,權(quán)重設(shè)為ω1。
(2)勻速軌跡,等同于架設(shè)在勻速的移動車上的相機(jī)拍攝效果。使用二階前向差分P2作為優(yōu)化標(biāo)準(zhǔn)
L1范數(shù)約束設(shè)為ei2,權(quán)重設(shè)為ω2。
(3)勻加速軌跡,這一部分是固定軌跡和勻速軌跡的平滑轉(zhuǎn)換。使用三階前向差分P3作為優(yōu)化標(biāo)準(zhǔn)
L1范數(shù)約束設(shè)為ei3,權(quán)重設(shè)為ω3。
后期根據(jù)新的相機(jī)軌跡進(jìn)行圖像矯正時,矯正變量越大,每一幀圖像損失邊角面積越大,穩(wěn)像后的視頻視野越小。因此對矯正變量本身也需要進(jìn)行最小化,L1范數(shù)約束設(shè)為ei4,權(quán)重設(shè)為ω4。
本文在原L1范數(shù)最優(yōu)化方法[13-14]的基礎(chǔ)上,加上了定制化的權(quán)重設(shè)計,削弱旋轉(zhuǎn)角度的影響,被稱之為L1范數(shù)定制化,如式(5)所示。對不同軌跡下四參數(shù)模型分別設(shè)置L1范數(shù)約束eikx,eiky,eiks,eikθ和其相應(yīng)權(quán)重ωikx,ωiky,ωiks,ωikθ。其中,i表示幀號,k的值從1~4分別表示固定軌跡、勻速軌跡、勻加速軌跡和矯正變量參數(shù)軌跡。通過離散化的權(quán)重設(shè)置削弱了旋轉(zhuǎn)和縮放因子在四參數(shù)運(yùn)動模型中的影響,有利于最優(yōu)運(yùn)動路徑的平滑。此時,其原優(yōu)化問題變?yōu)?/p>
對不同L1范數(shù)約束的權(quán)重做了多組實(shí)驗(yàn),圖3是幾種不同權(quán)重組合優(yōu)化前后的路徑曲線效果圖,曲線橫坐標(biāo)表示視頻序列在不同時刻的幀數(shù),縱坐標(biāo)為二維運(yùn)動模型不同的路徑參數(shù),其中x為水平方向的位移,y為垂直方向的位移,s為縮放因子,θ表示旋轉(zhuǎn)角度,x_op,y_op,s_op,θ_op分別為其相應(yīng)的最優(yōu)化路徑。
圖3 最優(yōu)路徑權(quán)重優(yōu)化
圖3中的最優(yōu)路徑權(quán)重優(yōu)化表明加大某一個L1范數(shù)的約束權(quán)重,最后的優(yōu)化路徑便更多顯示出相應(yīng)路徑的特性。權(quán)重的大小并不是決定優(yōu)化結(jié)果的直接原因,不同運(yùn)動之間的權(quán)重比例決定了所構(gòu)建的相機(jī)路徑的準(zhǔn)確性。通過圖3中不同實(shí)驗(yàn)參數(shù)的對比,權(quán)重比例的選擇基于不同的數(shù)量級對路徑優(yōu)化更有意義。由于本文的算法針對的是運(yùn)動相機(jī)中視頻的隨機(jī)抖動和低頻晃動問題,對于相機(jī)旋轉(zhuǎn)只在一定范圍內(nèi)考慮,假設(shè)旋轉(zhuǎn)角度參數(shù)可有效估計的幀間旋轉(zhuǎn)角度一般不超過10°,因此當(dāng)ω1∶ω2∶ω3∶ω4=100∶10∶10∶1,優(yōu)化后路徑是由多條直線加上平滑的曲線過渡而成,模擬了固定相機(jī)的拍攝效果。采用ω1∶ω2∶ω3∶ω4=10∶10∶10∶1則兼顧了3種拍攝效果,從圖3可以看出ω1∶ω2∶ω3∶ω4=10∶10∶10∶1具有更好的平滑效果,能更好地表示相機(jī)的實(shí)際運(yùn)動路徑,因此在式(5)中的eikx,eiky,eiks取ω1∶ω2∶ω3∶ω4=10∶10∶10∶1的權(quán)重系數(shù)比。另外對四參數(shù)采用相同的L1范數(shù)約束權(quán)重會產(chǎn)生不好的視覺體驗(yàn)。原因在于拍攝過程中由于抖動產(chǎn)生的旋轉(zhuǎn)體現(xiàn)在四參數(shù)的旋轉(zhuǎn)角度路徑中,達(dá)到拍攝要求的視頻是不會產(chǎn)生頻繁的左右旋轉(zhuǎn),而是平穩(wěn)地隨視角推進(jìn)。為了減小旋轉(zhuǎn)角度的影響,則可增大固定軌跡中相應(yīng)的旋轉(zhuǎn)角度權(quán)重,本文將旋轉(zhuǎn)角度eikθ權(quán)重設(shè)置為ω1θ∶ω2θ∶ω3θ∶ω4θ=100∶10∶10∶1,則可得到最終的定制化L1范數(shù)最優(yōu)化效果,如圖4所示。
圖4 最優(yōu)化權(quán)重路徑
假定運(yùn)動相機(jī)不穩(wěn)定導(dǎo)致的幀間縮放比例不超過30%,旋轉(zhuǎn)角度不超過10°。圖5給出了對分辨率為640像素×360像素的視頻序列1進(jìn)行穩(wěn)像處理前后的比較,該視頻中幀間不僅存在全局運(yùn)動,還存在著相機(jī)拍攝時的在水平和垂直方向的小幅度隨機(jī)抖動,其中圖5(a)、圖5(c)、圖5(e)為原始視頻中第200幀至第202幀,圖5(b)、圖5(d)、圖5(f)為穩(wěn)定視頻中同時刻圖像。由圖5(g)、圖5(h)中序列差圖像可以看出,穩(wěn)定視頻能夠去除抖動,水平和垂直方向上可估計出的平移量可達(dá)50個像素,保持補(bǔ)償后圖像與基準(zhǔn)圖像具有較好的相似度,實(shí)現(xiàn)視頻的穩(wěn)定輸出。
圖5 視頻序列1穩(wěn)像效果
圖6是經(jīng)圖像矯正補(bǔ)償后的穩(wěn)像效果,圖7為視頻序列2中本文方法的連續(xù)幀穩(wěn)像精度與文獻(xiàn)[4]和文獻(xiàn)[5]的方法進(jìn)行的定量比較結(jié)果,可以看出本文提出的算法與文獻(xiàn)[4]和文獻(xiàn)[5]的方法在穩(wěn)像效果上相當(dāng)。
圖6 視頻序列2穩(wěn)像效果對比
圖7 視頻序列2穩(wěn)像精度對比
圖8中本文方法與基于特征匹配的穩(wěn)像算法進(jìn)行了比較,左列為特征匹配算法效果,右列為本文算法效果,可以看出本文提出的算法在穩(wěn)像效果上優(yōu)于特征匹配的方法。
圖8 本文方法與特征匹配穩(wěn)像算法對比
定制化參數(shù)使得L1范數(shù)最優(yōu)化發(fā)揮了更好的效果,去除了視頻拍攝過程中視角左右旋轉(zhuǎn)的不穩(wěn)定因素,實(shí)驗(yàn)證明本文提出的穩(wěn)像算法可以解決視頻抖動中的平移、旋轉(zhuǎn)和縮放所帶來的影響,且基本不會引起視覺失真,從而保證整個視頻序列的完整流暢。另外本文利用峰值信噪比(peak signal to noise ratio,PSNR)值作為評價準(zhǔn)確度的品質(zhì)因子,PSNR值越大,說明穩(wěn)定后圖像幀間灰度偏差量越小,圖像穩(wěn)定效果越好。其定義如下:
其中
均方誤差(mean square error,MSE)是圖像fk和fk-1間像素值的均方誤值,反映了兩幅圖像的差異大小。兩圖像的相似度越高,則MSE值就越小,其PSNR值就越高。圖9給出了原始視頻序列1中連續(xù)30幀的幀間逼真度PSNR和不同算法穩(wěn)像后序列的PSNR的比較結(jié)果,穩(wěn)定序列的幀間逼真度有了很大的提高,說明穩(wěn)定后的圖像序列幀間灰度偏差量變小,達(dá)到了一定程度的穩(wěn)定效果。由圖9中PSNR可以看出,本文提出的算法與文獻(xiàn)[4]和文獻(xiàn)[5]的方法在穩(wěn)像效果上相當(dāng),而優(yōu)于基于特征匹配的方法,但是文獻(xiàn)[4]的方法需要預(yù)先計算特征點(diǎn),文獻(xiàn)[5]的方法在針對非剛性目標(biāo)的最優(yōu)化路徑求取過程中易產(chǎn)生不穩(wěn)定,另外本文的方法在時間性能上優(yōu)于前兩種方法。
圖9 原始序列與穩(wěn)像后序列的PSNR比較
由于無法獲得實(shí)際拍攝視頻的準(zhǔn)確運(yùn)動補(bǔ)償向量,通常使用輸出視頻的幀間保真度[15](interframe transformation fidelity,ITF)作為總體評價指標(biāo)來衡量算法的穩(wěn)像效果。其定義如下:
表2為不同算法幀間保真度的比較,從表中不同算法的幀間保真度也可以看出本文算法優(yōu)于基于特征匹配的穩(wěn)像方法,并且與文獻(xiàn)[4]和文獻(xiàn)[5]的算法相當(dāng),從而驗(yàn)證了本文算法的有效性。
表2 不同算法幀間保真度比較
本文提出了一種基于范數(shù)優(yōu)化路徑的視頻穩(wěn)像算法。求取相鄰幀變換關(guān)系時,本文提出的PESAC算法顯著地減少了抽樣迭代次數(shù),減少了計算時間,使得本文的算法能夠達(dá)到實(shí)時應(yīng)用的要求。定制化使得L1范數(shù)最優(yōu)化發(fā)揮了更好的效果,去除了視頻拍攝過程中視角左右旋轉(zhuǎn)的不穩(wěn)定因素,實(shí)驗(yàn)證明本文提出的穩(wěn)像算法可以解決視頻抖動中的平移、旋轉(zhuǎn)和縮放所帶來的影響,穩(wěn)像的畫面自然,沒有明顯失真和像素不連續(xù)情況。
[1]Xu L D,Lin X G.Global motion estimation for video stabilization[J].Journal of Tsinghua University(Science and Technology),2007,47(1):92-95.(徐理東,林行剛.視頻抖動矯正中全局運(yùn)動參數(shù)的估計[J].清華大學(xué)學(xué)報(自然科學(xué)版),2007,47(1):92-95.)
[2]Davision A J,Reid I D,Molton N D,et al.MonoSLAM:realtime single camera SLAM[J].IEEE Trans.on Pattern Analysis and Machine Intelligence,2007,26(6):1052-1067.
[3]Gleicher M L,Liu F.Re-cinematography:improving the camera work of causal video[J].ACM Trans.on Multimedia,Computing Communications and Applications,2008,5(1):1-28.
[4]Liu F,Glercher M,Wang H,et al.Subspace video stabilization[J].ACM Trans.on Graphics,2011,30(1):1-10.
[5]Grundmann M,Kwatra V,Essa I.Auto-directed video stabilization with robust L1optimal camera paths[C]∥Proc.of the Computer Vision and Pattern Recognition,2011:225-232.
[6]Lee K Y,Chuang Y Y,Chen B Y,et al.Video stabilization using robust feature trajectories[C]∥Proc.of the IEEE Conference on Computer Vision,2009:1397-1404.
[7]Liu F,Gleicher M,Jin H L,et al.Content preserving warps for 3Dvideo stabilization[J].ACM Trans.on Graphics,2009,44:1-9.
[8]Liu Z L,Liu F,Zhu Z F.Image stabilization algorithm based on processing in frequency-space domain for large motion offset and its real time implementation[J].Systems Engineering and Electronics,2012,34(12):2423-2427.(劉忠領(lǐng),劉峰,朱振福.頻域與空域處理相結(jié)合的大運(yùn)動偏移穩(wěn)像算法及其實(shí)時實(shí)現(xiàn)[J].系統(tǒng)工程與電子技術(shù),2012,34(12):2423-2427.)
[9]Rafael C G,Richard E W.Digital image processing[M].2nd ed.Ruan Q Q,Ruan Y Z,trans.Beijing:Publishing House of Electronics Industry,2004.(Rafael C G,Richard E W.?dāng)?shù)字圖像處理[M].2版.阮秋琦,阮宇智,譯.北京:電子工業(yè)出版社,2004.)
[10]Lowe D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60(2):91-110.
[11]Shi J,Tomasi C.Good features to track[C]∥Proc.of the Computer Vision and Pattern Recognition,1994:593-600.
[12]Fisher M A,Bolles R C.Random sample consensus:aparadigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.
[13]Xie Z,Li J P.Nonlinear optimization[M].Changsha:National University of Defense Technology Press,2003.(謝政,李建平.非線性最優(yōu)化[M].長沙:國防科技大學(xué)出版社,2003)
[14]Kim S J,Koh K,Boyd S,et al.L1trend filtering[J].SIAM Review,2009,51(2):339-360.
[15]Mercenaro L,Vernazza G,Regazzoni C S.Image stabilization algorithms for video-surveillance applications[C]∥Proc.of the IEEE International Conference of Image Processing,2001:349-352.
E-mail:13810311626@126.com
楊文佳(1983-),男,高級工程師,博士,主要研究方向?yàn)楣怆娦盘柼幚怼⒛J阶R別。
E-mail:ywjowen@163.com
黃培康(1935-),男,院士,博士研究生導(dǎo)師,主要研究方向?yàn)槔走_(dá)目標(biāo)特性、微波遙感。
E-mail:peikanghuang@vip.sina.com
Video stabilization algorithm based on norm optimal paths
SHI Chun-lei1,2,YANG Wen-jia2,HUANG Pei-kang3
(1.Science and Technology on Optical Radiation Laboratory,Beijing 100854,China;2.Beijing Institute of Environmental Features,Beijing 100854,China;3.Science and Technology on Electromagnetic Scattering Laboratory,Beijing 100854,China)
To deal with the problem of random shakiness and low frequency bounces,an improved video stabilization method based on norm optimal camera paths is proposed.Probability evolution sample consensus algorithm is used to eliminate the error matching points after coarse matching of feature points,avoiding the interference of local motion.Then camera paths are gained by L1norm optimization.Finally,image warp is computed to get stabilized video sequences.Experimental results for different video sequences show the proposed method has a better veracity of stabilized results.
video stabilization;probability evolution sample;L1norm optimization;camera moving paths
TP 391.41
A
10.3969/j.issn.1001-506X.2015.06.28
石春雷(1975-),男,研究員,博士研究生,主要研究方向?yàn)楣怆娦盘柼幚怼⒛繕?biāo)檢測與跟蹤。
1001-506X(2015)06-1411-06
2014-11-15;
2015-03-29;網(wǎng)絡(luò)優(yōu)先出版日期:2015-05-04。
網(wǎng)絡(luò)優(yōu)先出版地址:http://www.cnki.net/kcms/detail/11.2422.TN.20150504.0941.005.html