余家林孫季豐 宋治國

（華南理工大學(xué)電子與信息學(xué)院 廣州 510641）

基于優(yōu)選特征軌跡的全分辨率視頻穩(wěn)定

余家林*孫季豐 宋治國

（華南理工大學(xué)電子與信息學(xué)院 廣州 510641）

該文提出一種基于優(yōu)選特征軌跡的視頻穩(wěn)定算法。首先，采用改進(jìn)的Harris角點(diǎn)檢測算子提取特征點(diǎn)，通過K-Means聚類算法剔除前景特征點(diǎn)。然后，利用幀間特征點(diǎn)的空間運(yùn)動(dòng)一致性減少錯(cuò)誤匹配和時(shí)間運(yùn)動(dòng)相似性實(shí)現(xiàn)長時(shí)間跟蹤，從而獲取有效特征軌跡。最后，建立同時(shí)包含特征軌跡平滑度與視頻質(zhì)量退化程度的目標(biāo)函數(shù)計(jì)算視頻序列的幾何變換集以平滑特征軌跡獲取穩(wěn)定視頻。針對圖像扭曲產(chǎn)生的空白區(qū)，由當(dāng)前幀定義區(qū)與參考幀的光流作引導(dǎo)來腐蝕，并通過圖像拼接填充仍屬于空白區(qū)的像素。經(jīng)仿真驗(yàn)證，該文方法穩(wěn)定的視頻，空白區(qū)面積僅為Matsushita方法的33%左右，對動(dòng)態(tài)復(fù)雜場景和多個(gè)大運(yùn)動(dòng)前景均具有較高的有效性并可生成內(nèi)容完整的視頻，既提高了視頻的視覺效果，又減輕了費(fèi)時(shí)的邊界修復(fù)任務(wù)。

圖像處理；視頻穩(wěn)定；特征點(diǎn)軌跡；圖像扭曲；光流；運(yùn)動(dòng)修復(fù)

1 引言

視頻穩(wěn)定是近些年國內(nèi)外研究的熱點(diǎn)［13］-，尤其是穩(wěn)定包含大運(yùn)動(dòng)前景和動(dòng)態(tài)復(fù)雜場景的抖動(dòng)視頻仍然是該領(lǐng)域的研究難點(diǎn)。常見的視頻穩(wěn)定方法主要包括塊匹配［4］、位平面匹配［5］、特征點(diǎn)匹配［6］和灰度投影［7］等。這些算法各具優(yōu)勢，譬如，塊匹配法估計(jì)的運(yùn)動(dòng)矢量精度高；位平面匹配法計(jì)算量小，實(shí)時(shí)性強(qiáng)；投影法效率高，性能穩(wěn)定。但它們均采用單應(yīng)性模型估計(jì)全局運(yùn)動(dòng)矢量，在較長視頻序列中會(huì)造成運(yùn)動(dòng)估計(jì)誤差累積，導(dǎo)致穩(wěn)像精度不高。據(jù)此，文獻(xiàn)［8］提出一種基于特征的快速視頻穩(wěn)定算法，它利用一種基于二進(jìn)制穩(wěn)健獨(dú)立基元特征的描述符實(shí)現(xiàn)幀間特征點(diǎn)匹配，并用一種改進(jìn)的運(yùn)動(dòng)平滑方法平滑仿射模型參數(shù)以減少全局運(yùn)動(dòng)估計(jì)誤差。文獻(xiàn)［9］又提出一種基于背景特征點(diǎn)分類的視頻穩(wěn)定算法，該算法利用前一幀對應(yīng)的特征點(diǎn)和全局運(yùn)動(dòng)參數(shù)估計(jì)當(dāng)前幀的運(yùn)動(dòng)矢量，相比文獻(xiàn)［8］可以完全避免全局運(yùn)動(dòng)估計(jì)誤差對視頻穩(wěn)定的影響。文獻(xiàn)［10］提出了一種基于特征點(diǎn)軌跡的在線視頻穩(wěn)定算法，該算法通過Kalm an濾波平滑原始序列的特征軌跡來校正抖動(dòng)的輸入視頻序列實(shí)現(xiàn)穩(wěn)像，打破了文獻(xiàn)［8，9］采用單應(yīng)性模型估計(jì)全局運(yùn)動(dòng)矢量的模式。2013年，文獻(xiàn)［11］又提出一種基于時(shí)空優(yōu)化的視頻穩(wěn)定方法，在保證特征軌跡空間關(guān)系的前提下，用Bézier曲線表示特征軌跡，采用時(shí)空優(yōu)化方法平滑特征軌跡，取得了較好的穩(wěn)定效果。但是針對存在多個(gè)大運(yùn)動(dòng)前景或動(dòng)態(tài)復(fù)雜場景的抖動(dòng)視頻，文獻(xiàn)［8～11］方法目前還無法達(dá)到穩(wěn)像的目的。

針對以上問題，本文提出一種基于優(yōu)選特征軌跡的全分辨率視頻穩(wěn)定算法，與Matsushita傳統(tǒng)方法［12］相比，最大特點(diǎn)為無需采取單應(yīng)性模型估計(jì)全局運(yùn)動(dòng)矢量，而是同時(shí)考慮視頻序列中有效特征軌跡平滑度與視頻質(zhì)量退化程度來平滑特征軌跡獲取穩(wěn)定視頻，在確保穩(wěn)像精度的前提下，減少視頻信息丟失。

2 視頻穩(wěn)定系統(tǒng)的工作流程

本文算法流程如圖1所示，虛框中是傳統(tǒng)方法，其依賴單應(yīng)性模型計(jì)算攝像機(jī)運(yùn)動(dòng)參數(shù)，比如仿射變換、相似變換等。本文提出一種基于優(yōu)選特征軌跡的視頻穩(wěn)定算法，避免了傳統(tǒng)估計(jì)方法帶來的累積誤差。

圖1 視頻穩(wěn)定系統(tǒng)的工作流程

3 獲取特征點(diǎn)軌跡

3.1 改進(jìn)的Harris算法提取特征點(diǎn)

為了提高傳統(tǒng)的Harris算子檢測效率與定位精度，本文采用一種改進(jìn)方法，該方法首先假設(shè)一個(gè)角點(diǎn)響應(yīng)函數(shù)CRF（Corner Response Function）：

式中，z為確定特征點(diǎn)坐標(biāo)的參數(shù)，ρ1（z）和ρ2（z）可以分別表示為

式中，O為中心點(diǎn)，M'（N'）為M（N）相對于O的對稱點(diǎn)，fM，fN和fO分別表示M， N與O點(diǎn)處的灰度值。fM， fM'，fN和fN'分別表示為

其中，A（A'）與B（B'）分別為x軸與y軸上的點(diǎn)，在進(jìn)行高斯濾波之前，計(jì)算出某像素點(diǎn)（x，y）在水平和垂直方向上灰度值的強(qiáng)度變化ρA和ρB，計(jì)算公式為

最終，得到改進(jìn)后的CRF函數(shù)可以表示為

當(dāng)某像素點(diǎn)的CRFi'超過設(shè)定閾值T1時(shí)，該點(diǎn)被視為角點(diǎn)，參與后續(xù)的高斯濾波環(huán)節(jié)，否則，忽略該像素點(diǎn)。經(jīng)過該過程，大約可過濾掉整幅圖像中75%的像素點(diǎn)，計(jì)算量大幅降低，并提高了檢測效率。

為提高定位精度，計(jì)算點(diǎn)（x，y）在8鄰域內(nèi)相似像素點(diǎn)個(gè)數(shù)排除偽特征。計(jì)算8鄰域像素點(diǎn)與點(diǎn)（x，y）的灰度差值，如果差的絕對值小于T2，表示與點(diǎn)（x，y）相似，用K（x，y）來計(jì)算與點(diǎn)（x，y）相似的點(diǎn)的數(shù)目，記

式中，m，n∈｛-1，0，1｝，但m與n不能同時(shí)取0，g（?）為某像素點(diǎn)灰度值，T2為設(shè)定閾值，其大小決定抗噪能力。當(dāng)K（x0，y0）是其8鄰域中最小時(shí)，由CRF局部非極大值抑制即可判斷圖像中（x0，y0）為真實(shí)角點(diǎn)。

3.2 基于K-Means聚類算法剔除運(yùn)動(dòng)前景特征點(diǎn)

運(yùn)動(dòng)前景上的特征點(diǎn)所形成的特征軌跡與攝像機(jī)抖動(dòng)無關(guān)，應(yīng)事先剔除，剔除運(yùn)動(dòng)前景上的特征點(diǎn)不僅可以降低計(jì)算量，而且還可以提高系統(tǒng)的穩(wěn)像精度。

將Ci中所有樣本｛Vpk｝與均值ai的誤差平方和對所有類｛ci|1≤ i≤ m， i∈ Z ｝求和作為聚類準(zhǔn)則，記

式中， Esum表示m個(gè)聚類中心點(diǎn)｛ai|1≤ i≤ m， i∈Z｝在樣本子集｛Ci|1≤ i≤ m， i∈ Z ｝中所產(chǎn)生的誤差總和。通過循環(huán)迭代，找到使 Esum取得極小值的最優(yōu)化聚類｛Ci|1≤ i≤ m， i∈ Z ｝。

聚類后的每一類Ci，依據(jù)該類中每個(gè)樣本所在位置求解類內(nèi)散度Si，記

將所有類的類內(nèi)散度Si都計(jì)算出，并比較Si的大小，即可判定Si值較大的一類運(yùn)動(dòng)矢量集對應(yīng)特征點(diǎn)位于背景中，視為有效并保留，Si值較小的一類運(yùn)動(dòng)矢量集對應(yīng)特征點(diǎn)位于運(yùn)動(dòng)前景上，視為無效并剔除。

3.3 特征軌跡的形成

從輸入視頻獲取特征軌跡是關(guān)鍵的一步，常用特征跟蹤法和光流法，跟蹤法形成的軌跡長而稀疏，而光流法形成的軌跡短而密集。參考文獻(xiàn)［13］提出的視頻粒子化方法可獲取長而密集的特征軌跡。

假設(shè)ξi表示視頻幀中的第i條特征點(diǎn)軌跡，它可以用一個(gè)2維點(diǎn)集來表示，其中，表示某一特征點(diǎn)，m與n分別為視頻的起始與結(jié)束幀編號，經(jīng)歷t幀后，可得一個(gè)特征軌跡集｛ξi｝，對于第t+1幀，提取特征后得到點(diǎn)集進(jìn)行Delauuay三角剖分［14］可知，位于同一條邊上的點(diǎn)是鄰接的，該鄰接關(guān)系持續(xù)至特征軌跡變平滑為止，換言之，位于同一條邊的軌跡是鄰接的。

設(shè)ψt為第t+1幀所提取的特征點(diǎn)追加至前t幀所形成的軌跡。當(dāng)?shù)趖+1幀中的特征點(diǎn)數(shù)小于｛ξi｝中的軌跡數(shù)時(shí)，ψt為0，假設(shè)第i條軌跡的速度場為：在第t+1幀中匹配的特征點(diǎn)。為了找到有效特征軌跡，需做兩方面工作：一是利用空間運(yùn)動(dòng)一致性減少錯(cuò)誤匹配；二是利用鄰接特征軌跡的時(shí)間運(yùn)動(dòng)一致性來實(shí)現(xiàn)長時(shí)間跟蹤。代價(jià)函數(shù)表示為

式（10）第1項(xiàng)表示幀間對應(yīng)特征點(diǎn)錯(cuò)誤匹配的代價(jià)，第2項(xiàng)表示鄰接特征軌跡運(yùn)動(dòng)不一致的代價(jià)，h（?）表示Harris角點(diǎn)描述算子，P為鄰接點(diǎn)對集合，其中，權(quán)系數(shù)wij可通過式（11）計(jì)算。

式中，τ表示輸入視頻幀的集合，V表示幀間對應(yīng)特征點(diǎn)的速度場，dij表示第i， j兩條特征軌跡的運(yùn)動(dòng)相似度，它等于兩條軌跡遍歷幀集τ后速度場差值的均值，G（?； σ0）為零均值高斯函數(shù)，σ0為標(biāo)準(zhǔn)差。

3.4 篩選有效特征軌跡

設(shè)Φ和Γ分別為篩選前后的軌跡集，輸入視頻共N幀，幀計(jì)數(shù)器CNT=0。軌跡篩選分為以下5步：

（1）計(jì)算ψt的值，如果為0，從Φ中剔除滿足該條件的軌跡，得軌跡集Π。否則，進(jìn)入步驟（2）；

（2）設(shè)定相似度閾值為Th（軌跡集中各軌跡代價(jià)均值確定），然后，由式（12）計(jì)算第i條軌跡代價(jià)?0：

（3）如果?0＞ Th，則Th= Th+Δ，并從Π中剔除滿足該條件的軌跡，否則，Th= Th-Δ（Δ為某一正數(shù)），從而得到軌跡集Γ；

（4）幀計(jì)數(shù)器CNT++，如果CNT= N，則系統(tǒng)暫停運(yùn)行，否則，進(jìn)入步驟（5）；

（5）第t+1幀后如果出現(xiàn)新的軌跡，添加至Φ中，并返回步驟（1）。

經(jīng)過以上特征軌跡的迭代篩選，得到有效的Harris特征軌跡集Γ，就將視頻穩(wěn)定的問題從幀間特征點(diǎn)匹配求解單應(yīng)性模型轉(zhuǎn)向單純的特征軌跡平滑問題。

4 平滑特征軌跡與圖像扭曲

4.1 特征軌跡的權(quán)值

軌跡集Γ中存在與攝像機(jī)抖動(dòng)無關(guān)的軌跡，比如運(yùn)動(dòng)前景上或錯(cuò)誤匹配形成的特征軌跡。假設(shè)第i條軌跡對前t幀的權(quán)值為和te（ξi）分別為軌跡ξi的起始和結(jié)束時(shí)間，記為

運(yùn)動(dòng)前景上或新出現(xiàn)和消失的短軌跡會(huì)影響視頻穩(wěn)定精度，為了減小這種影響，應(yīng)分配較小權(quán)值，而對于來自背景或中心區(qū)域的長軌跡對視頻穩(wěn)定發(fā)揮重要作用應(yīng)分配較大權(quán)值。

為了解決圖像紋理比較明顯的區(qū)域出現(xiàn)軌跡“聚簇”的問題，由式（14）中實(shí)現(xiàn)空間的歸一化，保證特征軌跡在空間分布均勻；為時(shí)間的歸一化，實(shí)現(xiàn)對各條軌跡在幀中權(quán)值的歸一化，表達(dá)式分別為

4.2 建立目標(biāo)函數(shù)

本文的方法是通過估計(jì)視頻序列的幾何變換集，使特征點(diǎn)以恒定的速度運(yùn)動(dòng)從而平滑特征軌跡獲取穩(wěn)定視頻，但這會(huì)造成視頻質(zhì)量退化，譬如，圖像模糊、圖像失真及圖像邊界信息丟失等。因此，需要考慮兩方面因素：一是特征軌跡粗糙度?rou（T）；二是視頻質(zhì)量退化程度?deg（T），得目標(biāo)函數(shù)：

4.3 相似變換

本文既要考慮幀間相似度，又要進(jìn)行仿射變換，為兼顧二者，采用一種相似變換的幾何變換，記為

式（22）中，V為幀角點(diǎn)集，E表示幀邊界集，L（ e）為幀邊界長度，D（ v， e）為點(diǎn)v到邊e的距離，當(dāng)v∈ e時(shí)，D（ v， e）=0。為解決式（22）的“凸優(yōu)化問題”，需滿足ψ（D）為凸函數(shù)，實(shí)驗(yàn)中δ取一個(gè)較小值0.001。

5 圖像修復(fù)

圖2 相鄰幀t'腐化當(dāng)前幀t的過程示意圖

為了獲得全分辨率的視頻序列，以幀間較強(qiáng)的相關(guān)性為依據(jù)，首先，利用參考幀將當(dāng)前幀的空白區(qū)域進(jìn)行腐蝕，然后，利用參考幀進(jìn)行圖像拼接［15］，實(shí)現(xiàn)當(dāng)前幀的全分辨率。假設(shè)在補(bǔ)償幀中，有像素的區(qū)域?yàn)槎x區(qū)M，無像素的區(qū)域?yàn)榭瞻讌^(qū)M0，當(dāng)前幀中無像素而相鄰幀中有像素的區(qū)域?yàn)榇畛鋮^(qū)域Mt。

假設(shè)Qt為M與Mt邊界上的一點(diǎn)，A（ Qt）為以Qt為中心半徑r的小鄰域，Pt為該鄰域內(nèi)的一點(diǎn)，（ Q）表示第t幀中的點(diǎn)Q到第t'幀的光流，λ（Q， ttt

利用雙線性插值方法計(jì)算Qt的灰度值，記為

式中，M表示當(dāng)前幀對參考幀的相對運(yùn)動(dòng)，由式（20）可得

同理可得Mt與M邊界上的所有點(diǎn)灰度值，并將它們歸于M中，以此類推，基本上可以將待填充區(qū)Mt腐化掉，對于Mt中未被腐化的像素點(diǎn)，采用圖像拼接方式求解灰度值：

經(jīng)過以上操作，就可將含有空白區(qū)域的補(bǔ)償幀修復(fù)為全分辨率的視頻幀。

6 實(shí)驗(yàn)結(jié)果

6.1 抖動(dòng)視頻的穩(wěn)像測試

為了驗(yàn)證算法的有效性，本文采用多個(gè)分辨率為640× 360的視頻序列進(jìn)行實(shí)驗(yàn)，并對穩(wěn)像前與穩(wěn)像后的視頻序列進(jìn)行了對比分析。

針對存在動(dòng)態(tài)場景的視頻，本文采用的是DITF（Difference of Inter-frame Transformation Fidelity）來評估穩(wěn)像精度，該指標(biāo)不是針對單一幀，而是相鄰兩幀，記為

式中，fk表示第k幀，MSE（fm， fn）表示相鄰兩幀在幀寬W和幀高H的范圍內(nèi)對應(yīng)像素點(diǎn)灰度值I（ i， j）的均方差，它反映幀間變化快慢和偏差大小，如果MSE越小，可得DITF就越小，表明兩幀間差異也越小，即視頻越穩(wěn)定，反之，視頻越不穩(wěn)定。圖3為特征點(diǎn)有效性判定結(jié)果。圖3（a）為提取特征點(diǎn)和特征點(diǎn)三角剖分結(jié)果；圖3（b）為K-Means算法剔除前景特征點(diǎn)的結(jié)果。圖4為邊界修復(fù)的整個(gè)過程。

圖5和圖6分別顯示了存在多個(gè)大運(yùn)動(dòng)前景和動(dòng)態(tài)復(fù)雜場景的抖動(dòng)視頻穩(wěn)定結(jié)果，第1行為抖動(dòng)序列，第2行為文獻(xiàn)［12］中Matsushita方法穩(wěn)定序列，第3行為本文方法穩(wěn)定序列，第4行為圖像修復(fù)后的序列。

從輸入視頻序列中任意選取90幀，尺寸為640× 360。表1表明，本文方法獲得的補(bǔ)償幀中丟失區(qū)域面積僅為文獻(xiàn)［12］方法的33%左右，既減輕了費(fèi)時(shí)的邊界修復(fù)任務(wù)，又提高了視頻的視覺效果。

圖7顯示了本文方法與文獻(xiàn)［12］方法各自補(bǔ)償幀的邊界空白區(qū)域修復(fù)時(shí)間，前者僅為后者的30%左右。

圖3 特征點(diǎn)的有效性判定

圖4 邊界修復(fù)的完整過程

圖5 視頻邊界和中心區(qū)域存在大運(yùn)動(dòng)前景視頻穩(wěn)定結(jié)果

圖6 動(dòng)態(tài)復(fù)雜場景視頻穩(wěn)定結(jié)果

表1 補(bǔ)償幀邊界丟失區(qū)域比例（%）

本文實(shí)驗(yàn)是在Core i3處理器，2.27 GHz CPU，2 G內(nèi)存的雙核計(jì)算機(jī)上進(jìn)行。圖8歸納了本文算法各模塊的計(jì)算量分布。圖9顯示出了80.25%的觀察者對本文方法獲取的穩(wěn)定視頻具有更高的滿意度。

6.2 特征軌跡的空間擬合

圖10顯示了第i條特征軌跡平滑前后的空間分布。實(shí)驗(yàn)中，隨機(jī)選取60幀，通過特征點(diǎn)提取與幀間匹配，在3維空間中形成抖動(dòng)幅度約50像素的特征軌跡。以下顯示了4種軌跡平滑方法達(dá)到的平滑效果。

圖11針對包含動(dòng)態(tài)場景和多個(gè)大運(yùn)動(dòng)前景的視頻，本文獲得的視頻的DITF明顯低于文獻(xiàn)［12］方法。

圖7 幀邊界修復(fù)時(shí)間比較

圖8 本文方法計(jì)算量分布

圖9 視頻穩(wěn)定性滿意度調(diào)查

圖10 特征軌跡平滑效果比較

圖11 DITF值的比較

7 結(jié)束語

本文提出了一種基于優(yōu)選特征軌跡的視頻穩(wěn)定算法，與Matsushita方法相比，該方法不需要采用單應(yīng)性模型估計(jì)全局運(yùn)動(dòng)矢量，直接平滑視頻中有效特征軌跡獲取穩(wěn)定視頻，在確保穩(wěn)像精度的同時(shí)，減少了幀邊界丟失區(qū)域面積，并對補(bǔ)償幀邊界實(shí)時(shí)修復(fù)達(dá)到全分辨率。對含有動(dòng)態(tài)復(fù)雜場景和多個(gè)大運(yùn)動(dòng)前景的抖動(dòng)視頻均具有很好的穩(wěn)定效果，但要求視頻幀至少存在5個(gè)有效特征點(diǎn)，對于沒有足夠有效特征點(diǎn)的視頻，該方法有待改進(jìn)。另外，對于存在可變深度信息的視頻，3D深度信息的估計(jì)方法還需要進(jìn)一步探討和研究。

［1］ Song Chun-he， Zhao Hai， Jing W ei， et al.. Robust video stabilization based on particle filtering w ith weighted feature points［J］. IEEE Transactions on Consum er Electronics， 2012，58（2）: 570-577.

［2］ O reifej O， Li Xin， and Shah M. Simultaneous videostabilization and moving ob ject detection in turbulence［J］. IEEE Transactions on Pattern Analysis and M achine In telligence， 2013， 35（2）: 450-462.

［3］ Chao Jia and Evans B L. Constrained 3D rotation sm ooth ing via global manifold regression for video stabilization［J］. IEEE Transactions on Signal Processing， 2014， 62（13）: 3293-3304.［4］ Tang Chong-wu， Yang Xiao-kang， Li Chen， et al.. A fast video stab ilization algorithm based on b lock m atching and edge com p letion［C］. IEEE International W orkshop on M ultim ed ia Signal Processing， Hangzhou， 2011: 1-5.

［5］ Zhu Juan-juan and Guo Bao-long. Fast layered bit-plane matching for electronic video stabilization［C］. International Con ference on Multimedia and Signal Processing， Guilin，2011: 276-280.

［6］ Abdu llah L M， Tah ir N M， and Sam ad M. V ideo stabilization based on point feature m atching technique［C］. IEEE Control and System Graduate Research Colloquium， Shah Alam，Selangor， 2012: 303-307.

［7］ Yang W， Zhang Z， and Zhang Y. A real-time gray projection algorithm for electron ic im age stabilization［C］. Proceedings of 2011 International Con ference on E lectric Inform ation and Control Engineering， W uhan， 2011: 4687-4690.

［8］ Xu Jie， Chang Hua-wen， Yang Shuo， et al.. Fast feature-based video stabilization w ithout accumulative global motion estimation［J］. IEEE Transactions on Consumer Electronics，2012， 58（3）: 993-999.

［9］ Kim Seung-kyun， Kang Seok-jae， Wang Tae-shick， et al.. Feature point classification based global motion estimation for video stabilization［J］. IEEE Transactions on Consum er Electronics， 2013， 59（1）: 267-272.

［10］ Ryu Yeon-geol and Chung Myung-jin. Robust online digital image stabilization based on point-feature trajectory w ithout accum ulative global m otion estim ation［J］. IEEE Signal Processing Letters， 2012， 19（4）: 223-226.

［11］ Wang Yu-shuen， Liu Feng， Hsu Pu-sheng， et al.. Spatially and tem porally op tim ized video stabilization［J］. IEEE Transactions on Visualization and Computer Graphics， 2013，19（8）: 1354-1361.

［12］ M atsush ita Y， O fek E， Ge W， et al.. Full-fram e video stab ilization w ith m otion inpainting［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（7）: 1150-1163.

［13］ Sand P and Teller S. Particle video: long-range motion estim ation using point trajectories［J］. International Journal of Com puter V ision， 2008， 80（1）: 72-91.

［14］ 閆自庚， 蔣建國， 郭丹. 基于SURF特征和Delaunay三角網(wǎng)格的圖像匹配［J］. 自動(dòng)化學(xué)報(bào)， 2014， 40（6）: 1216-1221. Yan Zi-geng， Jiang Jian-guo， and Guo Dan. Image matching based on SURF feature and delaunay triangular meshes［J］. Acta Autom atica Sinica， 2014， 40（6）: 1216-1221.

［15］ Qi Zhi and Cooperstock J R. Toward dynam ic im age mosaic generation w ith robustness to parallax［J］. IEEE Transactions on Image Processing， 2012， 21（1）: 366-378.

余家林： 男，1989年生，博士生，研究方向?yàn)閿?shù)字視頻處理、智能計(jì)算方法、無線通信網(wǎng)絡(luò).

孫季豐： 男，1962年生，教授，博士生導(dǎo)師，研究方向?yàn)閳D像理解、計(jì)算機(jī)視覺.

宋治國： 男，1985年生，博士生，研究方向?yàn)闄C(jī)器學(xué)習(xí)、圖像處理.

Full-frame V ideo Stabilization Based on Preferred Feature Trajectories

Yu Jia-lin Sun Ji-feng Song Zhi-guo
（School of Electronic and Information Engineering， South China University of Technology， Guangzhou 510641， China）

A novel video stabilization algorithm based on preferred feature trajectories is p resented. Firstly， Harris feature points are extracted from frames， and foreground feature points are elim inated via K-Means clustering algorithm. Then， the effective feature trajectories are ob tained via spatial m otion consistency to reduce false matches and tem poral motion sim ilarity for long-time tracking. Finally， an ob jective function is established， which contains both smoothness of feature trajectories and degradation of video qualities to find a set of transformations to smooth out the feature trajectories and obtain stabilized video. As for the b lank areas of image warping， op tical flow between the defined area of current frame and the reference frame is used as a guide to erode them， mosaicing based on the reference fram e is used to get a fu ll-frame video. The simu lation experim ents show that the blank area of the stabilized video with the p roposed method is only about 33% of that with Matsushita method， it is effective to dynam ic com plex scenes and multiple large moving ob jects， and can obtain content com plete video， the proposed method can not only im prove the visual effect of video， but also reduce the motion inpainting.

Image processing； Video stabilization； Point-feature trajectories； Image warping； Optical flow； Motion inpainting

TP391.4

： A

：1009-5896（2015）05-1141-08

10.11999/JEIT141019

2014-07-30收到，2014-10-22改回

國家自然科學(xué)基金青年科學(xué)基金（61202292）和廣東省自然科學(xué)基金（9151064101000037）資助課題

*通信作者：余家林 sci_jlyu09@126.com