趙 賽,康寶生,王 力

(西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

隨著科技的發(fā)展,具備拍照以及攝像功能的電子設(shè)備已大量進(jìn)入人們的生活[1],其呈現(xiàn)形式多種多樣,如智能手機(jī)、小型無(wú)人機(jī)、行車(chē)記錄儀等。雖然這些電子設(shè)備給視頻信息的采集提供了更多的方式，但是，由于手持設(shè)備的穩(wěn)定性較差、小型無(wú)人機(jī)在空中的抖動(dòng)及噪聲的干擾,視頻圖像的正常采集將受到影響,視頻畫(huà)面會(huì)出現(xiàn)抖動(dòng)、畸變等各種問(wèn)題[2-4]。因此,必須對(duì)攝像設(shè)備采集到的視頻進(jìn)行圖像補(bǔ)償處理[5],以消除相機(jī)的非意向抖動(dòng)(即外部噪聲造成的被動(dòng)抖動(dòng)),保留意向抖動(dòng)(即攝像過(guò)程中的主動(dòng)抖動(dòng)),從而改善視頻的觀察效果[6]。穩(wěn)像技術(shù)按照作用機(jī)制通常分為3類(lèi)：機(jī)械穩(wěn)像[7]、光學(xué)穩(wěn)像[8-9]以及電子穩(wěn)像[10-11]。光學(xué)穩(wěn)像通過(guò)光學(xué)部件自適應(yīng)地調(diào)整光路補(bǔ)償圖像運(yùn)動(dòng),從而達(dá)到穩(wěn)像效果。通過(guò)使用傳統(tǒng)陀螺儀傳感器等器件記錄攝像平臺(tái)的抖動(dòng)情況,機(jī)械穩(wěn)像可對(duì)伺服系統(tǒng)進(jìn)行逆向調(diào)整,從而達(dá)到穩(wěn)像效果。雖然以上兩種穩(wěn)像技術(shù)在圖像補(bǔ)償方面取得了很大的進(jìn)展,但因電子設(shè)備受到體積、成本、便攜性等因素的限制,光學(xué)穩(wěn)像和機(jī)械穩(wěn)像往往都不適合被應(yīng)用到電子設(shè)備上。通過(guò)對(duì)連續(xù)視頻序列之間的運(yùn)動(dòng)估計(jì),電子穩(wěn)像可以對(duì)運(yùn)動(dòng)矢量進(jìn)行濾波和運(yùn)動(dòng)補(bǔ)償,從而達(dá)到穩(wěn)像效果[12]。

電子穩(wěn)像技術(shù)主要分為2D和3D穩(wěn)像技術(shù)[13]。2D穩(wěn)像技術(shù)通過(guò)利用相鄰圖像幀之間的2D變換模型來(lái)達(dá)到穩(wěn)像效果。雖然2D穩(wěn)像技術(shù)計(jì)算較簡(jiǎn)單、算法較穩(wěn)定,但因其忽略了相機(jī)的3D運(yùn)動(dòng)信息,無(wú)法取得較好的穩(wěn)像效果?；贚ucas和Kanade[14]的思想,盧曉燕等[15]提出了一種Harris結(jié)合光流的電子穩(wěn)像算法。雖然這種2D穩(wěn)像算法在車(chē)載抖動(dòng)視頻的處理上取得了較好的穩(wěn)像效果,但是Harris角點(diǎn)檢測(cè)中的梯度運(yùn)算過(guò)程較復(fù)雜,而且當(dāng)圖像幀的特征不顯著、特征點(diǎn)較少時(shí),就會(huì)造成很大的匹配誤差。3D穩(wěn)像技術(shù)通常利用3D運(yùn)動(dòng)模型,并結(jié)合特征匹配或特征跟蹤技術(shù)來(lái)獲得好的穩(wěn)像效果。基于圖像渲染[16]的非度量穩(wěn)像技術(shù)被認(rèn)為是第一個(gè)3D穩(wěn)像方案。Zhang等[17]提出的基于3D透視相機(jī)模型的穩(wěn)像方案將穩(wěn)像問(wèn)題表示為平滑和相似約束下的二次成本函數(shù)。通過(guò)恢復(fù)原始3D運(yùn)動(dòng)和稀疏靜態(tài)場(chǎng)景點(diǎn)云獲得相機(jī)運(yùn)動(dòng)信息,并保存形變技術(shù)修復(fù)圖像的內(nèi)容,Liu等[18]提出了基于保存內(nèi)容的3D穩(wěn)像方案。雖然以上這些算法在穩(wěn)像方面取得了很大的進(jìn)展,但其3D重建計(jì)算過(guò)程比較復(fù)雜，因此,一般用于實(shí)時(shí)性要求不高的情景中,而且目前流行的智能電子設(shè)備計(jì)算能力較弱,也不適用。

由于輕巧便攜、成本低廉的特性,MEMS陀螺儀[19-20]方案在運(yùn)動(dòng)估計(jì)過(guò)程中更具備優(yōu)勢(shì)。MEMS陀螺儀可大大降低運(yùn)動(dòng)估計(jì)過(guò)程的計(jì)算量,縮短系統(tǒng)運(yùn)行時(shí)間。Karpenko等[21]提出了一種基于MEMS陀螺儀的電子穩(wěn)像方法,減少了穩(wěn)像工作的計(jì)算量,能解決視頻的抖動(dòng)問(wèn)題。該方案雖然取得了好的穩(wěn)像效果,但其相機(jī)運(yùn)動(dòng)估計(jì)僅針對(duì)旋轉(zhuǎn)運(yùn)動(dòng),忽略了平移運(yùn)動(dòng)。當(dāng)相機(jī)距離拍攝物體較遠(yuǎn)時(shí),平移抖動(dòng)相對(duì)于高頻率的旋轉(zhuǎn)抖動(dòng)可以忽略不計(jì),但是,目前的電子設(shè)備很多在室內(nèi)使用,當(dāng)物體距相機(jī)較近時(shí),相機(jī)的平移抖動(dòng)亦會(huì)嚴(yán)重影響拍攝效果。

針對(duì)文獻(xiàn)[21]算法無(wú)法解決視頻平移抖動(dòng)的問(wèn)題,通過(guò)估計(jì)相機(jī)旋轉(zhuǎn)抖動(dòng)量[21]以及結(jié)合SIFT[22]方法估計(jì)圖像在像素坐標(biāo)系下的平移抖動(dòng)量,本文提出一種新的MEMS陀螺儀方法。該方法不僅增加了平移抖動(dòng)量的估計(jì),而且還避免了特征匹配誤差以及3D方法計(jì)算較復(fù)雜等問(wèn)題。

1 MEMS陀螺儀相關(guān)介紹

MEMS陀螺儀,亦稱(chēng)作微機(jī)械陀螺儀,其工作原理主要是利用科里奧利力。傳統(tǒng)陀螺儀往往因?yàn)轶w積較大,其應(yīng)用范圍受到很大影響。MEMS陀螺儀應(yīng)運(yùn)而生,其小巧的特點(diǎn)完全符合便攜電子設(shè)備的要求,特別是可提高相機(jī)拍攝圖像的穩(wěn)定效果[23]。

在電子穩(wěn)像技術(shù)中,MEMS陀螺儀用于檢測(cè)角速度(角速率),也就是單位時(shí)間內(nèi)的旋轉(zhuǎn)角度,單位為°/s。MEMS陀螺儀角速度的主要指標(biāo)包括:量程、靈敏度、精度以及穩(wěn)定性。以InvenSense公司的產(chǎn)品MPU-6500為例，對(duì)MEMS陀螺儀進(jìn)行簡(jiǎn)單的介紹。如圖1所示,該產(chǎn)品是六軸陀螺儀,包括三軸角速度計(jì)和三軸角加速度計(jì),體積為3mm*3mm*0.9mm,適用于大多數(shù)電子設(shè)備。

圖1 MPU-6500陀螺儀示意圖Fig.1 Sketch map of MPU-6500 gyroscope

2 本文算法

穩(wěn)像技術(shù)包括3個(gè)階段:運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波以及運(yùn)動(dòng)補(bǔ)償[24-25]。本文算法首先通過(guò)MEMS陀螺儀進(jìn)行運(yùn)動(dòng)估計(jì),計(jì)算連續(xù)視頻序列之間的旋轉(zhuǎn)量。其次,由于相機(jī)存在意向運(yùn)動(dòng)以及非意向運(yùn)動(dòng),利用高斯平滑濾波將攝像平臺(tái)的非意向運(yùn)動(dòng)(高頻率抖動(dòng))和意向運(yùn)動(dòng)(低頻率抖動(dòng))進(jìn)行分離,得到精確的運(yùn)動(dòng)矢量。最后,根據(jù)精確的相機(jī)運(yùn)動(dòng)矢量,結(jié)合相機(jī)自身標(biāo)定進(jìn)行運(yùn)動(dòng)補(bǔ)償,得到穩(wěn)定的視頻序列,算法流程如圖2所示。

圖2 算法流程圖Fig.2 Flow chart of the algorithm

2.1 數(shù)據(jù)提取

首先,采集連續(xù)的視頻序列以及MEMS陀螺儀測(cè)量數(shù)據(jù)。利用MEMS陀螺儀的I2C接口獲取陀螺儀數(shù)據(jù)(陀螺儀輸出:相機(jī)繞x,y,z這3個(gè)軸旋轉(zhuǎn)的角速率)。其次,根據(jù)陀螺儀采樣數(shù)據(jù)的時(shí)間戳計(jì)算陀螺儀的采樣頻率。陀螺儀數(shù)據(jù)會(huì)受噪聲的干擾,因此必須有效地減少和抑制噪聲以提高系統(tǒng)的精確性。最后,對(duì)數(shù)據(jù)進(jìn)行濾波處理,將噪聲和信號(hào)分離。意向運(yùn)動(dòng)通常是低頻率的、比較平滑的,消除高頻率的非意向運(yùn)動(dòng)之后,可獲得比較平滑的數(shù)據(jù)。

視頻圖像在像素坐標(biāo)系中的抖動(dòng)(VPM)主要由相機(jī)旋轉(zhuǎn)抖動(dòng)(CRM)、相機(jī)平移抖動(dòng)(CTM)和拍攝物體的運(yùn)動(dòng)(POM)3個(gè)因素造成,可描述為

CRM+CTM+POM→VPM。

(1)

采用SIFT方法難免會(huì)有特征點(diǎn)落在運(yùn)動(dòng)物體上,因?yàn)樗鼈儾粚儆谙鄼C(jī)運(yùn)動(dòng),必須將其剔除。

定義TOM為CTM和POM的組合,可描述為

CTM+POM=VPM-CRM→TOM。

(2)

利用拉依達(dá)準(zhǔn)則[26]剔除落在運(yùn)動(dòng)物體上的特征點(diǎn)，其公式為

|fi-μ|>2s。

(3)

其中，f是SIFT特征向量,μ是TOM的均值,s是TOM的標(biāo)準(zhǔn)方差。

剔除滿(mǎn)足式(3)的特征點(diǎn)后,式(2)變?yōu)?/p>

VPM-CRM→CTM，

(4)

即可獲得平移抖動(dòng)量。

本文采用高斯平滑濾波[27]處理陀螺儀采樣數(shù)據(jù),在Matlab平臺(tái)上進(jìn)行實(shí)驗(yàn)。圖3是陀螺儀數(shù)據(jù)濾波前后對(duì)比效果。高斯濾波器是一類(lèi)根據(jù)高斯核函數(shù)的形狀來(lái)選擇權(quán)值的線性平滑濾波器,高斯核函數(shù)為

(5)

其中,xc表示核函數(shù)中心,σ表示核函數(shù)的寬度參數(shù),其值將直接影響平滑程度。

圖3 陀螺儀數(shù)據(jù)濾波前后對(duì)比圖Fig.3 The contrast of gyroscope data before and after filtering

以高斯核函數(shù)為基礎(chǔ),先生成給定大小的高斯核。然后,將陀螺儀輸出值與高斯核進(jìn)行卷積并做差,即可得到平滑的數(shù)據(jù),如式(6)所示。

(6)

2.2 計(jì)算旋轉(zhuǎn)矩陣

相機(jī)平臺(tái)的輕微抖動(dòng)會(huì)造成圖像在成像平面的旋轉(zhuǎn)、平移。準(zhǔn)確地說(shuō)，抖動(dòng)就是相機(jī)平臺(tái)在三維世界中沿著3個(gè)坐標(biāo)軸的旋轉(zhuǎn)。在三維笛卡爾系坐標(biāo)中,Pitch(俯仰角)表示繞x軸旋轉(zhuǎn),會(huì)造成圖像的垂直方向平移;Yaw(偏航角)表示繞z軸旋轉(zhuǎn),會(huì)造成圖像的水平方向的平移;Roll(翻滾角)表示繞y軸旋轉(zhuǎn),會(huì)造成圖像的旋轉(zhuǎn)。處理三維旋轉(zhuǎn)時(shí),通常采用旋轉(zhuǎn)矩陣的方式描述。

獲得相關(guān)陀螺儀數(shù)據(jù)之后，根據(jù)旋轉(zhuǎn)角度=角速率*時(shí)間,估計(jì)連續(xù)視頻序列之間繞x軸,y軸和z軸旋轉(zhuǎn)的角度φ,θ,ψ,則旋轉(zhuǎn)矩陣R(φ,θ,ψ)為

R(φ,θ,ψ)=

(7)

由于陀螺儀的采樣頻率(微秒級(jí))和連續(xù)視頻序列間的幀間隔(毫秒級(jí))的不一致性,某一時(shí)刻的視頻圖像幀可能無(wú)對(duì)應(yīng)的陀螺儀數(shù)據(jù)。為了提高算法的精確度,獲得更好的穩(wěn)像效果,需要采用插值技術(shù),估計(jì)出連續(xù)視頻序列間的旋轉(zhuǎn)角度。根據(jù)陀螺儀的采樣頻率和連續(xù)視頻序列，分別對(duì)φ,θ,ψ進(jìn)行線性插值,即可得連續(xù)視頻序列之間的旋轉(zhuǎn)角度Δφ,Δθ,Δψ,對(duì)應(yīng)的旋轉(zhuǎn)矩陣為R(Δφ,Δθ,Δψ)。

2.3 運(yùn)動(dòng)補(bǔ)償

得到連續(xù)視頻序列對(duì)應(yīng)點(diǎn)之間的旋轉(zhuǎn)角度之后,通過(guò)逆向補(bǔ)償?shù)姆绞郊纯傻玫椒€(wěn)定的連續(xù)視頻序列。

2.3.1 相機(jī)標(biāo)定 真實(shí)世界中物體是處于一個(gè)三維坐標(biāo)系中,而相機(jī)采集得到的圖像是處于一個(gè)二維坐標(biāo)系中,相機(jī)標(biāo)定[28]是二維圖像和三維世界間的重要紐帶,關(guān)聯(lián)到4個(gè)坐標(biāo)系。世界坐標(biāo)系,用于描述三維空間中的物體、相機(jī)的坐標(biāo)位置;攝像機(jī)坐標(biāo)系,原點(diǎn)為相機(jī)光心的三維坐標(biāo)系;圖像坐標(biāo)系,原點(diǎn)為像平面與光軸交點(diǎn)的直角坐標(biāo)系(單位:mm);像素坐標(biāo)系,原點(diǎn)為圖像左上角點(diǎn)的直角坐標(biāo)系(單位:像素),像素坐標(biāo)系的u軸和v軸與圖像坐標(biāo)系的x軸和y軸平行,像素點(diǎn)在圖像中的列數(shù)和行數(shù)分別用u和v表示。利用這4個(gè)坐標(biāo)系,相機(jī)成像過(guò)程可表示為如圖4所示的過(guò)程。

圖4 相機(jī)成像過(guò)程Fig.4 Camera imaging process

1) 世界坐標(biāo)系——相機(jī)坐標(biāo)系

將相機(jī)看作是世界坐標(biāo)系中某點(diǎn),可通過(guò)旋轉(zhuǎn)矩陣(R)和平移矩陣(T)來(lái)描述，

(8)

其中,帶下標(biāo)w的參數(shù)表示世界坐標(biāo)系中的點(diǎn),帶下標(biāo)c的參數(shù)表示相機(jī)坐標(biāo)系中的點(diǎn),R和T則分別表示旋轉(zhuǎn)矩陣和平移矩陣。在這里,假定相機(jī)坐標(biāo)系原點(diǎn)與世界坐標(biāo)系原點(diǎn)重合。

2) 相機(jī)坐標(biāo)系——圖像坐標(biāo)系

實(shí)現(xiàn)三維空間中的點(diǎn)到二維圖像平面點(diǎn)的變換。根據(jù)三角形相似原理,圖像坐標(biāo)系中的點(diǎn)與相機(jī)坐標(biāo)系中的點(diǎn)關(guān)系描述為p，

(9)

其中，f為相機(jī)焦距。

3) 圖像坐標(biāo)系——像素坐標(biāo)系

假設(shè)(u0,v0)表示相機(jī)的軸心坐標(biāo),圖像上的像素點(diǎn)坐標(biāo)(u,v)分別表示每一幀采集的圖像在系統(tǒng)中存儲(chǔ)的數(shù)組的列數(shù)與行數(shù),則坐標(biāo)(u,v)所對(duì)應(yīng)的值就是該點(diǎn)的灰度值。dx表示每個(gè)像素沿x軸的實(shí)際物理尺寸大小,dy表示沿y軸的實(shí)際物理尺寸大小,單位為mm。圖像坐標(biāo)系中的點(diǎn)與像素坐標(biāo)系中的點(diǎn)關(guān)系描述為k，

(10)

其中，λ表示扭曲因子，一般為0。

2.3.2 相鄰圖像補(bǔ)償 假設(shè)真實(shí)場(chǎng)景中的一點(diǎn)x,在連續(xù)視頻序列的第i幀(假設(shè)該視頻幀為陀螺儀在t-1時(shí)刻的采樣)的投影點(diǎn)為xi(像素坐標(biāo)系),在連續(xù)視頻序列的第j幀(假設(shè)該視頻幀為陀螺儀在t時(shí)刻的采樣)的投影點(diǎn)為xj(像素坐標(biāo)系)。

當(dāng)相機(jī)沒(méi)有旋轉(zhuǎn),并且忽略平移運(yùn)動(dòng)時(shí)，

xi=kpRXw=KRXw，

xj=kpRXw=KRXw。

(11)

其中,k和p表示仿射變換矩陣和透視投影矩陣,K=k*p表示內(nèi)參數(shù)矩陣,R表示剛體變換,Xw表示世界坐標(biāo)系中的點(diǎn)坐標(biāo)。

當(dāng)相機(jī)出現(xiàn)旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，

xj=KR(Δφ,Δθ,Δψ)RXw=

KR(Δφ,Δθ,Δψ)R(KR)-1xi=

KR(Δφ,Δθ,Δψ)K-1xi。

(12)

式(12)表明,該過(guò)程是相機(jī)旋轉(zhuǎn)時(shí)像素坐標(biāo)的變化過(guò)程。欲實(shí)現(xiàn)穩(wěn)像,只需對(duì)當(dāng)前的視頻幀進(jìn)行反向旋轉(zhuǎn)和反向平移即可得到之前的抖動(dòng)點(diǎn)坐標(biāo)，

xj-new=(KR(Δφ,Δθ,Δψ)K-1)-1xj-CTM=

KR-1(Δφ,Δθ,Δψ)K-1xj-CTM。

(13)

2.3.3 圖像拼接 連續(xù)的視頻序列經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償之后,能夠得到穩(wěn)定的圖像效果。但由于圖像的旋轉(zhuǎn)、平移補(bǔ)償,有些圖像的邊緣部分可能會(huì)移出成像平面,造成圖像信息的丟失,成像平面的邊緣出現(xiàn)黑色區(qū)域,影響視頻的視覺(jué)效果。因此,為了獲得更佳的視覺(jué)效果,必須通過(guò)一定的處理,將穩(wěn)定的視頻圖像更好地顯示出來(lái)。目前比較常用的方法是對(duì)視頻圖像黑邊進(jìn)行一定比例的裁剪,然后再顯示穩(wěn)定的圖像。這種方法簡(jiǎn)便、處理速度較快，但是，也存在一定的弊端,如造成圖像邊緣信息的丟失、圖像分辨率降低,影響圖像視覺(jué)效果，對(duì)于抖動(dòng)幅度較大的圖像序列,亦可能存在黑邊處理不徹底的現(xiàn)象。

為解決裁剪方法的弊端,文獻(xiàn)[22]提出采用圖像拼接補(bǔ)償圖像的黑邊,取得了較好的填充效果,但拼接邊界依然存在較明顯的拼接痕跡。本文在此基礎(chǔ)上,采用加權(quán)融合的策略進(jìn)行拼接,以更好地保證邊界平滑、無(wú)明顯拼接痕跡。

對(duì)圖像重疊區(qū)域的灰度值進(jìn)行加權(quán)求和處理,加權(quán)求和后的灰度值為

f(x,y) =w1(x,y)f1(x,y)+

w2(x,y)f2(x,y)。

(14)

其中,w1，w2為權(quán)值,其和為1,x，y為重疊區(qū)域像素點(diǎn)的橫縱坐標(biāo)。權(quán)值的漸變過(guò)程為

(15)

其中,xi為當(dāng)前像素點(diǎn)橫坐標(biāo),xl，xr為重疊區(qū)域左右邊界坐標(biāo),w1由1逐漸變?yōu)?,w2由0逐漸變?yōu)?。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用Visual Studio和Matlab聯(lián)合編程,實(shí)驗(yàn)處理及分析在HP Pro Desk 680 G1 TWR平臺(tái)上進(jìn)行,內(nèi)存為8G,CPU為3.6GHz。本文采用文獻(xiàn)[29]提供的CMOS[30]傳感器相機(jī)拍攝測(cè)試視頻,圖像原始分辨率為1280*720。隨機(jī)抽取視頻序列1的第39幀和第123幀圖像,圖5為經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償和黑邊補(bǔ)償?shù)慕Y(jié)果。

圖5 本文方法實(shí)驗(yàn)結(jié)果Fig.5 The experimental results of this method

圖6為相鄰幀圖像穩(wěn)像前后的差值分析圖,其中,第一行為當(dāng)前幀圖像穩(wěn)像前與參考幀的差值圖像;第二行為當(dāng)前幀圖像穩(wěn)定后與參考幀的差值圖像。從圖6中可以看出，原圖像序列在經(jīng)過(guò)穩(wěn)像處理后,平滑效果得到了改善。

圖6 穩(wěn)像前后差值分析圖Fig.6 Difference analysis diagram before and after image stabilization

為了更好地說(shuō)明本文算法對(duì)視頻序列處理的穩(wěn)定性,本文針對(duì)視頻序列1和視頻序列2,分別就算法效率和精確性與文獻(xiàn)[17]、文獻(xiàn)[18]、文獻(xiàn)[21]的算法進(jìn)行對(duì)比分析。

算法效率:以每幀圖像的處理時(shí)間為標(biāo)準(zhǔn),對(duì)比結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果表明,相比恢復(fù)相機(jī)本身的3D空間運(yùn)動(dòng)信息,本文算法大大降低了運(yùn)動(dòng)估計(jì)過(guò)程的計(jì)算量,算法效率更提高。對(duì)視頻序列1,每幀圖像平均處理時(shí)間比文獻(xiàn)[18]算法減少了56.72%,比文獻(xiàn)[17]算法減少了59.93%。對(duì)視頻序列2,比文獻(xiàn)[18]算法減少了56.62%,比文獻(xiàn)[17]算法減少了59.69%。由于本文算法增加了平移抖動(dòng)量的估計(jì),因此比文獻(xiàn)[21]算法運(yùn)行時(shí)間有所增加。

算法精確性：以峰值信噪比PSNR作為算法精確性的評(píng)價(jià)指標(biāo)，信噪比越大表明算法的穩(wěn)像效果越好[31]，幀間平均PSNR值對(duì)比結(jié)果如表2所示。圖7和圖8分別是各算法對(duì)視頻序列1的第39幀圖像和視頻序列2的第46幀圖像進(jìn)行穩(wěn)像處理的效果對(duì)比圖。以視頻序列1的前60幀為例，視頻序列穩(wěn)像前后的PSNR值對(duì)比如圖9(a)所示；以視頻序列2的前60幀為例，視頻序列穩(wěn)像前后PSNR值對(duì)比如圖9(b)所示。實(shí)驗(yàn)結(jié)果表明，對(duì)于視頻序列的穩(wěn)像處理，相比其他算法，本文提出的算法穩(wěn)定性更好，精確性更高。對(duì)視頻序列1，使用本文算法得到的PSNR值比文獻(xiàn)[17]算法提高了7.5%，比文獻(xiàn)[18]算法提高了5.45%，比文獻(xiàn)[21]算法提高了25.60%。對(duì)視頻序列2，使用本文算法得到的PSNR值比文獻(xiàn)[17]算法提高了5.87%，比文獻(xiàn)[18]算法提高了4.03%，比文獻(xiàn)[21]算法提高了22.11%。

表1 不同算法效率比較Tab.1 Effciecy comparison of different algorithms

表2 不同算法精確性比較Tab.2 Accuracy comparison of different algorithms

圖7 不同算法對(duì)視頻序列1穩(wěn)像效果圖Fig.7 Image stabilization of video sequence 1 by different algorithms

圖8 視頻序列2穩(wěn)像效果圖Fig.8 Image stabilization of video sequence 2 by different algorithms

圖9 穩(wěn)像前后不同算法精確度對(duì)比圖Fig.9 Accuracy contrast diagram of different algorithms before and after image stabilization

4 結(jié) 語(yǔ)

通過(guò)陀螺儀估計(jì)相機(jī)的旋轉(zhuǎn)抖動(dòng)量,再結(jié)合SIFT方法估計(jì)相機(jī)的平移抖動(dòng)量,本文提出的基于MEMS陀螺儀的電子穩(wěn)像算法取得了較好的穩(wěn)像效果,而且避免了特征匹配計(jì)算復(fù)雜、匹配誤差等問(wèn)題。實(shí)驗(yàn)結(jié)果表明,利用陀螺儀進(jìn)行相機(jī)運(yùn)動(dòng)估計(jì)是準(zhǔn)確的,對(duì)于抖動(dòng)視頻具有較好的補(bǔ)償效果,視頻質(zhì)量大幅提升。而且算法計(jì)算量大大降低,處理速度得到提高。本文算法具有較強(qiáng)的穩(wěn)定性、準(zhǔn)確性。

參考文獻(xiàn)：

[1] BATTIATO S, GALLO G, PUGLISI G, et al. SIFT features tracking for video stabilization[C]∥International Conference on Image Analysis and Processing. Modena: IEEE Computer Society, 2007:825-830.

[2] 韓紹坤, 趙躍進(jìn), 劉明奇.電子穩(wěn)像技術(shù)及其發(fā)展[J]. 光學(xué)技術(shù), 2001, 27(1):71-73.

[3] OVREN H, FORSSEN P E. Gyroscope-based video stabilization with auto-calibration[C]∥IEEE International Conference on Robotics and Automation (ICRA).IEEE, 2015:2090-2097.

[4] FORSSEN P E, RINGABY E. Rectifying rolling shutter video from hand-held devices[C]∥The IEEE Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010:507-514.

[5] 李計(jì)添, 何永強(qiáng), 陳財(cái)森, 等. 一種基于灰度投影算法的車(chē)載電子穩(wěn)像算法[J]. 紅外技術(shù), 2010, 32(6):328-332.

[6] RAWAT P, SINGHAI J. Review of motion estimation and video stabilization techniques for hand held mobile video[J].Signal and Image Processing:An International Journal (SIPIJ),2011, 2(2):159-168.

[7] YU Q, WU B, JIAO Y, et al. Summarization of electronic image stabilization[C]∥International Conference on Computer-Aided Industrial Design and Conceptual Design (CAIDCD).IEEE,2006:1-5.

[8] SATO K, ISHIZUKA S, NIKAMI A, at al. Control techniques for optical image stabilizing system [J]. IEEE Transactions on Consumer Electronics, 1993, 39(3):461-466.

[9] 谷素梅, 曲魯杰. 小型光慣穩(wěn)跟儀器穩(wěn)像精度測(cè)試方案探討[J]. 光學(xué)技術(shù), 1993(2):26-27.

[10] ZHANG Y X,ZHANG W G,ZHAO X X,et al.Study on electronic image stabilization system based on MEMS gyro[C]∥International Conference on Electronic Computer Technology.IEEE Computer Society, 2009: 641-643.

[11] 王志民, 徐曉剛. 電子穩(wěn)像技術(shù)綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010, 15(3):470-480.

[12] 范永杰, 陳華. 基于MEMS陀螺儀的實(shí)時(shí)電子穩(wěn)像技術(shù)[J]. 紅外技術(shù), 2015, 37(9):724-727.

[13] JIA C, EVANS B L. Online calibration and synchronization of cellphone camera and gyroscope[C]∥Global Conference on Signal and Information Processing. Texas:IEEE,2013:731-734.

[14] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]∥International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann Publishers, 1981:674-679.

[15] 盧曉艷. 電子穩(wěn)像技術(shù)研究[D].西安:西安工業(yè)大學(xué), 2013.

[16] BUEHLER C, BOSSE M, MCMILLAN L. Non-metric image-based rendering for video stabilization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2003:609.

[17] ZHANG G, HUA W, QIN X, et al. Video stabilization based on a 3D perspective camera model [J]. Visual Computer, 2009, 25(11): 997-1008.

[18] LIU F, GLEICHER M， JIN H, et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics，2009，28(3)：1-9.

[19] 李冰, 張超. 傳感器電子穩(wěn)像的塊匹配提前中止方法[J]. 光電工程, 2016, 43(11):76-81.

[20] HANNING G, FORSLOW N, FORSSEN P E, et al. Stabilizing cell phone video using inertial measurement sensors[C]∥IEEE International Conference on Computer Vision Workshops. IEEE, 2012:1-8.

[21] KARPENKO A, JACOBS D, BAEK J, et al. Digital video stabilization and rolling shutter correction using gyroscopes[R].Palo Alto:Stanford Tech Report CTSR, 2011.

[22] HU R, SHI R, SHEN I, et al. Video stabilization using scale-invariant features [C]∥International Conference on Information Visualization.IEEE,2007:871-877.

[23] ESFANDYARI J, NUCCIO R D, GANG X. MEMS陀螺儀技術(shù)簡(jiǎn)介[J].電子與電腦, 2011(4):23-26.

[24] MATSUSHITA Y, OFEK E, GE W, et al. Full-frame video stabilization with motion inpainting [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(7):1150-1163.

[25] 鄭鴻云, 趙紅穎, 魏云鵬, 等. 小型無(wú)人機(jī)快速最優(yōu)化穩(wěn)像方法研究[J]. 影像科學(xué)與光化學(xué), 2016, 34(1):51-58.

[26] 林洪樺.測(cè)量誤差與不確定度評(píng)估[M].北京:機(jī)械工業(yè)出版社,2009:312-322.

[27] LIU F, GLEICHER M, WANG J, et al. Subspace video stabilization [J]. ACM Transactions on Graphics, 2011, 30(1):623-636.

[28] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

[29] BELL S, TROCCOLI A, PULLI K. A non-linear filter for gyroscope-based video stabilization[C]∥Proceedings of the 13th European Conference on Computer Vision.New York:Springer, 2014:294-308.

[30] EIGAMAL A, ELTOUKHY H. CMOS image sensors [J]. Circuits and Devices Magazine IEEE, 2005, 21(3):6-20.

[31] 陳濱, 趙建軍, 楊利斌. 視頻穩(wěn)像評(píng)價(jià)方法研究[J]. 科學(xué)技術(shù)與工程, 2016, 16(22):219-224.