吉淑嬌，朱 明，胡漢平

（1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033；2.長(zhǎng)春大學(xué)電子信息工程學(xué)院，吉林長(zhǎng)春130022）

基于特征點(diǎn)匹配的電子穩(wěn)像技術(shù)

吉淑嬌1，2，朱 明1*，胡漢平1

（1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033；2.長(zhǎng)春大學(xué)電子信息工程學(xué)院，吉林長(zhǎng)春130022）

為獲得高質(zhì)量視頻輸出序列，電子穩(wěn)像技術(shù)常被用來去除成像設(shè)備所攝取的圖像序列中的隨機(jī)抖動(dòng)。本文首先介紹了電子穩(wěn)像的國(guó)內(nèi)外發(fā)展現(xiàn)狀。然后，從電子穩(wěn)像技術(shù)中的運(yùn)動(dòng)估計(jì)模塊出發(fā)，描述了國(guó)內(nèi)外近年來出現(xiàn)的直接求取運(yùn)動(dòng)估計(jì)算法以及各種基于特征點(diǎn)匹配的運(yùn)動(dòng)估計(jì)方法，并對(duì)運(yùn)動(dòng)校正和運(yùn)動(dòng)補(bǔ)償模塊的算法進(jìn)行了評(píng)述。最后綜合分析了穩(wěn)像算法的難點(diǎn)以及未來發(fā)展趨勢(shì)，提出基于特征匹配的電子穩(wěn)像技術(shù)的發(fā)展方向。

電子穩(wěn)像；運(yùn)動(dòng)估計(jì)；特征匹配；卡爾曼濾波

1 引 言

視頻信息廣泛應(yīng)用于軍用偵察系統(tǒng)、無人車輛導(dǎo)航系統(tǒng)、航空測(cè)量系統(tǒng)以及監(jiān)控系統(tǒng)中。其中諸多攝像系統(tǒng)由于工作環(huán)境惡劣，載體姿態(tài)不穩(wěn)定等，均存在不確定的抖動(dòng)和振動(dòng)，使得采集的視頻序列幀間抖動(dòng)較大，導(dǎo)致視頻序列的質(zhì)量下降。對(duì)于信息十分豐富的視頻序列，用戶首先希望圖像畫面清晰穩(wěn)定，不穩(wěn)定的視頻序列將導(dǎo)致武器性能下降，人工觀察困難，并極易引起視覺疲勞；另外，也會(huì)使后續(xù)圖像處理算法的難度加大。因此，對(duì)于這種攝像載體所攝取的視頻序列，有必要應(yīng)用電子穩(wěn)像處理技術(shù)去除不規(guī)則的隨機(jī)抖動(dòng)，將這些不穩(wěn)定的視頻序列轉(zhuǎn)化為高質(zhì)量的穩(wěn)定視頻序列輸出。近年來，出現(xiàn)了很多電子穩(wěn)像算法［1-2］，本文主要針對(duì)電子穩(wěn)像系統(tǒng)的幾個(gè)環(huán)節(jié)，論述近年來出現(xiàn)的處理各環(huán)節(jié)的算法，尤其對(duì)提取運(yùn)動(dòng)矢量的算法進(jìn)行了詳細(xì)敘述，最終給出未來電子穩(wěn)像的發(fā)展方向。

2 電子穩(wěn)像技術(shù)國(guó)內(nèi)外發(fā)展現(xiàn)狀

國(guó)外在電子穩(wěn)像技術(shù)方面的研究已有30多年的歷史，進(jìn)入90年代以后，隨著計(jì)算機(jī)技術(shù)和數(shù)字圖像處理技術(shù)的迅速發(fā)展，很多西方國(guó)家如美國(guó)和加拿大率先采用電子穩(wěn)像算法，使電子穩(wěn)像系統(tǒng)向小型化、高精度、強(qiáng)實(shí)時(shí)性的方向發(fā)展。加拿大某研究機(jī)構(gòu)成功研制了實(shí)時(shí)監(jiān)視系統(tǒng)中的穩(wěn)像裝置，其圖像處理、穩(wěn)像速度達(dá)到30 frame/ s，系統(tǒng)的穩(wěn)像精度達(dá)到1 pixel。美國(guó)軍事研究實(shí)驗(yàn)室研制穩(wěn)像系統(tǒng)應(yīng)用在無人駕駛越野車上，其穩(wěn)像精度已優(yōu)于1 pixel。

韓國(guó)和日本的許多高檔家用攝像機(jī)中也裝有電子穩(wěn)像設(shè)備，例如日本索尼公司生產(chǎn)的DCRSR87E家用攝像機(jī)就帶有動(dòng)態(tài)電子穩(wěn)像裝置，當(dāng)因攝像機(jī)抖動(dòng)而引起畫面不清晰時(shí)，它會(huì)啟動(dòng)穩(wěn)像裝置以去除畫面的模糊。到目前為止，很多技術(shù)先進(jìn)的國(guó)家如美國(guó)、俄羅斯、日本、加拿大等，電子穩(wěn)像技術(shù)的研究和在軍事和民用領(lǐng)域的實(shí)際應(yīng)用都已很成熟［1-3］。

國(guó)內(nèi)電子穩(wěn)像技術(shù)在民用和軍用方面也有一定的發(fā)展。我國(guó)新型主戰(zhàn)坦克88A、88B、88C雖裝備了穩(wěn)像式火控系統(tǒng)，但自動(dòng)化程度還比較低。在20世紀(jì)末期，中國(guó)科學(xué)院長(zhǎng)春光機(jī)所鐘平［3］、孫輝［4］、李迪［5］等人開始對(duì)電子穩(wěn)像算法技術(shù)進(jìn)行了研究，并取得了很多成績(jī)。經(jīng)過十幾年來的努力，研究范圍已從通用小型無人機(jī)載電視偵察系統(tǒng)擴(kuò)展到對(duì)偵察轉(zhuǎn)臺(tái)和偵察平臺(tái)的研究。近幾年來，國(guó)內(nèi)很多院校和科研單位如北京理工大學(xué)［6］、西安科技大學(xué)［7］等也對(duì)電子穩(wěn)像算法進(jìn)行了廣泛研究。

3 直接求取運(yùn)動(dòng)矢量的算法

圖1 電子穩(wěn)像系統(tǒng)的結(jié)構(gòu)Fig.1 Structure diagram of EIS system

電子穩(wěn)像是根據(jù)視頻圖像幀間差別，對(duì)攝像機(jī)的運(yùn)動(dòng)參數(shù)進(jìn)行估計(jì)，并對(duì)參數(shù)進(jìn)行校正，從攝像機(jī)的正常掃描運(yùn)動(dòng)中分離出隨機(jī)抖動(dòng)，得到補(bǔ)償參數(shù)，進(jìn)而消除或減輕隨機(jī)抖動(dòng)引起的圖像模糊，獲得清晰穩(wěn)定的視頻圖像。

電子穩(wěn)像的系統(tǒng)結(jié)構(gòu)［5］如圖1所示。主要包括4個(gè)模塊：圖像預(yù)處理模塊、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)校正和圖像補(bǔ)償。圖像預(yù)處理主要是消除圖像中的無關(guān)信息，增強(qiáng)有用信息的可檢測(cè)性和最大限度地簡(jiǎn)化數(shù)據(jù)。運(yùn)動(dòng)估計(jì)模塊主要是估計(jì)出當(dāng)前幀相對(duì)于參考幀的運(yùn)動(dòng)偏移量，是一種全局運(yùn)動(dòng)的估計(jì)。運(yùn)動(dòng)校正主要是區(qū)分全局運(yùn)動(dòng)中的有意運(yùn)動(dòng)和隨機(jī)抖動(dòng)，計(jì)算補(bǔ)償分量，采用補(bǔ)償分量對(duì)各幀圖像進(jìn)行變換。圖像補(bǔ)償主要是對(duì)運(yùn)動(dòng)校正過程中出現(xiàn)的一些“無定義”區(qū)域進(jìn)行重構(gòu)，獲得清晰的圖像。運(yùn)動(dòng)估計(jì)模塊是電子穩(wěn)像技術(shù)的關(guān)鍵技術(shù)，國(guó)內(nèi)外很多學(xué)者在運(yùn)動(dòng)矢量的求取算法上開展了廣泛研究。

Huang［9］等人運(yùn)用匹配算法在連續(xù)圖像的邊緣線上選取交叉點(diǎn)對(duì)，之后選取3對(duì)最適合的特征點(diǎn)進(jìn)行仿射模型的參數(shù)測(cè)量，求取全局運(yùn)動(dòng)參量。交叉點(diǎn)對(duì)的數(shù)量少，能減少運(yùn)算復(fù)雜度，提高運(yùn)算的速度。

Antonio［10］在研究了整個(gè)圖像序列的幾幀圖像的基礎(chǔ)上，采用離散小波變換獲得圖像的特征，再由歐氏距離對(duì)每一個(gè)圖像特征進(jìn)行分析，并利用小波變換系數(shù)來評(píng)估其穩(wěn)定性，最后通過低通小波系數(shù)重構(gòu)了穩(wěn)定的特征向量。

Litivin［11］提出一種基于概率估計(jì)框架的方法，將攝像機(jī)的主動(dòng)運(yùn)動(dòng)和隨機(jī)運(yùn)動(dòng)分開。此方法將攝像機(jī)的幀間估計(jì)參數(shù)作為攝像機(jī)主動(dòng)運(yùn)動(dòng)的噪聲測(cè)量。建立幀間運(yùn)動(dòng)參數(shù)的基于物理場(chǎng)的狀態(tài)空間模型，然后運(yùn)用遞歸卡爾曼濾波求得穩(wěn)定的攝像機(jī)位置估計(jì)參數(shù)。最后運(yùn)用6參數(shù)仿射變化模型描述幀間的變換，模型的估計(jì)采用基于多分辨率的p范數(shù)方法?；诟怕使烙?jì)的算法，計(jì)算量稍大，很難達(dá)到穩(wěn)像的實(shí)時(shí)性。

S.Erturk［12］認(rèn)為全局運(yùn)動(dòng)可以由4個(gè)子圖局部運(yùn)動(dòng)估計(jì)得到。每個(gè)子圖的運(yùn)動(dòng)估計(jì)都可以通過相位相關(guān)獲得，再通過子圖像相位相關(guān)的峰值獲得可靠的局部運(yùn)動(dòng)矢量。最后運(yùn)用卡爾曼濾波器進(jìn)行運(yùn)動(dòng)濾波以獲得穩(wěn)定的視頻輸出。

Ho［13］運(yùn)用簡(jiǎn)單的仿射變換模型，推導(dǎo)出新的類似極坐標(biāo)的變換模型，對(duì)運(yùn)動(dòng)矢量進(jìn)行處理。算法先把圖像以某點(diǎn)為中心，以某角度為中心旋轉(zhuǎn)獲得當(dāng)前圖像，再運(yùn)用文中算法對(duì)當(dāng)前圖像相對(duì)原參考圖像求取運(yùn)動(dòng)估計(jì)矢量。經(jīng)驗(yàn)證明所得結(jié)果和預(yù)處理的方法一致。該算法減少了運(yùn)算量，提高了穩(wěn)像的實(shí)時(shí)性。

徐［14］首次提出具有旋轉(zhuǎn)不變性的基于圓形塊匹配的方法，對(duì)所有指定的圓形塊的中心提取局部運(yùn)動(dòng)向量，根據(jù)局部矢量指定相應(yīng)圓形塊的位置建立線性系統(tǒng)。然后，用最小二乘法求取全局運(yùn)動(dòng)參數(shù)，并由迭代的梯度下降法進(jìn)行參數(shù)優(yōu)化。

Lee［15］所采用的穩(wěn)像算法是對(duì)占主導(dǎo)地位的運(yùn)動(dòng)進(jìn)行統(tǒng)計(jì)區(qū)域分析，算法能對(duì)可選擇區(qū)域自適應(yīng)地采用特征直方圖方式有效去除相機(jī)的隨機(jī)振動(dòng)，而保留物體的運(yùn)動(dòng)模式。算法的優(yōu)點(diǎn)是引入了特征直方圖匹配。

Pourreza，H.R等人［16］采用兩層小波分解方法粗略估計(jì)水平和垂直方向的平移參數(shù)，將這些參數(shù)作為估計(jì)的初始值，然后采用特征點(diǎn)和梯度方法，進(jìn)而精確計(jì)算估計(jì)參數(shù)。

Amanatiadis［17］認(rèn)為視頻序列的自身運(yùn)動(dòng)和隨機(jī)抖動(dòng)兩種信號(hào)分別具有獨(dú)立的性質(zhì)，利用獨(dú)立分量分析方法，使他們最大程度的統(tǒng)計(jì)獨(dú)立。在分離出自身運(yùn)動(dòng)矢量后，分配給它相應(yīng)的能量和信號(hào)，進(jìn)而獲得穩(wěn)定視頻序列。

Sanjeev［18］在傅里葉-格林域基于相位相關(guān)的算法中實(shí)現(xiàn)了魯棒的二維仿射全局運(yùn)動(dòng)估計(jì)。接著在稀疏運(yùn)動(dòng)向量場(chǎng)采用最小二乘擬合實(shí)現(xiàn)圖像序列穩(wěn)定。在稀疏的運(yùn)動(dòng)向量區(qū)域，采用RANSAC算法優(yōu)化計(jì)算結(jié)果。在圖像金字塔的最佳分層處，隨機(jī)選擇高活動(dòng)區(qū)域的位置，實(shí)現(xiàn)亞像素級(jí)的準(zhǔn)確相位相關(guān)。

Konstantinos［19］運(yùn)用Hilbert-Huang變換理論，對(duì)原始運(yùn)動(dòng)矢量信號(hào)進(jìn)行經(jīng)驗(yàn)?zāi)Ｊ椒纸?，形成固有模態(tài)函數(shù)。然后運(yùn)用Hilbert變換對(duì)每個(gè)固有模態(tài)函數(shù)分配能量，繼而分解有意運(yùn)動(dòng)和隨機(jī)抖動(dòng)。

李迪［20］引入自組織遞歸的模糊神經(jīng)網(wǎng)絡(luò)方法，對(duì)視頻序列存在的抖動(dòng)進(jìn)行函數(shù)逼近和學(xué)習(xí)能力模擬，預(yù)測(cè)出設(shè)備抖動(dòng)位置，繼而進(jìn)行補(bǔ)償，使輸出視頻穩(wěn)定。

4 基于特征點(diǎn)匹配的運(yùn)動(dòng)估計(jì)算法

基于特征點(diǎn)匹配的穩(wěn)像算法是運(yùn)動(dòng)估計(jì)的一種重要算法，這種算法的主要流程如圖2所示。

圖2 電子穩(wěn)像系統(tǒng)的算法流程Fig.2 Algorithm flow of EIS system

算法首先求取參考幀和當(dāng)前幀的正確匹配特征點(diǎn)對(duì)，再將特征點(diǎn)對(duì)的坐標(biāo)代入如下仿射模型，求取運(yùn)動(dòng)矢量：

式中，（Xi，Yi）和（Xi′，Yi′）分別代表參考幀和當(dāng)前幀的特征點(diǎn)坐標(biāo)；參數(shù)S代表變焦系數(shù)；θ為旋轉(zhuǎn)角度，Δx，Δy分別代表水平和垂直位移。求取運(yùn)動(dòng)矢量后再進(jìn)行運(yùn)動(dòng)濾波及運(yùn)動(dòng)補(bǔ)償實(shí)現(xiàn)視頻序列穩(wěn)定。求取運(yùn)動(dòng)矢量用時(shí)最多的就是提取正確特征點(diǎn)及匹配的計(jì)算過程。比較常用的提取特征點(diǎn)的方法有基于Harris算子、尺度不變特征變換算子（Scale Invariant Feature Transform，SIFT）以及改進(jìn)的加速魯棒特征算子（Speed Up Robust Features，SURF）和二進(jìn)制魯棒尺度不變關(guān)鍵點(diǎn)檢測(cè)算子（Binary Robust Invariant Scaleble Key-point，BRISK）等。

4.1 幾種提取特征點(diǎn)的算子

4.1.1 Harris算子

1998年，Harris和Stephens提出Harris算子，主要利用圖像的灰度變化進(jìn)行檢測(cè)。算子的核心其公式為：

det M是矩陣M的行列式，trace M是矩陣M的跡，k一般取0.04～0.06。λ1，λ2為M矩陣的兩個(gè)特征值，當(dāng)各值都較大時(shí)，該點(diǎn)被認(rèn)為是特征點(diǎn)。這種特征點(diǎn)檢測(cè)方法計(jì)算簡(jiǎn)單，提取特征點(diǎn)均勻，自問世以來，得到了廣泛的應(yīng)用。

鐘平［21］等人提出通過Harris算子提取特征點(diǎn)并進(jìn)行匹配，求取局部運(yùn)動(dòng)適量，將其代入運(yùn)動(dòng)模型后求解全局運(yùn)動(dòng)適量。為了減少匹配計(jì)算的復(fù)雜度，加快匹配速度，采用了多分辨率圖像金字塔匹配策略，可以較好地實(shí)現(xiàn)幀間平移運(yùn)動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)的補(bǔ)償。

朱娟娟［16］提出一種魯棒的電子穩(wěn)像系統(tǒng)。全局運(yùn)動(dòng)矢量通過Harris算子提取特征點(diǎn)的局部信息來估計(jì)，同時(shí)根據(jù)特征點(diǎn)集的結(jié)構(gòu)特征提出用距離作為判斷準(zhǔn)則，對(duì)特征匹配進(jìn)行驗(yàn)證來去除偽匹配點(diǎn)。最后將所有校驗(yàn)后的匹配點(diǎn)對(duì)代入運(yùn)動(dòng)模型中進(jìn)行最優(yōu)化迭代以獲得全局運(yùn)動(dòng)矢量。

Harris算子［22］及其很多改進(jìn)算法在特征提取領(lǐng)域都得到廣泛應(yīng)用，但是在圖像含有尺度變化時(shí)，無法正確檢測(cè)角點(diǎn)。后來又有人提出Harris-Laplace算子，雖然能適應(yīng)尺度變換，但算法的耗時(shí)太長(zhǎng)。

4.1.2 SIFT&SURF算子

SIFT［23］算子是2004年Lowe提出的基于尺度空間的特征提取算子。算法具有保證圖像對(duì)平移旋轉(zhuǎn)和尺度具有不變性，獨(dú)特性能好的優(yōu)點(diǎn)，缺點(diǎn)是基于多尺度空間進(jìn)行搜索，計(jì)算量較大。Battiato［24］在2007年的ICIA國(guó)際會(huì)議上利用SIFT算子提取特征點(diǎn)，實(shí)現(xiàn)了視頻序列去抖，取得了很好的效果。

SURF［25］算子是2008年由Bay提出的，是對(duì)SIFT算子的改進(jìn)。主要運(yùn)用Hessian矩陣對(duì)圖像的極值進(jìn)行檢測(cè)，并在尺度空間內(nèi)進(jìn)行特征點(diǎn)檢測(cè)。

對(duì)于一幅灰度圖像，SURF中使用積分圖像代替灰度圖像，任意尺度的Hessian矩陣表示為：

式中，g（σ）是二維高斯函數(shù)，L（x，σ）是G（σ）與積分圖像的卷積。實(shí)際應(yīng)用中，用盒子濾波器代替高斯濾波器，通過改變?chǔ)业拇笮?gòu)建尺度空間。近年來很多文獻(xiàn)報(bào)道了SURF算子及其各種改進(jìn)算法的應(yīng)用。

Binoy［26］運(yùn)用SURF算子提取特征點(diǎn)法實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)，采用不同的策略選擇最適合的特征點(diǎn)軌跡，最后用Kalman濾波實(shí)現(xiàn)運(yùn)動(dòng)校正。張坤［7］采用SURF算法檢測(cè)感興趣特征點(diǎn)，得出當(dāng)前幀相對(duì)于參考幀的運(yùn)動(dòng)矢量。再通過判斷參考幀的更新情況，得到去抖后的全局運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償。算法運(yùn)行時(shí)間短，精確度可達(dá)到亞像素級(jí)。王洪［27］在SURF算子基礎(chǔ)上，提出一種特征點(diǎn)預(yù)測(cè)方法，增強(qiáng)對(duì)外部環(huán)境和光照變化的適應(yīng)能力，并在動(dòng)態(tài)平衡KD樹基礎(chǔ)上進(jìn)行快速匹配，經(jīng)過加入噪聲前后做測(cè)試比較，誤匹配率降低為零。李小昌［28］在SURF算子的基礎(chǔ)上，在特征區(qū)域選擇的時(shí)候采用圖像的熵來做檢測(cè)，起到提高速度和減少計(jì)算量的作用，同時(shí)又改進(jìn)了特征描述方法。吳威［29］等人采用SURF算子獲取參考幀和當(dāng)前幀的對(duì)應(yīng)關(guān)系，再進(jìn)行濾波和補(bǔ)償，實(shí)現(xiàn)了全景穩(wěn)像，穩(wěn)像指標(biāo)提高了近1/3。

4.1.3 BRISK算子

2011年，Stefan［30］在ICCV國(guó)際會(huì)議上提出了基于二進(jìn)制魯棒尺度不變關(guān)鍵點(diǎn)檢測(cè)算子BRISK。算法主要包括特征點(diǎn)描述和匹配。BRISK特征檢測(cè)子是以FAST算子為基礎(chǔ)發(fā)展而來的，具有尺度不變、定位精度高等特點(diǎn)。BRISK描述符采用了在關(guān)鍵點(diǎn)附近采樣的模式，由二進(jìn)制比特串構(gòu)成，一般采樣60個(gè)位置。

許允喜［31］將這種方法用在組合導(dǎo)航系統(tǒng)的景象匹配中，大大提高了匹配的速度和精度，也適合大光照變化的情況。目前為止，將此算子用于電子穩(wěn)像系統(tǒng)未見報(bào)道。

4.2 運(yùn)動(dòng)校正算法

運(yùn)動(dòng)校正的主要任務(wù)是消除或減輕攝像機(jī)抖動(dòng)引起的視頻序列隨機(jī)運(yùn)動(dòng)。目前用于電子穩(wěn)像的運(yùn)動(dòng)濾波算法主要有：均值濾波方法、Kalman濾波的方法、粒子濾波的方法、曲線擬合的方法以及α-β運(yùn)動(dòng)濾波的方法等。

S.Erturk［32］提出運(yùn)用Kalman濾波對(duì)序列幀的隨機(jī)運(yùn)動(dòng)和有意運(yùn)動(dòng)進(jìn)行分離。M.K.Gullu［33］對(duì)Kalman濾波進(jìn)行改進(jìn)，提出運(yùn)用模糊自適應(yīng)的Kalman濾波對(duì)圖像進(jìn)行穩(wěn)像。該算法中兩個(gè)Kalman濾波器并行工作，其中一個(gè)用來作為參考濾波器，通過恒定過程的噪聲方差工作來確保能平滑和密切跟蹤相機(jī)運(yùn)動(dòng)的軌跡。穩(wěn)定濾波器的噪聲方差會(huì)自適應(yīng)地根據(jù)它與參考濾波器的差值通過模糊系統(tǒng)進(jìn)行調(diào)整。張帆［34］等人提出了一種基于固定滯后平滑濾波的平移運(yùn)動(dòng)濾波技術(shù)，該方法是在Kalman濾波的基礎(chǔ)上得到的。算法通過滯后N幀圖像所獲得的更多圖像位置信息，提高Kalman濾波的估計(jì)精度，算法計(jì)算速度較快，實(shí)時(shí)性好，濾波的平滑效果明顯。

Yang［35］等人在粒子濾波框架基礎(chǔ)上提出一種新穎的視頻穩(wěn)像技術(shù)，該技術(shù)對(duì)粒子濾波應(yīng)用于傳統(tǒng)的相機(jī)運(yùn)動(dòng)仿射模型進(jìn)行了擴(kuò)展，依靠所得圖像的逆以獲得穩(wěn)定的視頻序列。首先運(yùn)用尺度不變特征點(diǎn)對(duì)攝像機(jī)運(yùn)動(dòng)進(jìn)行粗略估計(jì)，接著運(yùn)用粒子濾波進(jìn)行平滑估計(jì)。這種方法在實(shí)驗(yàn)和理論上都表明，采用粒子濾波的估計(jì)精度較高。Jin［36］等人認(rèn)為主觀運(yùn)動(dòng)與當(dāng)前幀及前兩幀的全局運(yùn)動(dòng)相關(guān)，把運(yùn)動(dòng)的位移隨時(shí)間的變化曲線視為一個(gè)信號(hào)，設(shè)計(jì)了一個(gè)二階的慣性濾波器，濾波器參數(shù)需要憑經(jīng)驗(yàn)設(shè)置，不能自適應(yīng)調(diào)整。

近年來，很多學(xué)者針對(duì)不同的環(huán)境背景研究出了很多新的運(yùn)動(dòng)濾波算法。這些算法對(duì)已有的算法做了大量的改進(jìn)，提高了算法的精度和速度。王斌［6］提出了用均值偏移和粒子濾波結(jié)合的運(yùn)動(dòng)濾波算法（MSPF）來實(shí)現(xiàn)運(yùn)動(dòng)校正。該算法通過粒子濾波來預(yù)測(cè)粒子，然后利用單次均值偏移迭代使粒子向目標(biāo)真實(shí)位置區(qū)域移動(dòng)，這樣可以削弱計(jì)算結(jié)果的精度對(duì)粒子數(shù)的依賴。實(shí)驗(yàn)結(jié)果表明：MSPF算法使用50%的粒子就能起到傳統(tǒng)粒子濾波算法同樣的效果，縮短了計(jì)算時(shí)間，有利于實(shí)現(xiàn)實(shí)時(shí)穩(wěn)像跟蹤，適用于車載、船載、機(jī)載等穩(wěn)定跟蹤系統(tǒng)中。姚軍［37］也利用粒子濾波實(shí)現(xiàn)了序列的穩(wěn)像，取得了很好的效果。

Huang［38］等人采用特征點(diǎn)匹配法做幀間運(yùn)動(dòng)估計(jì)，之后采用α-β運(yùn)動(dòng)濾波算法分離隨機(jī)運(yùn)動(dòng)和有意運(yùn)動(dòng)，實(shí)現(xiàn)運(yùn)動(dòng)平滑。此濾波方法是一種低通濾波方式，增益恒定，容易實(shí)現(xiàn)，最大的優(yōu)點(diǎn)是增益矩陣可以離線計(jì)算。算法魯棒性好，可以去除高頻抖動(dòng)，在工程上比Kalman濾波容易實(shí)現(xiàn)。

4.3 圖像補(bǔ)償算法

圖像補(bǔ)償主要對(duì)校正后的區(qū)域進(jìn)行重構(gòu)，獲得完整的視頻序列。近幾年，電子穩(wěn)像處理中圖像補(bǔ)償?shù)姆椒ㄖ饕ɑ谶\(yùn)動(dòng)復(fù)原的方法和圖像拼接方法。

Matsushita［39］等人提出了一種基于運(yùn)動(dòng)復(fù)原的圖像補(bǔ)償方法。該方法利用算法將視頻背景與運(yùn)動(dòng)前景分開，然后根據(jù)局部運(yùn)動(dòng)特性，利用視頻的時(shí)空連貫性對(duì)圖像進(jìn)行圖像補(bǔ)償。楊占龍［40-41］等人采用圖像拼接技術(shù)實(shí)現(xiàn)圖像補(bǔ)償。傳統(tǒng)圖像拼接方法對(duì)旋轉(zhuǎn)和噪聲敏感，針對(duì)這個(gè)問題，楊提出了兩種圖像拼接技術(shù)，一種是基于興趣點(diǎn)的偽澤尼克（Zernike）矩技術(shù)，另一種是基于不變矩的拼接技術(shù)。兩種方法都是利用Harris算子獲取圖像中的興趣點(diǎn)，計(jì)算以興趣點(diǎn)為中心鄰域窗口的偽澤尼克矩和不變矩。然后根據(jù)幾何變換模型剔除偽匹配點(diǎn)對(duì)，最后將兩幅圖像間的重疊區(qū)域進(jìn)行圖像融合，完成圖像的拼接。

5 結(jié)束語

目前的電子穩(wěn)像系統(tǒng)對(duì)于應(yīng)用對(duì)象和環(huán)境針對(duì)性較強(qiáng)，任何一種單一的方法和應(yīng)用已經(jīng)無法滿足人們的需求，為了降低計(jì)算難度，要根據(jù)不同情況選取不同的方法。與其他領(lǐng)域的新技術(shù)相結(jié)合是電子穩(wěn)像技術(shù)的一個(gè)研究熱點(diǎn)，也是一個(gè)具有挑戰(zhàn)性的新的研究領(lǐng)域。

機(jī)載電子穩(wěn)像技術(shù)的研究已經(jīng)取得了很大的進(jìn)展，在電子穩(wěn)像的工程應(yīng)用中仍需解決以下幾個(gè)方面的難點(diǎn)：

（1）運(yùn)動(dòng)模型的局限性。目前在運(yùn)動(dòng)估計(jì)模塊所用的運(yùn)動(dòng)模型都是基于某種條件下的假設(shè)，每種算法總有一定的使用范圍，因此需要建立一個(gè)通用的或近似通用的幾何校正模型，以適用于攝像機(jī)的任意運(yùn)動(dòng)。

（2）穩(wěn)像算法的實(shí)時(shí)性。現(xiàn)今存在的電子穩(wěn)像算法多數(shù)只能實(shí)現(xiàn)基于平移運(yùn)動(dòng)模型的實(shí)時(shí)處理，而這樣的模型不能完整地描述環(huán)境復(fù)雜情況下攝像機(jī)的運(yùn)動(dòng)特征。實(shí)現(xiàn)多參數(shù)運(yùn)動(dòng)模型下的實(shí)時(shí)穩(wěn)像處理是該領(lǐng)域?qū)W者的研究目標(biāo)之一。

（3）圖像拼接的重影問題。圖像拼接算法是基于兩幅圖像間重疊區(qū)域并不存在運(yùn)動(dòng)物體的假設(shè)前提下的。但在有些情況下，待拼接圖像采集過程中會(huì)有運(yùn)動(dòng)的物體出現(xiàn)或移動(dòng)，這將會(huì)在合成圖像中產(chǎn)生重影。因此，對(duì)圖像運(yùn)動(dòng)補(bǔ)償要嘗試一些圖像融合的算法，更大程度地消除運(yùn)動(dòng)物體產(chǎn)生的重影。

（4）利用圖像的間接特征進(jìn)行匹配。圖像的能量、直方圖以及頻譜等信息都是圖像的間接特征，利用這些特征進(jìn)行圖像匹配的文章還很少見，但這些特征都是圖像的固有特性，這也是電子穩(wěn)像算法今后努力的方向。

［1］ 趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術(shù)概述［J］.光學(xué)精密工程，2001，8（4）：353-359. ZHAO H Y，JIN H，XIONG JW.Overview of the electronic image stabilization technology［J］.Opt.Precision Eng.，2001，8（4）：353-359.（in Chinese）

［2］ 王志民，徐曉剛.電子穩(wěn)像技術(shù)綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2010，15（3）：470-480. WANG ZH M，XU X G.A survey on electronic image stabilization［J］.J.Image and Graphics，2010，15（3）：470-480.（in Chinese）

［3］ 鐘平.機(jī)載電子穩(wěn)像技術(shù)研究［D］.長(zhǎng)春：中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，2003. ZHONG P.Study on electronic image stabilization technology for the image sequences of the aero-borne camera system［D］.Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，2003.（in Chinese）

［4］ 孫輝，李志強(qiáng)，孫麗娜，等.基于相位相關(guān)的亞像素配準(zhǔn)技術(shù)及其在電子穩(wěn)像中的應(yīng)用［J］.中國(guó)光學(xué)與應(yīng)用光學(xué)，2010，3（5）：480-485.SUN H，LIZH Q，SUN LN，etal..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3（5）：480-485.（in Chinese）

［5］ 李迪.微型飛行器電子穩(wěn)像技術(shù)研究［D］.長(zhǎng)春：中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，2012. LID.Study on electronic digital image stabilization technology for the image sequences ofMAV［D］.Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，2012.（in Chinese）

［6］ 王斌，趙躍進(jìn).基于電子穩(wěn)像跟蹤技術(shù)的運(yùn)動(dòng)濾波算法［J］.光學(xué)精密工程，2009，17（1）：202-206. WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stabilization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［7］ 張坤，許廷發(fā)，王平，等.高精度實(shí)時(shí)全幀頻SURF電子穩(wěn)像算法［J］.光學(xué)精密工程，2011，19（8）：1964-1972. ZHANG K，XU T F，WANG P.Rea-l time ful-l frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，19（8）：1964-1972.（in Chinese）

［8］ 朱娟娟，郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)［J］.西安電子科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，34（3）：418-422. ZHU JJ，GUO B L.Electronic image stabilization system based on global features tracking［J］.J.Xidian University（Nature&Science Edition），2007，34（3）：418-422.（in Chinese）

［9］ HUANG JC.Automatic feature-based globalmotion estimation in video sequences［J］.IEEE，2004，50（3）：911-915.

［10］ ANTONIO R K，ROLAND G.A wavelet-based approach to image feature stability assessment［J］.IEEE，206，22：1-25.

［11］ ANDREW L，JANUSZ K，WILIAM C K.Probabilistic video stabilization using Kalman filtering and mosaicking［J］.Image and video Communication and Processing，2003，5022：663-674.

［12］ ERTURK S.Digital image stabilization with sub-image phase correlation based globalmotion estimation［J］.IEEE T. Consumer Electronics，2003，12：1320-1325.

［13］ HO D S，JOON L.Digital image stabilization using simple estimation of the rotational and translationalmotion［C］.Proc. SPIE 5810，Acquisition，Tracking，and Pointing XIX，Orland，F(xiàn)lorida，USA，March 2005.

［14］ XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consumer Electronics，2006，52（2）：565-574.

［15］ JINHEE L，SANGKEUN L.Digital image stabilization based on statistical selection of feasible regions［J］.IEEE Transactions on Consumer Electronics，2009，55（4）：1748-1755.

［16］ POURREZA H R，RAHMATIM，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transform（SWT）image procession［J］.Proceeding of 2003 International Conference on，2003，3：383-386.

［17］ ANGELOSA A，ANDREADIS I.Digital image stabilization by independent componentanalysis［J］.IEEE Trans.Instrumentation and Measurement，2010，59（7）：1755-1763.

［18］ SANJEEV K，HALEH A，MAINAK B，etal..Real-time affine globalmotion estimation using phase correlation and its application for digital image stabilization［J］.IEEE T.Image Processing，2011，20（12）：3406-3418.

［19］ KONSTANTINOS I，IOANNISA A.Digital image stabilization method based on the hilbert huang transform［J］.IEEE T.Instrumentation and Measurement，2012，61（9）：2446-2457.

［20］ 李迪，陳向堅(jiān)，續(xù)志軍，等.模糊神經(jīng)網(wǎng)絡(luò)在機(jī)載相機(jī)穩(wěn)像中的應(yīng)用［J］.浙江大學(xué)學(xué)報(bào)（工學(xué)版），2012，46（8）：1540-1545. LID，CHEN X J，XU ZH J，etal..Fuzzy neural network with self-organizing recurrent intervals for image stabilization of the airborne camera［J］.J.Zhejiang University（Engineering Science Edition），2012，46（8）：1540-1545.（in Chinese）

［21］ 鐘平，于前洋，金光.基于特征點(diǎn)匹配技術(shù)的運(yùn)動(dòng)估計(jì)與補(bǔ)償方法［J］.光電子·激光，2004，15（1）：73-77. ZHONG P，YU Q Y，JIN G.Motion estimation and motion compensation based on matching technology of feature point［J］.J.Optoelectronics·Laser，2004，15（1）：73-77.

［22］ 吉淑嬌，朱明，胡漢平，等.基于特征匹配的視頻穩(wěn)像算法［J］.吉林大學(xué)學(xué)報(bào)（工學(xué)版），2013，43（增刊）：322-325. JISH J，ZHUM，HU H P，etal..Video stabilization algorithm based on the characteristicsmatching［J］.J.Jilin University（Engineering and Technology Edition），2013，43（Sup.）：322-325.

［23］ LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60（2）：91-110.

［24］ BATTIATO S，GALLOG，PUGLISIG，et al..SIFT Feature tracking for video stabilization［C］.International conference on Image Analysis and Processing，Modena 2007.

［25］ BAY H，TUYTELAARST，GOOL L V.SURF：speeded up robust features［C］.The Ninth European Conference on Computer Vision（ECCV）.Graz，Austria：Springer，2006：404-417.

［26］ BINOY P.Video stabilization using speeded up robust features［C］.Communications and Signal Processing（ICCSP），2011：527-531.

［27］ 王洪，嵇曉強(qiáng)，戴明，等.一種改進(jìn)的快速魯棒特征匹配算法［J］.紅外與激光工程，2012，41（3）：811-817. WANG H，JIX Q，DAIM，et al..Improved speed up robust feathersmatching algorithm［J］.Infrared and Laser Eng.，2012，41（3）：811-817.（in Chinese）

［28］ 李小昌，朱丹.采用尺度不變特征和區(qū)域選擇的圖像配準(zhǔn)方法［J］.紅外與激光工程，2012，41（2）：537-542. LIX CH，ZHUD.Image registrationmethod based on region selection and Scale Invariant feature transform-invariant feature［J］.Infrared and Laser Eng.，2012，41（2）：537-542.（in Chinese）

［29］ 吳威，許廷發(fā)，王亞偉，等.高精度全景補(bǔ)償電子穩(wěn)像［J］.中國(guó)光學(xué)，2013，6（3）：378-385. WUW，XU T F，WANG YW，etal..High precision digital image stabilization with full frame compensation［J］.Chinese Optics，2013，6（3）：378-385.（in Chinese）

［30］ STEFAN L C，ROLAND S.BRISK：binary robust invariant scalable keypoints［C］.In proceedings of the IEEE international conference on computer vision（ICCV），2011，2548-2555.

［31］ 許允喜，蔣云良，陳方.慣性導(dǎo)航系統(tǒng)中基于BRISK的快速鏡像匹配方法［J］.光電子·激光，2012，23（8）：1589-1595. XU Y X，JIANG Y L，CHEN F.Rapid scenematching algorithm based on BRISK for inertial integrated navigation system［J］.J.Optoelectronics·Laser，2012，23（8）：1589-1595.

［32］ ERTURK S.Image sequence stabilization based on kalman filtering of frame positions［J］.Electronics Letters，2001，37（20）：1217-1219.

［33］ GULLU M K，YAMAN E，ERTURK S.Image sequence stabilization using fuzzy adaptive Kalman filtering［J］.Electronics Letters，2003，39（5）：429-431.

［34］ ZHANG F，WANG X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］. Optoelectronics Letters，2007，3（4）：308-311.

［35］ YANG JL，SCHONFELD D，MOHAMEDM.Robust video stabilization based on particle filter tracking of projected cameramotion［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（7）：945-954.

［36］ JIN JS，ZHU ZG，XU G.Y.A stable vision system formoving vehicles［J］.IEEE T.Intelligent Transportation Systems，2000，1（1）：32-39.

［37］ 姚軍，蔣曉瑜，杜登崇，等.使用粒子濾波器實(shí)現(xiàn)電子穩(wěn)像［J］.光學(xué)精密工程，2009，17（5）：1105-1110. YAO J，JIANG X Y，DUD CH，etal..Digital image stabilization based on particle filter［J］.Opt.Precision Eng.，2009，17（5）：1105-1110.（in Chinese）

［38］ HUNG Y Q，JIANG X Y.Application of adaptiveα-βfiltering algorithm to electronic image stabilization［C］.2011 International Conference on Mechatronic Science，Electric Engineering and Computer，August 19-22，2011，Jilin，China，322-325.

［39］ MATSUSHITA Y，OFEK E，GEW，et al..Full-frame video stabilization with motion inpainting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（7）：1150-1163.

［40］ 楊占龍，郭寶龍.基于興趣點(diǎn)偽澤尼克矩的圖像拼接［J］.中國(guó)激光，2007，34（11）：1548-1552. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.Chinese J·Lasers 2007，34（11）：1548-1552.（in Chinese）

［41］ 楊占龍，郭寶龍.基于興趣點(diǎn)不變矩的圖像拼接方法［J］.光電子·激光，2007，18（6）：738-740. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.J.Optoelectronics ·Laser，2007，18（6）：738-740.（in Chinese）

Aero-borne electronic image stabilization based on feature pointmatching

JIShu-jiao1，2，ZHU Ming1*，HU Han-ping1
（1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.School of Electronic and Information Engineering，Changchun University，Changchun 130022，China）
*Corresponding author，E-mail：zhu_mingca@163.com

Electronic Image Stabilization（EIS）technology usually is employed to remove the random jitter generated by the imaging equipment and to stabilize its video output.Firstly，the development status of EIS is introduced.Then themotion estimation module is studied in details，which is one of themost importantmodules of EIS.Both the direction motion estimation algorithms and the feature-points-based matching algorithms are discussed.Furthermore，themotion correction and compensation algorithm are presented.Finally，according to the difficulties and the future trends of the EIS，the developing direction for featurematching algorithms of EIS is proposed.

electronic image stabilization；motion estimation；featurematching；Kalman filter

TP391.4

A

10.3788/CO.20130606.0841

吉淑嬌（1978—），女，吉林農(nóng)安人，博士研究生，講師，2003年、2006年于遼寧科技大學(xué)獲得學(xué)士、碩士學(xué)位，主要從事數(shù)字圖像處理、電子穩(wěn)像及虛擬儀器方面的研究。E-mail：shujiaoji@163.com

胡漢平（1980—），男，湖北襄陽人，博士研究生，2003年、2009年于長(zhǎng)春理工大學(xué)獲得學(xué)士、碩士學(xué)位，主要從事數(shù)字圖像處理、立體視覺等方面的研究。E-mail：custhhp@163.com

朱 明（1964—），男，江西南昌人，研究員，博士生導(dǎo)師，1985年于南京航空航天大學(xué)獲得學(xué)士學(xué)位，1991年于中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所獲得碩士學(xué)位，主要從事視頻圖像處理、自動(dòng)目標(biāo)識(shí)別技術(shù)及成像目標(biāo)跟蹤方面的研究。E-mail：zhu_mingca@163. com

1674-2915（2013）06-0841-09

2013-09-19；

2013-11-23

國(guó)家自然科學(xué)基金資助項(xiàng)目（No.11071103）