程德強(qiáng)，郭 政，鄭 珍，姜海龍，劉 潔

(中國礦業(yè)大學(xué)信息與電氣工程學(xué)院，江蘇徐州221008)

為了保證煤礦生產(chǎn)的安全和加快煤炭工業(yè)現(xiàn)代化進(jìn)程，大量的監(jiān)控系統(tǒng)和車載攝像系統(tǒng)應(yīng)用到礦井中。車載攝像系統(tǒng)在采集圖像時，由于機(jī)車的運動使得攝像設(shè)備抖動，導(dǎo)致獲取的圖像序列不穩(wěn)定，不僅影響監(jiān)測人員對礦井現(xiàn)場的判斷，而且對視頻序列后續(xù)的預(yù)警處理造成困難，因此對車載攝像系統(tǒng)進(jìn)行穩(wěn)像處理具有重要的意義。

電子穩(wěn)像技術(shù)是指對視頻序列進(jìn)行數(shù)字圖像處理，消減攝像機(jī)的隨機(jī)抖動對視頻圖像的干擾，實現(xiàn)視頻圖像序列的穩(wěn)定［1］。電子穩(wěn)像技術(shù)具有成本低、易操作、體積小、精度高、實時性強(qiáng)等特點［2］，已逐步取代機(jī)械式穩(wěn)像［3］和光學(xué)穩(wěn)像［4］。

電子穩(wěn)像技術(shù)主要包括運動估計、運動濾波、運動補(bǔ)償三部分［5］。運動估計就是獲取幀間全局運動矢量。如何根據(jù)運動估計得到的運動矢量正確判定是攝像機(jī)的主動掃描還是隨機(jī)抖動，這是由運動濾波解決的。運動補(bǔ)償就是根據(jù)運動決定得到的運動參數(shù)對圖像進(jìn)行反方向移動，實現(xiàn)圖像的平滑銜接。

目前對于車載攝像系統(tǒng)的穩(wěn)像主要改進(jìn)方向在于如何提取更加精確的全局運動信息以及如何實現(xiàn)圖像序列的平滑銜接［6］。文獻(xiàn)［7］采用灰度投影法對圖像做穩(wěn)像處理，由于灰度投影法對圖像信息要求嚴(yán)格，且對噪聲敏感，而礦井圖像序列一般是模糊、低清晰度的，所以文獻(xiàn)［7］的方法不適用于煤礦井下。文獻(xiàn)［8］利用Harris算法提取圖像角點，將多組解的平均值作為全局運動矢量，從而實現(xiàn)圖像序列的穩(wěn)像，具有較好的穩(wěn)像效果，但是Harris算法計算量大，運算時間長不能滿足實時性的要求［9］。文獻(xiàn)［10］采用相鄰幀補(bǔ)償?shù)姆绞綄D像進(jìn)行運動補(bǔ)償實現(xiàn)了動態(tài)場景的穩(wěn)像，克服了固定幀補(bǔ)償方式只能對攝像系統(tǒng)定點拍攝的圖像序列進(jìn)行運動補(bǔ)償?shù)娜秉c，但是由于相鄰幀補(bǔ)償?shù)姆绞揭桩a(chǎn)生累積誤差，因而不能長時間連續(xù)地進(jìn)行穩(wěn)像。

針對文獻(xiàn)［8，10］存在的穩(wěn)像處理速度慢和效果差的問題，本文提出一種基于MIC-Harris角點特征的自適應(yīng)運動補(bǔ)償電子穩(wěn)像算法。首先采用本文提出的MIC-Harris算子提取圖像序列的角點，運用NCC和RANSAC算法對角點配準(zhǔn)，通過二維放射運動模型求取全局運動矢量;然后用Kalman濾波確定各幀的運動補(bǔ)償矢量;最后利用本文提出的自適應(yīng)相鄰幀補(bǔ)償方法對圖像序列進(jìn)行反方向補(bǔ)償，實現(xiàn)對礦井圖像序列的長時間連續(xù)快速穩(wěn)像處理。

1 基于特征匹配法的全局運動參數(shù)估計

運動估計的算法有灰度投影法［11］、塊匹配法［12］、相關(guān)相位法［13］、特征匹配法［14］。特征匹配法以圖像典型特征為基本單元計算運動估計，能夠很好地滿足人的視覺特性，針對礦井圖像序列低清晰度、易受噪聲影響的特點［15］，本文采用特征匹配法估計全局運動矢量?；静襟E為:提取圖像序列每一幀的特征點;建立圖像序列間特征點的對應(yīng)關(guān)系;通過運動模型求取全局運動矢量。

1．1 M IC-Harris特征點檢測

1.1.1 Harris特征點檢測

Harris角點檢測［16］是基于圖像的 Hessian矩陣，圖像中的每一像素點有

式中:w(x，y)為高斯窗口的權(quán)值;Ix和Iy分別為像素(x，y)在水平和垂直方向的梯度。由H的特征值建立Harris的角點量計算公式

式中:det(H)=λ1λ2=AB-C2是矩陣H的行列式;tr(H)=λ1+λ2=A+B是矩陣 H的跡;a為經(jīng)驗值，取值范圍為［0.04，0.06］。通過判斷角點量R值是否大于給定的閾值，即可得該點是否為角點。

1.1.2 MIC特征點檢測

Trajkovic等人［17］對角點的定義與 Moravec角點、Harris角點是相似的，即:如果存在一條通過模板矩形中心像素點的直線灰度變化強(qiáng)烈，則該像素點就為角點?；诙喔袼惴ǖ腗IC角點檢測算法，首先對圖像進(jìn)行多格處理計算簡單角點量，找到候選角點。再利用插值法計算插值角點量，最終確定角點。

1.1.3 MIC-Harris角點檢測

Harris算子對噪聲不敏感，角點檢測準(zhǔn)確率高，但是計算量大，運算速度慢［18］。MIC算法運算速度快，角點提取效果好，但對噪聲敏感，圖像邊界模糊時會檢測出大量邊界偽角點［19］?；谝陨蟽煞N算子的優(yōu)缺點，本文提出MIC-Harris角點檢測算法。針對Harris算法運算速度慢的缺點，首先對圖像進(jìn)行基于多格算法的MIC角點檢測提取候選角點，避免Harris算法對圖像每一個像素點計算的缺點。對于MIC算子易檢測邊界偽角點的情況，使用Harris算法角點檢測準(zhǔn)確度高的優(yōu)點克服。算法的具體步驟如下:

1)對原始圖像進(jìn)行多格算法處理，計算處理后圖像上的每一個像素點的簡單角點量，如果簡單角點量大于閾值T1，則此像素點就為候選角點。

2)在原始圖像上再次計算候選角點的簡單角點量，如果簡單角點量小于閾值T2，則認(rèn)為不是角點。如果大于閾值T2，計算該像素點的插值角點量。如果插值角點量小于閾值T2，則不是角點，相反則把此像素點標(biāo)記為角點，獲得初始角點集。

3)對初始角點集利用Harris算子進(jìn)行提煉。通過對初始角點集里的角點進(jìn)行Harris角點量的計算，判斷是否為角點，若不是則剔除邊界偽角點。

4)用NMS(Non-Maximum Suppression)方法對角再次提煉，確定最終角點。

1．2 基于NCC和RANSAC的角點匹配

模板匹配算法具有模板易選取、計算簡單、易實現(xiàn)、準(zhǔn)確率高等優(yōu)點而被廣泛應(yīng)用與圖像配準(zhǔn)［20］。本文采用一種由粗到精的匹配策略進(jìn)行角點匹配，首先采用歸一化互相關(guān)法(NCC)［21］進(jìn)行角點模板粗匹配，接著運用RANSAC算法濾除錯誤匹配點。

NCC算法是基于特征點鄰域像素的灰度值的相似性來進(jìn)行匹配。設(shè)w1和w2分別是圖像1中以角點p1和圖像2中以角點p2為中心的兩個大小相同的矩形框口，u1與u2為相關(guān)窗口內(nèi)像素的灰度均值，(xi，yi)的取值為窗口的大小，則NCC定義如式(3)所示

角點匹配時，首先對圖像1中的角點與圖像2中矩形窗口中的每個角點計算相關(guān)系數(shù)，將NCC值最大的角點作為匹配點，這樣得到一個匹配點集;對圖像2做同樣操作，得到另一個匹配點集;最后在兩個匹配點集中搜索相同匹配點對，則相同的角點被認(rèn)為候選匹配點。

RANSAC是一個采用迭代法來估計參數(shù)的數(shù)學(xué)模型，具有很好的剔除誤匹配點的能力，經(jīng)常被應(yīng)用在圖像匹配中［22］。NCC算法在角點粗匹配后會存在錯誤的匹配點對，本文采用RANSAC算法去除誤匹配。

1．3 運動參數(shù)估計

運動模型包括單應(yīng)性運動模型和仿射性運動模型兩種，其中仿射性運動模型具有參數(shù)少、計算簡單、易于實現(xiàn)，且實時性強(qiáng)的優(yōu)點被廣泛應(yīng)用在運動參數(shù)估計中［23］。本文通過對仿射性運動模型參數(shù)估計實現(xiàn)全局運動矢量的計算。

仿射模型可用式(4)表示

也可表示為

式中:U，U'是坐標(biāo)矢量;θ為旋轉(zhuǎn)角度;R是旋轉(zhuǎn)矩陣;t是平移矢量。仿射運動模型是一最小二乘問題，因此可將利用RANSAC算法篩選后的匹配點集，代入最小二乘模型計算出仿射變換最優(yōu)參數(shù)解，即全局運動矢量。

2 基于Kalman濾波的運動補(bǔ)償參數(shù)求解

仿射運動模型求取的運動參數(shù)包括攝像機(jī)的正常掃描運動矢量和攝像機(jī)的隨機(jī)抖動矢量兩部分。運動濾波的目的是較好的保留攝像機(jī)的低頻主動運動，而濾除高頻隨機(jī)抖動。從算法實時性的角度出發(fā)，文中采用Kalman濾波［24］獲取圖像序列的運動補(bǔ)償參數(shù)。

Kalman濾波算法是以最小均方誤差為準(zhǔn)則，包括狀態(tài)方程和測量方程兩部分。根據(jù)圖像序列求解的全局運動參數(shù)(x，y)建立穩(wěn)像系統(tǒng)的狀態(tài)方程和測量方程。

系統(tǒng)的狀態(tài)方程為

式中:x，y，vx，vy表示圖像分別在水平和垂直方向上的位移及位移速度;N(0，σx)是過程噪聲;σx和σy是過程激勵噪聲方差且兩者相互獨立的。

運動估計矢量(x，y)就是 Kalman濾波對應(yīng)的測量值，其相應(yīng)的測量方程為

3 基于自適應(yīng)相鄰幀的運動補(bǔ)償

運動補(bǔ)償?shù)哪康氖菍崿F(xiàn)圖像序列間平滑銜接和動態(tài)圖像序列的穩(wěn)定。文獻(xiàn)［25］采用固定參考幀補(bǔ)償?shù)姆椒▽z像系統(tǒng)定點拍攝的圖像序列進(jìn)行運動補(bǔ)償，達(dá)到了很好的穩(wěn)像效果。但實際現(xiàn)場隨著礦下攝像載體的運動，當(dāng)前幀相對于參考幀所確定的特征點所在的區(qū)域，可能會移出圖像畫面，即在當(dāng)前幀的某些區(qū)域找不到所對應(yīng)的參考幀所確定的特征點，出現(xiàn)失穩(wěn)現(xiàn)象，從而不能達(dá)到對圖像序列穩(wěn)像的效果。文獻(xiàn)［10］采用相鄰幀補(bǔ)償?shù)姆椒▽D像序列進(jìn)行運動補(bǔ)償。運動補(bǔ)償矢量如式(8)所示

式中:i為起始幀即參考幀;v(n)為當(dāng)前幀Pn的運動補(bǔ)償矢量;m(i)為計算得到的相鄰幀間運動矢量。

由式(8)知當(dāng)前幀的運動補(bǔ)償參數(shù)是所有運動矢量累積的結(jié)果，容易出現(xiàn)累積誤差，使得整個圖像慢慢發(fā)生偏移，最后超出補(bǔ)償邊界，不能夠長時間連續(xù)的穩(wěn)像。針對相鄰幀補(bǔ)償方法的缺點，本文提出一種自適應(yīng)相鄰幀補(bǔ)償?shù)姆€(wěn)像算法。具體步驟如下:

1)設(shè)閾值為T，選取第一幀圖像為參考幀。

2)根據(jù)式(8)對圖像進(jìn)行運動補(bǔ)償。

3)判斷圖像序列的運動補(bǔ)償矢量v(n)是否達(dá)到閾值T。如果，則重新選擇參考幀，以當(dāng)前幀Pn為參考幀，重新計算累積運動矢量，重復(fù)步驟2);反之，則參考幀不變。

T取值太大同樣會出現(xiàn)累積誤差現(xiàn)象，取值太小會由于頻繁更換參考幀而出現(xiàn)圖像序列跳變現(xiàn)象。根據(jù)礦井車載攝像系統(tǒng)的實際現(xiàn)場情況，經(jīng)過試驗測得，T取圖片大小的20%。

4 實驗結(jié)果及分析

本文算法在處理器為 Pentium(R)Dual-Core、主頻2.6 GHz硬件環(huán)境下進(jìn)行實驗，采用Visual Studio 2008和OpenCV聯(lián)合編程。實驗視頻采用礦井車載攝像系統(tǒng)拍攝的視頻，圖像分辨率為640×480，視頻長度為1 603幀。

4．1 M IC-Harris角點快速檢測及匹配能力分析

為了更加直觀的觀測圖像角點，實驗采用積木圖像(如圖1a所示)進(jìn)行MIC-Harris角點檢測能力的測試，圖像分辨率為320×240，采用MIC、Harris和本文算法MIC-Harris進(jìn)行比較。圖1和表1分別為3種算法角點提取效果比較圖和算法處理時間。由圖1和表1可以看出，本文MIC-Harris算法既保留了MIC運算速度快和Harris準(zhǔn)確度高的優(yōu)點，又克服了MIC易檢測邊界偽角點和Harris計算量大、運算時間長的缺點。

圖1 MIC，Harris和MIC-Harris角點提取效果比較圖

表1 角點檢測算法處理時間

圖2為NCC角點粗匹配結(jié)果圖，圖3為RANSCA精匹配結(jié)果圖。兩幅圖像比較可看出，RANSAC算法可以有效去除NCC粗匹配后的錯誤匹配點對。

圖2 NCC角點粗匹配效果圖

圖3 RANSCA精匹配效果圖

4．2 穩(wěn)像連續(xù)處理性能分析

圖4 a為原始圖像序列的第206幀，圖4b和圖4c為分別采用文獻(xiàn)［10］算法和本文算法穩(wěn)像處理后的圖像。文獻(xiàn)［10］采用相鄰幀補(bǔ)償方式對圖像進(jìn)行變換，達(dá)到穩(wěn)像的效果，但相鄰幀補(bǔ)償方式易產(chǎn)生累積誤差，穩(wěn)像實驗最終在第342幀失穩(wěn)。本文算法采用自適應(yīng)參考幀的方式對圖像進(jìn)行運動補(bǔ)償，克服了累積誤差的干擾，可以保持長時間穩(wěn)像效果。圖像的反方向補(bǔ)償會導(dǎo)致邊界信息丟失從而出現(xiàn)黑色邊框，從圖4也可看出，由于本文算法克服了累積誤差，采用本文算法進(jìn)行穩(wěn)像處理出現(xiàn)的黑色邊框比文獻(xiàn)［10］的小。

4．3 穩(wěn)像準(zhǔn)確度分析

圖4 穩(wěn)像效果比較圖

為了測試穩(wěn)像算法的準(zhǔn)確度，采用均方差MSE評價穩(wěn)像效果。MSE值越小說明兩幅圖像重合度越高圖像越穩(wěn)定［26］。圖5為圖像序列從第200幀到第260幀穩(wěn)像前后MSE值比較圖，從圖中可看出，穩(wěn)像后圖像序列MSE值小于穩(wěn)像前，說明本文提出的算法對于礦井車載攝像系統(tǒng)拍攝的抖動視頻序列具有較好的穩(wěn)像效果。

圖5 穩(wěn)像前后圖像序列的MSE對比

5 結(jié)束語

本文針對礦井車載攝像系統(tǒng)獲取的圖像序列進(jìn)行了研究，提出了基于MIC-Harris角點特征的自適應(yīng)運動補(bǔ)償電子穩(wěn)像算法。首先采用本文提出的MIC-Harris提取角點特征;然后通過仿射運動模型，求解幀間全局運動矢量，建立Kalman濾波的狀態(tài)方程和預(yù)測方程預(yù)測補(bǔ)償矢量;最后采用基于自適應(yīng)相鄰幀更新的補(bǔ)償方式進(jìn)行圖像穩(wěn)像。實驗結(jié)果表明，基于MIC-Harris角點特征的的自適應(yīng)運動補(bǔ)償電子穩(wěn)像算法可以有效地消除礦井車載攝像系統(tǒng)的隨機(jī)抖動，并且克服了累積誤差的干擾，實現(xiàn)長時間的穩(wěn)像，為后續(xù)煤礦井下視頻處理提供了基礎(chǔ)研究。

［1］趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術(shù)概述［J］.光學(xué)精密工程，2001，9(4):353-359.

［2］朱齊丹，徐從營，蔡成濤.船載折反射全景視覺系統(tǒng)電子穩(wěn)像算法［J］.吉林大學(xué)學(xué)報，2013(5):68-72.

［3］ SUNG-JEA K.Fast digital image stabilizer based on gray-coded bitplane matching［J］.IEEE Consumer Electronics Society，1999，45(3):598-603.

［4］谷素梅，張經(jīng)武.CCD攝像機(jī)光學(xué)慣性穩(wěn)像跟蹤頭［J］.光學(xué)技術(shù)，1995，21(2):21.

［5］王智慧.基于快速特征匹配的電子穩(wěn)像技術(shù)研究［D］.南京:南京航空航天大學(xué)，2012.

［6］朱娟娟，郭寶龍.電子穩(wěn)像的特征點跟蹤算法［J］.光學(xué)學(xué)報，2006，26(4):516-521.

［7］齊紅，任洪娥，田少卿，等.一種基于灰度投影的電子穩(wěn)像改進(jìn)方法［J］.中山大學(xué)學(xué)報，2012，51(5):40-44.

［8］周亞軍，陶聲祥，張舒，等.一種基于Harris角點特征的穩(wěn)像算法［J］. 激光與紅外，2009，39(5):555-557.

［9］程德強(qiáng)，郭政，劉潔，等.一種基于改進(jìn)光流法的電子穩(wěn)像算法［J］.煤炭學(xué)報，2015(3):707-712.

［10］姬莉霞，李學(xué)相.基于相鄰幀補(bǔ)償?shù)母咚龠\動目標(biāo)圖像穩(wěn)像算法及仿真［J］.計算機(jī)科學(xué)，2014，41(7):310-312.

［11］ KRISHNA R.Real-time digital video stabilization for multi-media application［J］.IEEE Proceedings of ISCAS，1998，8(6):69-72.

［12］ ZHU C.Hexagon-based search pattern for fast block motion estimation［J］.IEEE Trans.Circuits and Systems for Video Technology，2002，12(5):349-355.

［13］ HILL L，VLACHOS T.On the estimation of global motion using phase correlation for broadcast applications［C］//Proc.7th International Conference on Image Processing and Its Applications.Manchester:IET Press，1999:721-725.

［14］ HUANG JC.Automatic feature-based global motion estimation in video sequences［J］.IEEE Trans.Consumer Electronics，2004，50(3):911-915.

［15］程德強(qiáng)，趙國，范一武，等.礦井移動載體攝像的電子穩(wěn)像算法［J］.中國礦業(yè)大學(xué)學(xué)報，2012，41(5):805-810.

［16］ HARRISC，STEPHENSM.A combined corner and edge detector［C］//Proc.4th Alvey Vision Conference.Manchester:［s.n.］，1988:147-151.

［17］ TRAJKOVIC M，HEDLEY M.Fast corner detection［J］.Image and Vision Computing，1998，16(1):75-87.

［18］陳利軍.圖像角點檢測和匹配算法的研究［D］.西安:西安電子科技大學(xué)，2005.

［19］劉全，張樂，張永剛，等.基于角點特征的幾何同步數(shù)字水印算法［J］.通信學(xué)報，2011，32(4):25-31.

［20］高峰，雷志勇.基于模板匹配的圖像跟蹤技術(shù)［J］.國外電子元器件，2008，15(10):34-36.

［21］ FISCHLER M A.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1998，24(6):381-395.

［22］劉相濱，鄒北驥.一種基于RANSAC的柱面圖像配準(zhǔn)算法［J］.湖南大學(xué)學(xué)報，2010，37(8):79-82.

［23］孫輝，熊經(jīng)武，趙紅穎.電子穩(wěn)像技術(shù)在船載電視監(jiān)視系統(tǒng)中的應(yīng)用［J］. 光電工程，2008，35(2):103-108.

［24］ WANG C，KIM J M.Robust digital image stabilization using the Kalman filter ［J］.IEEE Trans.Consumer Electronics，2009，55(1):6-14.

［25］郭曉冉，崔少輝.基于光流法的多分辨率電子穩(wěn)像算法［J］.半導(dǎo)體光電，2014，39(2):340-344.

［26］張永祥.基于陀螺儀的船載電子穩(wěn)像技術(shù)研究［D］.長春:中國科學(xué)院，2005.