王施鰻，許文海，董麗麗，徐 周

基于改進的Harris角點的機載紅外圖像電子穩(wěn)像

王施鰻，許文海，董麗麗，徐 周

（大連海事大學 信息科學技術(shù)學院，遼寧 大連 116026）

飛機飛行過程中產(chǎn)生的顛簸、晃動會使得采集到的紅外圖像序列存在抖動，影響后續(xù)對紅外圖像的觀察，不利于對紅外圖像目標的識別、定位與跟蹤。本文提出了一種基于改進的Harris角點法對機載紅外圖像進行實時電子穩(wěn)像的方法。首先采用改進的Harris角點響應函數(shù)結(jié)合距離約束條件進行角點檢測，該方法保證即使對圖像質(zhì)量較差的紅外圖像，也能檢測出數(shù)量足夠且分布均勻的角點；然后基于檢測出的角點利用提出的關(guān)鍵幀參考方式結(jié)合多尺度的金字塔光流算法進行跟蹤匹配，完成運動估計，進而實現(xiàn)對機載紅外圖像的電子穩(wěn)像。用該方法對多組含有抖動的640×512尺寸的紅外圖像序列進行穩(wěn)像處理，實驗表明，本文提出的算法與傳統(tǒng)的Harris角點檢測算法相比有更好的檢測效果，能夠很好地去除紅外機載圖像序列的抖動，且能夠滿足50fps采集速率下的實時處理。

電子穩(wěn)像；機載紅外穩(wěn)像；Harris角點檢測；距離約束條件

0 引言

由于在高空中氣流變化不均，飛機航姿不同等原因使得機載紅外采集設(shè)備存在不同程度的振動，雖然穩(wěn)定平臺已經(jīng)從機械的形式上減少了平臺的振動，但不能完全將振動消除，這就使獲得的紅外視頻圖像序列隨成像系統(tǒng)的振動而產(chǎn)生抖動的現(xiàn)象，影響后續(xù)對紅外圖像的觀察，不利于對紅外圖像目標的識別、定位與跟蹤。因此，使用快速有效的穩(wěn)像算法去除機載紅外視頻圖像序列中的抖動具有重要的實用價值。

電子穩(wěn)像技術(shù)是利用圖像處理的方法對圖像序列的幀間偏移量進行補償，消除圖像序列中的隨機抖動，保留主動運動，得到穩(wěn)定的易于觀看的視頻。電子穩(wěn)像算法分為3個步驟：運動估計、運動濾波和運動補償[1-3]。為了保證穩(wěn)像效果，必須使運動估計盡可能準確地計算出兩幀圖像間的偏移量，常見的運動估計方法有：塊匹配法、灰度投影法、光流法和特征點匹配法。其中塊匹配法能夠檢測出平移運動分量，但涉及到旋轉(zhuǎn)和尺度變化的情況下塊匹配的精度會受到影響，無法準確檢測出復雜的抖動分量[4-5]；灰度投影法是對整幅圖像的行、列灰度值進行累加，以達到降維處理的目的，但無法避免前景運動物體對運動估計的影響[6]；光流法具有很強大的數(shù)學理論基礎(chǔ)，但對圖像中的每一個像素點都計算其光流失量，計算量巨大，無法做到實時穩(wěn)像處理[7]。特征點匹配法可以與仿射變換模型或透視變換模型結(jié)合，檢測復雜的運動分量，也可以與光流法結(jié)合，以特征點代表圖像信息，只求取特征點處的光流失量，大大減少了計算量，此外對光流法加入約束條件，可以剔除前景物體的光流，故特征點匹配法在當前的穩(wěn)像算法研究中得到了廣泛的應用。特征點匹配法中常采用的特征點有Harris角點，SIFT特征點，SURF特征點等。

文獻[8]對電子穩(wěn)像算法中的SIFT特征點進行了研究，文獻[9-10]對SURF特征點進行了研究，研究表明，提取SIFT特征點與SURF特征點的穩(wěn)像速度比提取Harris角點慢1～2個數(shù)量級。

文獻[11]利用Harris角點自相關(guān)矩陣的跡生成低維描述子，降低算法復雜度，在存在亮度變化、較小的視角變化和旋轉(zhuǎn)縮放的情況下，利用Harris角點進行快速圖像匹配，實驗證明了Harris角點的匹配效果好，但是對于小范圍內(nèi)存在大量角點的情況并未進行約束，角點代表性不好也增加了后續(xù)角點匹配的計算量。

目前，相關(guān)的電子穩(wěn)像技術(shù)大多集中于對可見光視頻序列的處理?；诩t外視頻圖像序列的穩(wěn)像方法研究較少。機載紅外圖像的成像質(zhì)量低，所有像素點與其鄰域內(nèi)的像素點灰度值接近，灰度梯度差較小，能夠提取的特征點少。紅外探測器的圖像采集幀頻為50fps，而傳統(tǒng)的可見光視頻圖像的幀率范圍為25～30fps，更高的圖像幀率對穩(wěn)像算法的實時性有更高的要求，在常見的特征點中，Harris角點的提取速度最快，能夠滿足紅外探測器圖像采集實時穩(wěn)像的要求。

為了解決傳統(tǒng)Harris角點檢測算法對于成像質(zhì)量較低的紅外圖像無法檢測出數(shù)量足夠且均勻分布的角點，本文提出了一種基于改進的Harris角點法對機載紅外圖像進行實時電子穩(wěn)像的方法。通過分析Harris算子的基本原理，提出采用改進的Harris角點響應函數(shù)結(jié)合距離約束條件來檢測角點的方法，并對檢測出的角度進行進一步的位置坐標校正，然后利用提出的關(guān)鍵幀參考方式結(jié)合多尺度的金字塔光流算法進行跟蹤匹配，完成運動估計。實驗證明，該方法在處理紅外圖像時易于實現(xiàn)，能夠?qū)崟r地進行穩(wěn)像處理，且在工程實踐中得到應用。

1 機載紅外平臺穩(wěn)像算法設(shè)計

基于改進Harris角點的機載紅外圖像的電子穩(wěn)像算法流程如圖1所示，穩(wěn)像算法由運動估計、運動濾波、運動補償3個階段組成，其中運動估計的準確性是穩(wěn)像精度的重要保障。

Harris角點提取算法是尋找在鄰域內(nèi)水平方向和垂直方向上灰度變化劇烈的像素點，也就是灰度梯度的局部最大值點。角點數(shù)量與分布是影響運動估計準確度的一個重要因素，當角點數(shù)量過少時，角點不能很好地代表圖像的特征，無法得到準確的幀間變換參數(shù)；為使得運動估計具有全局性，要利用整幅圖像的特征信息，需要角點相對均勻地分布在整幅圖像上，不要集中于小區(qū)域，且過多角點集中于小區(qū)域會增加后續(xù)匹配和計算幀間變換矩陣的計算量，影響算法的實時性。

圖1 基本算法框架

1.1 傳統(tǒng)的Harris角點提取

Harris角點的提取主要依賴描述像素鄰域梯度分布的二階矩，其形式如下：

式中：I，I分別代表圖像(,)在方向和方向的偏導數(shù)；(,)表示高斯函數(shù)。二階矩矩陣有兩個特征值1，2，利用這兩個特征值通過公式(2)計算出角點響應函數(shù)，當計算的角點響應函數(shù)的值大于給定閾值，再通過在3×3的鄰域內(nèi)進行非最大值抑制處理，得到的局部最大點為角點：

＝1×2－×(1＋2)2(2)

式中：1×2和1＋2分別表示二階矩矩陣的行列式和跡；為一個取值范圍是0.04～0.06的系數(shù)[12]。

1.2 改進的Harris角點提取

由于紅外圖像的成像質(zhì)量較低，所有像素點與其鄰域內(nèi)的像素點灰度值接近，灰度梯度差較小，若使用式(2)計算角點響應函數(shù)，很多情況下即使將閾值設(shè)置的很低，也無法檢測出足夠數(shù)量且分布均勻的角點，所以本文對Harris角點提取算法進行改進，改進了角點響應函數(shù)計算方法，加入距離約束條件，使其可以自適應地檢測出足夠數(shù)量的分布均勻的角點，能夠很好地代表圖像的特征，保證運動估計的準確性。

圖2是改進的自適應Harris角點提取方法的流程圖，首先通過公式(3)比較二階矩矩陣的兩個特征值1、2直接進行分類，求出每個像素點的較小的特征值記為角點響應函數(shù)：

＝min(1,2) (3)

依據(jù)文獻[13]，角點響應函數(shù)值越大的點，角點的代表性越好，角點越穩(wěn)定，為了篩選出符合條件的代表性最好的角點，要對角點響應函數(shù)降序排列。然后構(gòu)造一個歸一化的矩形窗口，窗口中的一個像素的距離相當于距離約束條件中的最小容忍距離個像素的距離，取前200個值對應的像素點標記為預選角點依次遍歷，若在預選角點的四鄰域內(nèi)，存在已被標記為角點的點，則比較兩點間的距離，若距離小于最小容忍距離個像素的距離，由于先確定為角點的像素點的值更大，角點代表性更好，故舍棄當前的像素點，否則將當前像素點標記為角點。

本文從統(tǒng)計學的角度出發(fā)，對包括海面大目標圖像、海面小目標圖像、純海面圖像以及飛機起飛時的地面圖像在內(nèi)的200幅中紅外相機采集得到的紅外圖像進行實驗，不斷調(diào)整閾值，比較結(jié)果發(fā)現(xiàn)，角點數(shù)目減少到30左右時仍能較好地完成運動估計進而完成穩(wěn)像，此時角點數(shù)目若再減少，人眼觀看的穩(wěn)像效果就有較大程度的減弱。故以30作為角點提取時數(shù)量的基準值，當真正角點個數(shù)小于30時，預選角點數(shù)遞增，再次篩選真正角點。

圖2 改進的Harris角點提取流程

為保證角點的總數(shù)，不同圖像尺寸，選擇不同大小的容忍距離，一般來說圖像尺寸越大，選用的越大；相同尺寸的可見光圖像與紅外圖像，可見光圖像選取的值大于紅外圖像。為使檢測出的改進后角點的數(shù)量不小于30，對4組640×512尺寸的紅外圖像進行角點檢測實驗，結(jié)果如圖3所示，可以看出取10個像素的時候，較容易達到角點數(shù)目為30的標準，且不會在較小范圍內(nèi)聚集很多特征點，若再增加的大小，會使角點數(shù)目減少。當增加為15個像素的時候可以看到海面小目標圖像中檢測到的角點數(shù)目小于30，不滿足角點數(shù)量上的要求，而在海面遇險目標搜尋的過程中，海面小目標是最常見的情況，所以在距離約束時，本文取10個像素。

距離約束條件使最終提取到的角點分布均勻，不存在小區(qū)域角點聚集的情況。

1.3 亞像素級角點定位

經(jīng)過上述角點提取，會獲得滿足要求的角點在圖像上的坐標，數(shù)字圖像中像素點的位置坐標是整數(shù)的形式，為了計算更加精確的幀間光流失量，需要將角點的整數(shù)坐標精確到浮點數(shù)。亞像素級定位就是計算角點在圖像中更加精確的真實坐標，而真實坐標通常不在像素所在的整數(shù)坐標位置上，而在像素的內(nèi)部。本文利用向量正交性和特征點附近的灰度梯度信息，采用迭代插值的方法，通過整數(shù)角點坐標計算亞像素級角點的位置坐標。每次迭代結(jié)束后，計算本次迭代計算得到的角點與前一次迭代運算得到的角點之間的距離，若距離小于設(shè)定的誤差精度閾值或迭代次數(shù)達到設(shè)定的閾值，則迭代終止。迭代終止后計算得到的坐標點與初始的整數(shù)角點之間的差值，判斷迭代過程的收斂性，若迭代過程中的收斂性不好，則不使用計算得到的亞像素級角點，仍然使用初始的整數(shù)角點。表1列出一些特征點的位置坐標。

圖3 角點數(shù)量與距離約束條件的關(guān)系

表1 亞像素特征點定位

1.4 關(guān)鍵幀參考方式

Harris特征不生成對應的描述向量，只能使用光流法跟蹤下一幀對應點坐標，跟蹤成功即視為成功匹配。跟蹤前首先要確定參考幀，目前主要有固定參考幀和相鄰參考幀兩種方式：①固定參考幀方式是選擇一幀作為參考幀，以后的各幀圖像的運動估計都以選定的參考幀為參考。這種方式適合相機沒有主動運動的場景，當主動運動存在時，參考幀與當前幀中能夠跟蹤成功的特征點會越來越少，以至于無法進行準確的運動估計。②相鄰參考幀方式是以前一幀圖像作為參考幀，即使在存在主動運動的場景中，當前幀和參考幀中也始終存在著很大的重疊區(qū)域，能夠克服固定參考幀方式不適合掃描運動的缺陷。

由于紅外相機的采集速率快，相鄰兩幀之間位移小，且要求的穩(wěn)像處理速度快，在實驗中我們結(jié)合已有的兩種參考幀選擇方式，提出了關(guān)鍵幀為參考幀的處理方法。每10幀更新一次關(guān)鍵幀，只提取關(guān)鍵幀圖像的角點，實驗證明，這種關(guān)鍵幀為參考幀的方式不會影響運動估計的精度和穩(wěn)像后的視覺效果，并且有利于加快穩(wěn)像處理的速度。

2 實驗結(jié)果分析

為了驗證本文方法的有效性，采用3個典型的海面紅外圖像序列：海面小目標紅外圖像、海面大目標的紅外圖像、純海面紅外圖像進行實驗，圖像分辨率都為640×512。本實驗的計算機采用Intel奔騰處理器，CPU主頻4.00GHz，操作系統(tǒng)是64位的Windows系統(tǒng)。開發(fā)平臺是Microsoft Visual Studio 2013，算法使用C＋＋實現(xiàn)，調(diào)用Opencv2.4.9完成紅外圖像的處理如讀入、拷貝、創(chuàng)建矩陣以及調(diào)用相關(guān)圖像處理算法。

2.1 特征點提取及匹配實驗

圖4(a)是海面大目標紅外圖像，圖4(b)是傳統(tǒng)的Harris角點檢測算法的提取結(jié)果，在檢測過程中，計算出的角點響應函數(shù)的值如圖4(c)中圓形空心標記點所示，實心三角形標記點為3×3的鄰域內(nèi)進行非最大值抑制處理后得到的局部最大點，也就是角點。在檢測角點時，閾值通常設(shè)置為角點響應函數(shù)最大值max的倍，一般取0.005～0.015，當取0.005時，圖4(a)中檢測出的角點個數(shù)為14個，降低閾值的取值，取為0.0001，是一般情況下值的1/50倍，檢測出的角點個數(shù)為20個。從圖4(b)中可以看出，傳統(tǒng)的Harris角點提取算法提取到的角點位置集中，分布不均勻；圖4(c)中可以看出，傳統(tǒng)的Harris角點提取算法無法對紅外圖像提取出足夠數(shù)量的角點。

圖5(a)為加入距離約束前提取到的200個改進的Harris角點，可以看到，角點都聚集在一起，圖5(c)是海面目標的局部放大圖，圖5(b)為加入距離約束后提取到的41個改進的Harris角點，可以看到角點分布相對均勻，角點之間彼此獨立，圖5(d)是海面目標的局部放大圖。

圖5 角點提取結(jié)果對比

圖6所示的是基于圖5(b)提取到的角點進行光流跟蹤匹配的結(jié)果，在匹配連線中，連線基本平行不相交。這說明使用角點特征檢測并結(jié)合光流跟蹤匹配能夠很好地獲得幀間的對應關(guān)系，能夠為后面求取幀間對應的幾何關(guān)系提供可靠的數(shù)據(jù)支撐。

圖6 使用KLT光流跟蹤匹配結(jié)果

2.2 穩(wěn)像效果

本文采用峰值信噪比（peak signal-to-noise ratio, PSNR）來測試算法的有效性，其定義為[14]：

式中：MSE(1,0)為均方誤差（mean-square error, MSE），定義為：

式中：為圖像的高度；為圖像的寬度；0為參考幀；1為穩(wěn)像后與0對應的幀。

由式(3)可知，當參考幀與補償幀的結(jié)果越相近，穩(wěn)像效果越好，均方誤差MSE(1,0)的值越小，在理想情況即得到了完全補償時MSE(1,0)的值為0。由式(4)可知，PSNR與MSE成反比，即PSNR值越大穩(wěn)像效果越好。

取視頻的前200幀圖像計算穩(wěn)像前后的PSNR，對比圖如圖7(a)所示。穩(wěn)像前的視頻圖像序列平均PSNR值為36.3346，穩(wěn)像后視頻的平均PSNR為39.6939，提高3.3593?？梢钥闯霾捎帽疚乃惴ㄟM行電子穩(wěn)像，穩(wěn)像后的圖像序列的PSNR高于原始圖像序列，說明本文提出的算法對于紅外圖像的抖動視頻序列具有較好的穩(wěn)像效果。為了更直觀地展示穩(wěn)像效果，圖7(b)、(c)給出了海面大目標圖像序列連續(xù)3幀圖像穩(wěn)像前后的對比。圖中紅色橫線為添加的對比輔助線，用來對比船頭（標記點）在穩(wěn)像序列中的位置，以此來衡量本文穩(wěn)像算法的效果。從圖中可以看出，穩(wěn)像處理很好地去掉了抖動干擾，保留了相機的主動運動。

2.3 運動估計準確性實驗

為了測試本文算法運動估計的準確性，將圖5(a)進行固定像素大小偏移，偏移量為(－1,1)，即向左平移一個像素，向下平移一個像素，然后進行特征點檢測與光流金字塔跟蹤。圖8給出了全部41個特征點跟蹤結(jié)果的標準誤差，其中最大的5個標準誤差用實心三角形標記。標準誤差是偏移量(－1,1)與跟蹤前后坐標變化量由式(5)計算獲得的：

式中：xi是跟蹤前后橫坐標的變化量；yi是跟蹤前后縱坐標的變化量。

圖8 跟蹤精度

表2中列出了標準誤差最大的5個特征點的跟蹤結(jié)果。標準誤差的平均值＝0.069，表明本文采用的方法的運動估計精度可以達到亞像素級別。

2.4 穩(wěn)像速度

對海面大目標圖像序列、海面小目標圖像序列、純海面圖像序列以及飛機起飛時的地面圖像序列進行穩(wěn)像速度實驗，結(jié)果如表3所示，4組實驗數(shù)據(jù)的單幀處理時間都小于20ms，證明本文的算法能夠滿足紅外圖像50fps采集速率下的實時處理。

表2 跟蹤結(jié)果

表3 穩(wěn)像時間

3 結(jié)論

本文以含有抖動的機載紅外圖像序列為研究對象，進行了基于改進Harris角點的電子穩(wěn)像算法研究。改進了傳統(tǒng)Harris角點的提取方法，取兩特征值中的最小值為值，保證了角點檢測的數(shù)量，加入距離約束條件，避免了小范圍內(nèi)出現(xiàn)大量的角點，保證了角點分布的均勻性，本文算法能夠自適應地檢測出數(shù)目足夠且分布均勻的角點，并且將角點的定位準確度提高到亞像素級別，保證了運動估計的準確性。

實驗結(jié)果表明，本文所采用的方法能夠?qū)l為50fps的紅外圖像序列進行實時處理，并且運動估計精度可以達到亞像素級別。獲得的去除抖動后的穩(wěn)定視頻，減輕了人眼觀看時的不適的感覺，為后續(xù)紅外圖像目標的識別、定位與跟蹤的順利進行提供保障。

[1] 熊晶瑩, 戴明, 趙春蕾. 紅外激光車載云臺去抖動設(shè)計[J]. 紅外與激光工程, 2018, 47(1): 295-301.

XIONG Jingying, DAI Ming, ZHAO Chunlei. Dejitter design for infrared laser vehicle cloud platforms[J]., 2018, 47(1): 295-301.

[2] Ton-Thi K, Nguyen T, Hong M. Video stabilization algorithm using a moving alpha-trimmed mean filter window[C]//2014: 1-2.

[3] Yousaf A, Khurshid K, Khan M J, et al. Real time video stabilization methods in IR domain for UAVs—a review[C]//, 2017: 1-9.

[4] Puglisi G, Battiato S. A robust image alignment algorithm for video stabilization purposes[C]//, 2011, 21(10): 1390-1400.

[5] Umrikar D P, Tade S L. Implementation of video stabilization algorithm using block based method[C]//, 2017: 1-4.

[6] LIU Lu, DU Weitao. The vehicle-borne electronic image stabilization system based on Gray Projection Algorithm[C]//, 2011: 4687-4690.

[7] SHI X, KANGK, CAO Y. An iterative method for optical flow estimation with motion blur[C]//, 2016: 1-4.

[8] WANGJ M, CHOU H P, CHENS W, et al. Video stabilization for a hand-held camera based on 3D motion model[C]//, 2009: 3477-3480.

[9] AGUILAR W G, ANGULO C. Robust video stabilization based on motion intention for low-cost micro aerial vehicles[C]// 11,, 2014: 1-6.

[10] Sultan B, Ahmed J , Jalil A , et al. Translation and rotation invariant video stabilization for real time applications[C]//, 2017: 479-484.

[11] 唐永鶴, 陶華敏, 盧煥章, 等. 一種基于Harris算子的快速圖像匹配算法[J]. 武漢大學學學報: 信息科學版, 2012, 37(4): 406-409, 414.

TANG Yonghe, TAO Huamin, LU Huanzhang,. A fast image matching algorithm based on Harris operator[J].: Information Science Edition, 2012, 37(4): 406-409, 414.

[12] 張立亭, 黃曉浪, 鹿琳琳, 等. 基于灰度差分與模板的Harris角點檢測快速算法[J]. 儀器儀表學報, 2018, 39(2): 218-224.

ZHANG Liting, HUANG Xiaolang, LU Linlin,. Fast Harris corner detection based on gray difference and template[J]., 2018, 39(2): 218-224.

[13] SHI Jianbo, Carlo Tomasi. Good features to track[C]//, 1994: 593-600.

[14] 尹麗華, 李范鳴, 劉士建. 基于區(qū)域分割與融合的全景穩(wěn)像算法[J]. 紅外與激光工程, 2018, 47(9): 391-400.

YIN Lihua, LI Fanming, LIU Shijian. Panoramic image stabilization algorithm based on region segmentation and fusion[J]., 2018, 47(9): 391-400.

Electronic Image Stabilization of Airborne Infrared Images Based on Improved Harris Corner Detection

WANG Shiman，XU Wenhai，DONG Lili，XU Zhou

(,,116026,)

Bumps and sloshing generated during aircraft flights disrupt the capture of a sequence of infrared images. This affects the subsequent observation of the images, as well as the identification, location, and tracking of the target. In this paper, a method for real-time electronic image stabilization of airborne infrared images is proposed based on an improved Harris corner method. First, an improved Harris corner response function was combined with a distance constraint to perform corner detection. This method ensures that a sufficient number of corner points with uniform distribution can be detected, even for infrared images with poor image quality. The proposed key-frame reference method was then combined with the multi-scale pyramid optical flow algorithm; furthermore, the detected corner points were applied to the aforementioned combination, thereby achieving tracking matching and motion estimation. Consequently, electronic image stabilization of the airborne infrared images was realized. Using this method, multiple sets of jittery infrared image sequences were processed; the image size was 640′512. Experimental results show that the proposed algorithm exhibits a better corner detection effect than the traditional Harris corner detection algorithm. It can remove jitter from the airborne infrared image sequence and ensure real-time processing at an acquisition rate of 50fps.

electronic image stabilization, airborne infrared image, Harris corner detection, distance constraint

TP751

A

1001-8891(2020)06-0573-07

2019-11-15；

2020-06-09.

王施鰻（1995-），女，遼寧人，碩士研究生，主要研究方向為圖像處理、電子穩(wěn)像。E-mail：wangshiman1995@163.com。

國家自然科學基金（61701069）；中央高?；究蒲袠I(yè)務費專項資金（3132019340，3132019200）