郭少軍，劉 峰，奚曉粱

（1. 海軍航空工程學(xué)院，控制科學(xué)與工程系，山東 煙臺 264001；2. 海軍91868部隊，海南 三亞 572000；3. 海軍航空工程學(xué)院，七系，山東 煙臺 264001）

?

海面艦船紅外與可見光圖像配準(zhǔn)

郭少軍1,2，劉 峰1，奚曉粱3

（1. 海軍航空工程學(xué)院，控制科學(xué)與工程系，山東 煙臺 264001；2. 海軍91868部隊，海南 三亞 572000；3. 海軍航空工程學(xué)院，七系，山東 煙臺 264001）

在利用特征點集的紅外與可見光艦船圖像配準(zhǔn)過程中，經(jīng)常會存在點集的一致性差而無法配準(zhǔn)的情況，本文針對可見光圖像中背景干擾大，紋理豐富容易出現(xiàn)較多非艦船目標(biāo)輪廓特征點的情況，利用全局廣義直方圖均衡化和顯著性增強對可見光圖像進(jìn)行增強，然后進(jìn)行Canny輪廓提取并在輪廓的基礎(chǔ)上提取艦船目標(biāo)邊緣角點作為匹配點集；對于紅外艦船圖像，海面背景與艦船溫度差異較大，其艦船目標(biāo)成像效果較好，存在的干擾較少，本文直接進(jìn)行Canny算子運算并提取角點作為特征點集。實驗效果顯示，本算法實用性較強，誤差小于3個像素，能夠滿足工程使用要求。

廣義直方圖均衡；顯著性增強；特征點集提??；CPD配準(zhǔn)

0 引言

紅外和可見光獲得圖像的機制和原理的不同使得海面艦船目標(biāo)紅外圖像與可見光圖像存在明顯的差異。海面艦船可見光圖像容易受太陽照射角度、海雜波反射、光照強度等因素的影響，存在大量的背景干擾。紅外圖像的成像主要依賴船體與背景的溫度差異而生成，在雨霧等弱成像條件下能夠保持較好的目標(biāo)成像，背景干擾較少。

海面艦船紅外與可見光圖像之間很難存在灰度或顏色空間上的一致性特征，在同源圖像配準(zhǔn)中比較實用的SIFT、SURF等算法在海面艦船紅外與可見光之間的配準(zhǔn)使用中成功率幾乎為零。雖然在顏色或灰度上海面艦船兩個波段的圖像間很難找到共同特征，但是無論在哪個波段的艦船目標(biāo)成像都具有邊緣輪廓的一致性，如果能夠準(zhǔn)確地獲取海面艦船目標(biāo)紅外和可見光圖像中目標(biāo)的一致性邊緣點，則能夠以這些點作為兩個匹配點集，利用點的一致性漂移算法（CPD）進(jìn)行點集之間的匹配。

本文利用Canny算子獲得海面艦船可見光與紅外圖像中的邊緣輪廓，然后再進(jìn)行角點檢測，將獲得的角點作為配準(zhǔn)點集。利用Canny算子進(jìn)行輪廓提取能夠有效地消除圖像中的噪聲，再進(jìn)行角點檢測則能有效濾除虛假角點，同時，以角點作為特征點而不是邊緣輪廓作為特征進(jìn)行圖像配準(zhǔn)能夠有效避免云層與海雜波等不規(guī)則輪廓帶來的特征集不一致性。

在實際圖像配準(zhǔn)的應(yīng)用中，天氣對紅外與可見光成像存在極大的影響，當(dāng)光照不好或存在水霧、煙霧干擾成像的情況下，由于散射與吸收效應(yīng)，目標(biāo)在圖像中顯示不明顯。在這種情況下利用Canny算子獲得輪廓會變得十分雜亂，兩個波段圖像中檢測到的角點集之間的一致性也會變差，這給CPD配準(zhǔn)方法帶來了極大的干擾，嚴(yán)重情況直接導(dǎo)致配準(zhǔn)算法失效。要保證CPD算法的正確率與高效性，需要做到兩點：①可見光與紅外圖像中的特征點必須具有漂移一致性；②盡可能少的取能夠滿足算法需要的點集進(jìn)行算法配準(zhǔn)。

為了突出目標(biāo)的存在，本文首先利用廣義直方圖均衡結(jié)合視覺顯著性增強（AIM）算法對可見光圖像進(jìn)行目標(biāo)區(qū)域增強，增強后圖像中目標(biāo)的邊緣特征更加明顯，而內(nèi)部的紋理特征會減少變?nèi)?，這種變化避免了兩個波段中艦船目標(biāo)內(nèi)部特征紋理角點的不一致性對CPD算法的影響，同時，特征點集的數(shù)量得到了減少，能夠提高算法效率。

1 圖像增強

1.1 廣義直方圖均衡化

利用圖像增強技術(shù)能夠使圖像具有更佳的視覺效果，使得人和計算機能夠?qū)π畔⒕哂懈玫谋鎰e能力，更適合于參數(shù)估計，圖像分割和目標(biāo)識別等方面的工作開展。傳統(tǒng)的直方圖均衡增強后的圖像中細(xì)節(jié)信息丟失嚴(yán)重并且存在大量的噪聲。為了克服這兩個問題，R. B. Paranjape提出了自適應(yīng)鄰域直方圖增強方法，在圖像增強的同時有效保留了細(xì)節(jié)[1]。毛玉星等通過區(qū)分噪聲和有效信息來進(jìn)行圖像增強的空間分布紅外圖像直方圖均衡化方法[2]；張志龍等將圖像中高頻與低頻信號分開進(jìn)行直方圖增強，將結(jié)果融合獲得最終增強圖像[3]。B. W. Yoon等提出了廣義直方圖的概念[4]，劉松濤[5]等在B. W. Yoon的基礎(chǔ)上提出了基于廣義直方圖的圖像均衡化處理方法，有效保留了圖像的細(xì)節(jié)并完成了圖像增強，本文采用廣義直方圖增強方法對圖像進(jìn)行預(yù)處理。本文算法流程如圖1所示。

傳統(tǒng)的直方圖是基于整數(shù)1進(jìn)行像素數(shù)累加的，廣義直方圖將1分解為2個值：分?jǐn)?shù)和余數(shù)，通過對每個灰度級累計分?jǐn)?shù)值與余數(shù)來生成。表達(dá)式如下所示：

式中：r?[0,1]表示坐標(biāo)(,)處像素額分?jǐn)?shù)計數(shù)；分?jǐn)?shù)值通過增加對比度增益來增強圖像對比度，余數(shù)值通過均勻分布來保護圖像對比度，r的計算方法參考文獻(xiàn)[5]。

用獲得的廣義直方圖替代原始圖像的傳統(tǒng)直方圖并進(jìn)行標(biāo)準(zhǔn)化歸一化處理，然后通過概率分布直方圖映射的方式進(jìn)行圖像的直方圖均衡化增強。

1.2 顯著性增強

利用廣義直方圖增強后的圖像中目標(biāo)更加突出，但背景中存在對比度差異的圖像也會得到相應(yīng)的增強。為了避免從背景中獲得特征點，本文對廣義直方圖增強之后的海面艦船圖像進(jìn)一步實施基于視覺的顯著性增強。增強后的圖像能夠使目標(biāo)區(qū)域更加突出并使背景得到抑制，有利于保證提取點集間的一致性特性。

圖1 艦船紅外與可見光圖像配準(zhǔn)流程圖

目前，圖像顯著性增強方法有很多種，比較流行的算法有Itti[6]，AIM[7]，F(xiàn)TS[8]，SR[9]，PQFT[10]，SUN[11]，GCS[12]等，通過對實際拍攝的海面艦船可見光與紅外圖像的實驗發(fā)現(xiàn)，Itti獲得的效果比較零散且目標(biāo)不完整，不能滿足本文算法需要，AIM能夠滿足本文算法需要，能夠較好地保存圖像中目標(biāo)輪廓；GBVS的顯著性效果對處于邊緣的目標(biāo)顯著性增強效果并不明顯；FTS容易將邊緣輪廓模糊導(dǎo)致邊界特征點偏移；SR獲得了顯著性區(qū)域但是信息丟失嚴(yán)重；PQFT是基于FTS算法進(jìn)行的改進(jìn)，在信息保留與背景抑制方面都具有比較優(yōu)秀的表現(xiàn)，且運算速度快，能夠滿足實時性要求，但是和FTS算法一樣，容易將邊緣輪廓模糊化；SDSR，SUN，GCS等算法都存在背景干擾等問題，PBS的效果類似于PQFT，實時性方面也較為欠缺，本文采用AIM來進(jìn)行目標(biāo)顯著性增強。

AIM（Attention-based on Information Maximi -zation）模型利用香農(nóng)的自信息度量，將圖像的特征平面變換到對應(yīng)于視覺顯著性的維度上。

AIM假設(shè)：一個視覺特征的顯著性就是該特征相對于它周圍其他特征提供的信息的差別度。根據(jù)香農(nóng)定理，圖像特征對應(yīng)的自信息通過下式計算：

()＝－lg[()] (2)

式中：()為特征的概率密度函數(shù)。

2 圖像中特征點提取

2.1 Canny算子獲得圖像邊緣

圖像的邊緣檢測必須滿足兩個條件：①有效地抑制噪聲；②精確地提取邊緣位置。Canny算子通過對信噪比與定位乘積進(jìn)行測度，得到最優(yōu)化逼近算子，實現(xiàn)邊緣檢測。Canny算子的流程可以總結(jié)為算法1（見表1）。

表1 算法1 Canny算子提取輪廓算法

2.2 角點檢測

求和過程覆蓋了預(yù)定義的相鄰像素點。強度變化的平均值計算需要在所有可能方向上進(jìn)行，因為高強度變化可能出現(xiàn)在任何方向。通過這個定義，進(jìn)行如下測試過程：首先獲取平均強度變化最大值對應(yīng)的方向，在檢查位于它垂直方向的變化是否也很強烈，同時滿足條件的即是一個角點。

對求和公式(3)進(jìn)行泰勒級數(shù)展開可以近似為公式(4)：

用矩陣形式重寫式(5)：

公式(5)是一個協(xié)方差矩陣，表現(xiàn)的是所有方向上強度的變化率。該定義涉及圖像的一階導(dǎo)數(shù)，通常利用Sobel算子來進(jìn)行結(jié)果計算。協(xié)方差矩陣的兩個特征值給出了最大平均強度變化以及垂直方向上的平均強度變化，角點位置的兩個特征值應(yīng)該都較大。因此，角點成立的條件是協(xié)方差的最小特征值超過閾值大小即可。

為了避免特征值計算帶來的時間消耗，利用特征分解理論中的一些特性可以避免對特征值進(jìn)行求解，通過計算公式(6)所示的得分值來確定特征值是滿足角點條件。

score＝Det(C)－×Trace2() (6)

式中：Det(×)是矩陣行列式；Trace(×)是矩陣的跡；是自定義的系數(shù)?？梢则炞C，只有兩個特征值都足夠大時score的值才足夠大。

3 點的一致性漂移算法（Coherent Point Drift, CPD）

利用前兩節(jié)介紹的算法獲得海面艦船紅外與可見光圖像的點集后，本文采用CPD算法對兩個點集進(jìn)行配準(zhǔn)。CPD算法本質(zhì)上是將點集配準(zhǔn)的過程轉(zhuǎn)化為高斯混合模型（Gaussin Mixture Model，GMM）概率密度函數(shù)的參數(shù)估計問題[13]，在點集配準(zhǔn)過程中，CPD算法將兩個點集中的一個作為模板點集，認(rèn)為模板點集作為整體按照一定變換方式向目標(biāo)點集進(jìn)行拓?fù)浣Y(jié)構(gòu)一致性的漂移運動。設(shè)Y×＝[1,2,…,y]為模板點集，X×＝[1,2,…,x]為目標(biāo)點集，其中為點集中點的數(shù)量，為點的維數(shù)。以模板點集中的點作為混合高斯模型的質(zhì)心，則該GMM的概率密度函數(shù)為公式(7)：

CPD算法最后采用期望最大化（EM）方法來進(jìn)行尋優(yōu)過程的，分為期望值（）和求解式(9)的極大化問題（步），最后求解獲得、。EM算法能夠收斂到對數(shù)似然函數(shù)的穩(wěn)定點，但是極有可能求解到局部最優(yōu)點，趙鍵[14]等人通過設(shè)置多個求解初始參數(shù)來解決出現(xiàn)局部最優(yōu)的問題，實現(xiàn)了求解全局最優(yōu)解的方法。在求解過程中，當(dāng)圖與圖之間存在超過45°的傾斜角度時則需要進(jìn)行全局最優(yōu)求解。本文通過利用先驗信息來確定是否需要進(jìn)行全局最優(yōu)求解，有效避免沒必要的全局尋優(yōu)帶來的耗時。

4 實驗與分析

本文使用i5 CPU，VS2012旗艦版編程，對海面實際拍攝的艦船目標(biāo)紅外與可見光對進(jìn)行匹配，同時，作者針對匹配情況制定了更為直觀的精度計算方式，即通過手動標(biāo)定圖像對之間的位置來作為圖像配準(zhǔn)的基準(zhǔn)，利用本文算法計算獲得的轉(zhuǎn)換參數(shù)對標(biāo)定數(shù)據(jù)集進(jìn)行轉(zhuǎn)換計算，并計算整體像素偏差，以這個偏差來衡量本文算法對艦船可見光與紅外圖像間配準(zhǔn)的精度。

假設(shè)標(biāo)定點集為、，通過全局直方圖均衡化和顯著性增強后自動獲得的點集為￠、￠，首先以￠為模板點集對￠、￠兩個特征點進(jìn)行CPD配準(zhǔn)計算獲得參數(shù)、，進(jìn)一步利用參數(shù)、計算向的投影，獲得投影點集2，本文通過計算2與對應(yīng)點之間的偏差和平方的均值來衡量本文整體算法流程的精度，如公式(10)所示：

式中：是點集中點的數(shù)量。

本文采用圖2和圖3中兩對圖像進(jìn)行配準(zhǔn)進(jìn)行算法演示。

(a)536×447 (b)768×576

圖2和圖3分別是本文實驗采用的紅外圖像和對應(yīng)的可見光圖像，其中采用的第一對圖像中紅外圖像（圖2(a)）比可見光圖像（圖3(a)）要大很多，對于尺寸不同的圖像進(jìn)行算法配準(zhǔn)說明本文算法具有不同尺度圖像配準(zhǔn)的能力，一般情況下，在多源圖像融合檢測與監(jiān)視工程應(yīng)用中，采樣獲得的圖像都具有相同的大小，如采用的第二對圖像（圖2(b)與圖3(b)兩幅圖）。

對艦船目標(biāo)可見光圖像進(jìn)行全局直方圖均衡化與顯著性增強后結(jié)果如圖所示，圖3中可見光（圖3(b)）圖像邊緣較為清晰，因此不需要進(jìn)行顯著性增強處理。

增強后的圖像中存在干擾的情況，本文采用自適應(yīng)閾值分割方法對圖像進(jìn)行分割，從而只保留下目標(biāo)輪廓區(qū)域，消除背景干擾。進(jìn)一步，本文對分割后的圖像進(jìn)行Canny算子計算和角點提取，獲得可見光圖像中艦船目標(biāo)的輪廓特征點集。為了視覺上更加直觀，圖4中給出了對應(yīng)圖像對之間獲得的特征點集在原圖上的標(biāo)記以及配準(zhǔn)后圖像。

圖4 艦船可見光圖像增強結(jié)果

為了進(jìn)行精度分析，作者對圖像中特征點集進(jìn)行手動標(biāo)記，手動標(biāo)記的精度誤差在兩個像素以內(nèi)，以手動像素標(biāo)記為基準(zhǔn)，配準(zhǔn)誤差精度如表2所示。

限于篇幅，本文僅以第二對圖像的配準(zhǔn)映射坐標(biāo)數(shù)據(jù)來說明本文算法的配準(zhǔn)精度，實驗中用紅外圖像向可見光圖像投影獲得配準(zhǔn)后的投影圖像。表2給出了3對坐標(biāo)數(shù)據(jù)，分別為可見光圖像中的標(biāo)記位置，利用紅外與可見光標(biāo)記點集獲得的轉(zhuǎn)換參數(shù)計算得到的投影坐標(biāo)，以本文算法獲得的參數(shù)計算得到的投影坐標(biāo)。

通過表3中數(shù)據(jù)計算得手動標(biāo)定誤差為1.09，本文算法匹配誤差為1.59，本文算法與標(biāo)定精度之間只有0.5的差異。

通過配準(zhǔn)精度和配準(zhǔn)后紅外向可見光投影圖像可以得知，本文算法具有較好的海面艦船紅外與可見光圖像之間的配準(zhǔn)精度，在可見光與紅外圖像間存在背景與紋理干擾造成輪廓特征點不一致的情況具有較好的處理能力。從圖像中特征點的標(biāo)記位置來看，本文算法能夠有效濾除掉小目標(biāo)造成的特征點干擾，從而使紅外與可見光艦船圖像能夠在特征點集上保持一致性，如圖5中圖像對所示。然而也可能存在如圖6中所示的情況，將較亮目標(biāo)點作為特征點，這可能會對CPD算法配準(zhǔn)帶來誤差，需要進(jìn)一步改進(jìn)。

圖5 第二對圖像特征點標(biāo)記與配準(zhǔn)投影結(jié)果

5 結(jié)論

本文提出的基于顯著性增強提取特征點，并通過CPD進(jìn)行可見光與紅外艦船圖像的配準(zhǔn)算法在一定程度上解決了多源圖像間無法配準(zhǔn)的問題。本文算法利用圖像中明顯的角點作為特征點集，一方面減少了配準(zhǔn)點的數(shù)量，另一方面通過角點數(shù)量與區(qū)域的控制，保證了角點集之間的漂移一致性，從而確保了圖像之間的配準(zhǔn)精度，是一種切實可用的辦法。

圖6 第一對圖像特征點標(biāo)記與配準(zhǔn)投影結(jié)果

表2 本文算法投影坐標(biāo)與標(biāo)定投影坐標(biāo)對比

表3 圖像配準(zhǔn)的精度誤差

[1] PARANJAPE B R. Adaptive neighborhood histogram equalization for image enhancement[J]., 1992, 54(3): 259-267.

[2] 毛玉星, 楊士中. 基于空間分布的紅外圖像直方圖均衡算法[J]. 電路與系統(tǒng)學(xué)報, 2004, 9(6): 148-150.

MAO Yuxing, YANG Shizhong. Infrared image histogram equalization algorithm based on spatial distribution[J]., 2004, 9(6): 148-150.

[3] 張志龍, 李吉成, 沈振康. 一種保持圖像細(xì)節(jié)的直方圖均衡新算法[J]. 計算機工程與科學(xué), 2006, 28(5): 36-38.

ZHANG Zhilong, LI Jicheng, SHEN Zhenkang. A New algorithn for image-detail-preserving histogram equalization[J]., 2006, 28(5): 36-38.

[4] YOON B W, SONG W J. Image contrast enhancement based on the generalized histogram[J]., 2007, 16(3): 033005(1-8).

[5] 劉松濤, 吳鋼. 基于廣義直方圖均衡的圖像增強新方法[J]. 電光與控制, 2010, 17(3): 12-14.

LIU Songtao, WU Gang. A novel method for image enhancement based on generalized histogram[J]., 2010, 17(3): 12-14.

[6] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[7] ITTI L, KOCH C. Computational modelling of visual attention[J]., 2001, 2(3): 194-203,.

[8] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[9] HOU X, ZHANG L. Saliency Detection: A spectral residual approach[C]//, 2007: 1-8.

[10] GUO Chenlei, MA Qi, ZHANG Liming. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]//, 2008: 72-2.

[11] KANAN Christopher, TONG Mathew H, ZHANG Lingyun, et al. SUN: Top-down saliency using natural statistics[J]., 2011, 11(12): 262-275.

[12] CHENG Ming-Ming. Global Contrast based salient region detection[C]//, 2013: 1-8.

[13] Myronenko A, SONG X B. Point-set registration: coherent point drift[J]., 2010, 32(12): 2262-2275.

[14] 趙鍵, 孫即祥, 周石琳, 等. 基于全局最優(yōu)的快速一致性點漂移算法[J]. 電子信息學(xué)報, 2012, 34(3): 509-516.

ZHAO Jian, SUN Ji-xiang, ZOU Shi-lin, et al. Fast coherent point drift algorithm based on global optimization[J]., 2012, 34(3): 509-516.

The Registration of Warship Infrared and Visible Images

GUO Shaojun1,2，LIU Feng1，XI Xiaoliang3

(1.,,264001,; 2.91868,572000,; 3.7,,264001,)

In the registration process which uses feature point set of infrared and visible light images, the consistency of the point sets is poor and can't always be used in registration. Focusing on the fact that the visible images are always with a lot of background and rich textures, we use the global generalized histogram equalization and significant enhancements to visible light image enhancement, make contour extraction by ‘Canny’, and then detect the corner points as feature sets from the ‘Canny’ map. For infrared ship image, the temperature difference of background and ship targets is bigger, the ship target imaging better, and less interference. This paper directly uses the ‘Canny’ operator to operate and extract the corners as feature point sets. Experimental results show that the algorithm is practical, the error is less than 3 pixels, which can satisfy the engineering demand.

generalized histogram equalization，significant enhancement，feature point extraction，CPD registration

TP391

A

1001-8891(2016)05-0403-06

2015-12-06；

2015-12-26.

郭少軍（1985-），男，湖南洞口人，助理工程師，博士研究生，主要研究圖像處理、目標(biāo)識別等。E-mail：guoba2000@163.com。

國家自然科學(xué)基金（61303192）。