韓廣良

(中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033)

1 引言

目前基于光學(xué)成像的目標(biāo)跟蹤系統(tǒng)越來(lái)越多地使用多波段成像傳感器進(jìn)行目標(biāo)場(chǎng)景的實(shí)時(shí)獲取處理，目的是利用不同波段傳感器響應(yīng)場(chǎng)景的不同特性，獲取對(duì)目標(biāo)更詳細(xì)的描述信息，以及更豐富的特征表達(dá)，通過(guò)對(duì)這些特征的處理，實(shí)現(xiàn)對(duì)場(chǎng)景目標(biāo)更可靠更穩(wěn)定的捕獲和跟蹤。本文以目前應(yīng)用最廣泛的可見(jiàn)與紅外圖像的多波段傳感器組合為例，說(shuō)明其應(yīng)用的特點(diǎn)。

采用多傳感器進(jìn)行目標(biāo)探測(cè)，大致可分為兩種情況，一是這幾種傳感器的圖像來(lái)自同一光學(xué)系統(tǒng)，即由光學(xué)系統(tǒng)通過(guò)鏡片組的折反等處理，使進(jìn)入光學(xué)系統(tǒng)的光線同時(shí)成像在后端的多個(gè)傳感器上。這種方式的好處在于，雖然各個(gè)傳感器分別在不同的波段成像，但是由于其來(lái)源為同一組光線，因此，成像后的圖像是嚴(yán)格對(duì)應(yīng)的。這種情況一般不需要復(fù)雜的圖像對(duì)準(zhǔn)過(guò)程，即對(duì)于后期的圖像處理比較簡(jiǎn)單，這里不討論此種情況。二是對(duì)于同一場(chǎng)景的不同波段傳感器，分別來(lái)自不同光學(xué)系統(tǒng)，甚至不同的成像時(shí)刻，不同的成像條件，雖然指向相同的場(chǎng)景，但是由于以上這些不同，導(dǎo)致相同的場(chǎng)景在不同傳感器中的表現(xiàn)形式具有很大的差異。例如一個(gè)地面的發(fā)電廠煙筒，一個(gè)可見(jiàn)光相機(jī)從其正上方向下拍攝，而另一個(gè)紅外相機(jī)從其側(cè)面拍攝，可以想象，這樣獲取的相同場(chǎng)景的異波段圖像之間，具有明顯的差異，要實(shí)現(xiàn)二者之間的配準(zhǔn)，或者利用其中的一幅圖像，在另一幅圖像中進(jìn)行自動(dòng)識(shí)別定位，具有較大的難度。

目前這種非同光學(xué)系統(tǒng)的異源圖像之間的配準(zhǔn)研究，被廣泛應(yīng)用于智能武器、自尋的導(dǎo)引頭、動(dòng)態(tài)目標(biāo)識(shí)別等領(lǐng)域，由于其極具挑戰(zhàn)性而日益受到世界各國(guó)研究機(jī)構(gòu)的重視，但尚無(wú)可靠的方法解決此問(wèn)題。

［1］［3］中解決異源圖像之間配準(zhǔn)的方法一般集中在提取兩類圖像之間的共同特性，如紅外與可見(jiàn)圖像所具有的邊緣特性，利用此特性進(jìn)行自動(dòng)匹配，實(shí)現(xiàn)圖像的配準(zhǔn)，但是這些方法均基于自動(dòng)的特征提取和點(diǎn)陣圖像的特征提取，存在的問(wèn)題是其中包含了誤識(shí)的、不正確的信息，這些錯(cuò)誤信息嚴(yán)重影響圖像的配準(zhǔn)精度。

本文就利用矢量方法提取圖像特征進(jìn)行相應(yīng)的探討。

2 可見(jiàn)與紅外圖像的特征分析

對(duì)于一個(gè)場(chǎng)景，成像到圖像傳感器中，其成像規(guī)律為:

式中I為x，y坐標(biāo)處的圖像反映。

對(duì)于同一自然場(chǎng)景，可見(jiàn)光與紅外圖像的反應(yīng)波段是不同的，紅外主要體現(xiàn)了場(chǎng)景的輻射特性，而可見(jiàn)光則主要反映了場(chǎng)景的自然光反射特性，因此，兩者對(duì)同一自然場(chǎng)景具有不同的最終圖像構(gòu)成。若加之其他的成像條件(如焦距、視場(chǎng)角、光照條件、成像角度、成像距離)等因素的影響，同一場(chǎng)景的兩種圖像會(huì)有相當(dāng)大的差異，如圖1所示。

圖1 同一場(chǎng)景不同傳感器在不同成像條件下的圖像Fig.1 Images in different conditions and variable sensors to a same scene

為了解決這一問(wèn)題，本文首先從兩者的相同特性來(lái)分析。

圖像低頻:從場(chǎng)景整體來(lái)看，紅外圖像與可見(jiàn)圖像對(duì)場(chǎng)景的波段反應(yīng)是不同的，但是把焦點(diǎn)縮小到場(chǎng)景的局部，當(dāng)場(chǎng)景的某個(gè)區(qū)域具有相同(或相似)的材質(zhì)、光照、表面反射性質(zhì)時(shí)，反應(yīng)到紅外和可見(jiàn)光圖像上，其波段反應(yīng)也是相同(或相似)的，這種相同性質(zhì)的局部區(qū)域，在圖像中反應(yīng)為低頻區(qū)域，即圖像灰度變化比較平緩，當(dāng)然，由于紅外和可見(jiàn)波段的不同反應(yīng)，此低頻區(qū)域在兩種圖像中將呈現(xiàn)不同的灰度級(jí)別。

圖像高頻:在以上所述的場(chǎng)景局部區(qū)域的交界部分，由于兩個(gè)區(qū)域之間很可能會(huì)發(fā)生材質(zhì)、光照和表面反射特性的變化，從可見(jiàn)和紅外圖像的成像反應(yīng)來(lái)看，交界部分將發(fā)生灰度的變動(dòng)，即從一個(gè)灰度區(qū)域變化到另一個(gè)灰度區(qū)域，這在圖像中體現(xiàn)為圖像的高頻特性。

從以上的分析可看到，雖然紅外與可見(jiàn)圖像之間具有較大的區(qū)別，但在場(chǎng)景的邊緣和紋理處，可見(jiàn)和紅外圖像都表現(xiàn)灰度變化區(qū)域，即為高頻反應(yīng)，這種對(duì)場(chǎng)景高頻區(qū)域的共同反應(yīng)，可作為可見(jiàn)與紅外圖像對(duì)同一場(chǎng)景的共同特性。

對(duì)于以上成像方程，將其分解為高頻和低頻兩個(gè)部分，即:

式中fH和fL分別為圖像高頻和低頻組成部分。

實(shí)現(xiàn)紅外與可見(jiàn)圖像之間的配準(zhǔn)或者匹配，需要研究的是其高頻部分，即異波段圖像之間的匹配可轉(zhuǎn)化為以下兩者的匹配過(guò)程，這里使用IR表示紅外圖像，V表示可見(jiàn)圖像。

式中IIR和IV分別為紅外和可見(jiàn)圖像，R為兩者匹配系數(shù)。

從圖2可以看到兩種圖像提取高頻信息后的相同點(diǎn)。

對(duì)于不同光學(xué)系統(tǒng)異源圖像來(lái)說(shuō)，由于其成像條件不同，即使按照上面分析找到了兩者在圖像中的相同特征反應(yīng)，但是由于這些相同特征已經(jīng)因成像條件的差異發(fā)生了各種變化，包括旋轉(zhuǎn)、縮放、透視，從而導(dǎo)致兩種圖像仍具有較大的區(qū)別，甚至截然相反(如兩類傳感器從兩個(gè)相對(duì)的位置對(duì)同一場(chǎng)景進(jìn)行不同方向的觀察)。因此，為實(shí)現(xiàn)兩者的配準(zhǔn)，引入了基于高頻特性的矢量模型。

圖2 同一場(chǎng)景不同傳感器在不同成像條件下的邊緣圖像Fig.2 Edge images in different conditions and variable sensors to a same scene

3 基于高頻特性的矢量模型

這里以可見(jiàn)光圖像為基準(zhǔn)圖像，提取高頻信息，構(gòu)建模板，用于與紅外圖像的匹配，如圖3所示。以其中的立交橋?yàn)槟０迥繕?biāo)，利用常用的像素離散方法提取出邊緣(多數(shù)不為單像素，且不連續(xù))。另外由于光照等影響，這類邊緣并不能完好地表達(dá)一個(gè)目標(biāo)或場(chǎng)景，且圖像中可能存在由于光線等因素引起的虛假邊緣和并不作為重點(diǎn)的干擾邊緣。

圖3 可見(jiàn)光基準(zhǔn)圖像高頻邊緣信息提取Fig.3 Extraction of high-frequency edge information for visible base image

由于模板制備是不需要實(shí)時(shí)進(jìn)行的，因此，引入矢量邊緣，如圖4(a)所示，采用若干分段并首尾相接的矢量集來(lái)表達(dá)圖像中一個(gè)連續(xù)的邊緣線條，即:式中P1，P2，…，Pn為矢量關(guān)鍵點(diǎn)，N為點(diǎn)集合。

這組n個(gè)矢量沿著該條圖像邊緣，共同構(gòu)成了一條完整的邊緣，這一矢量邊緣可由人工控制調(diào)整，因此，可以保證這種矢量邊緣能夠更好地體現(xiàn)原圖像中這條邊緣的真實(shí)走向。

圖像中所有可作為模板的矢量線條構(gòu)成了基于這個(gè)基準(zhǔn)圖像的矢量模型，即:

式中C即為各矢量組成的矢量模型。

這種矢量邊緣模型實(shí)際上是由一系列有向線段構(gòu)成，以矢量端點(diǎn)和方向的形式存儲(chǔ)在計(jì)算機(jī)中，圖4(b)所示為利用以上方法構(gòu)建的基準(zhǔn)圖像矢量模板。

圖4 矢量模板Fig.4 Vector template

與普通邊緣圖像模型相比，矢量邊緣模型具有明顯優(yōu)勢(shì)，除以上提到的因素外，其它主要在于:

(1)由于模型全部由矢量構(gòu)成，因此，可進(jìn)行無(wú)損的各種模板數(shù)學(xué)變換，如旋轉(zhuǎn)、透視等;

(2)矢量模板的表達(dá)方式數(shù)據(jù)量小，可實(shí)現(xiàn)低容量存儲(chǔ)和快速運(yùn)算;

(3)矢量模型模板的縮放不會(huì)發(fā)生類似點(diǎn)陣邊緣圖像的不連續(xù)階梯現(xiàn)象。

4 矢量模型實(shí)驗(yàn)

4.1 實(shí)驗(yàn)條件

為了驗(yàn)證本文所提到的矢量模型在異源圖像間匹配的有效性，選取了若干場(chǎng)景，同時(shí)進(jìn)行紅外和可見(jiàn)光圖像采集。采集過(guò)程中，分別從不同的角度獲取可見(jiàn)和紅外場(chǎng)景圖像，并記錄獲取時(shí)的參數(shù)數(shù)據(jù)，包括鏡頭焦距、距離、相機(jī)參數(shù)、經(jīng)緯度信息等，以用于實(shí)時(shí)模型變換和匹配。

4.2 矢量模型變換實(shí)驗(yàn)

從可見(jiàn)光基準(zhǔn)圖中提取出矢量模型后，按照與紅外圖像對(duì)應(yīng)的視場(chǎng)參數(shù)、觀察角度等信息，對(duì)矢量模型進(jìn)行實(shí)時(shí)的變換，圖5所示為變換的結(jié)果。

圖5 矢量模板及其依據(jù)實(shí)時(shí)視角參數(shù)的變換實(shí)驗(yàn)Fig.5 Transform experiments of vector models according to real-time parameters

從矢量模型變換實(shí)驗(yàn)結(jié)果可知，矢量邊緣模型在進(jìn)行幾何視角變換時(shí)，能夠較好地保持與原圖像的一致性，而不會(huì)發(fā)生與點(diǎn)陣邊緣類似的邊緣不平滑現(xiàn)象。

4.3 矢量變換模型與紅外圖像的匹配實(shí)驗(yàn)

圖6為利用該方法在可見(jiàn)光模板圖像中提取構(gòu)建矢量邊緣模型，并通過(guò)實(shí)時(shí)視角變換，與實(shí)時(shí)紅外圖像進(jìn)行匹配的實(shí)驗(yàn)。實(shí)驗(yàn)中采用Canny算子提取實(shí)時(shí)紅外圖像的邊緣信息，通過(guò)視角變換后的可見(jiàn)光矢量模型圖形與實(shí)時(shí)紅外邊緣圖像進(jìn)行基于特征的匹配，實(shí)現(xiàn)場(chǎng)景中目標(biāo)的自動(dòng)搜索。

圖6 采用矢量模板在實(shí)時(shí)紅外圖像中實(shí)現(xiàn)目標(biāo)自動(dòng)捕獲Fig.6 Auto target acquisition of infrared image based on vector model

圖6 (e)顯示了目標(biāo)搜索的結(jié)果，與預(yù)期目標(biāo)定位點(diǎn)完全一致。

5 結(jié)論

紅外和可見(jiàn)傳感器對(duì)場(chǎng)景高頻反映的相似圖像特性，可以用來(lái)進(jìn)行異源圖像之間的特征匹配，實(shí)現(xiàn)圖像配準(zhǔn);基于預(yù)定義模板，也可在實(shí)時(shí)場(chǎng)景中實(shí)現(xiàn)自動(dòng)目標(biāo)搜索。但點(diǎn)陣圖像和圖像邊緣特性會(huì)導(dǎo)致自動(dòng)提取的邊緣在進(jìn)行此類應(yīng)用時(shí)具有較大的不足。本文提出一種基于矢量邊緣的模型構(gòu)建方法，較好地解決了不同光學(xué)系統(tǒng)、不同成像條件、不同獲取方向的異源圖像之間相似特性的匹配。此方法可應(yīng)用于基于光學(xué)圖像的目標(biāo)自動(dòng)搜索系統(tǒng)中，具有較高的實(shí)用性。

參考文獻(xiàn)：

［1］倪國(guó)強(qiáng)，劉瓊.多源圖像配準(zhǔn)技術(shù)分析與展望［J］.光電工程，2004，31(9):1-6.NI G Q，LIU Q.Analysis and prospect of multi-source image registration techniques［J］.Opto-Electronic Eng.，2004，31(9):1-6.(in Chinese)

［2］劉婧，孫繼銀，朱俊林，等.前視紅外景象匹配制導(dǎo)基準(zhǔn)圖生成研究［J］.微計(jì)算機(jī)信息，2007，23(10):279-281.LIU J，SUN J Y，ZHU J L，et al..Study on the generate of reference image on the guidance of FLIR scene matching［J］.Microcomputer Information，2007，23(10):279-281.(in Chinese)

［3］李俊山，李旭輝，羅蓉，等.不同傳感器圖像的景象匹配區(qū)選取準(zhǔn)則研究［J］.微電子學(xué)與計(jì)算機(jī)，2007，24(1):210-213.LI J SH，LI X H，LUO R，et al..Research on selection criterion of scene matching field for different sensors［J］.Microe-lectronics ＆Computer，2007，24(1):210-213.(in Chinese)

［4］RIZVI S A，NASRABADI N M.Fusion of FLIR automatic target recognition algorithms［J］.Information Fusion，2003，4(4):247-258.

［5］張?zhí)煨?，曹楊，劉進(jìn)，等.基于不變矩的前視紅外圖像機(jī)場(chǎng)目標(biāo)識(shí)別［J］.華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2007，35(1):17-19.ZHANG T X，CAO Y，LIU J，et al..Recognition of airfields in forward looking infrared image sequences by affine moment invariants［J］.J.Huazhong University Science and Technology(Nature Science)，2007，35(1):17-19.(in Chinese)

［6］劉瓊，倪國(guó)強(qiáng)，周生兵.圖像配準(zhǔn)中幾種特征點(diǎn)提取方法的分析與實(shí)驗(yàn)［J］.光學(xué)技術(shù)，2007，33(1):62-67.LIU Q，NI G Q，ZHOU SH B.Experiments and analysis of several feature extraction methods for image registration［J］.Optical Technique，2007，33(1):62-67.(in Chinese)

［7］趙鵬，浦昭邦，張?zhí)镂?一種新的紅外與可見(jiàn)光圖像融合與跟蹤方法［J］.光電工程，2005，32(2):37-40.ZHAO P，PU ZH B，ZHANG T W.Fusion and tracking for IR and visible images［J］.Opto-Electronic Eng.，2005，32(2):37-40.(in Chinese)

［8］張?zhí)煨?成像自動(dòng)目標(biāo)識(shí)別［M］.武漢:湖北科學(xué)技術(shù)出版社，2005.ZHANG T X.Atomated Recognition of Imaged Target［M］.Wuhan:Hubei Science and Technology Press，2005.

［9］黨宏濤，張勝修.光學(xué)前視在巡航導(dǎo)彈地形跟蹤中的應(yīng)用與仿真［J］.彈箭與制導(dǎo)學(xué)報(bào)，2007，27(2):71-73.DANG H T，ZHANG SH X.Application and simulation of optical forward vision system for cruise missile's terrain following［J］.J.Projectiles，Rockets，Missiles and Guidance，2007，27(2):71-73.(in Chinese)

［10］譚皓，王金巖，沈春林，等.巡航導(dǎo)彈中制導(dǎo)階段航跡規(guī)劃算法［J］.南京航空航天大學(xué)學(xué)報(bào)，2005，37(1):1-5.TAN H，WANG J Y，SHEN CH L，et al..Trajectory programming algorithm for cruise missile guidance［J］.J.Nanjing University Aeronautics＆Astronautics，2005，37(1):1-5.(in Chinese)

［11］魏偉波，芮筱亭.精確制導(dǎo)技術(shù)研究［J］.火力與指揮控制，2006，31(2):5-10.WEI W B，RUI X T.Study on precision guidance technology［J］.Fire Control and Command Control，2006，31(2):5-10.(in Chinese)

［12］楊樹(shù)謙.精確制導(dǎo)技術(shù)發(fā)展現(xiàn)狀與展望［J］.航天控制，2004，22(4):17-20.YANG SH Q.Development and prospect of PGM technology［J］.Aerospace Control，2004，22(4):17-20.(in Chinese)

［13］王甜，王建民，楊樹(shù)謙，等.紅外圖像自動(dòng)目標(biāo)識(shí)別技術(shù)發(fā)展［J］.飛航導(dǎo)彈，2005(11):45-47.WANG T，WANG J M，YANG SH Q，et al..Development of IR image auto target recognition technology［J］.Winged Missiles J.，2005(11):45-47.(in Chinese)

［14］楊衛(wèi)平，沈振康.紅外成像導(dǎo)引頭及其發(fā)展趨勢(shì)［J］.激光與紅外，2007，37(11):1129-1133.YANG W P，SHEN ZH K.Infrared image seeker technique and its development trend［J］.Laser＆Infrared，2007，37(11):1129-1133.(in Chinese)

［15］FLEEMAN E L.Technologies for future precision strike missile systems introduction/overview［C］.RTO SCI Lecture Series on“Technologies for Future Precision Strike Missile Systems”，Atlanta，USA，23-24 March，2000.

［16］RIEDL G，ASSEL M，F(xiàn)ENDT A，et al..IR focal plane array seekers for ground-to-ground and air-to-ground missiles［J］.SPIE，2001，4369:201-209.