嚴　潔，阮友田，薛珮瑤

(中國電子科技集團公司 第二十七研究所，河南 鄭州 450047)

?

主被動光學圖像融合技術研究

嚴潔*，阮友田，薛珮瑤

(中國電子科技集團公司 第二十七研究所，河南 鄭州 450047)

摘要：本文應用掃描式激光成像雷達獲取試驗數據并實現對激光數據的三維成像處理，給出了基于目標特征的激光雷達圖像與被動光學圖像的數據融合方法，實現了激光圖像和光學圖像間的三維融合。試驗結果表明，本文所提出的基于目標特征的兩種不同質圖像間的融合方法是可行的，融合后的圖像具有豐富的光譜信息和三維立體信息。

關鍵詞:激光成像雷達；圖像配準；數據融合；立體測繪

1引言

激光成像雷達是一種主動式成像系統(tǒng)，能探識目標的位置、角度、距離、時間、強度等信息，為實時獲取高分辨率的三維空間信息提供了一種全新的技術手段。激光成像的優(yōu)點是測量目標位置精確，抗干擾和抗隱身能力強[1]，缺點是光譜信息單一，沒有物體的平面幾何形狀、紋理等信息[2]。激光成像雷達研究始于20世紀80年代，相關研究機構在國家863計劃的支持下進行了機載激光雷達和地面激光掃描測量系統(tǒng)的研制[3]，除此之外，近年來國內幾所研究單位和大學也先后進行了激光成像雷達的研制工作。

光學成像為被動式成像，分辨率高，能真實記錄目標表面的紋理等細節(jié),特別是可見光圖像不僅有明暗的變化，而且形狀邊緣清晰，圖像細節(jié)比較明顯，但其所成圖像是二維平面的，得不到物體表面的相對空間位置。如果能充分發(fā)揮光學圖像與激光圖像這兩種不同圖像各自優(yōu)勢，進行融合處理，使得融合后的圖像既能反映物體光譜信息，又包含物體幾何空間位置信息，將大幅提高目標的測量、定位、識別和檢測概率。二者融合后，也可以實現高精度、高分辨率的立體測繪，充分發(fā)揮現有測繪衛(wèi)星數據的制圖潛力，解決長期以來高精度測繪和高分辨率測繪能力無法實現統(tǒng)一的矛盾及大比例天基制圖的技術瓶頸[4]。

主被動光學圖像融合在軍事領域應用廣泛：(1)可生成數字三維電子地圖，為彈道導彈(特別是潛射導彈)實現遠程精確打擊目標提供必要信息；(2)為海上兵力的最優(yōu)部署以及海軍和海軍陸戰(zhàn)隊作戰(zhàn)任務(如渡海作戰(zhàn)、搶灘登陸等)的順利完成提供強有力的技術支持；(3)能夠獲取重點作戰(zhàn)區(qū)域的植被覆蓋情況，包括樹冠高度、植被覆蓋率等，這些情報將為地面指揮提供有用信息，如選擇隱蔽場所，或者尋找突襲路線等[5]。

主被動光學圖像融合在民用領域也有廣泛的應用前景，是三維數字城市最具有發(fā)展?jié)摿Φ囊环N數據獲取手段，可以應用于車輛自動導航、建筑

物測繪、道路網測繪、交通信號管理、車輛行駛速度和停車場違規(guī)現象的檢測、高速公路路面測繪等[6]。

2激光成像雷達技術

2.1　激光成像雷達技術原理

激光成像雷達技術是一種主動式傳感器技術。與微波雷達相比，由于激光比微波波長要短，激光成像雷達具有更高的分辨率；與普通光學成像技術相比，激光成像雷達可以提供距離數據，因而可以獲取目標的三維圖像[5]。

直接探測體制的掃描激光成像雷達主要是由激光發(fā)射/接收系統(tǒng)、發(fā)射/接收光學系統(tǒng)、圖像處理單元[7]、信號探測系統(tǒng)、掃描系統(tǒng)、控制系統(tǒng)等組成[8]。在控制系統(tǒng)控制下，激光雷達完成探測區(qū)域地毯式逐點探測，經數據和圖像處理完成整幀圖像。激光掃描成像雷達的每個激光發(fā)射脈沖對應一個目標距離，對探測區(qū)域的測量通過多次發(fā)射測量完成，按一定時間、空間順序逐點拼接后獲得整幅圖像。

激光圖像又稱為強度圖像，是建立在單點、主動探測基礎上的直接探測成像系統(tǒng)，激光的三維圖像不僅有利于仔細觀察目標的空間構成細節(jié)，還可以采用多種處理方式從各個方向、不同距離上對目標圖像進行匹配和逼近，較之一般的光學二維成像有其特定優(yōu)勢，是一種有效的目標觀測技術。

2.2　激光成像雷達的數據特點

激光成像雷達數據反映了目標的位置、角度、距離、時間、強度等多種信息。但實際應用中，根據不同的需要和設備狀態(tài)，得到的往往是特定工作波長的目標距離和強度信息。激光成像雷達數據具有以下特點：

(1)在幾何分布上，激光成像雷達數據是對真實目標物的抽樣探測，其數據點是離散的、不連續(xù)的；

(2)數據量大，從時間上計算，試驗設備每秒鐘測量1×104個點，連續(xù)工作1 h產生的數據量

有3.6×107個點的數據；

(3)光譜信息單一，這也是很多應用研究中將激光雷達數據與其它光學傳感器數據融合使用的原因之一；

(4)存在數據縫隙。由于遮擋、物體特性(如發(fā)生鏡面反射時，盤古大觀樓圖像中的玻璃反射)等因素，數據中有時會出現區(qū)域無回波的現象，稱為數據縫隙。

2.3　激光成像雷達的偽彩顯示

激光成像雷達數據的偽彩色處理就是把激光掃描得到的各點距離值按照某種關系映射成相應的彩色，這種映射之間的對應僅限于輸入和輸出像素之間，而對于數據空間位置的變化并沒有涉及。試驗中采用的編碼方式為彩虹編碼，共256色，顏色與距離遠近成線性關系。圖1為盤古大觀樓的可見光圖像與激光圖像色彩對比。

圖1　盤古大觀樓的可見光圖像與激光圖像 Fig.1　Visible-light image and laser image of Pangu Plaza

3主被動光學成像融合技術研究

3.1　融合流程

激光成像與被動光學成像的兩種圖像融合流程見圖2。由于激光圖像與光學圖像分別由不同傳感器獲取，屬非同質圖像，在成像機理、電磁波段、時相、空間分辨率等方面存在較大差異，所以，二者間的圖像降噪預處理和配準成為這兩種圖像相融合的前提和基礎。

圖2　激光圖像與可見光圖像的融合流程 Fig.2　Fusion process of laser image and visible-light image

3.2　激光雷達數據降噪預處理

從三維激光雷達掃描系統(tǒng)中得到的激光數據不可避免地存在著噪聲，需要降噪預處理。在預處理中，主要工作包括由激光點云網格化，在激光點云網格化處理前，需要首先進行濾波去除噪聲，通過內插得到格網數據以及等值線的追蹤。得到格網數據后又將點云量化為距離灰度圖像，同時為了單獨提取出有用的建筑物，并對激光點云圖像進行閾值分割。

3.3　可見光圖像降噪預處理

光學圖像經常被不同種類的噪聲污染，如高斯噪聲、椒鹽噪聲等。預處理主要完成圖像的亮度調節(jié)、去除噪聲[9]。在圖像處理中去除噪聲起著重要的作用，對圖像分割、圖像識別、特征提取具有直接影響。

圖像濾波既要消除圖像以外噪聲，同時又保持圖像細節(jié)。常用的線性濾波器和中值濾波器效果不佳[9], 自適應中值濾波是對中值濾波的改進，相應地可以保存更多的圖像細節(jié)，并可以平滑密度更高的椒鹽噪聲[10]，因此，根據圖像的特點采用改進型的自適應中值濾波器對光學影像進行了處理，該方法首先去除噪聲圖像濾波窗口中最大和最小灰度像素，然后求中值，再計算出該中值與對應的像素灰度值之間的差值，與閾值比較，以確定是否用差值代替該像素的灰度值。

3.4　激光圖像與可見光圖像的配準

不同設備獲取得到的距離圖像和光學圖像，由于設備的視場、成像角度等的不同導致同一物體在不同的圖像中成像大小比例和位置不同。圖像融合關鍵的一步是圖像配準，因此，圖像配準的好壞決定圖像融合質量的好壞[11]。圖像配準就是兩幅圖像描述同一個物體的相同位置進行匹配，建立兩幅圖像之間的對應關系，確定相應幾何變換，以便進行進一步的圖像融合。圖像配準在空間上將兩幅圖像進行配準，包括相對配準和絕對配準。絕對配準的對象為多幅圖像，對它們在同一地理坐標系下進行幾何校正，校正之后重新采樣并形成相同分辨率的圖像。相對配準的參考對象為某一波段圖像，坐標系可以任意選擇，配準的時候是圖像對圖像，另一幅圖像與參考圖像進行配準。通常情況下，將兩個圖像進行對比，然后選擇同名控制點，并用二次或三次多項式的模型建立兩個同名像素的關系，最終采樣成相同分辨率的圖像。本文采用相對配準的方法，相對配準多采用空間域配準，空間域配準通?？梢苑殖梢韵虏襟E：

(1)選擇明顯的特征：將要配準的兩幅圖像進行對比，仔細找出它們比較顯著的地物特征，如區(qū)域輪廓線、邊界以及線狀物交叉點等。

(2)特征匹配：匹配時要基于一定的配準算法，確定控制點，控制點可以選用兩幅圖像上對應的明顯地物特征。

(3)找出空間變化：圖像之間的映射關系要根據控制點來建立。

(4)插值：映射關系建立以后，根據此映射關系對非參考圖像重新采樣，最終獲得與參考圖像配準的圖像。

一般情況下，需要1~2個像素來確立空間域配準的精度?？臻g域配準中，最關鍵的一步是找出控制點，控制點的選擇需要借助特征匹配，找出對應的顯著的地物點，這也是最為困難的一步?？臻g域配準方法有以下幾種：

(1)配準時基于控制點的方法。點特征具有廣泛的適用性，并擁有簡單的計算與描述特征，點特征也是最基本的特征[12]。提取點特征需要用到興趣算子或有利算子，比較常用的如Moravec 算子、Dreschler算子[6]、Forstner 算子、Hannah算子等。本文選擇Forstner算子定位特征點，是因為它的精度與速度相比其它算子比較適中。特征點得到以后對其進行匹配，配準的時候先估計幾何變換參數，這個過程需要遵循以下兩個步驟：選擇和匹配圖像中的控制點，控制點匹配后，從中獲取相關信息，并找出匹配函數，匹配函數要能夠匹配圖像中的剩余點。關于圖像中的對應點的確定需要先選出控制點，控制點為每幅圖像中選出的一個特別的可分辨點集。曲面高點、圖像中線條交叉點或者邊界封閉區(qū)域重心都可以作為控制點。從兩幅圖像中選出兩個控制點集并確立后，然后對其進行匹配。在圖像算法研究領域，這種配準方法以其優(yōu)越的性能，成為圖像配準算法研究領域的熱點[13]。

(2)配準時基于矩的方法。本文用到的控制結構是一個圖像矩，該圖像矩比較復雜，其中的每幅圖像都是被標準化的圖像，也就是與一個矩被歸一化的參照位置進行匹配[14-15]。

(3)配準時基于邊緣的方法?？刂泣c一般選擇圖像邊緣，并實現邊緣匹配，匹配的時候通過比較邊緣像素密度來實現，直接導出幾何變換參數并對其中一幅圖像實施相應的變換[15]。

3.5　圖像配準試驗

圖像配準的過程中有一個非常關鍵的問題，即如何對選定的圖像進行空間變換或幾何變換。選定標準圖像為圖像I(x,y)，選定待配準圖像為圖像J(x,y)，這個過程中找到一個最佳的變換T,這是圖像配準的目的所在，即使得圖像J(x,y) 經T變換后J′=T(J)，使得與標準圖像的對齊度最大化。

采用的配準方法為基于控制點的方法，選定清華校門的激光圖像和可見光圖像，以此作為試驗的對象，對其進行配準的實現步驟如下：

(1)標準圖像和待配準圖像分別得到之后，并將其讀入工作區(qū)；

(2)圖像中的成對控制點得以指定；

(3)控制點對得以保存；

(4)使用的變換類型選定后，借助控制點對推算出變換參數；

(5)借助變換參數將待配準的圖像實施空間幾何變換，獲得配準后圖像。

配準試驗過程見圖3，圖3(a)是相機拍攝的清華大學校門可見光圖像，圖3(b)是由圖3(a)得到的標準灰度圖像，圖3(c)是激光成像雷達得到的圖像，圖3(d)是由圖3(c)經過降噪預處理得到的待配準圖像。圖3(e)是控制點選取界面，它能同時顯示待配準圖像和標準圖像，并能分別進行放大顯示以方便選取控制點，本例中選取了6個控制點，圖3(f)是利用得到的變換函數對圖3(d)進行配準后的結果。

3.6　基于像素特征的融合

設f(x,y)為激光圖像 ，設(uL,vL)為中心點 ，設θ為任一像素點(x1,y1)對應的掃描線和激光雷達中心線的水平夾角，設φ為縱向夾角，設g(x,y)為攝像機獲得的光學圖像，設(uo,vo)為中心點，激光成像雷達和攝像機的標定獲得兩種圖像，它們的分辨率比值為(ka,kb)，配準后，得到的激光圖像的平移量為(tx,ty)。

激光圖像上的任意一點和與其對應的光學圖像上的像素點坐標之間存在的函數關系為對應關系：

(1)

式中：a(x),b(y)為ka,kb,tx,ty的函數。

深度圖像上點A到對應光學圖像上點A′的位置計算步驟為：

(1)把激光深度圖像投影到光學圖像上，獲得深度圖像的投影圖；

(2)計算出與深度圖像上點A 對應的投影圖上的點B 的坐標值；

(3)通過配準，得到深度圖像的投影圖和光學圖像中心點的偏移量tx,ty及二者的比值ka,kb；

(4)根據偏移量tx,ty及比值ka,kb計算出光學圖像上對應于點B的點A′的坐標值。

經過變換后，給出深度圖像上某一點的位置，就可以得到它所對應的光學圖像上對應點的位置和顏色值，即對于空間圖像上任一點的描述有兩個值：一是顏色值(光譜信息值)，二是深度值(距離值)，這樣所得到的圖像數據包含的信息有被觀測物體的光譜信息和三維深度信息。

3.7　融合試驗結果及分析

根據所提出的數據融合思路，利用試驗系統(tǒng)得到的數據，對配準后的清華大學校門等圖像進行融合試驗。

圖4　清華大學校門融合圖像 Fig.4　Fused image of Tsinghua University′s school gate

試驗結果如圖4所示，圖中給出了相應場景的可見光照片。從試驗結果可以看出，本文所提出的基于目標特征的兩種不同質圖像間的融合方法是可行的。但從實際效果來看，融合后圖像并沒有可見光圖像清晰，主要有以下原因：

(1)試驗時可見光圖像由數碼相機得到，其光軸與激光成像雷達設備不完全同軸，二者間未經過嚴格標定；

(2)二者間的配準不十分嚴格，導致融合圖像有明顯縫隙；

(3)由于實際得到的可見光圖像分辨率為2 816 pixel×2 112 pixel，激光圖像分辨率為512 pixel×500 pixel，采取的融合方法是將可見光圖像分辨率降低后與激光圖像配準，使得圖像的分辨率降低。

以上實驗結果是目前技術所能達到的一個階段水平。本文所討論主被動圖像融合技術是可行的，但還有很多算法需要深入研究，后續(xù)的研究工作仍然任重道遠。

4結論

激光圖像與光學圖像兩種不同質圖像間相融合，可以使圖像在具有豐富的光譜信息的同時，也具有三維立體信息，其融合結果對物體的認知有著重要意義。圖像配準是進行融合的前提和基礎，圖像配準試驗時采用基于控制點的方法效果顯著，融合后圖像中每個像元既反映光譜信息，又包含距離觀測點的距離信息，該技術在探測、圖像重建和計算機視覺等領域均可以得到應用[16]。本文利用激光成像雷達獲取數據，給出了主被動光學圖像融合方法，實現了激光圖像和光學圖像的三維融合， 融合后的圖像具有豐富的光譜和三維立體信息，在未來三維城市、立體測繪等領域有著廣泛的前景。

參考文獻：

[1]張健，張雷，曾飛，等.機載激光3D探測成像系統(tǒng)的發(fā)展現狀[J].中國光學，2011，4(3):214-217.

ZHANG J,ZHANG L,ZENG F,etal.. Development status of airborne 3D imaging lidar systems[J].ChineseOptics,2011，4(3):214-217.(in Chinese)

[2]戴永江.激光雷達技術[M].北京：電子工業(yè)出版社,2010:11-13，178.

DAI Y J.LaserTechnology[M]. Beijing:Electronic Industry Press,2010:11-13，178.(in Chinese)

[3]李清泉，李必軍，陳靜.激光雷達測量技術及其應用研究[J].武漢測繪科技大學學報,2000,25(5):387-391.

LI Q Q,LI B J,CHEN J. Lidar Measurement and its Applications[J].J.WuhanTechnicalUniversityofSurveyingandMapping,2000,25(5):387-391.(in Chinese)

[4]趙銘軍，張曉鵬，周勝利，等.空間激光遙感技術研究[J].激光與紅外,2009，39(1)：21-23.

ZHAO M J,ZHANG X P,ZHOU SH L,etal.. Study on the space-borne laser remote sensing technology[J].Laser&Infrared,2009，39(1)：21-23.(in Chinese)

[5]張清源，李麗，李全熙,等.直升機防撞激光雷達綜合信息處理系統(tǒng)[J].中國光學，2013，6(1):80-87.

ZHANG Q Y,LI L,L Q X,etal.. Comprehensive information processing system for helicopter anti-collision Laser radar[J].ChineseOptics,2013，6(1):80-87.(in Chinese)

[6]劉曉艷,林琿，張宏.虛擬城市建設原理與方法[M].北京：科學出版社,2003:261-264.

LIU X Y,LIN H,ZHANG H.ConstructionPrinciplesandMethodsforVirtualCity[M]. Beijing:Science Press,2003:261-264.(in Chinese)

[7]屈恒闊，張清源，阮友田.掃描成像跟蹤激光雷達[J].中國光學，2012，5(3):242-247.

QU H K,ZHANG Q Y,RUAN Y T. Laser radar based on scanning image tracking[J].ChineseOptics,2012，5(3):242-247.(in Chinese)

[8]李磊，嚴潔，阮友田.車載激光測繪系統(tǒng)的標定[J].中國光學，2013，6(3):353-358.

LI L,YAN J,RUAN Y T. Calibration of vehicular laser mapping system[J].ChineseOptics,2013，6(3):353-358.(in Chinese)

[9]何東健，耿楠，張義寬.數字圖像處理[M].西安：西安電子科技大學出版社,2008:61-65，298.

HE D J,GEN N，ZHANG Y K.DigitalImageProcessing[M]. Xi′an:Press of Xidian University,2008:61-65，298.in Chinese)

[10]彭溯，王騫.應用徑向基函數去除數字圖像中的椒鹽噪聲[J].光學與光電技術,2012，10(6):86-89.

PENG S，WANG Q. Removing salt and pepper noises in digital images using radial basis functions[J].Optics&OptoelectronicTechnology,2012，10(6):86-89.(in Chinese)

[11]孫愛平，皮冬明，安長亮，等.光機裝校階段紅外與可見光圖像配準技術研究[J].紅外技術，2013，35(1):50-55.

SUN A P; PI D M,AN C L,etal.. Study on IR/Visible Image Registration for Lens Assembly[J].InfraredTechnology,2013，35(1):50-55.(in Chinese)

[12]梁洪有，余濤，顧行發(fā).基于MATLAB圖像處理工具箱IPT函數的遙感圖像配準[J].測繪與空間地理信息，2008，31(5)：8-11.

LIANG H Y,YU T,GU X F. Remote sensing image registration based on the IPT function of MATLAB[J].Geomatics&SpatialInformationTechnology,2008，31(5):8-11.(in Chinese)

[13]楊健，李若楠，黃晨陽,等.基于局部顯著邊緣特征的快速圖像配準算法[J].計算機應用,2014，34(1):149-153.

YANG J,LI R N,HUANG CH Y,etal.. Fast image registration algorithm based on local salient edges[J].J.ComputerApplications,2014，34(1):149-153.(in Chinese)

[14]金星,馬艷華,舒嶸.遙感圖像的圖像配準方法[J].紅外，2004(9)：23-24.

JIN X,MA Y H,SHU R. Image registration methods of remote sensing image[J].Infrared,2004(9):23-24.in Chinese)

[15]張毅，柏連發(fā)，陳錢,等.基于像素空間相關度的微光雙譜圖像實時配準[J].南京理工大學學報，2009，33(4)：506-510.

ZHANG Y,BO L F,CHEN Q,etal.. Dual-band low level light image real-time registration based on pixel spatial correlation degree[J].J.NanjingUniversityofScienceandTechnology(Natural Science),2009,33(4)：506-510.(in Chinese)

[16]王安宙，張智杰，余徽，等.基于亮度對比度傳遞紅外與可見光圖像融合方法研究[J].光學與光電技術，2013，11(6)：7-10.

WANG A ZH,ZHANG ZH J,YU H,etal.. Research on the image fusion algorithm based on brightness-contrast transfer[J].Optics&OptoelectronicTechnology,2013,11(6)：7-10.(in Chinese)

嚴　潔(1973—)，女，河南信陽人，碩士，高級工程師，1997年于杭州電子科技大學獲得學士學位，2006年于西安電子科技大學獲得碩士學位，主要從事激光測量、激光雷達、圖像處理等方面的研究。E-mail:1916757427@qq.com

阮友田(1973—)，男，湖北孝感人，本科，高級工程師，2002年于長春理工大學獲得學士學位，主要從事激光測量、激光雷達、圖像處理等方面的研發(fā)工作。E-mail:nbaibai@sohu.com

薛珮瑤( 1982—)女，陜西大荔人，碩士，工程師，2008年于長春理工大學獲得碩士學位，主要從事光學設計及光學應用技術研究。E-mail:64558394@qq.com

《光學 精密工程》(月刊)

● 中國光學開拓者之一王大珩院士親自創(chuàng)辦的新中國歷史最悠久的光學期刊

● 現任主編為國家級有突出貢獻的青年科學家曹健林博士

● Benjamin J Eggleton, John Love等國際著名光學專家為本刊國際編委

《光學 精密工程》主要欄目有現代應用光學(空間光學、纖維光學、信息光學、薄膜光學、光電技術及器件、光學工藝及設備、光電跟蹤與測量、激光技術及設備)；微納技術與精密機械(納米光學、精密機械)；信息科學(圖像處理、計算機應用與軟件工程)等。

? 美國工程索引EI核心期刊

? 中國出版政府獎期刊提名獎

? 中國精品科技期刊

? 中文核心期刊

? 百種中國杰出學術期刊

? 中國最具國際影響力學術期刊

主管單位：中國科學院

主辦單位：中國科學院長春光學精密機械與物理研究所

中國儀器儀表學會

地址：長春市東南湖大路3888號郵編：130033

電話：0431-86176855傳真：0431-84613409

電郵：gxjmgc@sina.com網址：http://www.eope.net

定價：100.00元/冊

Active and passive optical image fusion technology

YAN Jie*, RUAN You-tian, XUE Pei-yao

(The27thResearchInstituteofChinaElectronicsTechnology

GroupCorporation,Zhengzhou450047,China)

Abstract:In this paper, we use scanning laser imaging radar to acquire test data and achieve three-dimensional imaging process to laser data, giving data fusion method based on target features between laser radar image and passive optical image, and realizing three-dimensional fusion between laser image and optical image. The test results show that the fusion method of different image qualities based on target features proposed in this paper is feasible. The fused image has both rich spectral and three-dimensional informations.

Key words:laser imaging radar;image registration;data fusion;stereo mapping

作者簡介：

*Corresponding author, E-mail:1916757427@qq.com

中圖分類號：TP751

文獻標識碼:A

doi:10.3788/CO.20150803.0378

文章編號2095-1531(2015)03-0378-08

收稿日期:2014-12-19；

修訂日期:2015-02-15