張飛飛，彭 雷，袁 韜

（1.中國(guó)航空無(wú)線電電子研究所,上海 200233；2.中國(guó)人民解放軍92697 部隊(duì),河北 唐山 063000）

引言

單光子探測(cè)技術(shù)是一種新型的光電探測(cè)技術(shù)，具有靈敏度高、成像精度高、作用距離遠(yuǎn)、體積功耗小等優(yōu)點(diǎn)，主要應(yīng)用于激光雷達(dá)等主動(dòng)三維成像系統(tǒng)，通過(guò)二維掃描可實(shí)現(xiàn)對(duì)目標(biāo)表面三維成像探測(cè)，在無(wú)人駕駛輔助導(dǎo)航、對(duì)地測(cè)繪、遠(yuǎn)距離目標(biāo)成像等領(lǐng)域獲得了廣泛的應(yīng)用[1]?；谝陨霞夹g(shù)優(yōu)勢(shì)，將單光子探測(cè)獲取到的三維點(diǎn)云數(shù)據(jù)同傳統(tǒng)光電系統(tǒng)中的可見光、紅外圖像進(jìn)行融合處理，能夠在二維灰度圖像上增加目標(biāo)的距離、深度、位置等信息，有效提升了成像系統(tǒng)對(duì)于目標(biāo)的探測(cè)識(shí)別能力[2-5]。本文主要針對(duì)以上兩種數(shù)據(jù)的不同特征，提出了一種面向單光子探測(cè)成像系統(tǒng)的主被動(dòng)圖像融合處理算法，實(shí)現(xiàn)了單光子三維點(diǎn)云和可見光圖像的融合處理。

1 單光子探測(cè)三維點(diǎn)云與二維圖像融合處理原理

1.1 系統(tǒng)融合處理流程

單光子探測(cè)成像系統(tǒng)主要由單光子探測(cè)激光雷達(dá)、可見光相機(jī)兩個(gè)傳感器組成，分別獲取目標(biāo)場(chǎng)景的三維點(diǎn)云數(shù)據(jù)和可見光圖像，通過(guò)融合處理可實(shí)現(xiàn)激光主動(dòng)探測(cè)和可見光被動(dòng)探測(cè)數(shù)據(jù)的疊加顯示。系統(tǒng)融合處理流程如圖1所示，融合處理的輸入數(shù)據(jù)分別為單光子探測(cè)三維點(diǎn)云數(shù)據(jù)以及可見光相機(jī)圖像，進(jìn)行融合處理的主要流程[6-7]如下：

圖1 單光子探測(cè)三維點(diǎn)云數(shù)據(jù)與可見光相機(jī)圖像融合處理流程Fig.1 Fusion processing of single-photon detection for 3D point cloud data and visible camera image

1）對(duì)三維點(diǎn)云和二維圖像分別進(jìn)行預(yù)處理，提取相應(yīng)的特征點(diǎn)。對(duì)于論文中采用的單光子探測(cè)系統(tǒng)，由于靈敏度極高，獲取的點(diǎn)云數(shù)據(jù)中包含了大量的單光子噪聲，需要采用相應(yīng)的距離相關(guān)檢測(cè)和泊松濾波算法將無(wú)效的噪聲信號(hào)進(jìn)行濾除，實(shí)現(xiàn)真實(shí)目標(biāo)三維信息的提取[8-9]。

2）三維坐標(biāo)系與二維坐標(biāo)系下的特征點(diǎn)匹配處理與轉(zhuǎn)換參數(shù)求解。將所提取的同名特征點(diǎn)進(jìn)行坐標(biāo)匹配，帶入融合算法模型中，求解融合的坐標(biāo)系轉(zhuǎn)換參數(shù)。

3）三維點(diǎn)云與二維影像融合處理。將二維圖像中的每一個(gè)像素轉(zhuǎn)換為三維坐標(biāo)系下，將其強(qiáng)度信息疊加至相應(yīng)的三維點(diǎn)云數(shù)據(jù)上。

4）完成融合處理，輸出疊加可見光灰度信息的三維融合影像數(shù)據(jù)。

1.2 融合處理算法原理

單光子探測(cè)成像系統(tǒng)融合處理算法的基本原理如圖2所示，即：將像空間坐標(biāo)系下的灰度圖像轉(zhuǎn)換到物空間，進(jìn)而同經(jīng)過(guò)預(yù)處理的三維點(diǎn)云信息疊加處理，在物空間坐標(biāo)系下生成疊加灰度圖像紋理的三維模型。在投影變換過(guò)程中，主要利用了直接線性變換方法，基于像點(diǎn)像平面坐標(biāo)和相應(yīng)物點(diǎn)物方空間坐標(biāo)之間的直接線性關(guān)系，對(duì)單張影像與3D 模型進(jìn)行配準(zhǔn)并進(jìn)行計(jì)算[10-12]。

圖2 融合處理算法的基本原理Fig.2 Principle of fusion processing algorithm

單光子探測(cè)成像系統(tǒng)中，可見光相機(jī)的影像在像空間坐標(biāo)系下，單光子探測(cè)得到的三維點(diǎn)云數(shù)據(jù)在物空間坐標(biāo)系下。在成像過(guò)程中，2 個(gè)不同空間的對(duì)應(yīng)像素點(diǎn)遵循共線方程[13-16]：

其中：(x,y)是可見光相機(jī)各個(gè)像元在像方坐標(biāo)系下的坐標(biāo)；(x0,y0)是可見光相機(jī)的像主點(diǎn)坐標(biāo)；f是可見光相機(jī)的焦距；(X,Y,Z)是三維點(diǎn)云數(shù)據(jù)的坐標(biāo)；(XS,YS,ZS)是可見光相機(jī)攝影中心在物空間坐標(biāo)系下的坐標(biāo)；是空間變化旋轉(zhuǎn)矩陣中的方向余弦。

對(duì)（1）式進(jìn)行直接線性變換，可以得到可見光相機(jī)二維影像和物空間對(duì)應(yīng)像點(diǎn)坐標(biāo)轉(zhuǎn)換的基本公式：

考慮到影像畸變等非線性因素，可將像點(diǎn)坐標(biāo)表達(dá)為（3）式：

當(dāng)有n個(gè)觀測(cè)值時(shí)，對(duì)（2）式同乘分母，并將其線性展開得觀測(cè)方程（4）式：

根據(jù)（4）式中的直接線性變換模型，整個(gè)系統(tǒng)在進(jìn)行投影變換的過(guò)程中，一共有11 個(gè)位置參數(shù)需要解算，這11 個(gè)參數(shù)中，包含了成像系統(tǒng)的3 個(gè)內(nèi)方位元素、6 個(gè)外方位元素、1 個(gè)坐標(biāo)軸不正交系數(shù)、1 個(gè)坐標(biāo)軸比例不一系數(shù)。因此，在成像系統(tǒng)中將11 個(gè)位置參數(shù)求解出來(lái)，即可以完整描述該系統(tǒng)的二維影像和三維點(diǎn)云的投影疊加關(guān)系。本文中，采用了間接平差法，選取多組特征點(diǎn)，設(shè)置迭代閾值ε，通過(guò)數(shù)值迭代解算求解系統(tǒng)的變換參數(shù)矩陣L。系統(tǒng)的誤差方程和法方程為

式中：

1.3 融合處理軟件方案設(shè)計(jì)

為了對(duì)單光子探測(cè)成像系統(tǒng)獲取的三維點(diǎn)云數(shù)據(jù)進(jìn)行解算，并將其同可見光相機(jī)獲取的相應(yīng)視場(chǎng)范圍內(nèi)的二維圖像進(jìn)行融合處理，生成疊加三維信息的融合圖像，論文基于直接線性變換原理設(shè)計(jì)了融合處理軟件。在獲取單光子探測(cè)成像系統(tǒng)的二維圖像和三維點(diǎn)云后，將選擇的同名特征點(diǎn)采用最小二乘的方法計(jì)算二維圖像與三維點(diǎn)云間的變換參數(shù)，然后根據(jù)計(jì)算出的轉(zhuǎn)換參數(shù)將相應(yīng)視場(chǎng)范圍內(nèi)的三維點(diǎn)云進(jìn)行賦色。融合處理軟件的總體方案如圖3所示。

圖3 融合處理軟件總體方案Fig.3 Overall scheme of fusion processing software

2 融合成像實(shí)驗(yàn)驗(yàn)證

2.1 單光子探測(cè)成像系統(tǒng)

單光子探測(cè)成像系統(tǒng)的構(gòu)成如圖4所示，分為單光子探測(cè)激光雷達(dá)、可見光相機(jī)2 個(gè)獨(dú)立的工作模塊，可實(shí)現(xiàn)單光子三維成像探測(cè)，并對(duì)二維被動(dòng)圖像數(shù)據(jù)進(jìn)行融合處理。系統(tǒng)采用了高靈敏度單光子探測(cè)器，由于探測(cè)靈敏度的提高，系統(tǒng)對(duì)于望遠(yuǎn)鏡口徑、激光功率等要求不高，使得遠(yuǎn)距離多元并行探測(cè)成為可能，這一方面充分利用了單光子探測(cè)體制的技術(shù)優(yōu)勢(shì)，另一方面提高了成像速度和目標(biāo)表面的數(shù)據(jù)采樣率。單光子探測(cè)激光雷達(dá)的激光脈沖重復(fù)頻率10 kHz，單脈沖能量1 μJ，脈寬400 ps，激光束散角100 μrad，激光發(fā)射時(shí)將激光波束排成線列，對(duì)應(yīng)焦面上的9 元陣列探測(cè)器，通過(guò)記錄激光的發(fā)射時(shí)間與回波接收時(shí)間，實(shí)現(xiàn)針對(duì)目標(biāo)的距離測(cè)量，最終反演出目標(biāo)的表面三維形貌。單光子探測(cè)激光雷達(dá)收發(fā)共用一個(gè)直徑30 mm 的望遠(yuǎn)鏡，利用二維掃描鏡作為掃描機(jī)構(gòu)，實(shí)現(xiàn)23.5°×17.7°的掃描視場(chǎng)，系統(tǒng)成像的角分辨率0.4 mrad，測(cè)距精度優(yōu)于0.07 m?？梢姽庀鄼C(jī)采用高靈敏度的CMOS 傳感器，工作在可見光波段，成像視場(chǎng)20°×15°，分辨率1 024×768 像素，幀率25 Hz，通過(guò)安裝接口配準(zhǔn)安裝在單光子探測(cè)激光雷達(dá)上部。

圖4 單光子探測(cè)成像系統(tǒng)組成結(jié)構(gòu)Fig.4 Structure of single-photon detection imaging system

2.2 融合處理變換參數(shù)的確定

為驗(yàn)證融合處理方法的合理性，論文利用單光子探測(cè)成像系統(tǒng)對(duì)目標(biāo)進(jìn)行了成像探測(cè)，對(duì)獲取到的單光子探測(cè)三維點(diǎn)云和可見光二維圖像進(jìn)行處理驗(yàn)證。在數(shù)據(jù)處理過(guò)程中，同名特征點(diǎn)的選取采用人工標(biāo)定方式，由于成像系統(tǒng)的視場(chǎng)較大，可選取單光子探測(cè)三維點(diǎn)云數(shù)據(jù)和可見光二維圖像數(shù)據(jù)中樓宇的顯著邊界點(diǎn)，選取的特征點(diǎn)坐標(biāo)如表1所示。經(jīng)過(guò)平差迭代后，解算完成的直接線性變換參數(shù)如表2所示。

表1 選取的同名特征點(diǎn)坐標(biāo)Table 1 Coordinates of selected homonymous feature points

表2 融合處理的直接線性變換參數(shù)解算結(jié)果Table 2 Calculated results of direct linear transformation parameters by fusion processing

2.3 融合處理結(jié)果

在確定融合處理變換參數(shù)后，利用融合處理軟件對(duì)整個(gè)場(chǎng)景的三維點(diǎn)云、二維圖像進(jìn)行坐標(biāo)變換處理，將所有數(shù)據(jù)統(tǒng)一變換至三維點(diǎn)云坐標(biāo)系下，利用融合顯示模塊將二維灰度圖像疊加至三維數(shù)據(jù)上，輸出融合處理后的三維數(shù)據(jù)。圖5 是單光子探測(cè)成像系統(tǒng)獲取到的原始三維點(diǎn)云和可見光二維圖像，圖6 是經(jīng)過(guò)融合處理疊加灰度信息的三維數(shù)據(jù)。

圖5 原始三維點(diǎn)云與可見光二維圖像Fig.5 Original 3D point cloud and visible light 2D image

圖6 融合處理后疊加灰度信息的三維數(shù)據(jù)Fig.6 Three dimensional data with gray information after fusion processing

3 結(jié)論

本文分析了單光子探測(cè)成像系統(tǒng)的數(shù)據(jù)融合處理算法原理，設(shè)計(jì)了單光子探測(cè)三維點(diǎn)云和二維圖像融合處理軟件，采用直接線性變換、最小二乘間接平差方法確定了二維圖像到三維空間的映射變換參數(shù)，從而將二維圖像整體轉(zhuǎn)換到三維點(diǎn)云空間，實(shí)現(xiàn)融合疊加處理和顯示。利用系統(tǒng)獲取的數(shù)據(jù)進(jìn)行處理分析，實(shí)驗(yàn)結(jié)果表明，本文提出的融合處理算法能夠有效實(shí)現(xiàn)三維點(diǎn)云和二維圖像的融合處理，生成了具有目標(biāo)灰度圖像信息的三維模型。