摘 "要： 蓋革模式陣列APD激光雷達由于像元數(shù)的限制導致重構的三維距離像分辨率低，嚴重限制了對場景信息的感知識別能力。為此，提出一種基于改進圖像引導的蓋革模式陣列APD激光雷達超分辨三維圖像重構算法。主要研究基于配準后的蓋革APD低分辨距離圖像、增強電荷耦合器件（ICCD）相機高分辨強度圖像和馬爾科夫隨機場模型，建立具有距離保真項和正則化項約束的全局能量函數(shù)，最終對優(yōu)化模型的最優(yōu)化求解實現(xiàn)高分辨強度圖像對低分辨距離圖像的超分辨引導重構。實驗結果表明，相較于現(xiàn)有算法，文中算法在提升重構三維圖像分辨率的同時，也使圖像的邊緣更加銳利。該研究對于蓋革模式陣列APD激光雷達的目標探測、識別和跟蹤具有重要意義。

關鍵詞： 蓋革APD激光雷達； 三維距離像； ICCD成像； 引導成像； 超分辨重構； 馬爾科夫隨機場模型

中圖分類號： TN958.98?34 " " " " " " " " " " " " "文獻標識碼： A " " " " " " " " " " "文章編號： 1004?373X（2024）15?0008?06

Research on 3D reconstruction method for Geiger?mode APD

laser radar with high spatial resolution

JIN Changjiang1， 2， DONG Guangyan1， 3， LI Zhongwang1， FENG Qian1， SUN Jianfeng4， SONG Qianqian1

（1. The 27th Research Institute of CETC， Zhengzhou 450047， China; 2. School of Optoelectronic Engineering， Xidian University， Xi’an 710071， China;

3. Songshan Laboratory， Zhengzhou 450047， China; 4. National Key Laboratory of Laser Spatial Information， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Due to the limitation of pixel number of Geiger?mode avalanche photodiode （Gm?APD） array laser radar， the resolution of reconstructed 3D range image is low， which seriously limits its perception and recognition ability of scene information. In view of the above， a Gm?APD array laser radar superresolution 3D image reconstruction algorithm based on improved image guidance is proposed. The research is mainly based on the registered Gm?APD low?resolution range image， high?resolution intensity image by intensified charge?coupled device （ICCD） camera and Markov random field （MRF） model. The global energy function with the range fidelity term and regularization term constraints is established. Finally， the optimal solution of the optimized model is carried out to achieve the super?resolution guided reconstruction of high?resolution intensity image to low?resolution range image. The experimental results show that the proposed algorithm can improve the resolution of the reconstructed 3D image， and ensure sharper edges of the image in comparison with the existing algorithms. This research is of great significance for object detection， recognition and tracking of Gm?APD array laser radar.

Keywords： Gm?APD laser radar; 3D range image; ICCD imaging; guided imaging; super?resolution reconstruction; MRF model

0 "引 "言

近年來，隨著光學成像技術的飛速發(fā)展，對場景的多維度信息感知已成為國際研究熱點。除被動相機成像[1?2]、偏振成像[3?4]、多光譜成像[5?6]等技術外，三維成像技術由于能實現(xiàn)對場景距離信息的感知，已成為光學成像領域的重要發(fā)展方向。目前，三維成像技術主要有立體結構光成像、深度成像相機和激光雷達等[7]。激光雷達三維成像技術由于具備輕小型化設計、距離分辨率高、抗干擾能力強等優(yōu)點[8]，已成為目標檢測、跟蹤、識別等方面的重要技術途徑[9?10]。

蓋革模式APD激光雷達由于具有單個光子的探測能力，基于探測器記錄的光子飛行時間計算出每個像元的目標距離值，可獲得目標三維距離像。文獻[11]提出利用Gm?APD單光子激光雷達實現(xiàn)首光子成像，單光子激光雷達已成為許多需要遠距離三維成像應用的研究熱點，Gm?APD激光雷達對于遠距離目標、微弱回波信號的探測更具有優(yōu)勢[12?15]。目前，美國MIT已實現(xiàn)了256×256像素陣列Gm?APD激光雷達系統(tǒng)的研制[16]，國內成熟的陣列Gm?APD激光雷達研究成果主要以64×64像元為代表[17?19]。有限的像元數(shù)依然是目前陣列Gm?APD激光雷達三維成像面臨的技術瓶頸。為感知高空間分辨率的三維距離圖像，需要增加三維成像結果的像元數(shù)，通過增加Gm?APD激光雷達探測陣列的像元個數(shù)，面臨技術難度大、成本高等問題。因此，亟需找到新的技術途徑來提升陣列Gm?APD激光雷達三維成像的空間分辨率。

基于Gm?APD和增強電荷耦合器件（ICCD）復合的雙波長激光成像技術，可通過多傳感器信息的融合感知，提升Gm?APD激光雷達距離圖像的空間分辨率。該技術的核心思想是利用高分辨率傳感器采集的強度像作為先驗知識，對低分辨距離像引導重構實現(xiàn)超分辨三維重構成像[20]。目前，國際上對于圖像引導算法的研究包括聯(lián)合局部線性濾波算法[21?22]和全局能量優(yōu)化算法[23?26]，這些研究中還存在區(qū)域相似度引導參數(shù)不可控和圖像的邊緣產生模糊等問題。

針對以上問題，本文在原有模型的基礎上提出基于高斯核函數(shù)的可控引導項和標準差自適應化函數(shù)，解決區(qū)域相似度引導不可控的問題。采用四步優(yōu)化算法：高斯核函數(shù)標準差自適應化、局部感知模型、分區(qū)域插值引導和超像素分割邊緣懲罰引導，解決重構圖像邊緣模糊的問題。利用Gm?APD和ICCD復合的雙波長激光成像雷達對同一場景進行成像，通過圖像預處理、圖像配準和圖像引導，實現(xiàn)三維距離圖像的超分辨重構，基于Middleburg仿真數(shù)據集和室外成像實驗數(shù)據開展算法驗證工作。

1 "成像系統(tǒng)及算法原理

1.1 "成像系統(tǒng)

蓋革模式APD和ICCD復合的雙波長激光成像雷達工作原理如圖1所示，核心器件包括480×640像素的ICCD相機和64×64像素的Gm?APD探測器。雙波長激光發(fā)射脈沖激光照射目標，光學接收系統(tǒng)可同時接收1 064 nm和532 nm的激光回波信號，通過分光棱鏡實現(xiàn)激光分束。Gm?APD探測器接收并記錄回波光子的飛行時間信息和強度信息，通過上位機信息處理得到的目標是三維距離像，ICCD相機記錄目標的回波強度并輸出強度圖像。

在上位機系統(tǒng)上分別對采集的Gm?APD激光雷達回波數(shù)據及ICCD強度數(shù)據進行數(shù)據采集、存儲和預處理工作，利用本文提出的圖像引導重構模型和優(yōu)化算法，完成激光距離圖像的超分辨重構。其中圖像處理主要分為以下三個步驟。

1） 圖像預處理。對接收的Gm?APD激光雷達數(shù)據進行噪聲抑制、微弱回波信號提取和三維距離像的重構，對ICCD強度圖像進行噪聲抑制和圖像增強。

2） 多傳感器圖像配準。針對兩個成像系統(tǒng)像元素不一致的問題，開展低空間分辨距離圖像和高空間分辨強度圖像的圖像配準，使多傳感器圖像滿足同一視場成像的要求。

3） 圖像引導。基于配準后圖像和本文提出的圖像引導算法，利用ICCD相機高分辨強度圖像對蓋革模式陣列APD低分辨距離圖像進行超分辨圖像引導處理。

1.2 "圖像引導算法

超分辨重構是一個求解馬爾可夫隨機場優(yōu)化模型的問題，求解的核心是在高分辨強度像和低分辨距離像的約束下，求解得到使馬爾可夫隨機場后驗概率最大化時對應的重建距離值[20]。后驗概率的約束項由距離保真項[Pd]和正則化項[Pr]組成，重建圖像的表達式如下：

[Pyx，z=1Eexp-12（Pd+λPr）] （1）

式中：[z]為強度值；[x]為距離值；[E]為歸一化因子；[λ]是正則化項的權重。[y]的計算表達式如下：

[y=argminyPd+λPr] （2）

能量優(yōu)化方程由距離保真項[Ed（D）]和正則化項[Er（D）]組成，其定義如下：

[E（D）=Ed（D）+λEr（D）] （3）

為了在重建的三維距離圖像中得到圖像的紋理細節(jié)和邊緣信息，本文提出的模型在[Ed（D）]和[Er（D）]中建立了基于局部內容感知的范數(shù)模型，表達式如下：

[Ed（D）=p∈MD（p）-G（p）α] （4）

[Er（D）=pq∈N（p）wpqWpD（p）-D（q）α] （5）

[α=2， s（p）=s（q）， ?q∈N（p）1， s（p）≠s（q）， ?q∈N（p）] " （6）

[ Wp=qwpq] （7）

[ wpq=wc?wg?wn?ws] （8）

式中[D]為重構的距離圖像。

[wc]是圖像的色彩相似度權重，表達式如下：

[wc=exp-I（p）-I（q）22σ2c] （9）

式中[I]為圖像強度。

[ wg]是圖像距離相似度權重，表達式如下：

[ wg=exp-Dg（p）-Dg（q）22σ2g] （10）

式中[Dg]是分區(qū)域插值引導時引入的參數(shù)模型，其表達式如下：

[Dg（p，q） =Ds（p，q） ， s（p）=s（q）， ?q∈N（p）Dz（p，q） ， s（p）≠s（q）， ?q∈N（p）] "（11）

式中[Ds]和[Dz]是通過插值獲得的距離圖像。

本文提出的優(yōu)化模型考慮了高斯核函數(shù)的標準差[σn]，因此，區(qū)域相似度引導項[wn]的表達式如下：

[wn=m∈Ω（p）h（m）exp-（Dg（p+m）-Dg（q+m））2σ2n2] （12）

[ws]是超像素分割邊緣懲罰引導項，表達式如下：

[ws=1， s（p）=s（q）tp， s（p）≠s（q）] （13）

為實現(xiàn)對高斯核函數(shù)標準差的動態(tài)自適應調節(jié)，本文提出算法在[wc]、[wg]和[wn]中有以下優(yōu)化：

[σc=lc1-Sc-min（Sc）max（Sc）-min（Sc）] "（14）

[Sc=1np-1q∈N（p）μc（p）-I（q）2] " （15）

[μc（p）=1npq∈N（p）I（q）] （16）

[σg=lg1-Sg-min（Sg）max（Sg）-min（Sg）] "（17）

[Sg=1np-1q∈N（p）μg（p）-Dg（q）2] "（18）

[μg（p）=1npq∈N（p）Dg（q）] "（19）

[σn=ln1-Sn-min（Sn）max（Sn）-min（Sn）] （20）

[Sn=1np-1q∈N（p）μg（p）-m∈Ω（q）h（m）Dg（q+m）2] "（21）

[μn（p）=1npq∈N（p）m∈Ω（q）h（m）Dg（q+m）] （22）

2 "仿真數(shù)據驗證

為檢驗提出算法的三維距離像超分辨重構能力，本文使用仿真數(shù)據集Middleburg開展仿真實驗驗證。為獲取低分辨的距離圖像，本文使用不同放大因子對原始距離圖像進行下采樣處理，分別得到×2、×4、×8、×16放大倍率的圖像。同時，采用五種傳統(tǒng)算法，如雙三次插值算法、TGV算法等，分別對×2、×4、×8、×16放大倍率的圖像進行超分辨重構?！?放大倍數(shù)下的三維距離像重構圖像如圖2所示。重構結果表明，相較于其他五種算法，本文算法重構三維圖像的清晰度更高，圖像能夠較好地重構原始圖像的邊緣等細節(jié)信息。

本文采用均方根誤差（RMSE）[27]和結構相似度（SSIM）[28]對不同算法的重構圖像進行評價，六種算法在不同采樣條件下的重構結果指標情況如表1所示。

由表1可知，隨著放大倍數(shù)的增加，不同算法重構圖像的RMSE值不斷增加，SSIM值不斷減小。當放大倍數(shù)為2時，本文算法的RMSE較大，SSIM值較小，超分辨重構能力相對較弱；當放大倍數(shù)為8時，本文算法的RMSE最小，SSIM值最大，超分辨重構能力逐漸增大；當放大倍數(shù)為16時，本文算法的RMSE最小，SSIM值最大，RMSE最大減小了42.3%，SSIM最高提升了6.7%。

結果表明，本文算法在高放大倍數(shù)下具有較強的超分辨三維重構能力。

3 "外場實驗驗證

為驗證本文算法在真實探測場景中的超分辨三維重構能力，開展了基于雙波長激光復合成像系統(tǒng)的室外場景探測實驗。利用Gm?APD和ICCD復合的雙波長激光成像雷達采集獲取場景的距離圖像和強度圖像，成像結果如圖3a）和圖3b）所示。

由于雙波長激光復合成像系統(tǒng)的視場和像素大小不同，需要根據激光的成像視場和像素對ICCD強度圖像進行配準，配準后的ICCD相機圖像像素為328×366。利用仿真數(shù)據中采用的五種對比算法和本文算法對配準后激光距離像和ICCD強度像進行重構，重構結果如圖4所示。

由視覺感知可知，對于場景中框內的欄桿，只有標準圖像引導算法和本文算法可實現(xiàn)對場景中遠距離欄桿的三維距離圖像重構。但本文算法能較好地重構欄桿的實際輪廓信息，重構圖像中欄桿的邊緣更加銳利。

仿真和實驗結果表明，相較于傳統(tǒng)算法，本文算法在高分辨率強度圖像引導低分辨率距離圖像進行超分辨三維重構時的重構能力最佳，特別是對于空間分辨率較低的距離圖像，本文算法能夠顯著提升圖像引導三維成像超分辨重構的能力，重構圖像的輪廓信息更為完整，圖像邊緣銳利度更優(yōu)。

4 "結 "語

針對蓋革模式陣列APD激光雷達由于像元數(shù)的限制導致重構的三維距離像分辨率低的問題，本文提出一種基于改進圖像引導的蓋革模式陣列APD激光雷達低分辨距離圖像和ICCD相機高分辨強度圖像信息融合的高分辨三維圖像重構算法。仿真數(shù)據和真實數(shù)據驗證了算法的優(yōu)越能力，相較于傳統(tǒng)算法，本文算法在提升重構三維圖像分辨率的同時，重構圖像的邊緣銳利度更高。由于提出算法需要根據經驗實現(xiàn)模型參數(shù)的最優(yōu)化設置，目前還不具備自適應最優(yōu)化設置的能力，因此，參數(shù)的自主尋優(yōu)以及模型的進一步優(yōu)化將是后期重點研究的內容和方向。

參考文獻

[1] HSU W Y， CHEN Y S. Single image dehazing using wavelet?based haze?lines and denoising [J]. IEEE access， 2021， 9： 104547?104559.

[2] JU M Y， DING C， GUO Y J， et al. IDGCP： Image dehazing based on Gamma correction prior [J]. IEEE transactions on image processing， 2020， 29： 3104?3118.

[3] ZHANG J C， SHAO J B， LUO H B， et al. Learning a convolutional demosaicing network for microgrid polarimeter imagery [J]. Optics letters， 2018， 43（18）： 4534?4537.

[4] HU H F， ZHANG Y B， LI X B， et al. Polarimetric underwater image recovery via deep learning [J]. Optics and lasers in engineering， 2020， 133： 106152.

[5] CHEN B Y， SHI S， SUN J， et al. Using HSI color space to improve the multispectral lidar classification error caused by measurement geometry [J]. IEEE transactions on geoscience and remote sensing， 2021， 59（4）： 3567?3579.

[6] SUN J， SHI S， WANG L C， et al. Optimizing LUT?based inversion of leaf chlorophyll from hyperspectral lidar data： Role of cost functions and regulation strategies [J]. International journal of applied earth observation and geoinformation， 2021， 105： 102602.

[7] 劉斌，張軍，魯敏，等.激光雷達應用技術研究進展[J].激光與紅外，2015，45（2）：117?122.

[8] VO A V， LAEFER D F， BERTOLOTTO M. Airborne laser scanning data storage and indexing： State?of?the?art review [J]. International journal of remote sensing， 2016， 37（24）： 6187?6204.

[9] KOENIG K， H?FLE B. Full?waveform airborne laser scanning in vegetation studies： A review of point cloud and waveform features for tree species classification [J]. Forests， 2016， 7（9）： 198.

[10] 宋一鑠，杜小平，曾朝陽.國外空間目標激光三維成像雷達關鍵技術分析[J].裝備學院學報，2014，25（1）：55?60.

[11] KIRMANI A， VENKATRAMAN D， SHIN D， et al. First?photon imaging [J]. Science， 2014， 343（6166）： 58?61.

[12] LI Z P， YE J T， HUANG X， et al. Single?photon imaging over 200 km [J]. Optica， 2021， 8（3）： 344?349.

[13] JIANG P Y， LI Z P， YE W L， et al. Long range 3D imaging through atmospheric obscurants using array?based single?photon LiDAR [J]. Optics express， 2023， 31（10）： 16054?16066.

[14] ZHANG Y B， LI S N， SUN J F， et al. Three?dimensional single?photon imaging through realistic fog in an outdoor environment during the day [J]. Optics express， 2022， 30（19）： 34497?34509.

[15] ZHANG Y B， LI S N， SUN J F， et al. Noise?tolerant depth image estimation for array Gm?APD LiDAR through atmospheric obscurants [J]. Optics amp; laser technology， 2024， 175： 110706.

[16] AULL B F. Silicon Geiger?mode avalanche photodiode arrays for photon?starved imaging [C]// Advanced Photon Counting Techniques IX. [S.l.]： International Society for Optics and Photonics， 2015： 1?9.

[17] ZHANG Y B， LI S N， SUN J F， et al. Dual?parameter estimation algorithm for Gm?APD lidar depth imaging through smoke [J]. Measurement， 2022， 196： 111269.

[18] LIU D， SUN J F， GAO S， et al. Single?parameter estimation construction algorithm for Gm?APD ladar imaging through fog [J]. Optics communications， 2021， 482： 126558.

[19] ZHANG X， LI S N， SUN J F， et al. Target edge extraction for array single?photon lidar based on echo waveform characteristics [J]. Optics amp; laser technology， 2023， 167： 109736.

[20] 龔道然，李思寧，姜鵬，等.激光雷達三維距離像超分辨重構方法研究[J].紅外與激光工程，2020，49（8）：60?66.

[21] KOPF J， COHEN M F， LISCHINSKI D， et al. Joint bilateral upsampling [J]. ACM transactions on graphics， 2007， 26（3）： 96.

[22] HE K M， SUN J， TANG X O. Guided image filtering [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 35（6）： 1397?1409.

[23] DIEBEL J， THRUN S. An application of Markov random fields to range sensing [C]// Advances in Neural Information Processing Systems. New York： ACM， 2005： 291?298.

[24] PARK J， KIM H， TAI Y W， et al. High quality depth map upsampling for 3D?TOF cameras [C]// 2011 International Conference on Computer Vision. New York： IEEE， 2011： 1623?1630.

[25] FERSTL D， REINBACHER C， RANFTL R， et al. Image guided depth upsampling using anisotropic total generalized variation [C]// Proceedings of the IEEE International Conference on Computer Vision. New York： IEEE， 2013： 993?1000.

[26] LEI J Y， HAN S K， XIA W Z， et al. An image guided algorithm for range map super?resolution [C]// 2017 International Conference on Optical Instruments and Technology： Optoelectronic Imaging/Spectroscopy and Signal Processing Technology. [S.l.]： International Society for Optics and Photonics， 2018： 1062013.

[27] 蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學報，2013，39（8）：1202?1213.

[28] 蔣剛毅，黃大江，王旭，等.圖像質量評價方法研究進展[J].電子與信息學報，2010，32（1）：219?226.

作者簡介：金長江（1983—），男，河南鄭州人，博士，高級工程師，主要從事光電信息處理、激光測量等方面的研究。

董光焰（1978—），男，四川平昌人，博士，研究員，主要從事激光探測、激光雷達等方面的研究。

李忠旺（1981—），男，河南泌陽人，碩士，高級工程師，主要從事光電接收、處理等方面的研究。

馮 "謙（1987—），女，河南獲嘉人，碩士，高級工程師，主要從事信號與信息處理、圖像處理等方面的研究。

孫劍峰（1978—），男，黑龍江哈爾濱人，博士，教授，博士生導師，主要從事激光成像、激光雷達方面的研究。

宋欠欠（1997—），女，河南魯山人，碩士，工程師，主要從事光電信息處理等方面的研究。