孟凡星,張同意,康巖,薛瑞凱,王曉芳,李薇薇,李力飛
(1 中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所 瞬態(tài)光學(xué)與光子技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,西安 710119)
(2 中國(guó)科學(xué)院大學(xué),北京 100049)
主動(dòng)光學(xué)成像系統(tǒng)憑借自身的照明可在夜晚、水下、濃霧等低照度環(huán)境下實(shí)現(xiàn)目標(biāo)探測(cè),更重要的是其可獲得目標(biāo)的距離信息,譬如三維成像激光雷達(dá)。相比于被動(dòng)成像系統(tǒng)具有更強(qiáng)的魯棒性和全天時(shí)成像能力,廣泛應(yīng)用于遙感測(cè)繪、生物醫(yī)學(xué)成像、城市建模等領(lǐng)域[1-5]。光子計(jì)數(shù)激光雷達(dá)三維成像技術(shù)是一種新型主動(dòng)成像激光雷達(dá)技術(shù),具有單光子的探測(cè)靈敏度,與時(shí)間相關(guān)單光子計(jì)數(shù)(Time-correlated Single-photon Counting,TCSPC)技術(shù)結(jié)合能實(shí)現(xiàn)皮秒的高時(shí)間分辨率,從而進(jìn)行高距離分辨率三維成像[6-11]。時(shí)間相關(guān)單光子計(jì)數(shù)激光雷達(dá)的傳統(tǒng)工作方式是通過(guò)向目標(biāo)重復(fù)發(fā)射激光脈沖,探測(cè)每個(gè)激光脈沖反射回來(lái)的光子并進(jìn)行計(jì)數(shù)累積。當(dāng)目標(biāo)的每個(gè)像素點(diǎn)都累積成千上萬(wàn)回波光子后,可以抑制背景噪聲光子和探測(cè)器暗計(jì)數(shù)的不利影響,降低光子飛行時(shí)間抖動(dòng)帶來(lái)的距離不確定性,測(cè)距精度可達(dá)毫米甚至微米,從而獲得遠(yuǎn)距離目標(biāo)的高分辨三維圖像。但這種傳統(tǒng)的重復(fù)測(cè)量工作方式需要很長(zhǎng)的數(shù)據(jù)采集時(shí)間,限制了其在城市建模、動(dòng)態(tài)目標(biāo)遙感等的實(shí)際應(yīng)用。在沒(méi)有足夠長(zhǎng)的數(shù)據(jù)采集時(shí)間,只獲得極少回波光子數(shù)據(jù)的情況下,如何從低信噪比、極少回波光子的數(shù)據(jù)重建高精度三維圖像成為時(shí)間相關(guān)單光子計(jì)數(shù)激光雷達(dá)當(dāng)前亟待解決的問(wèn)題。
為解決上述問(wèn)題,2014 年,美國(guó)麻省理工學(xué)院的KIRMANI A 等[12]提出了首光子成像方法,該方法用激光脈沖逐像素照射目標(biāo),每個(gè)像素只記錄第一個(gè)光子計(jì)數(shù)事件,通過(guò)建立首光子的探測(cè)概率模型,利用每個(gè)像素探測(cè)到首個(gè)光子前系統(tǒng)所發(fā)射的激光脈沖個(gè)數(shù),以及所探測(cè)光子的飛行時(shí)間來(lái)重構(gòu)目標(biāo)反射率和距離圖像,并利用場(chǎng)景相鄰像素距離和反射率相近的空間相關(guān)性先驗(yàn)知識(shí)進(jìn)行圖像降噪與圖像平滑處理。首光子成像在每個(gè)像素僅僅檢測(cè)到一個(gè)光子的情況下實(shí)現(xiàn)了三維成像,相比于通常每個(gè)像素需要幾十、幾百甚至成千上萬(wàn)光子才能成清晰的圖像,光子的利用效率大大提升。但首光子成像方式每個(gè)像素所需的數(shù)據(jù)采集時(shí)間是不確定的且不同像素所需的時(shí)間也不相同,使得該成像算法無(wú)法直接應(yīng)用于采用陣列單光子探測(cè)器的系統(tǒng),因?yàn)閷?duì)于陣列探測(cè)器,所有像素的光子收集時(shí)間是相同的,但每個(gè)像素上的光子計(jì)數(shù)數(shù)目卻不同。2015 年SHIN D 等[13]通過(guò)修改首光子成像的探測(cè)模型,采用逐像素等時(shí)掃描工作方式,實(shí)現(xiàn)了平均每像素一個(gè)光子的高光子效率目標(biāo)三維重建,并在2016 年實(shí)現(xiàn)了基于陣列探測(cè)器的平均每像素一個(gè)光子的目標(biāo)三維重建[14]。但首光子三維成像及改進(jìn)的高光子效率三維成像都僅適用于信噪比不是太低的環(huán)境,在信噪比低于1 的情況下對(duì)噪聲的濾除效果不顯著,獲得的三維圖像質(zhì)量會(huì)較差。針對(duì)信噪比低于1 的工作情況,2017 年美國(guó)波士頓大學(xué)的RAPP J 等[15]提出利用噪聲光子到達(dá)時(shí)間的均勻性和信號(hào)光子到達(dá)時(shí)間的聚集性,通過(guò)逐像素自適應(yīng)設(shè)置局域門(mén)控的方法進(jìn)行信號(hào)光子和噪聲光子分離,并對(duì)空缺像素進(jìn)行鄰域像素均值填充,在信噪比低至0.04、平均每像素2 個(gè)信號(hào)光子的低信噪比少光子條件下重建了目標(biāo)場(chǎng)景的三維圖像。但該算法因?yàn)橐M(jìn)行逐像素自適應(yīng)局域時(shí)間窗計(jì)算,計(jì)算量非常大,圖像重構(gòu)時(shí)間太長(zhǎng),難以滿足快速成像的要求。
為了進(jìn)一步提高對(duì)低信噪比、極少量回波光子的場(chǎng)景重建效果和速度,提出一種基于全局多深度范圍選取的高光子效率重建算法。該方法首先選取場(chǎng)景信號(hào)的范圍,剔除信號(hào)范圍外的噪聲數(shù)據(jù)。相較于傳統(tǒng)的設(shè)置全局單一門(mén)控的方法,此過(guò)程可以更準(zhǔn)確地確定信號(hào)范圍,尤其適用于探測(cè)場(chǎng)景中存在多個(gè)不同深度目標(biāo)的情況;而傳統(tǒng)的全局單一門(mén)控對(duì)于多個(gè)不同深度目標(biāo)的情況必須把不同深度目標(biāo)全部包含進(jìn)來(lái),目標(biāo)之間距離間隔對(duì)應(yīng)的時(shí)間段內(nèi)的背景噪聲光子數(shù)據(jù)也會(huì)包含進(jìn)來(lái),不僅增加了噪聲帶來(lái)的距離估計(jì)精度降低,而且無(wú)效數(shù)據(jù)的擴(kuò)充會(huì)增加圖像重構(gòu)的計(jì)算時(shí)間。然后針對(duì)少量回波光子造成的像素空缺問(wèn)題,自適應(yīng)地進(jìn)行鄰域補(bǔ)充,相較于固定鄰域補(bǔ)充能更好地解決光子稀少的問(wèn)題。最后,使用總變分(Totalvariation,TV)正則化來(lái)去除信號(hào)范圍內(nèi)的殘余噪聲,進(jìn)一步改善圖像質(zhì)量。仿真和實(shí)驗(yàn)驗(yàn)證了所提算法可用于低信噪比、極少量回波光子環(huán)境下的三維圖像重建。
圖1 為單光子計(jì)數(shù)激光雷達(dá)的工作原理示意。激光器向目標(biāo)重復(fù)發(fā)射激光脈沖,從目標(biāo)表面返回的光子利用光電探測(cè)器探測(cè),TCSPC 模塊將探測(cè)周期等間隔劃分為若干個(gè)時(shí)間片(Time Bin)。根據(jù)返回光子到達(dá)時(shí)刻其統(tǒng)計(jì)到不同的時(shí)間片內(nèi),經(jīng)過(guò)一段重復(fù)探測(cè)時(shí)間后對(duì)時(shí)間片內(nèi)的光子個(gè)數(shù)進(jìn)行統(tǒng)計(jì),形成光子達(dá)到時(shí)間分布直方圖。通過(guò)解算算法從光子達(dá)到時(shí)間分布直方圖獲得光子的飛行時(shí)間,從而確定系統(tǒng)和目標(biāo)之間的距離。通過(guò)單點(diǎn)掃描或陣列探測(cè)方式對(duì)每個(gè)像素都這樣進(jìn)行大量回波光子累積,獲取每個(gè)像素的光子飛行時(shí)間分布直方圖[16-18],進(jìn)而得到場(chǎng)景每個(gè)像素的深度信息,完成場(chǎng)景三維重建。
圖1 單光子激光雷達(dá)成像系統(tǒng)示意Fig. 1 Schematic of a single-photon lidar imaging system
從光子達(dá)到時(shí)間分布直方圖獲得光子飛行時(shí)間的傳統(tǒng)解算方法是將光子到達(dá)時(shí)間直方圖與系統(tǒng)儀器響應(yīng)函數(shù)(Instrument Response Function,IRF)進(jìn)行互相關(guān)計(jì)算,也稱為匹配濾波算法[19]。但該算法只適用于背景噪聲光子較少且回波信號(hào)光子充分累積的情況,對(duì)于只收集到較少回波光子的情形無(wú)法精確重建場(chǎng)景的距離圖像。在極少量回波光子和低信噪比的情形下,單個(gè)像素典型的光子到達(dá)時(shí)間直方圖如圖2,只稀疏地在不同的時(shí)間片中存在幾個(gè)光子探測(cè)事件,且有可能這些光子探測(cè)事件并非目標(biāo)的回波光子,而是背景噪聲光子引起的。單個(gè)像素的光子到達(dá)直方圖信號(hào)聚集性和噪聲均勻性不夠明顯,在這種情況下逐像素進(jìn)行直方圖與IRF 的互相關(guān)計(jì)算會(huì)導(dǎo)致獲取的深度信息很不可靠,因而需要研究針對(duì)這種情況下的高光子效率圖像重構(gòu)算法。
圖2 極少回波光子情形下單個(gè)像素典型的光子到達(dá)時(shí)間直方圖Fig. 2 Typical histogram of photon arrival time of single pixel in the case of very few echo photons
為此提出一種基于全局多深度范圍選取的高光子效率重建算法。首先把所有像素的光子到達(dá)時(shí)間數(shù)據(jù)歸并在一起,依靠全部數(shù)據(jù)形成一個(gè)總的光子飛行時(shí)間直方圖;然后對(duì)總直方圖進(jìn)行信號(hào)全局距離范圍的選取,刪除各個(gè)像素點(diǎn)中距離范圍外的噪聲光子,并采用自適應(yīng)鄰域來(lái)補(bǔ)充空缺像素及光子較少像素的光子計(jì)數(shù);最后使用TV 正則化來(lái)平滑殘余噪聲形成目標(biāo)的距離和反射率圖像。整體算法流程如圖3。
圖3 整體算法流程Fig. 3 Flowchart of overall algorithm
接著結(jié)合一組低信噪比、不同量級(jí)回波光子的仿真數(shù)據(jù)[20]對(duì)所提算法進(jìn)行詳細(xì)說(shuō)明,重建效果及與SHIN D[13-14]和RAPP J[15]這兩種最新技術(shù)處理結(jié)果的對(duì)比分析在第2 節(jié)實(shí)驗(yàn)結(jié)果部分給出。
研究表明弱回波條件下目標(biāo)回波光子分布滿足泊松分布[21-23],用Pi,j(k)表示第(i,j)個(gè)像素中一個(gè)探測(cè)周期T內(nèi)回波光子數(shù)為k的概率,即
式中,λi,j為一個(gè)探測(cè)周期T內(nèi)探測(cè)器的平均響應(yīng)數(shù),表示為
式中,η為探測(cè)器的量子效率,αi,j為第(i,j)個(gè)像素的反射率,f(t)為儀器響應(yīng)函數(shù),Sν、Sd分別為像素(i,j)中環(huán)境光在光學(xué)操作頻率ν下引起的光通量和探測(cè)器暗計(jì)數(shù)引起的光通量。由于單光子探測(cè)器SPAD 存在死時(shí)間,對(duì)于反射回波脈沖多于一個(gè)光子的情況,SPAD 記錄到一個(gè)光子后,對(duì)后續(xù)到達(dá)的另外幾個(gè)光子會(huì)沒(méi)有記錄。在一個(gè)探測(cè)周期內(nèi),一個(gè)有效光電子探測(cè)和多個(gè)有效光電子探測(cè)都只能記錄一個(gè)脈沖事件,因此在一個(gè)探測(cè)周期內(nèi)記錄有光子觸發(fā)事件的概率表示為
這造成了光子的到達(dá)概率與光子的探測(cè)概率不一致。光子到達(dá)時(shí)間直方圖會(huì)向較早時(shí)刻偏移,形成所謂的堆積變形,影響距離估計(jì)的準(zhǔn)確度。為了避免探測(cè)器死時(shí)間的影響,TCSPC 通常設(shè)置成極低通量工作模式,經(jīng)驗(yàn)法則是使得每發(fā)射一個(gè)脈沖,記錄到光子探測(cè)事件的概率低于5%[18,24],即在一個(gè)探測(cè)周期內(nèi)檢測(cè)到一個(gè)光子的概率遠(yuǎn)小于1。因此很多脈沖周期內(nèi)實(shí)際上沒(méi)有回波光子,偶爾一個(gè)脈沖會(huì)探測(cè)到一個(gè)回波光子,而具有一個(gè)以上光子的概率幾乎為零,低到可以忽略。本文關(guān)注的極少量信號(hào)回波光子的應(yīng)用場(chǎng)景正是這種情況,故可不考慮探測(cè)器死時(shí)間對(duì)探測(cè)概率的影響,假定光子探測(cè)概率與光子到達(dá)概率都遵從式(1)的泊松分布。
噪聲光子具有均勻分布性,偏差較大的噪聲直接通過(guò)TV 正則化處理會(huì)使圖像過(guò)于平滑。因此,首先進(jìn)行全局多深度范圍選取,把目標(biāo)場(chǎng)景所占據(jù)的一段或幾段深度范圍選定出來(lái),把這些范圍之外所對(duì)應(yīng)的時(shí)間片中的光子計(jì)數(shù)數(shù)據(jù)刪除掉,可在后續(xù)處理過(guò)程中不被偏差較大的噪聲所影響。圖4 為深度范圍選取的流程,包括所有像素光子探測(cè)數(shù)據(jù)合并形成總直方圖,直方圖峰值搜索,潛在深度區(qū)間確定,深度區(qū)間審查,確定有效深度范圍五個(gè)步驟。
圖4 深度范圍選取的流程Fig. 4 Flowchart of depth range selection
步驟1:全局總直方圖形成。
如前所述,極少回波光子情形下單個(gè)像素典型的光子探測(cè)事件只稀疏地在不同的時(shí)間片中,且有可能這些光子探測(cè)事件并非目標(biāo)的回波光子,而是背景噪聲光子引起的。因此不能逐像素單獨(dú)處理,為此,把所有像素的光子探測(cè)事件合并在一起,形成一個(gè)全局光子飛行時(shí)間的總直方圖。由于目標(biāo)占據(jù)有限幾段空間,全局累積的結(jié)果,可以形成一個(gè)多峰的直方圖,如圖5(a)。
圖5 目標(biāo)場(chǎng)景深度范圍選取原理Fig. 5 Schematic of the depth range selection of the target scene
步驟2:直方圖峰值搜索。
深度范圍需要聯(lián)合目標(biāo)的直方圖峰值區(qū)間來(lái)獲得,因此首先進(jìn)行直方圖峰值及峰值區(qū)間提取。全部數(shù)據(jù)直方圖具有明顯波動(dòng),為便于提取峰值位置,對(duì)直方圖進(jìn)行均值濾波,這可以很大程度上減小直方圖波動(dòng),但不會(huì)造成峰值位置偏移。均值濾波前后對(duì)比如圖5(a)、(b)。在處理后的直方圖上提取M個(gè)極值作為峰值點(diǎn),這是由目標(biāo)、噪聲及內(nèi)反射等引起的。
步驟3:潛在深度區(qū)間確定。
逐個(gè)確定每個(gè)峰值區(qū)間的過(guò)程如圖5(c)。以第m(m>1)個(gè)峰值區(qū)間的左界限判斷過(guò)程為例,第m個(gè)峰值與基線之間的高度被N+1 等分(圖5(c)中N=19),基線高度通過(guò)對(duì)直方圖求均值獲得。從上往下依次尋找小于第n個(gè)等分線、分布在峰值左側(cè),最近的一個(gè)點(diǎn)的時(shí)間bin 位置,并將這個(gè)bin 位置記為sn1。若滿足判定條件:第m-1 個(gè)峰值在(sn1,binm)區(qū)間內(nèi),則第m個(gè)峰值左界限Lm被確定為上一等分線確定的sn1*。此過(guò)程及邊界條件由下方的偽代碼給出,右界限Rm的判定同理。
步驟4:深度區(qū)間審查。
用同樣的方法獲得以此M個(gè)峰值為中心確定的潛在信號(hào)區(qū)間右界限,為了去掉由噪聲(內(nèi)反射作為噪聲處理,但內(nèi)反射僅在實(shí)驗(yàn)數(shù)據(jù)中存在)引起的峰值以獲得目標(biāo)的深度范圍,對(duì)M個(gè)峰值進(jìn)行審查。設(shè)置參數(shù)PRA,定義為所屬峰值區(qū)間內(nèi)光子位置標(biāo)準(zhǔn)差(用STD 表示)與所屬峰值區(qū)間內(nèi)光子數(shù)目NO 的比值,即
對(duì)飛行時(shí)間數(shù)據(jù)進(jìn)行匹配濾波,根據(jù)匹配濾波結(jié)果計(jì)算審查參數(shù)。目標(biāo)區(qū)域,STD 和NO 成正比,PRA也較小;噪聲均勻分布在整個(gè)場(chǎng)景內(nèi),STD 大,NO 小,所以PRA 大。因此,通過(guò)PRA 可以將噪聲和信號(hào)有效地區(qū)分。對(duì)0.04 信噪比、0.3 平均信號(hào)光子(Signal Photon Per Pixel, SPPP)的保齡球模擬數(shù)據(jù)[20]進(jìn)行參數(shù)審查之后可得到表1。其中,NAN 代表STD 為0,即小的噪聲波動(dòng)。SPPP 定義為
表1 審查參數(shù)表Table 1 Review parameter table
式中,Ci,j表示第(i,j)個(gè)像素中信號(hào)光子的個(gè)數(shù),Nr、Nc分別表示圖像像素的行數(shù)和列數(shù)。
步驟5:確定有效深度范圍。
對(duì)符合要求的峰值區(qū)間(表1 中第二行到第七行數(shù)據(jù))進(jìn)行連接,若前一個(gè)峰右界限與后一個(gè)峰左界限的距離小于閾值,則將兩個(gè)峰值區(qū)間連接起來(lái)。否則,不進(jìn)行連接。最終,獲得深度范圍如圖5(d)。獲得深度范圍之后,將每個(gè)位置的飛行時(shí)間數(shù)據(jù)進(jìn)行篩選,去除不屬于深度范圍內(nèi)的光子,完成光子篩選過(guò)程。
針對(duì)于極少量回波光子環(huán)境中存在大面積空白像素,對(duì)篩查范圍后的飛行時(shí)間數(shù)據(jù)進(jìn)行自適應(yīng)鄰域補(bǔ)充。如果光子數(shù)小于等于X,則不斷擴(kuò)大鄰域補(bǔ)充光子,直到鄰域光子數(shù)大于X。X的值根據(jù)經(jīng)驗(yàn)確定。一般來(lái)說(shuō),X越大,重建效果越好。然而,當(dāng)X超過(guò)某一閾值時(shí),重建效果將不再改變。仿真數(shù)據(jù)X取10,實(shí)驗(yàn)場(chǎng)景1 中X取40,實(shí)驗(yàn)場(chǎng)景2 中X取20。自適應(yīng)鄰域補(bǔ)充的流程如圖6,對(duì)于像素(i,j),首先進(jìn)行光子計(jì)數(shù),記為Ni,j。如果Ni,j>X,則不進(jìn)行鄰域補(bǔ)充,否則,擴(kuò)大鄰域范圍并將以(i,j)為中心的(2ω+1)2個(gè)像素的光子作為像素(i,j)的光子,其中,ω=1,2,3,…為擴(kuò)大鄰域的次數(shù)。重復(fù)此過(guò)程,直至(i,j)內(nèi)的光子計(jì)數(shù)滿足Ni,j>X。傳統(tǒng)的局部鄰域補(bǔ)充在極少光子環(huán)境下仍會(huì)存在很多空白像素,因此自適應(yīng)鄰域補(bǔ)充非常必要。
圖6 空缺、少光子像素進(jìn)行自適應(yīng)鄰域光子補(bǔ)充流程Fig. 6 Flowchart of adaptive neighborhood photon supplementation for vacant and few photon pixels
完成空缺像素自適應(yīng)補(bǔ)充后,通過(guò)TV 正則化圖像重構(gòu)過(guò)程可以進(jìn)一步去除殘留深度范圍內(nèi)的噪聲。帶TV 正則項(xiàng)的最小化問(wèn)題求解表達(dá)式為[13]
為驗(yàn)證所提算法的三維重建能力,通過(guò)仿真數(shù)據(jù)[20]進(jìn)行了低信噪比、不同量級(jí)回波光子的重建,并與SHIN D 等[14]提出的高光子效率算法、RAPP J 等[15]提出的Unmixing 方法進(jìn)行了對(duì)比。將經(jīng)過(guò)所提方法預(yù)處理的數(shù)據(jù)輸入到Unmixing 方法中進(jìn)行處理(Preprocess-unmixing, PP-Unmixing),以驗(yàn)證深度范圍選取這一過(guò)程的貢獻(xiàn),預(yù)處理僅包括深度范圍選取。采用信噪比說(shuō)明仿真條件,信噪比的定義為
即γ個(gè)重復(fù)探測(cè)周期T內(nèi)探測(cè)器對(duì)信號(hào)的平均響應(yīng)數(shù)與噪聲的平均響應(yīng)數(shù)之比。實(shí)驗(yàn)中信噪比的測(cè)量可如下進(jìn)行:先關(guān)閉照明激光光源,由TCSPC 獲得背景光子和探測(cè)器暗計(jì)數(shù)引起的背景噪聲計(jì)數(shù);然后打開(kāi)照明激光光源,由TCSPC 獲得信號(hào)光子與背景噪聲計(jì)數(shù)之和的總光子計(jì)數(shù),信號(hào)計(jì)數(shù)由總計(jì)數(shù)減去噪聲計(jì)數(shù)得出;最后,SBR 用信號(hào)計(jì)數(shù)與背景噪聲計(jì)數(shù)之比給出。用均方根誤差(Root Mean Square Error , RMSE)表征重建圖像的質(zhì)量, RMSE 的表達(dá)式為
式中,Zi,j是重建后的深度值,Truthi,j是目標(biāo)真實(shí)深度值。表2 為這些重建結(jié)果的均方根誤差RMSE 和消耗時(shí)間。圖7 是四種方法在信噪比為0.04 時(shí),對(duì)不同SPPP 數(shù)據(jù)的重建結(jié)果。圖7 和表2 僅展示部分SPPP 情況下的重建效果。
表2 信噪比為0.04 時(shí),四種方法的重建結(jié)果隨SPPP 變化的均方根誤差和消耗時(shí)間Table 2 The RMSE and consumption time of the reconstruction results of the four methods vary with various SPPP at SBR=0.04
圖7 信噪比為0.04 時(shí),四種方法對(duì)于SPPP 為0.1、0.5、1、2、5 的保齡球數(shù)據(jù)的重建結(jié)果Fig. 7 When SBR=0.04, the reconstruction results of the four methods for bowling data with SPPP of 0.1, 0.5, 1, 2, and 5
由圖7 和表2 可知,在信噪比為0.04 的強(qiáng)噪聲環(huán)境中,SHIN D 提出的方法雖然運(yùn)算速度很快,但對(duì)深度范圍的估計(jì)具有較大偏差,因此場(chǎng)景一直淹沒(méi)在噪聲中,RMSE 也維持在米量級(jí)。Unmixing 方法對(duì)噪聲的抵抗能力較強(qiáng),但在SPPP 小于2 時(shí)仍會(huì)有一些殘余噪點(diǎn)沒(méi)有被消除。在SPPP 為0.1 的極端環(huán)境中,Unmixing 方法的處理結(jié)果已經(jīng)不能分辨出場(chǎng)景信息。且該方法運(yùn)算速度與SPPP 成反比,當(dāng)SPPP 為5 時(shí),耗時(shí)達(dá)到632.3 s。PP-Unmixing 方法相較于Unmixing 方法,無(wú)論在重建效果還是運(yùn)算速度方面都有提升,證明了深度范圍選取的必要性。但在SPPP 為0.1 時(shí)不能分辨場(chǎng)景信息。相比之下,本文所提方法在任何一種情況中都可分辨出場(chǎng)景邊緣,且對(duì)噪點(diǎn)的處理優(yōu)于其他三種方法。另外,方法平均耗時(shí)(全部數(shù)據(jù))僅為25.1 s。該方法更適用于低信噪比和少光子環(huán)境,同時(shí)也是一種快速重建方法。
除仿真驗(yàn)證之外還開(kāi)展了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)系統(tǒng)如圖8(a),照明光源是波長(zhǎng)為532 nm、脈寬為70 ps 的脈沖激光器,型號(hào)LDH-D-TA-530(德國(guó)PicoQuant 公司)。32×32 的SPAD 陣列PF32 探測(cè)器用來(lái)接收回波光子,陣列尺寸是1.6 mm×1.6 mm,探測(cè)器每個(gè)像素自帶獨(dú)立的時(shí)間數(shù)字轉(zhuǎn)換器(Time to Digital, TDC),計(jì)時(shí)分辨率為55 ps。
圖8 實(shí)驗(yàn)系統(tǒng)與目標(biāo)場(chǎng)景Fig. 8 Experimental system and target scene
目標(biāo)場(chǎng)景為如圖8(b)所示的傾斜街景模型,從目標(biāo)到探測(cè)器SPAD 陣列距離約為3.04 m,激光脈沖重復(fù)頻率為20 MHz。在開(kāi)燈環(huán)境下采集飛行時(shí)間數(shù)據(jù),信噪比約為0.09。在此環(huán)境下,開(kāi)展了多組數(shù)據(jù)的重建,這些數(shù)據(jù)的SPPP 在0.47~18.73 不等。實(shí)驗(yàn)中,僅對(duì)比SHIN D 的方法、Unmixing 方法及所提的方法。部分對(duì)比結(jié)果如圖9。三種方法處理結(jié)果的RMSE 和耗時(shí)隨SPPP 的變化情況如表3。
表3 信噪比為0.09 時(shí),三種方法的重建結(jié)果隨SPPP 變化的均方根誤差和消耗時(shí)間Table 3 The RMSE and consumption time of the reconstruction results of the three methods vary with various SPPP at SBR=0.09
由圖9 可知,SHIN D 的方法不能準(zhǔn)確估計(jì)深度范圍,導(dǎo)致重建深度圖具有較大偏差。但由表3 可知其運(yùn)算速度仍然迅速。Unmixing 方法在重建效果上優(yōu)于SHIN D 的方法,但場(chǎng)景不夠完整且對(duì)噪聲處理不夠徹底,在SPPP 為0.47 和0.94 時(shí),不能分辨場(chǎng)景細(xì)節(jié)信息。且其運(yùn)行速度很慢,最短耗時(shí)也達(dá)到81.0 s。相比之下,所提方法即使在SPPP 最小的情況下依然能夠分辨場(chǎng)景,且能保持0.032 m 的RMSE,最長(zhǎng)耗時(shí)也僅為37.2 s。
除了街景場(chǎng)景,還對(duì)另一實(shí)驗(yàn)?zāi)繕?biāo)場(chǎng)景進(jìn)行了重建,目標(biāo)場(chǎng)景及其深度參考真值如圖10(a),包含模擬街景:房屋、花、樹(shù)、墻四部分,以A、B、C、D 表示,從左至右兩兩間距分別為7 cm、3 cm、6 cm。目標(biāo)場(chǎng)景距離成像系統(tǒng)約3 m,成像區(qū)域大小為10 cm×10 cm,所獲取的飛行時(shí)間數(shù)據(jù)信噪比約為0.3,其他具體實(shí)驗(yàn)細(xì)節(jié)參考本課題組之前的工作[26]。
圖10 目標(biāo)場(chǎng)景、深度參考真值及三種方法對(duì)SPPP 為0.7、 2.3、 4.4、 10.7、21.6、 108.0 的飛行時(shí)間數(shù)據(jù)的重建結(jié)果Fig. 10 Target scene, depth reference ground truth and reconstruction results of time-of-flight data with SPPP of 0.7, 2.3, 4.4,10.7, 21.6 and 108.0 by three methods
同樣地,實(shí)驗(yàn)中僅對(duì)比SHIN D 的方法、Unmixing 方法及所提方法。對(duì)比結(jié)果如圖10(b)。三種方法處理結(jié)果的RMSE 和耗時(shí)隨SPPP 的變化情況如表4??梢钥闯?,相較于其他兩種方法,在SPPP 大于2 時(shí),所提方法可以將樹(shù)木和花的輪廓清晰地呈現(xiàn)出來(lái),且細(xì)節(jié)信息更加豐富,在SPPP 大于4 時(shí),房子的輪廓及細(xì)節(jié)信息也逐漸完善。在SPPP 為0.7 的少光子環(huán)境下,所提方法雖然沒(méi)有將場(chǎng)景完整地重建出來(lái),但相較于另外兩種方法在目標(biāo)的完整度和重建分辨率方面仍具有明顯的優(yōu)勢(shì)。除此之外,從RMSE 和消耗時(shí)間的結(jié)果來(lái)看,SHIN D 的方法仍然保持著最快的重建速度,但RMSE 仍是最大的,Unmixing 方法的RMSE 與所提方法不相上下,但重建速度仍是最慢的。因此,總體來(lái)看所提方法在各種光子環(huán)境下的重建效果都優(yōu)于其他兩種方法。
表4 三種方法的重建結(jié)果隨SPPP 變化的均方根誤差和消耗時(shí)間Table 4 The RMSE and consumption time of the reconstruction results of the three methods vary with various SPPP
綜上,所提方法無(wú)論對(duì)仿真數(shù)據(jù)還是實(shí)驗(yàn)數(shù)據(jù)的重建均具有顯著效果,證明該方法可用于低信噪比、各種光子水平的情況,在運(yùn)算速度上也表現(xiàn)良好。
本文提出并驗(yàn)證了基于深度范圍選取的高光子效率重建算法。通過(guò)目標(biāo)深度區(qū)間選取、空缺像素自適應(yīng)補(bǔ)充與圖像正則化重建兩個(gè)步驟實(shí)現(xiàn)了對(duì)噪聲的強(qiáng)抵抗能力,并提高了光子利用效率。其中,基于場(chǎng)景深度范圍選取的光子篩選可以有效地去除大部分噪聲,為后續(xù)處理過(guò)程提供較高質(zhì)量的數(shù)據(jù)。自適應(yīng)鄰域補(bǔ)充提高了光子利用效率,解決了極少量回波光子像素空缺問(wèn)題。最后,TV 正則化過(guò)程去除了殘余噪聲,進(jìn)一步提高圖像質(zhì)量。通過(guò)仿真與實(shí)驗(yàn)數(shù)據(jù)測(cè)試,該方法可以在低信噪比、極少光子環(huán)境下進(jìn)行目標(biāo)精確三維重建,此外所提方法對(duì)場(chǎng)景內(nèi)存在多個(gè)深度目標(biāo)的情況有較好的適用性。