張遠(yuǎn)輝， 徐栢銳， 朱俊江， 孫 堅(jiān)

(中國(guó)計(jì)量大學(xué) 機(jī)電工程學(xué)院，浙江 杭州 310018)

1 引 言

熱像儀通過(guò)檢測(cè)場(chǎng)景中可見(jiàn)光頻率之外的紅外熱輻射，可獲取傳統(tǒng)可見(jiàn)光相機(jī)無(wú)法獲得的溫度信息。近年來(lái)，紅外監(jiān)測(cè)技術(shù)飛速發(fā)展，由于其具有無(wú)接觸、測(cè)溫范圍廣、測(cè)溫速度快等諸多優(yōu)點(diǎn)，在各種工業(yè)場(chǎng)景中具有重要應(yīng)用[1]。例如，熱像儀獲取的溫度信息可用于快速確定模具是否需要冷卻或者存在缺陷；在火災(zāi)現(xiàn)場(chǎng)快速定位火源，檢測(cè)氣體泄漏；在軍事方面，熱像儀作為偵察設(shè)備，用于了解敵方動(dòng)態(tài)等[2,3]。但是，由于熱像圖只存在溫度信息，缺少幾何信息，因此，人眼可能難以通過(guò)溫度分布情況分辨物體幾何外觀，進(jìn)而對(duì)辨認(rèn)物體形態(tài)以及定位造成困難。

為了解決這個(gè)問(wèn)題，本文首先根據(jù)運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion, SFM)與多視圖立體匹配(multiple view stereo, MVS)，完成相機(jī)位姿估計(jì)與深度圖的重建，并通過(guò)基于互信息(mutual information, MI)的圖像配準(zhǔn)方法，完成了幾何與溫度信息的融合；最終，將二維平面的可見(jiàn)光圖與熱像圖集合轉(zhuǎn)化為三維熱像溫度模型，解決了在平面熱像圖上難以分辨物體表面幾何形態(tài)的問(wèn)題。

2 研究現(xiàn)狀

目前，大部分針對(duì)熱像圖的三維重建的研究建立在可見(jiàn)光三維重建的基礎(chǔ)上，Truong等人[4]與Maset等人[5]將用于可見(jiàn)光立體匹配中的SFM算法與MVS算法直接運(yùn)用在熱像圖中獲得深度圖。然而，大部分可見(jiàn)光特征提取算法并不適用于熱像圖，并且由于傳統(tǒng)立體視覺(jué)要求有一定數(shù)量的成對(duì)特征匹配，該方法要求目標(biāo)場(chǎng)景中具有較明顯的溫度差異；否則，在熱像圖分辨率較低的情況下，熱像圖可提取用于對(duì)極匹配的特征點(diǎn)不足以實(shí)現(xiàn)精度較高的三維重建。

為了實(shí)現(xiàn)高精度的熱像圖三維重建，大多數(shù)研究通過(guò)可見(jiàn)光相機(jī)和紅外熱像儀之間的配準(zhǔn)，利用可見(jiàn)光的三維重建結(jié)果，間接實(shí)現(xiàn)三維熱像模型重建。

Yang等人[6]利用同時(shí)具有可見(jiàn)光與熱像圖輸出的紅外熱像儀，以及額外兩個(gè)可見(jiàn)光相機(jī)實(shí)現(xiàn)了熱像圖的三維重建，他們使用基于歸一化互相關(guān)(normalized cross correlation, NCC)的配準(zhǔn)方法，通過(guò)紅外熱像儀的可見(jiàn)光輸出，間接實(shí)現(xiàn)了熱像圖與可見(jiàn)光圖的配準(zhǔn)，最后結(jié)合傳統(tǒng)重建方法完成了溫度信息的三維重建。不過(guò)，大部分紅外熱像儀不具有可見(jiàn)光的輸出，導(dǎo)致該方法的適用范圍較窄。

Yamaguchi等人[7]使用一臺(tái)熱像儀與一臺(tái)可見(jiàn)光相機(jī)，采用直接視覺(jué)里程計(jì)(direct sparse odometry, DSO)進(jìn)行相機(jī)位姿和深度圖的估計(jì)，并利用預(yù)先處理好的校正信息，將熱像圖反向投影到可見(jiàn)光圖像上，進(jìn)而在可見(jiàn)光重建的基礎(chǔ)上獲得了熱像的三維稀疏點(diǎn)云，該方法有效解決了直接利用熱像圖進(jìn)行立體視覺(jué)重建效果不佳的問(wèn)題，但由于DSO屬于稀疏重建方法，因此最終三維熱像點(diǎn)云模型較為稀疏，缺失了部分溫度信息。為了解決這個(gè)問(wèn)題，本文根據(jù)這個(gè)實(shí)驗(yàn)思路，結(jié)合基于幾何和陰影的重建細(xì)化方法優(yōu)化深度圖的估計(jì)，實(shí)現(xiàn)了稠密的熱像圖三維重建。

此外，不少研究通過(guò)融合深度傳感器和紅外熱像儀進(jìn)行三維溫度模型的重建。Matsumoto等人[8]結(jié)合Kinect深度相機(jī)和紅外熱像儀，在室內(nèi)場(chǎng)景下，使用Kinect Fusion[9]的方法完成三維溫度模型重建，實(shí)現(xiàn)了模型的在線(xiàn)重建。相比傳統(tǒng)相機(jī)，深度傳感器進(jìn)行三維重建的速度更快，可以滿(mǎn)足在線(xiàn)重建的要求，但由于RGB-D相機(jī)的深度檢測(cè)對(duì)環(huán)境光照較為敏感，通常在光照干擾較多的場(chǎng)景下無(wú)法完成較好的重建。

3 總體流程

本文提出的方法使用固定在同一攝像架的一臺(tái)可見(jiàn)光相機(jī)與一臺(tái)熱像儀進(jìn)行三維熱像模型的重建。首先通過(guò)將可見(jiàn)光相機(jī)與熱像儀對(duì)同一標(biāo)定物進(jìn)行校正獲取相機(jī)內(nèi)外參數(shù)以及相對(duì)位移，隨后，先利用增量式SFM估計(jì)各個(gè)視角的相機(jī)位姿，后使用基于陰影優(yōu)化的MVS完成深度圖的重建。由于單目視覺(jué)系統(tǒng)尺度因子未知，故無(wú)法利用現(xiàn)有深度圖與校正信息進(jìn)行配準(zhǔn)。為了實(shí)現(xiàn)可見(jiàn)光圖和熱像圖的配準(zhǔn)，本文通過(guò)熱像儀與可見(jiàn)光相機(jī)的深度圖，利用互信息計(jì)算尺度因子完成坐標(biāo)系歸一化，實(shí)現(xiàn)了可見(jiàn)光相機(jī)與熱像儀的配準(zhǔn)；最后，結(jié)合配準(zhǔn)結(jié)果和深度圖，完成三維熱像模型的重建?？傮w流程如圖1所示。

圖1 重建方法總體流程Fig.1 Reconstruction method overview

4 相機(jī)校正

本文基于張氏標(biāo)定法[10]，對(duì)熱像儀和可見(jiàn)光相機(jī)進(jìn)行棋盤(pán)格標(biāo)定計(jì)算可見(jiàn)光相機(jī)與熱像儀的內(nèi)參矩陣K和外參矩陣[R|t]。為了獲取相對(duì)平移旋轉(zhuǎn)變換，需要使用同一標(biāo)定物同時(shí)對(duì)紅外熱像儀和可見(jiàn)光相機(jī)進(jìn)行標(biāo)定。然而，由于普通的光學(xué)標(biāo)定板上的黑白格溫度梯度過(guò)小，在紅外圖像上難以檢測(cè)角點(diǎn)，不適合用于紅外熱像儀的標(biāo)定。

為了解決這個(gè)問(wèn)題，本文設(shè)計(jì)一種既適用于可見(jiàn)光相機(jī)，也可以用于熱像儀的標(biāo)定方法，我們使用具有一定隔熱效果的白色PVC材料，設(shè)計(jì)了一塊寬285 mm，高360 mm，厚1 mm，具有非對(duì)稱(chēng)圓孔的標(biāo)定板，并將其置于黑色加熱墊與相機(jī)之間。如圖2所示，這種低成本的方法簡(jiǎn)單有效地在熱像儀中產(chǎn)生了圓孔網(wǎng)格溫差的同時(shí)，也在可見(jiàn)光相機(jī)中制造了明顯的顏色差異，易實(shí)現(xiàn)圓心檢測(cè)。

圖2 圓孔標(biāo)定板Fig.2 Grid-hole calibration board

此外，為了在下述尺度估計(jì)步驟中的簡(jiǎn)便計(jì)算，且因標(biāo)定板各尺寸參數(shù)已知，校正過(guò)程中世界坐標(biāo)系尺度定義為真實(shí)測(cè)量尺寸。

5 相機(jī)位姿估計(jì)

SFM是指從一系列圖像集合中的匹配點(diǎn)恢復(fù)相機(jī)參數(shù)的一種算法[11]，主要可分為全局式SFM與增量式SFM。相較于全局式SFM，增量式SFM對(duì)錯(cuò)誤的圖像匹配有較高的魯棒性，總體精度更高；但是，增量式SFM效率較低，且對(duì)大規(guī)模場(chǎng)景容易累積誤差，造成位置漂移的現(xiàn)象。由于本文只對(duì)中、小場(chǎng)景中的物體進(jìn)行三維重建，因此，選擇增量式SFM作為復(fù)原相機(jī)參數(shù)的方法。

5.1 特征匹配

SFM算法首先需要檢測(cè)可匹配的特征點(diǎn)，通常選擇使用SIFT[12]、SURF[13]等完成特征匹配。由于SIFT、SURF具有旋轉(zhuǎn)、尺度不變性，檢測(cè)結(jié)果可以在鄰近圖像之間得到匹配。根據(jù)對(duì)極幾何，空間中一個(gè)點(diǎn)與其在兩個(gè)不同視圖中的成像點(diǎn)具有共面約束[14]，故可依靠對(duì)極幾何約束去除部分錯(cuò)誤的匹配。由于特征點(diǎn)成對(duì)匹配的特性，匹配結(jié)果可以在鄰近視圖中不斷擴(kuò)展或者合并，以此建立特征點(diǎn)軌跡圖，如圖3所示，軌跡圖用于在增量式SFM中選擇下一個(gè)重建視圖。

圖3 軌跡圖Fig.3 Track graph

5.2 初始位姿估計(jì)

根據(jù)增量式SFM，需要選擇一對(duì)合適的視圖用于初始位姿的估計(jì)，由初始位姿對(duì)特征點(diǎn)三角化的結(jié)果，不斷從軌跡圖中選擇下一個(gè)視圖進(jìn)行重建。因此，一個(gè)合適的初始位姿對(duì)后續(xù)增量式重建的速度和準(zhǔn)確度有較大的影響。本文通過(guò)8點(diǎn)法，根據(jù)本質(zhì)矩陣估計(jì)初始位姿[15]，設(shè)其中一個(gè)視圖位姿為P=[I3×3|O3×1]，根據(jù)本質(zhì)矩陣的奇異值分解可估計(jì)另一個(gè)視圖的相對(duì)位姿。設(shè)本質(zhì)矩陣可分解為Udiag(1,1,0)V，則4個(gè)可能相對(duì)位姿如公式(1)所示，其中u3為U的最后一列。

P1=[UWVT|+u3]，P2=[UWVT|-u3]，P3=[UWTVT|+u3]，P4=[UWTVT|-u3]

(1)

其中

5.3 增量式重建

完成初始位姿估計(jì)后，在初始視圖內(nèi)可見(jiàn)的特征點(diǎn)均可完成三角化，即從二維像素坐標(biāo)估計(jì)三維空間坐標(biāo)，根據(jù)三角化結(jié)果，可選取在軌跡圖中具有最多三角化特征的視圖作為候選重建視圖，進(jìn)而完成增量式重建。

本文使用P3P算法[16]，根據(jù)三角化結(jié)果估計(jì)候選視圖的姿態(tài)。如圖4所示，為了優(yōu)化位姿的估計(jì)，在位姿估計(jì)過(guò)程中進(jìn)行光束法平差[17]最小化投影誤差，即最小化目標(biāo)函數(shù)(2)。

圖4 光束法平差Fig.4 Bundle adjustment

(2)

其中

式中：Pi為相機(jī)光心；PiXj為三角化點(diǎn)Xj在視圖i的投影二維位置；點(diǎn)Xj在視圖i的原始像素位置為xij；d(x,y)2表示二維點(diǎn)x與y之間的歐式距離的平方。

6 深度圖重建

為了實(shí)現(xiàn)稠密的三維重建，本文在SFM位姿估計(jì)的基礎(chǔ)上進(jìn)行了深度圖的重建。由于傳統(tǒng)幾何立體匹配對(duì)弱紋理與無(wú)紋理區(qū)域深度估計(jì)的魯棒性較差，所以，本文首先使用半全局立體匹配方法(semi-global matching, SGM)估計(jì)深度圖，隨后對(duì)初始深度圖進(jìn)行結(jié)合幾何與陰影的深度優(yōu)化。

6.1 深度圖初始估計(jì)

SGM算法由Hirschmueller[18]首次提出，經(jīng)過(guò)改進(jìn)，Humenberger等人[19]提出基于Census變換代價(jià)計(jì)算的SGM算法。Census變換通過(guò)局部窗口計(jì)算視圖相關(guān)性，對(duì)整體明暗不敏感，具有并行性高等優(yōu)點(diǎn)，本文采用了基于Census變換的SGM算法進(jìn)行深度圖的初始化。

Census變換T(u,v)是將像素點(diǎn)p=(u,v)在m×n鄰域的灰度強(qiáng)度值轉(zhuǎn)換為比特串的一種變換，如式(3)所示。其中，I(u,v)為像素點(diǎn)p灰度強(qiáng)度值，⊕表示比特位的逐位連接計(jì)算。

(3)

其中

基于Census變換的像素代價(jià)值由計(jì)算像素點(diǎn)在兩視圖之間的漢明距離由式(4)得出：

C(p,d)=Hamming(Ti(u,v),Tj(Pij(p,d)))

(4)

式中：d為深度值；Pij(p,d)為像素從視圖i到視圖j的投影變換，由式(5)得出：

(5)

式中K與[R|t]分別表示相機(jī)內(nèi)參和外參矩陣。

由于代價(jià)計(jì)算只考慮了局部相關(guān)性，為了獲得較好的立體匹配效果，SGM算法采取全局能量?jī)?yōu)化策略，尋找每個(gè)像素的最佳深度使得全局能量函數(shù)(6)最小。

E(d)=E1(d)+E2(d)+E3(d)

(6)

其中

式中：P1和P2為用于平滑深度圖的懲罰系數(shù)，分別對(duì)像素p在Np鄰域內(nèi)針對(duì)深度變化很小[|dp-dq|=1]以及深度變化較大[|dp-dq|>1]的情況進(jìn)行懲罰。

為了高效地解決這個(gè)最優(yōu)化問(wèn)題，本文結(jié)合動(dòng)態(tài)規(guī)劃思想，從水平、垂直以及對(duì)角4個(gè)方向聚合得到路徑代價(jià)值，選取代價(jià)最低值作為最優(yōu)深度值，沿著某一路徑r進(jìn)行代價(jià)聚合，如式(7)所示。其中D為深度值取值范圍，取決于SFM算法中的三角化結(jié)果。

(7)

其中

6.2 深度圖優(yōu)化

由于立體幾何匹配算法對(duì)弱紋理或無(wú)紋理物體無(wú)法實(shí)現(xiàn)準(zhǔn)確的深度估計(jì)，而基于陰影的重建方法對(duì)物體表面高頻細(xì)節(jié)具有較好的重建效果[20]。因此，有不少學(xué)者提出了結(jié)合陰影與幾何的重建算法，以幾何結(jié)果作為輸入，根據(jù)光照估計(jì)優(yōu)化重建細(xì)節(jié)。本文采用Fabian等人[21]提出的基于Retinex理論[22]和圖像梯度的優(yōu)化算法。

根據(jù)Retinex理論，可以認(rèn)為圖像梯度小的區(qū)域主要由陰影明暗導(dǎo)致，而在圖像梯度大的區(qū)域主要與物體表面反照率有關(guān)；故根據(jù)當(dāng)前圖像區(qū)域梯度，對(duì)梯度大的區(qū)域使用傳統(tǒng)幾何重建，而對(duì)梯度小的區(qū)域采用基于陰影的重建細(xì)化。因此，算法可轉(zhuǎn)化為針對(duì)平衡幾何數(shù)據(jù)項(xiàng)與陰影數(shù)據(jù)項(xiàng)的最優(yōu)化問(wèn)題。本文通過(guò)建立一個(gè)包含幾何誤差項(xiàng)與陰影明暗誤差項(xiàng)的能量函數(shù)，使能量函數(shù)最小化從而實(shí)現(xiàn)深度圖的優(yōu)化。

6.2.1 幾何誤差

對(duì)于主視圖中的像素點(diǎn)p與某個(gè)鄰近視圖i的幾何誤差，如公式(8)所示：

(8)

(9)

6.6.6 陰影誤差

基于陰影的細(xì)化重建采用基于Lambertian反射的光照模型，利用三階球諧函數(shù)Bh近似入射光強(qiáng)度，設(shè)a為反照率，l為光照系數(shù)，在像素點(diǎn)p的反射強(qiáng)度R(p)為：

(10)

(11)

(12)

(13)

6.6.6 能量函數(shù)

綜上所述，結(jié)合幾何誤差與陰影誤差，能量函數(shù)為：

E=EG+ES

(14)

其中

式中：NR為主視圖與其鄰近視圖的集合；V為主視圖與鄰近視圖均可視的像素點(diǎn)集合。由于Es在log域，故乘上系數(shù)α平衡尺度。

(15)

7 尺度估計(jì)

由于單目可見(jiàn)光相機(jī)估計(jì)的深度圖尺度因子是未知的，無(wú)法根據(jù)校正信息使用式(5)進(jìn)行投影轉(zhuǎn)換，即由深度重建得到的深度值無(wú)法直接用于可見(jiàn)光圖與熱像圖之間的配準(zhǔn)，而需要一個(gè)額外的尺度因子α方可完成配準(zhǔn)，如式(16)所示。

(16)

本文提出的方法通過(guò)互信息完成尺度因子α的估計(jì)?；バ畔⒂糜诿枋鰞山M隨機(jī)變量之間相互依賴(lài)的程度，在醫(yī)學(xué)圖像配準(zhǔn)中有廣泛的應(yīng)用[23]。由于RGB信息與溫度信息非同一形式的變量，無(wú)法直接進(jìn)行互信息比較，因此，本文選擇使用深度值進(jìn)行互信息的計(jì)算。

由于可見(jiàn)光相機(jī)與熱像儀在每組視圖中的相對(duì)位置都是固定的，因此可見(jiàn)光相機(jī)之間相對(duì)位姿等同于熱像儀之間的相對(duì)位姿。故本文在可見(jiàn)光相機(jī)位姿估計(jì)的基礎(chǔ)上，對(duì)熱像圖進(jìn)行SGM算法的深度圖估計(jì)，而因?yàn)闊嵯駡D只存在溫度信息，故不對(duì)熱像圖進(jìn)行基于陰影明暗的深度優(yōu)化。

為了估計(jì)最佳尺度，本文通過(guò)式(17)遍歷尺度計(jì)算得分M，選取得分最高值對(duì)應(yīng)的尺度作為當(dāng)前視圖的最佳尺度。

M(Ivis,Ithe)=n(H(Ivis)+H(Ithe)-H(Ivis,Ithe))

(17)

式中：Ithe表示當(dāng)前熱像圖對(duì)應(yīng)的深度圖；Ivis表示當(dāng)前尺度由熱像圖像素投影到可見(jiàn)光圖中的區(qū)域；n表示此區(qū)域在整個(gè)可見(jiàn)光圖中的占比。H(I)和H(I′)的定義如式(18)所示。

(18)

式中：pI(i)為在深度圖I中深度值為i的概率；pII′(i,j)為在深度圖I中深度值為i且在深度圖I′中深度值為j的二維聯(lián)合概率。

如圖5所示，得分最高的尺度為視圖當(dāng)前最佳尺度。由于在校正過(guò)程中將世界坐標(biāo)系定義為真實(shí)尺度，因此，本文通過(guò)測(cè)量目標(biāo)物體的真實(shí)尺寸與對(duì)應(yīng)重建結(jié)果中的尺寸得到尺度因子的真實(shí)值。

圖5 尺度估計(jì)得分Fig.5 Scale estimation scores

然而，由于熱像圖深度估計(jì)的不準(zhǔn)確，導(dǎo)致尺度估計(jì)結(jié)果存在不穩(wěn)定性，當(dāng)前得分最高的尺度并不一定為全局最佳尺度。為了選擇一個(gè)全局最佳尺度，本文首先分別對(duì)每組視圖進(jìn)行尺度估計(jì)獲取視圖當(dāng)前最佳尺度，根據(jù)得分權(quán)重，通過(guò)隨機(jī)采樣一致算法(random sample consensus, RANSAC)[24]，設(shè)定閾值并隨機(jī)選擇視圖樣本計(jì)算內(nèi)點(diǎn)比例，以?xún)?nèi)點(diǎn)比例最高的尺度作為全局最佳尺度。

8 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)裝置如圖6所示，可見(jiàn)光相機(jī)選型為Balser piA2400-17gc，分辨率為2 450×2 052，熱像儀選型為Guide IPT640，分辨率為640×480。

圖6 實(shí)驗(yàn)相機(jī)配置(左：可見(jiàn)光相機(jī)；右：熱像儀)Fig.6 Camera setup(left: visible camera; right: thermal camera)

實(shí)驗(yàn)拍攝了3組可見(jiàn)光與熱像圖，如圖7所示。

圖7 實(shí)驗(yàn)圖片輸入Fig.7 Experiment figures

其中第一行圖片由可見(jiàn)光相機(jī)拍攝，第二行圖片由熱像儀拍攝，3組輸入在不同角度下的三維重建溫度模型如圖8所示。

圖8 重建結(jié)果Fig.8 Reconstruction result

在尺度估計(jì)中，為了驗(yàn)證RANSAC算法的準(zhǔn)確性，本文分別使用加權(quán)平均算法和RANSAC算法進(jìn)行全局最佳尺度估計(jì)。如表1所示，相較于加權(quán)平均算法，使用RANSAC算法進(jìn)行全局最佳尺度的估計(jì)的準(zhǔn)確度更高。

表1 尺度估計(jì)算法對(duì)比Tab.1 Scale estimation algorithm comparison

9 結(jié) 論

綜上所述，通過(guò)本文提出的三維溫度模型重建方法，我們可以在三維模型上觀測(cè)溫度的分布情況，解決了二維平面熱像圖直觀性不強(qiáng)的問(wèn)題。此外，相較于Yang等人[6]的重建方法，本文使用的方法無(wú)需紅外熱像儀具有可見(jiàn)光輸出功能，通過(guò)搭配高分辨率的可見(jiàn)光相機(jī)，能實(shí)現(xiàn)更高精度的三維重建，因此適用范圍更高；通過(guò)結(jié)合幾何與陰影進(jìn)行深度圖優(yōu)化，本文提出的方法有效提高了熱像圖三維重建模型的稠密度，解決了Yamaguchi等人[7]的方法中三維模型過(guò)于稀疏的問(wèn)題。

但是，由于本方法需要重建稠密的深度圖，引入了全局最優(yōu)化算法，導(dǎo)致算法耗時(shí)較長(zhǎng)，因此無(wú)法支持實(shí)時(shí)在線(xiàn)的三維立體重建。若要實(shí)現(xiàn)在線(xiàn)重建，可根據(jù)稀疏三維點(diǎn)進(jìn)行Delaunay三角剖分算法構(gòu)建三維模型，省去深度圖的重建，但這種做法產(chǎn)生的模型三角面數(shù)量可能較低，需要進(jìn)一步優(yōu)化提高精度。