楊炎龍，徐 超

一種人體體表三維溫度場的融合重建方法

楊炎龍，徐 超

（北京理工大學(xué) 光電學(xué)院光電成像技術(shù)與系統(tǒng)教育部重點實驗室，北京 100081）

重建人體體表三維溫度場能夠為包括診斷在內(nèi)的多項人體醫(yī)學(xué)分析提供可靠數(shù)據(jù)。由于紅外成像具有溫度測量精度低、成像分辨率不足以及顯示效果較差等缺陷，導(dǎo)致重建的目標三維溫度場的可靠性存在不足。針對這些問題，提出一種針對人體體表的三維溫度場的融合重建方法。即首先采用黑體測溫標定的方法，對紅外熱像儀的測溫結(jié)果進行誤差修正；其次對紅外圖像進行對比度增強處理；之后進行超分辨率處理，使紅外圖像在空間分辨率上匹配三維數(shù)據(jù)；最后在數(shù)據(jù)融合階段，基于不同圖像中提取到的靶標特征點對應(yīng)空間中相同位置的事實，對標定得到的系統(tǒng)結(jié)構(gòu)參數(shù)進行誤差修正。實驗表明，該方法使三維溫度場的測溫精度達到0.26℃以下，溫度場的三維分布結(jié)果得到提升，顯示效果也得到了增強。

三維溫度場重建；熱像儀測溫標定；多波段光學(xué)標定；紅外圖像處理；人體皮膚特性

0 引言

隨著紅外成像技術(shù)的成熟，紅外熱成像設(shè)備的應(yīng)用逐漸深入各個行業(yè)。利用紅外熱成像進行人體體表組織炎癥的探測是醫(yī)療行業(yè)較為典型的應(yīng)用之一。生物體組織在發(fā)生炎癥之后，該部位血流速度加快，細胞新陳代謝加速，會出現(xiàn)發(fā)熱等現(xiàn)象[1]，利用紅外熱像儀能很好地進行醫(yī)療輔助檢測，判斷病患部位的狀態(tài)。另外，紅外成像還能檢測人體體表組織的腫瘤病變[2]，進行早期的腫瘤預(yù)防和篩查。但紅外二維圖像無法準確定位溫度異常區(qū)域，并且降維的投影成像會導(dǎo)致測溫不準。建立被測目標的三維溫度場能還原目標的三維空間溫度分布，提升其溫度的信息豐富度。因此，研究溫度場三維重建技術(shù)對人體熱成像檢測技術(shù)具有重要意義。

三維熱成像系統(tǒng)常見的實現(xiàn)方案是采用紅外熱像儀配合三維相機，來還原三維物體的表面溫度分布[3-6]。該方案的好處在于能夠得到物體的稠密三維點云，再對點云進行溫度信息的投影映射，得到視覺和測量效果更好的目標三維溫度場分布。但目前該方案的研究主要集中在三維點云的配準算法[7]、熱像儀與三維成像系統(tǒng)的時間與空間對齊策略[8]以及系統(tǒng)作為感知設(shè)備的組合定位算法等[9]，并未考慮到紅外成像存在的影響三維溫度場重建結(jié)果的缺陷。

首先是熱像儀的測溫精度問題。在使用熱像儀進行測溫之前，都需要對其進行輻射定標。雖然熱像儀機芯廠家會在手冊中給出測溫曲線，但是一般都存在較大誤差。而且，人體測溫與其他工業(yè)測溫相比具有量程小和測溫精度要求高等特點，提升熱像儀測溫精度有助于得到溫度精度更高的三維溫度場模型；其次，雖然前人研究了熱像儀與深度相機之間的位姿計算方法，但是缺少對結(jié)果的誤差評價與修正的分析，不準確的位姿關(guān)系將導(dǎo)致溫度場的三維分布出現(xiàn)偏差；最后是熱紅外圖像顯示效果問題，從紅外相機得到的原始圖像存在對比度低和分辨率低等問題，直接采用該圖像進行模型的紋理賦值得到的效果不佳?？紤]到設(shè)備作為醫(yī)療輔助手段，關(guān)鍵在人眼觀察，提高三維溫度場的顯示效果非常必要。

基于以上問題，本文研究了在人體體表三維溫度場融合重建的紅外數(shù)據(jù)以及紅外與三維融合的優(yōu)化方法。實驗表明，該方法重建的人體目標三維溫度場的溫度精度達到0.26℃以下。溫度分布結(jié)果和顯示效果得到了明顯的增強。

1 成像系統(tǒng)與數(shù)據(jù)處理流程設(shè)計

1.1 硬件系統(tǒng)設(shè)計

考慮到系統(tǒng)成本及性能指標，本文選擇了非制冷紅外熱像儀搭配深度相機，組成三維熱成像系統(tǒng)（如圖1）。使用FLIR公司非制冷紅外焦平面熱像儀Tau2-640，圖像分辨率640×512，NETD為50mK，成像視場32°×26°。采用焦距為13mm，F(xiàn)數(shù)1.25的紅外鍺鏡頭。熱像儀自帶非均勻性校正擋板，定期對探測器進行遮擋；選用Intel Realsense-D415深度相機獲取場景三維信息，相機由兩個近紅外相機組成雙目來測距，中間為近紅外激光點陣投影儀。圖像分辨率1024×720，成像視場63.4°×40.4°，深度精度為0.1mm，滿足人體目標大小的三維測量要求。

圖1 人體體表三維溫度場成像系統(tǒng)實物圖

三維熱成像實驗系統(tǒng)用鋁支架固定，上方為熱像儀，下方為深度相機，以光軸平行向前的朝向固定；深度相機視場大于熱像儀視場。目標位于系統(tǒng)拍攝范圍中心，熱像儀和深度相機同時對其成像，完成雙通道的數(shù)據(jù)采集。

1.2 數(shù)據(jù)處理流程

系統(tǒng)圖像數(shù)據(jù)輸入源分別為紅外熱像儀與深度相機。如圖2，為了使紅外圖像能夠滿足要求，對紅外圖像進行了以下處理：1）使用黑體輻射源進行輻射定標來消除測溫偏差，在目標溫度范圍內(nèi)通過擬合測溫曲線來修正測溫結(jié)果；2）為了提升模型的視覺效果，在分析系統(tǒng)應(yīng)用場景之后采用直方圖增強算法，對14 bit到8bit局部線性映射后的熱紅外圖像進行增強處理；3）針對紅外圖像分辨率低的問題，對紅外圖像進行超分辨率處理，以提升溫度場模型的紋理圖質(zhì)量；4）針對熱像儀圖像與三維數(shù)據(jù)配準存在的誤差，提出了一種評估和修正方法：采用靶標圓孔圓心在兩相機圖像中的位置偏差進行誤差的評估，并修正溫度信息在三維空間的映射分布，提高溫度場溫度分布的準確性。

圖2 數(shù)據(jù)處理流程圖

2 三維溫度場融合重建方法

2.1 熱像儀測溫標定方法

為了確定非制冷熱像儀圖像灰度與目標溫度之間的關(guān)系，需要得到熱像儀在不同溫度時的圖像灰度。在測溫模型[10]的基礎(chǔ)上，使用黑體源對熱像儀進行輻射定標。假定測量數(shù)據(jù)在真值附近服從高斯分布：

如式(1)：(i)為概率密度函數(shù)；定義測溫函數(shù)為二次多項式曲線(1,2,;i)，其中1，2為自變量一次和二次系數(shù)，為曲線偏置量，i為黑體溫度；i為測量灰度。構(gòu)造似然函數(shù)：

上式取到最大值的條件是下式取到最小值：

采用梯度下降的方法，對系數(shù)進行更新，尋找Loss函數(shù)的全局極小值，進而確定測溫修正函數(shù)。

2.2 紅外圖像處理

為了將紅外圖像進行顯示，需要將圖像進行14 bit到8 bit的灰度映射。對于以人體為目標的應(yīng)用，14位原始紅外圖像灰度等級中有效信息僅占小部分，直接的線性映射會導(dǎo)致圖像的細節(jié)以及對比度嚴重受損。因此，采用如下的局部灰度級的線性映射方法：

式中：in為輸入圖像；out為輸出圖像；為可調(diào)參數(shù)，可防止映射過程中圖像的區(qū)域性過曝的情況。

由于除人體目標外的背景區(qū)域為包含噪聲的常溫區(qū)域，若采用數(shù)字細節(jié)增強算法（digital detail enhancement, DDE）將放大背景區(qū)域的噪聲。因此，我們采用了對比度限制的自適應(yīng)直方圖均衡[11]（contrast limited adaptive histogram equalization, CLAHE）算法進行圖像對比度增強。在將原始紅外圖像進行局部線性映射到[0,255]空間之后，采用CLAHE算法進行直方圖增強，得到：

＝CLAHE[CLAHE()] (5)

式中：為輸入的紅外14bit原始圖像；為最終得到的輸出圖像。

圖像超分辨率處理能夠進一步提高紅外圖像質(zhì)量。采用卷積神經(jīng)網(wǎng)絡(luò)超分辨圖像處理（super resolution convolutional neural networks, SRCNN）方法[12]對原始圖像處理。使用在灰度圖像訓(xùn)練集下得到的網(wǎng)絡(luò)，對輸入的紅外圖像進行二倍分辨率重建處理。該神經(jīng)網(wǎng)絡(luò)超分辨率處理算法的重要特點是將原始圖像先進行雙三次插值的預(yù)處理，使其達到目標分辨率大小之后，再對該圖像進行三層操作：圖像的塊提取和編碼、編碼向量的非線性映射以及高分辨率圖像的計算。采用該網(wǎng)絡(luò)對分辨率640×512的紅外圖像進行處理，設(shè)置超分辨倍率為2，得到分辨率1280×1024的輸出紅外圖像。

2.3 紅外與三維的融合方法

紅外與三維點云的融合，使得每個三維點都有一個溫度值與之對應(yīng)。由于系統(tǒng)幾何結(jié)構(gòu)的參數(shù)決定了紅外與三維融合的準確性和精度。因此需要對相機進行標定，以得到系統(tǒng)結(jié)構(gòu)參數(shù)；再確定相應(yīng)的融合策略，以保證得到的三維模型具有準確可靠的溫度信息。

在標定得到了相機的內(nèi)、外參后，可以進一步計算兩個相機之間位姿關(guān)系。使用OpenCV的函數(shù)來估計攝像機相對于標定板的旋轉(zhuǎn)和平移矢量，如圖3所示，系統(tǒng)中有3個坐標系：W、1以及2坐標系，分別為世界坐標系、熱像儀坐標系和深度相機坐標系；點為深度相機坐標系下目標的三維坐標。

圖3 系統(tǒng)中相機坐標系的示意圖

通過標定，可以得到兩個相機坐標系相對于世界坐標系的位置和旋轉(zhuǎn)參數(shù)，分別為1、1和2、2。要獲取點對應(yīng)的溫度值，需要將該點向紅外相機像素平面投影。首先將點從深度相機坐標系變換到世界坐標系：

￠＝2－1×＋2(6)

然后，將′點從世界坐標系變換到熱像儀相機坐標系：

2＝1(￠－1) (7)

得到的′′就是經(jīng)過變換之后，熱像儀坐標系下的點的新的三維坐標。再將該點向熱像儀像素平面投影，可找到點對應(yīng)的紅外像素點(,)：

由于采用的紅外圖像為超分辨處理之后的圖像，分辨率變?yōu)樵瓉淼亩?，原圖像的任意像素點(,)坐標擴大了二倍，到達(2,2)點。要使投影方程繼續(xù)成立，必須將內(nèi)參矩陣各項也乘2：

在實際計算時，三維點的投影點無法恰好對應(yīng)整數(shù)像素格點，因此，采用了雙線性插值方法，計算投影點的灰度值。經(jīng)過上述操作，就完成了紅外信息與三維點云對應(yīng)關(guān)系的求解。

在無外界強輻射源的條件下，由于人體皮膚發(fā)射和吸收特性穩(wěn)定，人體皮膚定向輻射率特性表明[13]：人體皮膚面元法向角與拍攝角度在60°以外時，熱像儀探測器積分得到的強度值將不能代表該點真實的輻射量。因此，這里采取的策略是去掉法向角大于60°的三維點，以犧牲單幀點云密度的方法來保證模型溫度的準確性。皮膚發(fā)射率在這里取0.976。

2.4 系統(tǒng)結(jié)構(gòu)標定誤差的評估與修正

使用標定的兩個相機位姿參數(shù)1、1和2、2進行三維點的溫度賦值會出現(xiàn)配準偏移的情況，需要對誤差進行再修正，補償偏移量。

假設(shè)紅外與深度圖像對應(yīng)特征點為(1,1)和(2,2)。將兩個對應(yīng)點轉(zhuǎn)換到同一坐標系計算二者的偏差，能反映標定得到的參數(shù)的誤差。

首先，使用小孔相機模型方程，將深度相機圖像中的標定靶標特征圓心(1,1)，重新還原到深度相機坐標系的三維空間：

＝/f(1－c)

＝/f(1－c)

＝(10)

這里尺度因子（空間點與相機之間的距離）應(yīng)該在計算之前指定。然后，點(,,)將被平移和旋轉(zhuǎn)到紅外相機坐標，并被投影到紅外像素平面：

式中：′為紅外相機內(nèi)參矩陣；分別為紅外相機坐標系相對于深度相機坐標系的旋轉(zhuǎn)矩陣和平移向量。理想情況下，(′,′)能夠與從紅外圖像中提取的對應(yīng)點(2,2)重合。因此，通過簡單地計算它們之間距離的均方差，可以評估標定誤差：

通過式(12)可以間接反映標定結(jié)果的誤差，也能夠用其結(jié)果來修正三維點在紅外圖像上的投影位置，提高模型的溫度分布精度。另外，深度相機能夠給出其與靶標板的距離，使尺度因子得到確定。

3 三維溫度場融合重建實驗及結(jié)果分析

3.1 熱像儀測溫標定實驗

實驗采用美國ISDC公司IR-2100面形黑體進行測溫標定。方形黑體靶面尺寸為2.5英寸，IR301控制器將黑體的溫度穩(wěn)定在±0.1℃。對于人體目標的測溫，僅需對人體溫度段的熱像儀測溫進行標定修正。取標定溫度范圍從35℃到45℃，每隔0.1℃進行黑體溫度與熱像儀測量灰度的記錄。如圖4所示，其中橫軸為黑體溫度，該溫度為真實溫度，縱軸為熱像儀測量到的對應(yīng)灰度值。散點為熱像儀的測量值，藍色線為測溫標定曲線，擬合得到的測溫曲線最大偏差為0.1140℃，平均偏差為0.0662℃。可以看出，測量值基本均勻分布在擬合曲線周圍，采用該曲線進行熱像儀的測溫修正，理論上的誤差為0.1140℃。

圖4 熱像儀測溫標定曲線

下面對校正結(jié)果進行驗證。使用該校準后的熱像儀對人體目標進行測溫實驗，對比熱電偶的測量結(jié)果（以接觸式熱電偶的測溫結(jié)果為真值），來體現(xiàn)測溫修正實驗的效果。

表1列出了圖5中的5個區(qū)域測量點的測溫修正結(jié)果。其中為熱電偶的測量值，0與t是修正前后的熱像儀溫度測量值，0和t是修正前后的測量誤差。

可以看出，修正后的溫度與熱電偶的測量值更接近，達到0.25℃以下。該實驗表明了黑體輻射測溫標定對熱像儀測溫修正的有效性。對該階段的熱像儀測溫進行了修正，也就保證了后期的三維溫度場重建的溫度精度。

表1 手背部分區(qū)域測溫修正結(jié)果

圖5 測量點的位置

3.2 紅外圖像處理實驗

3.2.1 線性映射與增強

在紅外圖像灰度線性映射階段，通過來控制映射過程中的圖像灰度范圍，避免出現(xiàn)區(qū)域性的過曝情況，這里取20。

圖像線性映射曲線如圖6所示，橫軸為原始圖像的灰度范圍，為[3450,3920]，縱軸為[0,255]的8位顯示空間?？烧{(diào)參數(shù)值保證了不出現(xiàn)區(qū)域性的過曝現(xiàn)象。映射后的圖像灰度范圍為[10, 245]。經(jīng)過CLAHE處理后的結(jié)果如圖7所示。其中上方為增強前后的紅外圖像，下方為圖像對應(yīng)的灰度直方圖。

圖6 紅外圖像映射曲線

圖7 紅外圖像及直方圖增強前后結(jié)果：增強前（左），增強后（右）

可以看出，在原圖中（左），鼻子的輪廓顯得不太完整，整個人臉部分處在較高灰度級，其中對溫度細節(jié)分布的觀察存在困難。增強處理后的圖像（右）背景灰度提高，但目標人臉灰度降低，對比度增加，臉部細節(jié)相比原圖像得到了更加清晰的展示。

3.2.2 超分辨率處理

圖像超分辨率處理是一個低成本的成像質(zhì)量提升的解決方案。圖像預(yù)處理的綜合處理流程如圖8所示。

如圖8，原始圖像(a)經(jīng)過映射和對比度增強后，得到圖像(b)，將其輸入超分辨率卷積神經(jīng)網(wǎng)絡(luò)中，輸出二倍分辨率的紅外圖像(c)，再進行偽彩色化處理，得到最終的彩色紅外圖像(d)?？梢钥闯觯叶葓D像(b)中人臉部分的對比度相比(a)圖得到了提升；超分辨率處理提高了圖像分辨率；偽彩色化處理之后，觀察效果得到了進一步提升。

為了驗證該圖像對三維視覺效果的提升作用。采用預(yù)處理前后的紅外偽彩色圖像，分別作為模型的色彩紋理來重建三維人臉溫度場。采用三維深度濾波器去除無關(guān)的三維數(shù)據(jù)，僅保留人臉部分，將三維數(shù)據(jù)與紅外圖像進行融合，得到了人臉三維溫度場融合重建結(jié)果。

圖8 紅外圖像預(yù)處理過程

如圖9所示，左、右兩圖分別為采用預(yù)處理前、后的紅外圖像進行融合的三維人臉溫度場?？梢钥闯?，預(yù)處理前的融合結(jié)果（左）表現(xiàn)出一定的模糊，低質(zhì)量的紅外圖像影響了對于模型細節(jié)的觀察。右圖的結(jié)果則更加清晰，模型的顯示效果更好?？梢姡扇≡搱D像預(yù)處理方法有利于提升三維溫度場重建結(jié)果的觀察效果。

圖9 紅外圖像預(yù)處理前（左）后（右）的三維溫度場重建結(jié)果

3.3 標定誤差的修正實驗

由于紅外熱像儀和深度相機的工作波段相差較大，標定板需要同時為兩個相機提供可觀測的目標。通常，圓形目標標定板的標定精度比棋盤目標的精度高，因此考慮使用圓形靶標。

標定板由HALCON生成，采用了7×7的對稱圓形靶，孔板如圖10(a)所示。正方形靶板邊長300mm，圓孔均勻分布，直徑為18.75mm，圓孔間距為37.5mm。靶板的缺角代表靶標方向，是確定對應(yīng)關(guān)系的重要信息。針對熱像儀對溫度成像的特點，使用電阻燈絲白熾燈來加熱校準目標。針對深度相機，使用了中心波長940nm的近紅外激光器作為成像照明光源，實驗場景如圖10(b)所示。

將標定板放置在成像裝置前面，均勻加熱后關(guān)閉加熱燈，保持激光器照明。收集熱像儀圖像和深度相機圖像進行離線校準，靶標特征點提取結(jié)果如圖圖10(c)，圖10(d)所示，圖10(c)為熱像儀圖像，圖10(d)為深度坐標參考相機（左側(cè)相機）的圖像。通過OpenCV進行計算，分別校準兩個相機，熱像儀和深度相機的平均重投影誤差在0.17和0.35個亞像素。使用2.4節(jié)提到的計算方法，使用靶標孔圓心作為特征點，進行標定誤差的計算。得到在[,]方向，漂移的均方誤差為[1.166,2.147]像素。

圖10 標定靶標與場景以及標定圖像

對被加熱的標定靶進行三維溫度場的重建實驗，結(jié)果如圖11所示，(a)為修正前的紅外三維對齊結(jié)果；(b)為修正后的對齊結(jié)果；(c)為黑框所示的靶標區(qū)域內(nèi)，點云的空間位置與溫度分布的曲線圖。(c)中，黑色線為靶標點云的空間位置，綠色和紅色線分別為圖11中(a)與(b)的溫度分布曲線。

如圖11所示，未修正的融合結(jié)果（圖11(a)）存在肉眼可見的偏移，模型右側(cè)出現(xiàn)無溫度信息的藍色原始點云。誤差修正處理后（圖11(b)），三維點與溫度對齊的精度得到了提升。圖11(c)紅色曲線顯示出2的對齊結(jié)果優(yōu)于綠色曲線1。

3.4 人體三維溫度場融合重建結(jié)果

采用上述方法，分別對人體的臉部、手臂和小腿進行了三維溫度場融合重建實驗。采用紅外偽彩色圖像作為模型的表面色彩紋理，經(jīng)過多角度的三維點云融合、網(wǎng)格化和紋理貼圖，得到最終的三維溫度場如圖12所示。

三維模型采用的紅外偽彩圖像，溫度變化表現(xiàn)為從低溫藍色到高溫紅色。三維網(wǎng)格模型在進行彩色紋理貼圖之后，表面溫度分布變得直觀。人臉部分有額頭以及太陽穴等區(qū)域是高溫區(qū)域，手臂的高溫區(qū)域則出現(xiàn)在手肘，而小腿的膝蓋區(qū)域則是相對的低溫區(qū)域。針對模型的部分區(qū)域，可以進行數(shù)值上的測量，分析其與真實值之間的差別。

表2給出了人臉溫度場數(shù)值分析結(jié)果，包含了左右眼的寬度、鼻翼寬度和嘴寬度以及相應(yīng)區(qū)域的溫度值與真實值的對比結(jié)果（如圖12臉部數(shù)字所指出的區(qū)域）。其中0和0為溫度場三維尺寸測量值和溫度測量值，與為對應(yīng)真實值，D與T分別為模型三維尺寸測量值和溫度的測量值與真實值之間的誤差。從表中的結(jié)果可以看到，該重建結(jié)果與真實值之間的最大三維誤差為0.247mm，平均誤差0.184mm；最大測溫誤差為0.26℃，平均誤差為0.175℃。目前市面上大部分的人體測溫?zé)嵯駜x的測溫誤差為±0.3℃，用深度相機實現(xiàn)的三維重建設(shè)備的精度為0.5mm?？芍痉椒ǔ藢崿F(xiàn)了溫度信息的三維擴展，精度也分別都達到了市場標準。

圖11 修正前后的靶標三維溫度場與空間分布曲線

表2 人臉三維溫度場融合重建結(jié)果分析

4 總結(jié)

本文對現(xiàn)有三維溫度場重建方案的幾個不足進行了研究，提出了改進的方法。從溫度數(shù)據(jù)出發(fā)，首先針對熱像儀測溫的低精度問題，采用了黑體輻射定標的方案，擬合了測溫曲線，提高了熱像儀的測溫精度；其次，針對紅外圖像對比度低和分辨率低的問題，采用了CLAHE對比度增強算法和SRCNN超分辨率處理的方法，提高了紅外圖像的質(zhì)量，并設(shè)計實驗驗證了其對三維溫度場重建結(jié)果的提升；另外，設(shè)計了標定靶和照明方案，完成了系統(tǒng)幾何結(jié)構(gòu)參數(shù)的標定，提出了三維點云與紅外融合的誤差分析與修正方法，并制定了去掉法向角大于60°的點云的紅外三維融合策略，進行了人體體表三維溫度場的重建。得到的結(jié)果在空間精度和溫度精度上分別達到0.247mm和0.26℃，為熱成像在醫(yī)學(xué)上的進一步應(yīng)用打下基礎(chǔ)。

[1] 陳丙瑞. 紅外熱像儀在醫(yī)學(xué)中的應(yīng)用與測量誤差的研究[D]. 秦皇島:燕山大學(xué), 2009.

CHEN Bingrui. Application of Infrared Thermal Imager in Medicine and Research on Measurement Error[D]. Qinhuangdao: Yanshan University, 2009.

[2] Kennedy D A, Lee T, Seely D. A comparative review of thermography as a breast cancer screening technique[J]., 2009, 8(1): 9-16.

[3] YANG R, CHEN Y. Design of a 3-D infrared imaging system using structured light[J]., 2011, 60(2): 608-617.

[4] Vidas S, Lakemond R, Denman S, et al. A mask-based approach for the geometric calibration of thermal-infrared cameras[J]., 2012, 61(6): 1625-1635.

[5] Rangel J, Soldan S, Kroll A. 3D thermal imaging: fusion of thermography and depth cameras[C/OL]//, [2014-01-20], 2014: https://www.researchgate. net/publication/269984262_3D_Thermal_Imaging_Fusion_of_Thermography_and_Depth_Cameras.

[6] AN Y, ZHAG S. High-resolution, real-time simultaneous 3D surface geometry and temperature measurement[J]., 2016, 24(13): 14552-14563.

[7] CAO Y, XU B, YE Z, et al. Depth and thermal sensor fusion to enhance 3D thermographic reconstruction[J]., 2018, 26(7): 8179-8193.

[8] XU B, YE Z, WANG F, et al. On-the-fly extrinsic calibration of multimodal sensing system for fast 3D thermographic scanning[J]., 2019, 58(12): 3238-3246.

[9] Schramm S, Rangel J, Kroll A, et al. Data fusion for 3D thermal imaging using depth and stereo camera for robust self-localization[C]//, 2018: 1-6.

[10] 張曉曄, 徐超, 何利民, 等. 非制冷紅外熱像儀人體表面溫度場測量及誤差修正[J]. 紅外與激光工程, 2016, 45(10): 46-52.

ZHANG Xiaoye, XU Chao, HE Limin, et al. Measuring and error correcting of human surface with uncooled infrared camera[J]., 2016, 45(10): 46-52.

[11] Zuiderveld K. Contrast limited adaptive histogram equalization[C]//IV,1994: 474-485.

[12] DONG C, Loy C C, HE K, et al. Image super-resolution using deep convolutional networks[J]., 2015, 38(2): 295-307.

[13] Polyanskiy M N, Refractive index database[EB/OL]. [2019-10-18]. https://refractiveindex.info.

Fusion Reconstruction Method for 3D Temperature Fields on the Human Body Surface

YANG Yanlong，XU Chao

(,,100081,)

Reconstruction of 3D temperature fields on the human body surface can provide reliable data for a number of human medical analyses, including diagnoses. Based on the limitations of infrared imaging, such as poor temperature measurement accuracy, insufficient imaging resolution, and poor display effects, the reliability of the 3D temperature field collected using infrared imaging is low. To overcome these problems, we propose a fusion reconstruction method for 3D temperature fields on the human body surface. First, the blackbody temperature measurement and calibration method is used to correct the errors in the temperature measurement results of an infrared thermal imager. Second, contrast enhancement processing is applied. Third, super-resolution processing is used to make the infrared images match the 3D data in terms of spatial resolution. Finally, in the data fusion stage, based on the fact that the target feature points extracted from different images correspond to the same position in the space, the system structure parameters obtained through calibration are corrected. Experimental results demonstrate that the temperature error of the 3D temperature field is less than 0.26℃, the 3D distribution of the temperature field is improved, and the display effect is enhanced.

3D temperature field reconstruction, temperature calibration of thermal camera, multi-band optical calibration, infrared image processing, human skin characteristics

TN219

A

1001-8891(2022)01-0033-08

2020-02-28；

2020-05-20.

楊炎龍（1995-），男，碩士研究生，主要從事三維重建與紅外圖像處理方面的研究。E-mail：164579504@qq.com。

徐超（1979-），男，講師，主要從事光電圖像處理和光電成像技術(shù)與系統(tǒng)方面的研究。E-mail：rockyxu@bit.edu.cn。