劉中意，張 春，胡志宇,3

?

基于多聚焦紅外圖像的溫度測量及三維重構

劉中意1,2，張 春2，胡志宇1,2,3

（1.上海大學 機電工程與自動化學院，上海 200072；2.上海大學 納微能源研究所，上海 200444；3.上海交通大學 微米/納米加工技術國家重點實驗室，上海 200240）

由于紅外鏡頭景深小，測量表面超過景深范圍的樣品不能得到所有位置均清晰聚焦的紅外圖像。提出了基于多聚焦圖像融合的曲面溫度測量及被測物體三維重構的方法。該方法采集同一視場不同聚焦深度的紅外圖像，利用多聚焦圖像融合算法，獲取所有位置均清晰聚焦的紅外圖像，即準確的紅外信息。再查溫度標定表，根據(jù)灰度值可得準確的溫度值。最后，利用多聚焦圖像系列附帶的深度信息重構出表面三維高度圖。實驗表明，應用此方法可以準確測量物體表面溫度信息，三維重構圖與全聚焦圖像形成信息互補。

紅外熱像；多聚焦圖像融合；溫度測量；三維重構

0 引言

在成像系統(tǒng)里，視野范圍內的物體處于聚焦區(qū)域時，物體才會形成清晰聚焦的圖像；不在聚焦區(qū)域的物體，成像模糊。當視野范圍內的物體表面起伏超過鏡頭的景深大小時，總有某些區(qū)域不能清晰成像。紅外熱成像系統(tǒng)利用物體的清晰成像反映物體的溫度信息。為了準確測量物體表面溫度，獲取全聚焦的紅外圖像非常重要。當物體表面起伏超過景深時，利用多聚焦圖像融合技術獲取全聚焦紅外圖像。

圖像融合技術目前已被廣泛應用于整合多幅圖像的互補和冗余信息，得到一幅復合圖像，方便人或機器的理解以便進一步的工作[1]。

圖像融合在很多領域發(fā)揮著重要作用，如遙感、生物醫(yī)學成像、計算機視覺和防御系統(tǒng)[2-4]。然而這些領域主要研究的是可見光波段（300～700nm），比較少有關于紅外熱光譜（3～14mm）的圖像融合的研究。除了文獻[1]，關于紅外熱光譜的多聚焦圖像融合的研究少之又少。在我們的研究工作中，多聚焦圖像融合用來實現(xiàn)比單幅紅外圖像更為準確的溫度測量。

1 平臺和方法

1.1 溫度測量平臺

本課題組研發(fā)的紅外顯微熱像系統(tǒng)，集成了紅外熱成像功能和顯微放大功能，可以測量微小區(qū)域的溫度。它用紅外圖像的灰度信息映射溫度信息。不同材質的物體的紅外輻射不一樣，所以利用黑體輻射源來標定不同材質的溫度值和紅外圖像灰度值的映射關系。

紅外相機采用的是昆明北方紅外公司的YF-1001型號的非制冷相機。相關參數(shù)：敏感光譜為7～14mm、圖像分辨率為320×240像素、溫度敏感度為0.1℃、測溫范圍為0～300℃、空間分辨率為40mm、視野大小為11.5mm×8.5mm、聚焦距離為12mm、景深為0.3mm。

1.2 聚焦對溫度測量的影響

在紅外圖像中，像素的灰度值對應著測量物體的溫度值。如果測量物體處在聚焦狀態(tài)，則紅外圖像可以準確地反映溫度信息[1]。

受到景深限制，只有測量物體表面在一個景深大小范圍內變化時，紅外相機才能獲取一幅全聚焦的紅外圖像。如果測量物體表面變化超過一個景深大小，則紅外圖像中總有某些位置處于非聚焦狀態(tài)，這些位置是模糊的，它們的灰度值不能準確地反映被測物體在該位置處的溫度值。圖1是測量物體的紅外圖像，黑白圖像是紅外圖像，彩色圖像是對應的偽彩色圖像。圖1(a)是帶有圖形催化劑的薄膜在通入可燃性氣體時發(fā)生氧化反應的狀態(tài)，圖1(b)是通電情況下的電阻絲。薄膜和電阻絲均具有較為平坦的表面，即在一個景深范圍內，故可以得到全聚焦狀態(tài)的紅外圖像，因而測量的溫度也是準確的。圖1(c)和(d)是手指分別在不同位置聚焦的紅外圖像。由于手指表面變化超過一個景深大小，所以紅外圖像中總有一部分處于模糊狀態(tài)，這部分就不能準確反映手指表面的溫度。（手指紅外圖像中，較大的黑點是汗腺位置，由于散熱，故溫度較低。）

圖1 測量物體的紅外圖像

1.3 多聚焦圖像序列采集原理

為了獲取測量物體的準確溫度信息，必須獲取一幅全聚焦的紅外圖像。對于表面變化超過景深大小的測量物體，不可能單從一幅紅外圖像中得到全聚焦紅外圖像。因此，多聚焦圖像融合技術被選擇用以獲取全聚焦紅外圖像。運用多聚焦圖像融合，首先需要獲取多聚焦圖像序列。實驗中，在豎直方向上移動紅外相機，并有規(guī)律地采集一系列紅外圖像。如圖2所示，紅外相機從下往上移動的過程中，每隔一定距離采集一幅紅外圖像，距離間隔不超過一個景深大小。圖中測量物體是手指，從采集的紅外圖像可以看出，聚焦位置向中心移動，因為中心位置較高。

2 多聚焦圖像融合

獲取多聚焦紅外圖像序列之后，再運用多聚焦圖像融合技術獲取一幅全聚焦圖像。小波變換提供圖像的雙正交基的多分辨率分解，已經被廣泛應用于圖像處理領域。本文選用基于小波變換的多聚焦圖像融合方法。

由于涉及的是數(shù)字圖像，故相應地選擇二維離散小波變換。二維離散小波變換將多聚焦圖像分解成圖像的低頻信息（近似部分）和圖像的高頻信息（細節(jié)部分），分別叫做低頻系數(shù)和高頻系數(shù)[5-7]。每幅圖像都對應著高頻系數(shù)和低頻系數(shù)，將所有圖像的高頻系數(shù)和低頻系數(shù)按照一定的融合法則分別進行融合，將最后得到的高頻系數(shù)和低頻系數(shù)進行二維離散小波逆變換，得到一幅融合圖像。

本文中需要得到全聚焦的紅外圖像，全聚焦位置包含著更多的高頻信息，而模糊位置包含著更多的低頻信息，故本文的融合規(guī)則為選擇較大的高頻系數(shù)和較大的低頻系數(shù)。為了獲取更好的融合效果，需要將圖像進行更多層次的小波分解，本文選擇了5層小波分解。下式表示基于小波的圖像融合過程：

f(,)＝IDWT{[DWT(1(,),2(,))]} (1)

式中：為融合規(guī)則；DWT表示離散小波變換；IDWT表示離散小波逆變換；表示紅外圖像；f表示融合圖像；(,)表示圖像中像素坐標。

圖2 多聚焦圖像采集原理

3 實驗結果和評價

本文針對多聚焦融合圖像和單一圖像的測溫比較，重點在于比較測溫準確度的提高。在多聚焦圖像采集中，每相鄰兩幅圖像的位置間隔是一個重要變量，本文也探討了位置間隔大小對圖像融合效果的影響。本文選用了工作中的芯片和手指作為兩組實驗對象。

3.1 評價指標

圖像融合性能評價指標包括帶有參考圖像的評價指標和不帶參考圖像的評價指標。在紅外成像中，受限于景深，很難獲取一幅全聚焦的圖像作為參考圖像。文獻[1]中，紅外相機視野里只有兩個相互分離的物體，聚焦位置相差大于一個景深，故其參考圖像可以直接從兩幅各自聚焦一個物體的圖像裁剪后拼接而成。實際應用中，測量物體可能包含不止兩個物體甚至相互交疊，并且處于不同的聚焦位置。如本文中測量物體為芯片和手指，具有復雜變化且超過一個景深范圍，較難獲取參考圖像，因此本文采用不帶參考圖像的評價指標。評價指標如下[6]：

1）標準差[8]：

式中：Hf()是融合圖像；f(,)的標準化直方圖；是圖像的灰度級。

2）熵[9]：

3）空域頻率[10]：

4）融合互信息[11]：

FMI＝MI1f＋MI2f(7)

5）拉普拉斯能級[12]：

3.2 融合效果評價

本文采集了兩組多聚焦紅外圖像：工作中的芯片和手指。

圖像序列1：工作中的芯片。采集過程中，豎直向下移動紅外相機，芯片中心較周圍位置高，故最先聚焦的位置在芯片中心，隨著相機移動，聚焦位置逐漸向周圍移動。圖像采集的位置間隔為0.1mm，共采集了32幅紅外圖像。如圖3所示，圖3(a)～(f)分別是32幅紅外圖像中的第6、10、14、18、22和26幅，聚焦位置由中心向周圍移動。圖3(g)～(i)是融合圖像，分別取自32幅圖像中的2幅、8幅和32幅融合而成，位置間隔依次為1.6mm、0.4mm和0.1mm?？梢钥闯鰣D3(i)是聚焦區(qū)域最多的融合圖像。

圖像采集的位置間隔的選取要小于等于一個景深大小，我們比較了不同位置間隔下的融合圖像的各種評價指標，如表1所示。這些評價指標是標準差、熵、空域頻率、融合互信息和拉普拉斯能級。位置間隔為0.1mm、0.2mm、0.3mm、0.4mm、0.8mm和1.6mm。表1中，標準差、熵、空域頻率和拉普拉斯能級都可以表明：位置間隔越小，融合圖像具有更清晰的細節(jié)信息，即更能準確的反映溫度信息。但圖像融合的處理時間也會越長，同時隨著位置間隔的變小，相鄰圖像差異變小，各評價指標也會趨于飽和。

圖像序列2：手指。每隔0.2mm采集一幅紅外圖像，共采集26幅。如圖4所示，圖4(a)～(d)是26幅紅外圖像中的第5、9、13和17幅，聚焦位置由中心向周圍移動。圖4(e)～(h)是融合圖像，分別取自26幅圖像中的3幅、6幅、13幅和26幅融合而成，位置間隔依次為1.6mm、0.8mm、0.4mm和0.2mm?？梢钥闯鰣D4(h)是聚焦位置最多的融合圖像。

如表2所示，標準差、熵、空域頻率和拉普拉斯能級同樣都可以表明：位置間隔越小，融合圖像具有更清晰的細節(jié)信息，即更能準確地反映溫度信息。

圖3 工作中的芯片的紅外圖像

表1 不同位置間隔的融合圖像的評價指標（圖像序列1）

The 14th and 22th images are calculated as comparison.

圖4 手指的紅外圖像

表2 不同位置間隔的融合圖像的評價指標（圖像序列2）

The 7th and 10th images are calculated as comparison.

4 溫度和誤差

獲取紅外圖像后，可以通過像素點的灰度值查表，映射出對應的溫度值。映射表是灰度和溫度的映射關系，是通過黑體輻射標定的，因此可以作為一個標準。下面對實驗中被測物體在使用單一圖像和多聚焦融合圖像測量溫度時二者之間的誤差進行計算。因為位置間隔非常小（如0.1mm，小于景深0.3mm）的多聚焦融合圖像是全聚焦圖像，因而可以認為測量的溫度是準確的。故將二者之間的誤差作為測量溫度時提高的測量精度。

4.1 單一圖像的選取

最優(yōu)圖像包含聚焦區(qū)域最多，故通常具有最大的活動能級[1]。本文從多聚焦圖像序列中選擇活動能級最大的圖像作為單一圖像測量時的最優(yōu)圖像。作為活動能級的計算指標，空域頻率和拉普拉斯能級被用來計算兩組圖像的活動能級，如圖5所示?？沼蝾l率能反映出圖像序列1（芯片）中各圖像的活動能級差別，但不能反映圖像序列2（手指）中各圖像的活動能級差別。拉普拉斯能級可以反映圖像序列1和圖像序列2中各圖像的活動能級差別。從圖中可以看出，圖像序列1中的第14和第22幅圖像、圖像序列2中的第7和第10幅圖像被分別選為各自的最優(yōu)圖像。

4.2 誤差計算

單一圖像和多聚焦融合圖像之間的誤差圖像如圖6所示。圖6(a)和(b)分別是圖像序列1（芯片）中第14幅、第22幅圖像與融合圖像之間的誤差圖像。圖6(c)和(d)分別是圖像序列2（手指）中第7幅、第10幅圖像與融合圖像之間的誤差圖像。

按照公式10、11和12可以計算出單一圖像測溫與多聚焦圖像測溫之間的誤差。如表3所示，在測量工作中的芯片溫度時，平均溫度誤差至少為0.68℃，即采用多聚焦圖像融合技術時，測量準確度至少提高了0.68℃（平均到每個像素點）；在手指的溫度測量中，平均溫度誤差至少為0.11℃，即采用多聚焦圖像融合技術時，測量準確度至少提高了0.11℃（平均到每個像素點）。

5 三維重構

由于采用多聚焦圖像融合測溫時，所采集的每幅圖像都具有對應的采集位置信息，即圖像中聚焦區(qū)域具有對應的深度信息。通過聚焦評價函數(shù)獲取每一區(qū)域對應的最清晰位置（即深度），重構出一幅表面三維結構圖。

圖5 按照空域頻率和拉普拉斯能級選取圖像

圖6 誤差圖像

因為聚焦區(qū)域包含較多的高頻分量，類似與單一最優(yōu)圖像選取中用到的拉普拉斯活動能級，三維重構中的聚焦評價函數(shù)選用改進的拉普拉斯算子[13-14]，如下式：

數(shù)字圖像處理中，用差分代替微分進行計算。采用改進的窗口大小為3×3的拉普拉斯算子。如下式：

在進行聚焦評價之前，采用窗口大小為2×2的平滑濾波器削弱噪聲影響。獲取高度圖之后，采用了6×6的中值濾波器使重構出的表面更加平滑。圖7所示為不同視角的三維重構高度圖。

在獲取了多聚焦融合圖像和三維重構的高度圖之后，使用融合的全聚焦紅外圖像渲染到三維高度圖的表面，使測試物體表面深度信息與紅外信息形成互補。圖8所示為三種不同視角下的用紅外融合圖像渲染的三維高度圖。

圖7 三維重構高度圖

6 結論

本文提出了基于多聚焦圖像融合的曲面溫度測量及被測物體三維重構的方法。該方法采集同一視場不同聚焦深度的紅外圖像序列，利用多聚焦圖像融合，獲取所有位置均處于聚焦狀態(tài)的紅外圖像。再查溫度標定表，可得準確的溫度信息，同時，與單一圖像測溫進行了誤差對比分析。最后，利用多聚焦圖像系列附帶深度信息的特點，通過聚焦評價函數(shù)重構出被測物體表面的三維深度信息，并將全聚焦紅外圖像渲染到三維深度圖。實驗表明，應用此方法，可以準確測量物體表面溫度信息，三維重構圖可以輔助測量分析。

表3 平均灰度誤差和平均溫度誤差

圖8 紅外融合圖像渲染高度圖

[1] Benes R, Dvorak P, Faundez-Zanuy M, et al. Multi-focus thermal image fusion[J]., 2013, 34(5): 536-544.

[2] 宋敏, 張蓉竹, 孫年春. 基于紅外與微光融合圖像的夜視儀設計[J]. 紅外技術, 2014, 36(11): 885-889.

[3] 韋道知, 黃樹彩, 夏訓輝, 等. 基于時空域融合濾波的小目標檢測算法[J]. 紅外技術, 2014, 36(11): 905-908.

[4] 許廷發(fā), 李俊濤, 張一舟, 等. 真彩色傳遞雙波段圖像融合[J]. 中國光學, 2014, 7(3): 402-410.

[5] Pajares G, J Manuel de la Cruz. A wavelet-based image fusion tutorial[J]., 2004, 37(9): 1855-1872.

[6] Naidu V, Raol J. Pixel-level image fusion using wavelets and principal component analysis[J]., 2008, 58(3): 338-353.

[7] Nikolov S, Hill P, Bull D, et al. Wavelets for image fusion[J]., 2001, 19: 213-241.

[8] Blum, Rick S, Zheng Liu, et al.[M]. Boca Raton, FL: CRC press, 2005.

[9] Bruce King, Leung Lau Wai, Comparison of image data fusion techniques using entropy and INI[C]//22, 2001: 15-20.

[10] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]., 1995, 43(12): 2959-2965.

[11] Cvejic N, Loza A, Bull D, et al. A similarity metric for assessment of image fusion algorithms[J]., 2005, 2(3): 178-182.

[12] Faundez-Zanuy M, Mekyska J, Espinosa-Duró V. On the focusing of thermal images[J]., 2011, 32(11): 1548- 1557.

[13] 王金巖, 史文華, 敬忠良. 基于Depth from Focus的圖像三維重建[J]. 南京航空航天大學學報, 2007, 39(2): 181-186.

[14] 王娜, 周權. 光學顯微鏡下微小物體的三維重構[J]. 光電工程, 2010, 37(11): 84-90.

Temperature Measurement and 3D Reconstruction Based on Multifocus Thermal Images

LIU Zhong-yi1，ZHANG Chun2，HU Zhi-yu1,2,3

（1.，，200072，； 2.，，200444，；3.，，200240，）

Because of the short depth of field of thermal camera, it is hard to get a thermal image of all-focus, especially the objects whose surface fluctuation is out of the depth of field. Points which are not focused in thermal image can’t reflect the temperature information accurately. This paper proposes a method based on multifocus image fusion to resolve the problem. The method gets an all-focus image from multifocus images. The method improves the object temperature measurement error up to 0.68 degrees Celsius (average sharing to every pixel of thermal image) in working chip and 0.11 degrees Celsius in the skin of thumb. By the way, 3D surface reconstructed by depth form focus is achieved to give more information about test objects.

infrared image，multifocus image fusion，temperature measurement，3D reconstruction

TP391.41

A

1001-8891(2015)06-0449-08

2014-12-17；

2015-01-25.

劉中意（1988-），男，碩士研究生，主要研究方向為圖像處理和模式識別。

胡志宇（1965-），男，博士，教授，主要研究方向是納米量級高效低污染能量轉換元器件及其應用、薄膜納米結構功能材料等。

上海市科委科技攻關項目，編號：11DZ1111200；云南省科技廳省院省?？萍己献鲗ｍ?，編號：2010AD003。