【作 者】李富峰，陳峰，劉靜

1 清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系，北京市，100084

2 清華大學(xué)自動化系，北京市，100084

基于手機的移動式熱成像系統(tǒng)研究與初步應(yīng)用

【作 者】李富峰1，陳峰2，劉靜1

1 清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系，北京市，100084

2 清華大學(xué)自動化系，北京市，100084

研究了一種基于手機的低成本熱成像系統(tǒng)架構(gòu)及其組成要素：熱成像模塊、手機與專屬操作軟件等。探討了各種陣列熱成像模塊的設(shè)計理念與考慮因素，包含元器件成本與噪聲等效溫差等。軟件中引入了場景變化偵測來改善非均勻修正算法的效率。該系統(tǒng)在積分時間大于16幀的情況下，其噪聲等效溫差（NETD）可低于150 mK。特別地，將該系統(tǒng)應(yīng)用于人體運動健康評估中的體溫監(jiān)測上，試驗證實了其在醫(yī)學(xué)應(yīng)用上的可靠性與便利性。

紅外熱像儀；手機；移動醫(yī)療；非均勻修正算法；無線監(jiān)測

0 引言

紅外熱成像系統(tǒng)（以下簡稱熱像儀）作為一種非接觸式的溫度測量儀器，具有相當(dāng)廣泛的工業(yè)與醫(yī)療應(yīng)用價值。有別于以往必須接觸被測物的測溫方式，熱像儀使用以熱電或熱阻物質(zhì)所制成的焦面陣列(Focal Plane Array, FPA)，將被測物的溫度分布轉(zhuǎn)變?yōu)殡妷盒盘?，產(chǎn)生對應(yīng)的灰度圖像，由此讓使用者可以從該圖像上分析出被測物的溫度變化。因此，熱像儀能夠在各種復(fù)雜環(huán)境下進(jìn)行直觀、全面、非破壞性(Nondestructive)的檢測。

如今，可攜式熱像儀已成為一種高效率的人體溫度信息采集設(shè)備，應(yīng)用于乳癌、炎癥、糖尿病足等多種病癥的檢測，并可望應(yīng)用在移動醫(yī)療(Mobile health)領(lǐng)域上。然而，由于其造價高昂，難以達(dá)到移動醫(yī)療對低成本上的考慮；此外，目前市面上的可攜式熱像儀不具備或具備有限的無線傳輸功能，也使其在移動醫(yī)療領(lǐng)域中遭遇諸多限制。

為了進(jìn)一步發(fā)展熱像儀在移動醫(yī)療上的應(yīng)用，作者實驗室提出了手機式紅外熱成像系統(tǒng)的技術(shù)理念，并研制了初步的原型系統(tǒng)，可望促成一種低成本醫(yī)療影像系統(tǒng)的形成。本文旨在研究其中的技術(shù)架構(gòu)，探討了各種陣列熱成像模塊成像精度和成本的問題。該系統(tǒng)充分借助了智能手機的高效運算能力，透過設(shè)計外部的熱成像硬件模塊與對應(yīng)的手機軟件(APP)，可實現(xiàn)手機熱像儀的各種人機接口、顯示與數(shù)據(jù)存儲功能，進(jìn)一步通過發(fā)展對應(yīng)的高效熱像處理算法，可提高成像質(zhì)量與節(jié)省手機功耗。為評估該系統(tǒng)在移動健康領(lǐng)域的應(yīng)用情況，我們將其用于運動人體的熱像采集，通過初步的醫(yī)學(xué)分析證實了系統(tǒng)的實用性。

1 系統(tǒng)設(shè)計

1.1 整體架構(gòu)

手機型紅外熱成像系統(tǒng)的整體架構(gòu)如圖1所示。本研究在無線網(wǎng)絡(luò)(Wi-Fi)的基礎(chǔ)上，搭建一個具備遠(yuǎn)程監(jiān)控能力的熱像系統(tǒng)。透過手機客戶端遙控?zé)岢上衲K，將其獲得的熱像數(shù)據(jù)透過無線網(wǎng)絡(luò)傳送到手機

上，由手機端軟件進(jìn)行影像運算、處理與存儲，最后在手機屏幕上呈現(xiàn)熱像畫面。此系統(tǒng)可呈現(xiàn)連續(xù)性的熱像監(jiān)測，或擷取單張熱像提供后續(xù)醫(yī)學(xué)分析。進(jìn)一步的應(yīng)用方面，可透過手機的無線能力，將受試者的熱像數(shù)據(jù)上傳至云端存儲，或者透過第三方遠(yuǎn)程醫(yī)學(xué)診斷平臺進(jìn)行病況分析。

圖1 手機熱成像系統(tǒng)架構(gòu)圖Fig.1 Scheme for mobile phone based thermal imaging system

1.2 主要元器件

本系統(tǒng)中，手機由用戶自帶，作為成本的主要來源是熱成像模塊。典型的熱成像模塊一般包含傳感器、光學(xué)機構(gòu)、后端集成讀取電路、輸出接口等部分。為了達(dá)到低成本探測溫度圖像的目的，在傳感器的選擇上，我們采用價格低廉的熱電堆陣列，取代過去常見但較昂貴的微測輻射熱計(Microbolometer)。

我們曾全面評估不同陣列成像模塊的應(yīng)用情況，如1×1，8×8，16×4，32×31等小陣列模塊，雖然價格相對較低，但能探測的空間范圍有限，必須對研究對象進(jìn)行掃描才能實現(xiàn)理想的成像。因此，為了不失一般性，本文考察的陣列系在前期研究基礎(chǔ)上結(jié)合成本和性能綜合選定，傳感器采用Heimann公司所產(chǎn)的熱電堆陣列芯片，分辨率為64×62。

光學(xué)機構(gòu)設(shè)計主要是一個前置鍺鏡片，采用非球面鏡以降低球面像差，表面采用抗反射鍍膜處理，視角為39o。此外，基于對噪聲等效溫差(Noise Equivalent Temperature Difference, NETD)的考慮，我們將焦距比數(shù)(F-number)設(shè)為0.8。

NETD是熱像儀在溫度分辨率上的指標(biāo)性參數(shù)[1]，其代表著信號噪聲所對應(yīng)的溫度值，越小則代表溫度解析能力越好。理論上，熱像儀的NETD除了受到元器件本身的性能影響外，也與其光學(xué)機構(gòu)的參數(shù)有關(guān)，其正比于焦距比數(shù)的平方[2]。而從光學(xué)機構(gòu)的設(shè)計角度而言，景深同時也正比于焦距比數(shù)[3]。這意味著在設(shè)計熱像儀時，必須在溫度解析能力與景深之間作出取舍。考慮到未來手機熱像儀的實際應(yīng)用，本系統(tǒng)著重于測量特定目標(biāo)的溫度分布，譬如觀察人臉、人體組織、人體姿態(tài)、目標(biāo)模式辨別等用途，故前后景模糊的影響可暫且不計。因此，在設(shè)計光學(xué)機構(gòu)時，我們將焦距比數(shù)設(shè)定到極可能小。

1.3 手機平臺及軟件開發(fā)環(huán)境

本系統(tǒng)采用的手機為Google公司委托Samsung公司所產(chǎn)的i9250 Galaxy Nexus。其特點在于能完美支持Android系統(tǒng)的所有功能，有利于未來軟件編寫時的效率與性能評估。

手機軟件的開發(fā)環(huán)境為Eclipse，編寫語言為Android。有鑒于Android的開放性與市場流通性，其可望成為未來手機平臺操作系統(tǒng)的通用標(biāo)準(zhǔn)。此外，Android程序庫與Java類庫(Java Class Library, JCL)相近，有利于軟件未來在多平臺的移植。

2 手機端軟件的實現(xiàn)

2.1 人機接口設(shè)計

軟件的主頁面中，使用者可以透過手機觸控屏選擇欲知溫度的區(qū)域，并隨時監(jiān)測畫面中溫度極值的位置與數(shù)值，針對實際的測量需求，使用者可以自行設(shè)置影像積分時間或使用軟件默認(rèn)值。軟件所擷取或錄制熱像的圖像與數(shù)據(jù)，存儲于手機的SD記憶卡中。設(shè)定頁面中，使用者可以設(shè)定溫度尺度與熱像色條。

2.2 整體算法流程

本軟件根據(jù)所接收的數(shù)張原始影像數(shù)據(jù)進(jìn)行平均算法，然后透過非均勻影像修正(Non-Uniformity Correction, NUC)算法，得出最后的結(jié)果。

平均算法所需的張數(shù)由軟件所設(shè)定的積分時間來決定，并采用LIFO (Last-in-First-out)的方式，使影像在播放時的更新頻率為每幀一次而非數(shù)幀，以提升影像的流暢性。

為了節(jié)省手機在非均勻影像修正的計算量，本研究加入了場景變化偵測(Scene change detection)的機制，在靜態(tài)與動態(tài)測量時采用不同的修正算法，達(dá)到手機節(jié)能的重要目的。當(dāng)場景持續(xù)變化時，軟件采取“粗略算法”，只采用線性修正算法；當(dāng)場景停止變化超過4幀時，軟件采取“精細(xì)算法”，在線性修正算法的基礎(chǔ)上，再加入神經(jīng)網(wǎng)絡(luò)(Neural networks)修正算法。

2.3 線性修正算法

熱像傳感器中每個像素點的溫度讀值，需要透過對黑體爐溫度的量測進(jìn)行校正，透過原始溫度值與實際溫度值的數(shù)據(jù)，擬合出一條線性方程式作為修正公

式。在本系統(tǒng)中共有3 968組修正系數(shù)，以默認(rèn)值儲存在手機中，使用者也可根據(jù)需要自行重新設(shè)定。

2.4 神經(jīng)網(wǎng)絡(luò)修正算法

由于熱像傳感器可能會因為人為或未知因素導(dǎo)致響應(yīng)改變，使原本的修正公式產(chǎn)生偏差，NUC算法必須具備自適應(yīng)(Self-adapted)的能力，使修正系數(shù)隨時能進(jìn)行更新。此方法的實現(xiàn)方式為，預(yù)先設(shè)定一個具有良好均勻性的理想圖像，將新輸入的圖像數(shù)據(jù)與舊圖像數(shù)據(jù)進(jìn)行遞歸運算，使新輸出的圖像數(shù)據(jù)逐漸接近理想圖像，從而使修正系數(shù)產(chǎn)生變化。由于此算法引入了神經(jīng)網(wǎng)絡(luò)算法的概念，故被命名為神經(jīng)網(wǎng)絡(luò)修正算法[4]。

此算法需要較龐大的計算量，對于手機而言會有不必要的耗能。此外，當(dāng)場景產(chǎn)生變化時，必須重新設(shè)定一個新的理想圖像，進(jìn)而改變遞歸關(guān)系式的收斂性。所以，只在場景停止變化超過一定幀數(shù)時，軟件才會開始使用此算法。

3 系統(tǒng)效能評估與實際應(yīng)用

3.1 噪聲等效溫差量測

如1.2節(jié)所提，NETD是探討熱像儀效能的一個指標(biāo)性參數(shù)。一般來說，商用熱像儀的NETD值大多為50～200 mK。NETD的測量方式為，將熱像儀放在黑體爐前，并確保黑體爐的發(fā)熱面涵蓋住熱像儀的整個視野，然后設(shè)定兩種黑體爐的溫度，計算在這兩種溫度范圍下溫度讀值的標(biāo)準(zhǔn)差。參考國際標(biāo)準(zhǔn)[5]與FLIR公司所建議的方式[6]，以20oC～30oC為例，NETD的計算公式可如下所示：

其中，M20為20oC下連續(xù)64幀熱像圖的平均，M30為30oC下連續(xù)64幀熱像圖的平均，T25為25oC下連續(xù)128幀熱像圖的標(biāo)準(zhǔn)差矩陣，m與n為熱像圖矩陣的行數(shù)與列數(shù)。

對熱像儀而言，不同積分時間下所得出的NETD會有所不同。在此，我們探討本系統(tǒng)在不同積分時間下的NETD值，如圖2所示?？煽闯龇e分時間大于16幀的NETD值低于150 mK，代表只要積分時間大于16幀，本系統(tǒng)即可符合一般商用熱像儀的基本要求。

3.2 單人與多人實際熱成像結(jié)果

本系統(tǒng)的熱成像效果如圖3所示。從圖3(b)與圖3(e)可看出，未經(jīng)過NUC算法處理前的原始影像均勻度很差，并且可明顯看出有直條狀噪聲，這是因為熱像傳感器內(nèi)部集成的列放大器效能各有差異之故。經(jīng)過NUC算法處理后，從圖3(c)與圖3(f)可看出，整體影像均勻度有了相當(dāng)?shù)奶嵘?/p>

圖2 不同積分時間下的NETD值Fig.2 NETD value corresponding to different integration times

單人熱成像測量下（圖3(a)至3(c)），可觀察出受測者的臉部溫度分布情況，兩頰、鼻梁與嘴唇的溫度低于額頭；多人熱成像測量下（圖3(d)至3(f)），可觀察出三名受測者因性別、衣著、身材等因素所致的溫度分布差異，中間女性胸口部分的溫度低于其它部位，右側(cè)男性因衣著較厚，所呈現(xiàn)的整體溫度比左側(cè)男性低。

圖3 熱成像效果圖Fig.3 Thermal imaging performance of system

3.3 運動人體溫度變化的研究及其醫(yī)學(xué)意義分析

溫度圖譜的監(jiān)測和評估在眾多醫(yī)學(xué)應(yīng)用中意義顯

著，而低成本的手機型移動紅外系統(tǒng)可望為此發(fā)揮較大作用。人體自身的熱調(diào)節(jié)功能對其生理狀態(tài)的影響很大。對于老人或嬰幼兒而言，由于熱調(diào)節(jié)功能的弱化或尚未健全，經(jīng)常會導(dǎo)致身體過熱或過冷，從而對身體造成危害，即便是健康成年人，若在運動狀態(tài)下不注意體溫的控制，也會造成中暑、熱衰竭等致命癥狀。于是，一個快速而有效的測溫方式，對于工人、運動員、軍人等勞作性較高的族群而言，是極為重要的健檢手段。

對于人體溫度的探討，分為核心溫度與體表溫度兩方面。一般談到體溫所指的都是核心溫度，在一般臨床以肛門、舌下、腋下、耳膜等部分的溫度為代表。正常的核心溫度坐落在35～37oC，長達(dá)45 min的跑步運動則會使核心溫度高達(dá)39.3oC，若是核心溫度超過42oC則會對生理機能造成損害[7]。而體表溫度則為皮膚、皮下組織和肌肉組織的溫度，是調(diào)節(jié)核心溫度與外在環(huán)境溫度的重要指標(biāo)。當(dāng)核心與體表之間產(chǎn)生溫度梯度時，人體會透過體表血流的供應(yīng)量變化達(dá)成反饋機制，進(jìn)而調(diào)節(jié)核心溫度。當(dāng)人體處于運動狀態(tài)時，若核心溫度過高而溫度梯度不足導(dǎo)致散熱效率低落，則人體將產(chǎn)生 中暑現(xiàn)象。

在本研究中，我們找尋十名健康的成年研究生作為受試者，在室溫27oC、濕度16%的恒溫恒濕環(huán)境下進(jìn)行兩次有氧運動，中間休息15 min，測量受試者在運動期間的體溫變化。核心溫度方面，我們使用電子溫度計測量受試者的腋溫；體表溫度方面，我們使用本研究所研制的手機熱像儀測量受試者的臉頰與額頭溫度，并使用安捷倫(Agilent)熱電偶儀進(jìn)行比對。

實驗結(jié)果如圖4所示。我們可看出無論核心溫度或體表溫度都隨著運動上升，休息則會下降，整體曲線呈現(xiàn)上升-下降-上升-下降的趨勢。值得注意的是，臉頰溫度的變化比額頭明顯，這象征著未來在監(jiān)測運動員體溫的應(yīng)用上，采取臉頰溫度的數(shù)據(jù)將更為有效[8]。同時，與熱電偶儀進(jìn)行比對的測量結(jié)果，偏差率在±1%以內(nèi)，證實本系統(tǒng)具有良好的可靠性。

4 小結(jié)

本研究所研制的手機熱像儀，經(jīng)現(xiàn)行熱像儀的標(biāo)準(zhǔn)證實其可靠性，并透過初步的熱像采集應(yīng)用，得出了一些具有價值的結(jié)論。本系統(tǒng)實現(xiàn)了傳統(tǒng)熱像儀所應(yīng)具備的實時采集、信息存儲、自我校正等功能，并利用手機的各項特點，擴展了進(jìn)一步的應(yīng)用。

本研究所提出的基于手機的新式熱像儀，其研制意義在于以下三點：

圖4 運動人體溫度變化圖Fig.4 Temperature variance of human during physical exercise

(1) 手機為現(xiàn)今社會的必需品，同時也是一個理想的嵌入式系統(tǒng)平臺。藉由手機的無線傳輸與高運算能力的特性，使本系統(tǒng)在傳統(tǒng)熱像儀的基礎(chǔ)上，更具備了遠(yuǎn)程信息傳輸、操作便利的特點。

(2) 本研究在既有的線性修正、神經(jīng)網(wǎng)絡(luò)修正等熱像修正算法上提出了新的概念，以場景變化偵測的機制來有效節(jié)約計算量，達(dá)到手機耗能的目的。

(3) 經(jīng)由對運動人體的溫度測量，證實了本系統(tǒng)在此課題上的可靠性，未來可應(yīng)用在運動員、工地工人、軍隊等健檢工作，提供實時且便捷的體溫量測。此外，可以進(jìn)一步應(yīng)用在老人與嬰幼兒的體溫保健，以及其它需要高效率熱像采集的場合。

手機熱像儀象征著著熱像儀的一個全新發(fā)展方向，同時也是移動醫(yī)療領(lǐng)域的一個突破。其具備的低成本與可攜式特性，可望在民用市場有更廣泛的應(yīng)用。

[1] Tsujino Y. An approach for the performance analysis of an uncooled infrared bolometer imager[J]. Infrared Phys Tech, 2010, 53(1): 50-60.

[2] Kruse PW. Uncooled IR focal plane arrays[J]. Proc SPIE Infrared Technology XXI, 1995, 2552: 556-563.

[3] Ray SF. Scientific Photography and Applied Imaging[M]. Boston: Focal Press, 1999. 46-47.

[4] Scribner DA, Sarkady KA, Kruer MR, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[J]. Proc SPIE Infrared Sensors: Detectors, Electronics Signal Process, 1991, 1541: 100-109.

[5] ASTM. ASTM E1543-00, Standard test method for noise equivalent temperature difference of thermal imaging systems[S].

[6] How is NEDT measured?[R/OL]. http://flir.custhelp.com/app/ answers/detail/a_id/128/～/how-is-nedt-measured%3F.

[7] Lim CL, Byrne C, Lee JKW. Human thermoregulation and measurement of body temperature in exercise and clinical settings[J]. Ann Acad Med Singap, 2008, 37(4): 347-353.

[8] Legrand FD, Bertucci WM, Arfaoui A. Relationships between facial temperature changes, end-exercise affect and during-exercise changes in affect: A preliminary study[J]. Europ J Sport Sci, 2015, 15(2): 161-166.

Investigation on Mobile Phone Based Thermal Imaging System and Its Preliminary Application

【W(wǎng)riters】LI Fufeng1, CHEN Feng2, LIU Jing1
1 Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing, 100084
2 Department of Automation, Tsinghua University, Beijing, 100084

The technical structure of a low-cost thermal imaging system (TIM) lunched on a mobile phone was investigated, which consists of a thermal infrared module and mobile phone and application software. The designing strategies and technical factors toward realizing various TIM array performances are interpreted, including sensor cost and Noise Equivalent Temperature Difference (NETD). In the software algorithm, a mechanism for scene-change detection was implemented to optimize the efficiency of non-uniformity correction (NUC). The performance experiments and analysis indicate that the NETD of the system can be smaller than 150 mK when the integration time is larger than 16 frames. Furthermore, a practical application for human temperature monitoring during physical exercise is proposed and interpreted. The measurement results support the feasibility and facility of the system in the medical application.

infrared thermal imaging system, mobile phone, mobile health, non-uniformity correction, wireless monitoring

R318.0

A

10.3969/j.issn.1671-7104.2015.03.005

1671-7104(2015)03-0173-04

2015-03-12

劉靜，E-mail: jliubme@tsinghua.edu.cn