梁智敏，陳 騏，肖書明，馬 潔，甄慶凱

?

利用熱成像技術(shù)對(duì)心率進(jìn)行無接觸檢測的研究

梁智敏1，陳 騏2，肖書明2，馬 潔1，甄慶凱2

1.北京信息科技大學(xué)自動(dòng)化學(xué)院,北京100192；2.國家體育總局體育科學(xué)研究所,北京100061

目前，在體育領(lǐng)域檢測運(yùn)動(dòng)員心率的常用方法大多數(shù)是接觸式檢測，而接觸式檢測會(huì)使運(yùn)動(dòng)員產(chǎn)生異物感，影響運(yùn)動(dòng)員的真實(shí)運(yùn)動(dòng)狀態(tài)。利用紅外熱成像技術(shù)，提出了一種非接觸式實(shí)時(shí)測量心率的新方法。對(duì)于靜態(tài)心率，采用圖像處理技術(shù)對(duì)視頻幀中感興趣區(qū)域進(jìn)行分割并追蹤，得到視頻中感興趣區(qū)域的整體灰度均值變化曲線，對(duì)采集到的信號(hào)采取小波分析去除信號(hào)中的噪聲，并進(jìn)行帶通濾波，最后利用小波包重構(gòu)實(shí)現(xiàn)心率的實(shí)時(shí)檢測，取得了較好的效果。對(duì)于動(dòng)態(tài)心率變化，采用熱紅外圖像中感興趣區(qū)域的灰度均值的變化來分析動(dòng)態(tài)心率的變化趨勢(shì)，這兩種方法在Bland-Altman分析中取得良好的一致性。

熱紅外圖像；心率測量；濾波；小波包分解與重構(gòu)

1 引言

運(yùn)動(dòng)訓(xùn)練的生理學(xué)實(shí)質(zhì)，是通過所施加的訓(xùn)練負(fù)荷使運(yùn)動(dòng)員身體各器官系統(tǒng)產(chǎn)生適應(yīng)性變化，從而提高其參與運(yùn)動(dòng)競技的能力。在運(yùn)動(dòng)員訓(xùn)練過程中，需要定期或不定期地檢測其生理指標(biāo)，根據(jù)運(yùn)動(dòng)員的相關(guān)指標(biāo)，調(diào)控訓(xùn)練負(fù)荷，以改善運(yùn)動(dòng)訓(xùn)練的效果。心率作為度量訓(xùn)練負(fù)荷的一個(gè)重要生理指標(biāo)，經(jīng)常用于運(yùn)動(dòng)員身體機(jī)能的檢測和評(píng)定。目前，運(yùn)動(dòng)員在運(yùn)動(dòng)過程中心率的獲取一般都是采用心率帶、手環(huán)等接觸式的方式來實(shí)現(xiàn)，這種方式可以實(shí)現(xiàn)在運(yùn)動(dòng)狀態(tài)中的心率實(shí)時(shí)采集，但在檢測心率的過程中都會(huì)與被檢測者產(chǎn)生一定的物理接觸，且長時(shí)間的測量會(huì)給被測試者帶來不適或異物感，影響運(yùn)動(dòng)員的正常運(yùn)動(dòng)狀態(tài)。

基于圖像的非接觸式檢測方法包括可見光成像和熱紅外成像。與可見光成像相比，熱紅外成像具有以下幾點(diǎn)優(yōu)勢(shì)：1）可以發(fā)現(xiàn)運(yùn)動(dòng)員的潛在身體損傷；2）視頻采集過程中受光照變化影響小；3）可以實(shí)時(shí)、全面的獲得人體表面的溫度信息。利用熱紅外圖像進(jìn)行心率檢測最早是由美國休斯敦大學(xué)的教授Marc Garbey等[12]在2007年提出的，他采用自適應(yīng)濾波和快速傅里葉變換的方法來實(shí)現(xiàn)人體心率的測量，2010年，我國首都醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院的景斌等[2]利用熱紅外圖像并采用功率譜分析的方法也成功的檢測出了人體心率，2013年，美國路易斯維爾大學(xué)的Travis R.Gault等[11]利用熱成像中溫度的變化，采用兩種不同的方法測試了人在3種不同的狀態(tài)下的心率，并對(duì)兩種方法的精確度進(jìn)行了對(duì)比。

由以上文獻(xiàn)可見，利用熱成像中人體淺表動(dòng)脈的溫度變化來檢測人體心率的方法是可行的。本研究利用熱紅外成像這種非接觸式的檢測技術(shù)并采用新的算法進(jìn)行心率檢測，非接觸式的測量方法可以從根本上消除異物感和不適感，新的算法則提高了心率檢測的精確度，以及獲得更真實(shí)有效的心率數(shù)據(jù)。此外，此類研究獲得的結(jié)論和方法，對(duì)于檢測更多其他人體生理參數(shù)具有潛在的技術(shù)價(jià)值。

在基于圖像檢測心率的數(shù)據(jù)處理算法中，常用的主要有功率譜分析，傅里葉變換[16]，人工智能[1]，獨(dú)立成分分析[6]等，經(jīng)典的傅里葉變換更適用于平穩(wěn)隨機(jī)信號(hào)，其特性不隨時(shí)間變化的信號(hào)[8]，因此，不適用于動(dòng)態(tài)心率信號(hào)的處理。本研究中需要處理的信號(hào)是非平穩(wěn)的隨機(jī)信號(hào)，且信號(hào)中含有各種噪聲的干擾，所述噪聲一般是寬帶隨機(jī)信號(hào)，其頻帶和有用信號(hào)的頻帶存在重疊。目前，在實(shí)現(xiàn)非平穩(wěn)隨機(jī)信號(hào)的消噪中，小波分析被認(rèn)為是最好的方法[4]。因此，本研究利用小波進(jìn)行信號(hào)的去噪處理，并運(yùn)用小波包分解與重構(gòu)對(duì)信號(hào)進(jìn)行分析。

2 研究對(duì)象與方法

2.1 研究對(duì)象

靜態(tài)心率檢測實(shí)驗(yàn)中研究對(duì)象8人，其中4男、4女，動(dòng)態(tài)心率檢測實(shí)驗(yàn)中研究對(duì)象20人，其中10男、10女，均為在校學(xué)生，年齡范圍在22~25歲。

2.2 研究方法

本研究所用熱紅外圖像的采集設(shè)備為上海斌瑞檢測技術(shù)服務(wù)有限公司的IRS S65-A，圖像的分辨率為384×288像素，紅外波長范圍為8~14，測溫范圍在-20°C~ +350°C，熱靈敏度＜0.05°C，測溫精度在±2°C或±2%，取其大值，由血液流經(jīng)面部造成的溫度變化范圍在0.1°C~0.5°C（此范圍由視頻中的溫度變化來獲?。?，在檢測精度范圍內(nèi)，滿足目標(biāo)的要求。實(shí)驗(yàn)在室內(nèi)進(jìn)行，在靜止?fàn)顟B(tài)下，采集包含受試者面部的視頻，每人時(shí)長2 min，視頻格式為AVI，靜態(tài)實(shí)驗(yàn)時(shí)的環(huán)境溫度為22.3°C。在運(yùn)動(dòng)狀態(tài)下，同樣采集包含受試者面部的視頻，每人時(shí)長16 min，視頻格式也為AVI，動(dòng)態(tài)實(shí)驗(yàn)時(shí)環(huán)境溫度為23.7°C，運(yùn)動(dòng)的過程如下：開始時(shí)，保持靜止?fàn)顟B(tài)1 min，然后在跑臺(tái)上跑動(dòng)。為了對(duì)不同心率狀態(tài)進(jìn)行測試，逐步提升運(yùn)動(dòng)負(fù)荷，跑臺(tái)速度按5個(gè)臺(tái)階逐步遞增，分別為：3 km/h、4 km/h、6 km/h、8 km/h、10 km/h，每個(gè)速度臺(tái)階持續(xù)3 min。靜態(tài)和動(dòng)態(tài)試驗(yàn)均采用德國運(yùn)動(dòng)心肺功能測試系統(tǒng)Contex Metalyzer 3B（CPET）同步采集受試者的實(shí)時(shí)心率數(shù)據(jù)。

采集實(shí)驗(yàn)數(shù)據(jù)時(shí)，如何使熱紅外圖像與心率采集設(shè)備實(shí)現(xiàn)數(shù)據(jù)采集的時(shí)間同步是一個(gè)非常重要的問題。本實(shí)驗(yàn)時(shí)間同步的方法是為熱成像視頻設(shè)備和心率采集設(shè)備設(shè)置一個(gè)相同的時(shí)間起點(diǎn)基準(zhǔn)，利用能夠產(chǎn)生與環(huán)境溫度差別較大的物體（例如一個(gè)發(fā)熱設(shè)備）作為發(fā)令裝置，使熱成像視頻采集設(shè)備和心率采集設(shè)備在發(fā)令裝置指揮下，同時(shí)啟動(dòng)采集工作。為了進(jìn)一步提高同步基準(zhǔn)點(diǎn)的一致性，再在兩種設(shè)備采集到的數(shù)據(jù)啟動(dòng)點(diǎn)之后，延遲2 s，截取數(shù)據(jù)，再按照3.3.1中所述的方式來同步兩種設(shè)備采集到的信號(hào)。

3 原理及實(shí)現(xiàn)

3.1 物理原理

眾所周知，自然界中一切溫度高于絕對(duì)零度（-273 ℃）的物體均不斷向空間發(fā)射紅外輻射，且紅外輻射與物體溫度存在一定關(guān)系。當(dāng)物體表面具有相同的輻射率時(shí)，物體的溫度越高，其單位表面積的紅外輻射功率越強(qiáng)。紅外熱像儀的測溫原理，即為通過對(duì)紅外輻射功率的度量來獲得物體表面溫度的分布情況。

關(guān)于人體的皮膚溫度和心臟，通常認(rèn)為存在如下關(guān)系：皮膚溫度受皮膚血管內(nèi)的血流量的影響[7]，而皮膚血管內(nèi)的血流量又與心臟活動(dòng)相關(guān)：心臟的各個(gè)心房和心室以一定的頻率收縮和舒張，把血液壓入動(dòng)脈血管，以及促使血液從靜脈血管流回心臟。血液作為一種傳熱介質(zhì)，會(huì)將人體內(nèi)核部位的熱量傳遞到人的身體外層（包括皮膚）。理論上來說，血液帶來的熱量，會(huì)導(dǎo)致身體各處皮膚的溫度發(fā)生變化，1999年，中國中醫(yī)研究院針灸研究院的張棟等[5]利用紅外熱像的方法總結(jié)了面部皮膚溫度與面部血流量的關(guān)系，得到結(jié)論：在嚴(yán)格控制其他相關(guān)條件的情況下，溫度與血流量之間有著基本一致的對(duì)應(yīng)關(guān)系。因此判斷，皮膚溫度的變化與心臟的跳動(dòng)之間存在潛在的相關(guān)關(guān)系。本研究依據(jù)上述的關(guān)系，通過對(duì)人體皮膚的熱紅外圖像特征進(jìn)行分析，來研究皮膚的溫度數(shù)據(jù)特征與心率之間的關(guān)系。

3.2 靜態(tài)心率的算法

3.2.1 心率檢測算法的整體設(shè)計(jì)

本實(shí)驗(yàn)在采集人體臉部熱紅外圖像的同時(shí)，同步采集人體心率數(shù)據(jù)。首先，在熱紅外圖像中尋找潛在地與人體心率相關(guān)性較高的區(qū)域作為本次實(shí)驗(yàn)的感興趣區(qū)域，然后對(duì)采集到的熱紅外圖像中的感興趣區(qū)域進(jìn)行追蹤。由于本實(shí)驗(yàn)采集的是人體處于安靜狀態(tài)下的視頻，因此，經(jīng)典的Camshift算法[9]能夠滿足對(duì)感興趣區(qū)域的追蹤要求，對(duì)追蹤到的每個(gè)感興趣區(qū)域進(jìn)行運(yùn)算，得到感興趣區(qū)域（Region of Interesting，ROI）的灰度均值，然后對(duì)該灰度均值進(jìn)行小波去噪以及帶通濾波，最后對(duì)得到的濾波結(jié)果進(jìn)行小波包分解和重構(gòu)，得到對(duì)人體心率的估計(jì)數(shù)據(jù)。

3.2.2 視頻追蹤和數(shù)據(jù)獲取

根據(jù)熱紅外圖像中人臉區(qū)域亮度很高的特點(diǎn)，對(duì)圖像進(jìn)行二值化、腐蝕和圖像填充。然后進(jìn)行人工選擇，僅保留人臉和裸露的頸部區(qū)域（圖1）。

圖1 二值化、腐蝕、填充操作后取得的人臉區(qū)域示意圖

Figure1. Face Area Obtained after Two-valued, Corroded and Filled Operation

選擇了人臉和頸部區(qū)域之后，根據(jù)人臉的寬高比確定人臉的邊界（圖2）?？紤]到心臟跳動(dòng)與動(dòng)脈血管中的血流量存在的直接關(guān)系，以及動(dòng)脈血管主要分布于口角兩側(cè)至鼻根區(qū)的三角區(qū)域的事實(shí)（圖3）。將熱紅外圖像中臉部的下1/3區(qū)域設(shè)定為所要跟蹤的感興趣區(qū)域（圖4），由此區(qū)域推算得到的心率數(shù)據(jù)，準(zhǔn)確性要高于由臉部其他區(qū)域。

圖2 人臉區(qū)域標(biāo)記示意圖

Figure2. Human Face Area Mark

為了演示本處理方法，以下給出針對(duì)一個(gè)人臉的熱紅外視頻的處理例子。在該視頻中，對(duì)感興趣區(qū)域的灰度作均值處理，得到該區(qū)域的灰度變化的時(shí)間序列。感興趣區(qū)域的灰度均值隨時(shí)間的變化如圖5所示。由彩色圖像轉(zhuǎn)化為灰度圖像的計(jì)算公式如下：

=0.2989×+0.5870×+0.1140×（1）

圖3 臉部動(dòng)脈血管分布圖[13]

Figure3. Vascular distribution of facial arteries

圖4 選定的臉部感興趣區(qū)域示意圖（ROI）

Figure4. Selected Face Area of Interest

圖5 時(shí)間序列中灰度均值的變化圖

Figure5. Change of Gray Mean Value in Time Series

感興趣區(qū)域的灰度均值的計(jì)算公式如下：

為了考察感興趣區(qū)域的灰度均值隨時(shí)間變化的情況，對(duì)采集到的原始時(shí)間序列進(jìn)行一階差分，得到感興趣區(qū)域灰度均值的變化曲線。一階差分的計(jì)算公式如下：

C=（i）-（i-1） （i≥2） （3）

3.2.3 小波去噪

在獲取熱紅外圖像的過程中，由于受到檢測對(duì)象、工作環(huán)境、數(shù)據(jù)采集硬件的影響，圖像數(shù)據(jù)不可避免地存在噪聲。小波去噪可以在消除噪聲的同時(shí)，很好地保留有用信號(hào)。小波去噪效果的好壞，與小波基函數(shù)和閾值的選取有關(guān)。表1所示為幾種常用小波基函數(shù)的性質(zhì)對(duì)比。

表1 常用的小波基函數(shù)及其性質(zhì)

本研究采集的數(shù)據(jù)是離散數(shù)據(jù)。由表1可以排除Morlet、Mexician hat這些無法進(jìn)行離散小波變換的基函數(shù)。由于心率信號(hào)受噪聲干擾嚴(yán)重，為了能夠有效分離信號(hào)與噪聲，應(yīng)選取具有一定階次消失矩的基函數(shù)，因此，排除只有一階消失矩的Haar小波?；谝陨戏治龅贸觯篸b小波、sym 小波、coif 小波是適合本研究的小波基函數(shù)。從小波函數(shù)的分解來看，同一小波族的小波函數(shù)其序數(shù)越高，分解效果越好，最終選擇sym8作為小波基函數(shù)。常用的閾值估計(jì)方法有4種：固定閾值、自適應(yīng)閾值、啟發(fā)式閾值、極大極小閾值。其中，極大極小閾值和自適應(yīng)閾值規(guī)則比較保守，去噪不完全。計(jì)算實(shí)驗(yàn)的結(jié)果說明，固定閾值法的效果較好，因此，本研究選用了固定閾值法。小波分解的層次越高去掉的低頻成分越多，去噪效果雖然越顯著，但失真度也相應(yīng)增大。經(jīng)過多次試驗(yàn)，確定分解層數(shù)為2層。為了演示去噪效果，針對(duì)一個(gè)實(shí)際采集的熱紅外視頻的灰度均值利用式（3）所示公式作一階差分后進(jìn)行小波去噪（圖6）。

圖6 小波去噪的計(jì)算結(jié)果示意圖

Figure6. The Computational Results of Wavelet Denoising

根據(jù)人的正常心率范圍在0.8~3 Hz之間這個(gè)事實(shí)，認(rèn)為該頻帶之外的信號(hào)成分為噪聲，因此，以該頻帶為通帶，對(duì)小波去噪后的信號(hào)進(jìn)行帶通濾波，在保留心率信號(hào)的同時(shí)，消除信號(hào)中的噪聲成分。針對(duì)上述的小波去噪后的信號(hào)，進(jìn)行帶通濾波處理（圖7）。

圖7 帶通濾波后的信號(hào)示意圖

Figure 7. Signal after Bandpass Filtering

3.2.4 小波包分解與重構(gòu)

小波包分析能夠?yàn)樾盘?hào)提供一種更精細(xì)的分析方法，它將頻帶進(jìn)行多層次的劃分，對(duì)多分辨率分析沒有細(xì)分的高頻部分進(jìn)行進(jìn)一步分解，并能根據(jù)被分析信號(hào)的特征，自適應(yīng)地選擇相應(yīng)的頻帶，使之與信號(hào)頻譜匹配，從而提高了時(shí)頻分辨率。此處結(jié)合圖8來說明小波包分解的基本思想。在圖8中，S代表被處理的信號(hào)，A表示低頻，D表示高頻，末尾的序號(hào)表示分解層數(shù)。經(jīng)小波包分解后每個(gè)節(jié)點(diǎn)中保存有相應(yīng)頻段的系數(shù)，最后利用節(jié)點(diǎn)的系數(shù)對(duì)相應(yīng)頻帶的信號(hào)進(jìn)行重構(gòu)。

圖8 小波包分解樹示意圖

Figure8. Wavelet Packet Decomposition Tree

3.3 動(dòng)態(tài)心率趨勢(shì)分析

3.3.1 數(shù)據(jù)獲取及處理

要進(jìn)行動(dòng)態(tài)心率趨勢(shì)分析，必須采集人體運(yùn)動(dòng)狀態(tài)下的熱紅外圖像，并設(shè)定需要追蹤的感興趣區(qū)域。熱紅外圖像中臉部的下1/3區(qū)域設(shè)定為所要跟蹤的感興趣區(qū)域（圖9）。此處所采用的感興趣區(qū)域跟蹤算法為TLD（Tracking-Learning-Detection）跟蹤算法[13]。

圖9 動(dòng)態(tài)數(shù)據(jù)采集過程中感興趣區(qū)域示意圖

Figure9. The Area of Interest during Dynamic Data Collection

在實(shí)驗(yàn)過程中，受試者在跑臺(tái)上跑動(dòng)，紅外熱像儀集中拍攝人臉部視頻，同時(shí)采用運(yùn)動(dòng)心肺功能測試儀同步采集運(yùn)動(dòng)心率。運(yùn)動(dòng)心肺功能測試儀每間隔5 s采集1次心率數(shù)據(jù)，而熱紅外圖像的幀率為每秒7幀，為了使二者同步，對(duì)采集的熱紅外視頻進(jìn)行重采樣（每35幀采樣一次），然后計(jì)算重采樣的熱紅外圖像中的感興趣區(qū)域的灰度均值。

4 結(jié)果及分析

4.1 靜態(tài)心率檢測結(jié)果

4.1.1 小波包重構(gòu)結(jié)果

針對(duì)上述帶通濾波后的信號(hào)（圖7）進(jìn)行小波包的分解與重構(gòu)，分解層數(shù)為2層，小波基函數(shù)選擇db8，熵的類型選擇shannon，重構(gòu)后第2層每個(gè)節(jié)點(diǎn)的信號(hào)分量如圖10所示。分析計(jì)算結(jié)果，認(rèn)為只有節(jié)點(diǎn)0的信號(hào)分量與心跳有較明顯的相關(guān)，而其他的3個(gè)節(jié)點(diǎn)的信號(hào)分量均為噪聲。并且，認(rèn)為節(jié)點(diǎn)0的信號(hào)分量中的每一個(gè)局部峰對(duì)應(yīng)于一次心跳。

圖10 小波重構(gòu)后第二層各節(jié)點(diǎn)的信號(hào)示意圖

Figure10. The Signal of the Second Layer after the Wavelet Packet Reconstructed

4.1.2 心率值的計(jì)算方法及結(jié)果

上述心率信號(hào)的提取過程是對(duì)人臉圖像中的感興趣區(qū)域進(jìn)行處理。為了得到實(shí)時(shí)性的心率信號(hào)估計(jì)，需要對(duì)每一次得到的感興趣區(qū)域的相應(yīng)數(shù)值進(jìn)行處理，利用公式（7）估計(jì)受試者每分鐘的心率：

=**60/（7）

其中表示當(dāng)前的幀數(shù)，表示經(jīng)小波包重構(gòu)后信號(hào)的波峰數(shù)，表示視頻的采樣頻率。

圖11 選擇不同感興趣區(qū)域時(shí)的結(jié)果對(duì)比圖

Figure11. Comparison on the Results of Different Areas of Interest

根據(jù)以上算法，得到了上述一個(gè)熱紅外視頻中，選定人臉的不同區(qū)域作為感興趣區(qū)域時(shí)的心率信號(hào)估計(jì)（圖11）。在圖11中，藍(lán)色曲線為以人臉的下部1/3區(qū)域?yàn)楦信d趣區(qū)域得到的心率估計(jì)信號(hào)，綠色曲線為以額頭為感興趣區(qū)域得到的心率估計(jì)信號(hào)。在本例中，實(shí)驗(yàn)者1的平均心率為58，由圖可以看出，藍(lán)色曲線的誤差比綠色曲線的誤差小。因此，圖11的結(jié)果證明，以人臉的下部1/3區(qū)域（面動(dòng)脈即分布在此區(qū)域）作為感興趣區(qū)域，能夠得到更準(zhǔn)確的心率估計(jì)，也驗(yàn)證了3.2.2節(jié)的有關(guān)假定。

對(duì)于8位靜態(tài)受試者，心率實(shí)時(shí)結(jié)果如圖12所示，藍(lán)色曲線為本算法得出的實(shí)時(shí)心率值，紅色曲線表示運(yùn)動(dòng)心肺功能測試儀實(shí)時(shí)采集到的心率均值：

Figure12. Real-time Calculation Results of Heart Rate

采集8名靜止仰臥狀態(tài)下的受試者的面部熱紅外視頻，設(shè)定感興趣區(qū)域并追蹤，并根據(jù)前述算法計(jì)算出安靜心率；以本研究方法和以運(yùn)動(dòng)心肺功能測試儀得到的心率數(shù)據(jù)，分別計(jì)算它們?cè)跍y試時(shí)間內(nèi)的均值，并將得到的均值進(jìn)行比較（表2）。

表2 本研究算法的心率計(jì)算結(jié)果和運(yùn)動(dòng)心肺功能測試儀實(shí)測的心率數(shù)據(jù)

4.2 動(dòng)態(tài)心率趨勢(shì)分析結(jié)果

首先分析其中10位男性受試者的動(dòng)態(tài)心率變化趨勢(shì)，由于實(shí)驗(yàn)者5的心率數(shù)據(jù)丟失，因此，在圖13中列出了9位受試者的心率變化趨勢(shì)。從圖13中可以看出，男性在運(yùn)動(dòng)過程中面部皮膚的溫度變化較大，9名實(shí)驗(yàn)者在運(yùn)動(dòng)負(fù)荷不斷增大的情況下，灰度均值也隨之不斷增大，在心率小于130次/min時(shí)，根據(jù)熱紅外圖像計(jì)算得到的灰度均值曲線中的臺(tái)階變化，與運(yùn)動(dòng)心肺功能測試儀實(shí)測心率的臺(tái)階變化基本趨勢(shì)一致。但當(dāng)心率超過130次/min時(shí)，計(jì)算心率曲線不再隨著實(shí)測心率的上升而上升，反而出現(xiàn)下降趨勢(shì)。這可能是由于人體在運(yùn)動(dòng)過程中溫度不斷升高，人體表面的發(fā)射率（又稱為黑度，反映物體向外發(fā)射輻射的能力）會(huì)隨溫度的變化而變化，此時(shí)熱成像設(shè)備會(huì)根據(jù)現(xiàn)有的溫度輸出信號(hào)標(biāo)定曲線作為計(jì)算溫度的原始數(shù)據(jù)，從而對(duì)輸出視頻的灰度進(jìn)行調(diào)節(jié)修正，因此導(dǎo)致灰度均值在心率大于130次/min以后逐漸下降。

Figure13. Comparison of the Gray Mean of Thermal Imaging with the Real Heart Rate in 10 Male Subjects

Figure14. Contrast between the Gray Mean of Thermal Imaging and the Change of Real Heart Rate in Female Subjects

對(duì)10名女性受試者進(jìn)行分析，由于女性實(shí)驗(yàn)者10采集的是側(cè)面的熱紅外視頻，無法提取本研究中感興趣區(qū)域的灰度均值，因此不做分析。對(duì)于剩余的9名女性受試者動(dòng)態(tài)心率變化趨勢(shì)做出分析（圖14）。可以看出，女性在運(yùn)動(dòng)過程當(dāng)中臉部的溫度變化不大，實(shí)驗(yàn)者1、3、6、9同樣出現(xiàn)了運(yùn)動(dòng)負(fù)荷增大，灰度均值反而下降的趨勢(shì)，并且男性和女性隨運(yùn)動(dòng)負(fù)荷增加，灰度曲線變化的趨勢(shì)也明顯不同：女性受試者在增加運(yùn)動(dòng)負(fù)荷時(shí)，灰度均值曲線都沒有太大的變化，也沒有明顯的隨心率不斷變化的趨勢(shì)，這一點(diǎn)與男性灰度均值曲線變化有明顯的差別。

圖13中男性實(shí)驗(yàn)者10的兩組數(shù)據(jù)中心率變化的趨勢(shì)與灰度均值曲線的變化趨勢(shì)基本一致，只在心率大于130次/min時(shí)有差別，因此，進(jìn)一步對(duì)這兩組數(shù)據(jù)進(jìn)行統(tǒng)計(jì)學(xué)分析，其相關(guān)性達(dá)到了0.857 62，根據(jù)圖13中男性實(shí)驗(yàn)者10的數(shù)據(jù)，對(duì)兩種方法的一致性進(jìn)行Bland-Altman分析，相關(guān)結(jié)果如圖15所示。Bland-Altman分析的基本思想是計(jì)算出兩種測量結(jié)果的一致性界限，并用圖形的方法直觀地反映這個(gè)一致性界限。在圖15中，上下兩條水平虛線代表95%一致性界限的上下限，中間的虛線代表差值的平均數(shù)，兩種測量方法的一致性程度越高，代表差值均數(shù)的虛線越接近均數(shù)0。圖中所示兩種測量方法的結(jié)果只有3個(gè)位于95%的界限以外，其余結(jié)果均位于界限內(nèi)。

圖15 Bland-Altman分析示意圖

Figure15. Bland-Altman Analysis

5 總結(jié)

由靜態(tài)實(shí)驗(yàn)的結(jié)果可以看出，本研究采用的小波包分解與重構(gòu)的算法具有較高的時(shí)-頻分辨率，可以計(jì)算出人體靜態(tài)的實(shí)時(shí)心率，且具有較好的效果。在可見光領(lǐng)域，普通的成像受光照變化影響很大，而紅外熱成像受光照變化影響小，因而有更廣泛的適用性[14]。本研究采用的相關(guān)方法，實(shí)現(xiàn)了對(duì)心率的非接觸實(shí)時(shí)檢測，并且相關(guān)系數(shù)達(dá)到了0.873。在信號(hào)采集的過程中，由于人的面部血管的分布具有唯一性[15]，而在本實(shí)驗(yàn)中對(duì)所有對(duì)象采用的是同一個(gè)感興趣區(qū)域，這可能是造成測量誤差的一個(gè)原因。也有其他相關(guān)研究利用紅外序列對(duì)心率進(jìn)行了檢測，雖然相關(guān)性達(dá)到了0.957[2]，但其要求受試者保持靜止?fàn)顟B(tài)，對(duì)實(shí)驗(yàn)對(duì)象的約束較多，且沒有實(shí)現(xiàn)心率檢測的實(shí)時(shí)性。另外，受目前熱成像硬件設(shè)備限制，僅能夠使用已經(jīng)拍攝好的視頻進(jìn)行追蹤和計(jì)算，尚無法實(shí)現(xiàn)利用佩戴式心率表、可穿戴設(shè)備，以及基于普通CCD的實(shí)時(shí)心率數(shù)據(jù)反饋[3]。

由動(dòng)態(tài)的實(shí)驗(yàn)結(jié)果可以看出，利用動(dòng)態(tài)熱紅外圖像的灰度均值與真實(shí)心率的對(duì)比，熱紅外圖像的灰度均值能很好地反映出運(yùn)動(dòng)過程心率的變化趨勢(shì)，另外，對(duì)于男性實(shí)驗(yàn)者10運(yùn)用這兩種方法得到的數(shù)據(jù)進(jìn)行Bland-Altman分析的實(shí)驗(yàn)結(jié)果均落在了95%的置信區(qū)間內(nèi)，因此可以認(rèn)為，在評(píng)價(jià)心率變化趨勢(shì)時(shí)，利用熱紅外成像灰度均值和運(yùn)用運(yùn)動(dòng)心肺功能測試儀這兩種方法具有較好的一致性。

另外，本研究提出的小波包分解與重構(gòu)算法同樣適用于動(dòng)態(tài)心率的測量，原因是動(dòng)態(tài)心率信號(hào)為非平穩(wěn)隨機(jī)信號(hào)，并且頻率是隨時(shí)間變化而逐漸增大的。小波包分析有很好的時(shí)頻特性，在分析動(dòng)態(tài)心率時(shí)可以分析隨時(shí)間變化的心跳頻率變化，但計(jì)算心率值的算法與靜態(tài)心率的算法卻有所不同，這是因?yàn)樵谶\(yùn)動(dòng)過程中，心率的頻率是不斷變化的。因此，不可以運(yùn)用本文4.1.2中計(jì)算波峰數(shù)的方法來計(jì)算人體運(yùn)動(dòng)狀態(tài)的實(shí)時(shí)心率，具體的動(dòng)態(tài)心率算法還有待進(jìn)一步研究。

目前，利用紅外熱成像視頻來檢測動(dòng)態(tài)心率為以非接觸式的方法檢測心率提供了新的思路和數(shù)據(jù)支持，也是以非接觸的方式檢測心率的最終目標(biāo)，并且在眾多的實(shí)驗(yàn)中，有一位實(shí)驗(yàn)者的溫度變化和心率變化具有很好的一致性，后續(xù)研究應(yīng)考慮各相關(guān)因素對(duì)皮膚溫度變化的影響，建立皮膚溫度變化模型，利用抗運(yùn)動(dòng)干擾的算法對(duì)心率信號(hào)進(jìn)行提取，這也是本研究團(tuán)隊(duì)下一步的工作方向。

[1] 蔡成賢,王偉.基于人工智能的心率檢測算法[J].中國醫(yī)療器械雜志,2010,34(1):13.

[2] 景斌,李海云.基于紅外序列圖像的心率無損檢測方法研究[J].中國生物醫(yī)學(xué)工程學(xué)報(bào),2010,(6):943-946.

[3] 劉蕾.基于視頻的實(shí)時(shí)心率測量算法研究[D].無錫:江南大學(xué), 2014.

[4] 張吉先,鐘秋海,戴亞平.小波門限消噪法應(yīng)用中分解層數(shù)及閾值的確定[J].中國電機(jī)工程學(xué)報(bào),2004,24(2):118-122.

[5] 張棟, 薛立功, 魏正岫, 等.面部皮膚溫度與面部血流量關(guān)系的對(duì)照觀察[J].生物醫(yī)學(xué)工程學(xué)雜志,1999,(1):81-85.

[6] 周秦武,隋芳芳,白平,等.嵌入式無接觸視頻心率檢測方法[J].西安交通大學(xué)學(xué)報(bào),2013,12:55-60.

[7] 朱大年 ,王庭槐. 生理學(xué)[M].北京:人民衛(wèi)生出版社, 2013:85-95,255-260.

[8] CHEKMENEV S Y, FARAG AA, MILLER W M,. Multiresolution approach for noncontact measurements of arterial pulse using thermal imaging[M]//augmented vision perception in Infared,2009:87-112.

[9] DONGARRA J. THe top 10 algorithms[J]. IEEE Comput Sci Eng,2000,2(1):22-23.

[10] DORLING KINDERSLEY. The Concise Human Body Book[M]. Dorling Kindersley, 2009:146-147.http://joyousoasis.com/wp-content/uploads/2013/02/CardiovascularSystem.gif.

[11] GAULT T R, FARAG A A.A fully automatic method to extract the heart-rate from thermal video[J]. IEEE Conf Comput Vis Pattern Recognit Workshops,2013,13(4):336-341.

[12] GARBEY M, SUN N,MERLA A,. Contact-free measurement of cardia-c pulse based on the analysis of thermal imagery[J]. IEEE Trans Biomed Engi,2007,54(8):1418-26.

[13] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Trans Pattern Anal Mach Intell, 2012,34(7):1409-1422.

[14] SOCOLINSKY D A, WOLFF L B, NEUHEISEL J D. Illumination invariant face recognition using thermal infrared imagery [C]// In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai:IEEE,2001:527-534.

[15] YANGJ, LIUL, JIANGT. A modified gabor filter design method for fingerprint image enhancement[J]. Pattern Recogn Lett2003, 24(12):1805-1817.

[16] ZENG W, ZHANG Q. Infrared video based non-invasive heart rate measurement[C]//IEEE Conference on Robotics and Biomimetics, Zhuhai, China, 2015:6-9.

Research on Non-contact Heart Rate Detection Using Thermal Imaging

LIANG Zhi-min1,CHEN Qi2,XIAO Shu-ming2,MA Jie1,Zhen Qing-kai2

1.Beijing Information Science & Technology University, Beijing 100192, China; 2. China Institute of Sport Science, Beijing 100061, China.

At present, the commonly used method to detect heart rate in the field of sports is contact detection, contact detection will affect the status of athlete. Therefore, a new method for non-contact measuring changes in heart rate in real time with infrared thermal imaging technology is proposed. For static heart rate, we using image processing technology to segmentation and tracking for region of interest in video frames, and get overall gray-scale average curve in video region of interest, and using wavelet to eliminate noise in the collected signals and band-pass filters, then wavelet packets reconstruction to achieve real-time heart rate detection, and achieved very good results. For dynamic changes in heart rate, we using gray-scale of ROI in thermal video to analyze dynamic change trend of heart rate, the two methods get good consistecy in the analysis of Bland-Altman.

G804.49

Ａ

1002-9826(2018)01-0136-10

10.16470/j.csst.201801019

2016-09-22；

2017-10-12

國家體育總局2014年度重點(diǎn)研究領(lǐng)域課題(2014B028);國家體育總局體育科學(xué)研究所基本科研業(yè)務(wù)費(fèi)項(xiàng)目(基本1434)。

梁智敏,女,在讀碩士研究生,主要研究方向?yàn)榭刂乒こ?圖像處理,Email：809916630@qq.com。

陳騏,男,副研究員,主要研究方向?yàn)轶w育工程學(xué),E-mail: chenqi@ciss.cn。