陸磊，成娟

(合肥工業(yè)大學(xué)生物醫(yī)學(xué)工程系， 合肥 230009)

1 引 言

心率是人體一項(xiàng)重要的生命體征參數(shù)，心率檢測已經(jīng)廣泛應(yīng)用于健康監(jiān)護(hù)、情緒感知、疲勞駕駛和睡眠監(jiān)測等領(lǐng)域。目前，心率檢測方法分為接觸式和非接觸式兩種。傳統(tǒng)接觸式心率檢測方法的測量結(jié)果準(zhǔn)確可靠，但是長時(shí)間佩戴易引起不適，且并不適合一些特殊場合的使用。例如，身體大面積燒傷、傳染病人、新生兒監(jiān)護(hù)等[1]。

基于圖像光電容積描技術(shù)(imaging photo plethysmography，iPPG)的非接觸式心率檢測技術(shù)一般采用可見光攝像頭，由于其低成本、使用廣泛等特點(diǎn)逐漸成為研究熱點(diǎn)[2-3]。但是，當(dāng)環(huán)境昏暗或黑暗時(shí)，該技術(shù)檢測效果不佳甚至不可用。由于熱紅外視頻可以實(shí)時(shí)反映面部像素值由于心臟周期性搏動(dòng)時(shí)血液循環(huán)引起的溫度變化而產(chǎn)生相應(yīng)的變化，可實(shí)現(xiàn)非接觸式心率的檢測，故可以作為基于視頻的非接觸式心率連續(xù)檢測的補(bǔ)充方案，特別是昏暗或黑暗的情況。

熱紅外視頻心率檢測最早是由Garbey等[4]提出的，采用自適應(yīng)濾波和快速傅里葉變換的方法來實(shí)現(xiàn)人體心率的測量。Gault等[5]利用熱成像中溫度的變化，檢測在正常、輕度疼痛、輕度運(yùn)動(dòng)三種狀態(tài)下的熱視頻心率，采用前額區(qū)域的60%的血管段結(jié)合小波分析的方法測試了人在正常、輕度疼痛、輕度運(yùn)動(dòng)狀態(tài)下的心率，得到85%測量精度的結(jié)果。

Hamedani等[6]將歐拉放大方法應(yīng)用到熱紅外視頻心率提取，從而實(shí)現(xiàn)了心率的檢測。Hu等[7]提出利用熱紅外成像儀和近紅外攝像機(jī)來搭建雙攝像頭成像系統(tǒng)。對面部感興趣區(qū)域(region of interest，ROI)進(jìn)行像素均值時(shí)間序列提取，之后用時(shí)域信號分析方法檢測心率。梁智敏等[8]對靜態(tài)熱紅外視頻檢測，將熱紅外圖片轉(zhuǎn)化為灰度圖片，通過對ROI灰度均值變化提取，然后經(jīng)過小波分析和帶通濾波處理后，最后利用小波包重構(gòu)實(shí)現(xiàn)心率的實(shí)時(shí)檢測。Hessler 等[9]使用小波變換過濾信號，計(jì)算傳感器和熱紅外視頻信號波形之間的相似性，實(shí)現(xiàn)了對熱紅外視頻的心率和呼吸率的提取，達(dá)到了很好的相關(guān)性。以上研究中，基于熱紅外視頻的心率提取研究也有與iPPG類似的技術(shù)。如歐拉放大的方法已經(jīng)運(yùn)用到熱紅外的心率檢測中[6,10]。兩者從根本上來說，均是心臟周期性收縮和舒張，引起面部像素值的相應(yīng)變化。

近年來，基于iPPG的非接觸式心率檢測技術(shù)研究表明，通過同步分析多個(gè)不同的面部感興趣區(qū)域的信號來提升心率檢測的性能。Kumar等[11]通過剔除有噪聲的面部區(qū)域，并使用剩余區(qū)域的信噪比作為權(quán)重，挑選出信噪比高的面部區(qū)域的綠色通道信號作為原始信號的來源，可以獲得準(zhǔn)確的心率估計(jì)值。Favilla等[12]選取了單色人臉視頻中的前額，左右兩側(cè)臉頰這三個(gè)不同的感興趣區(qū)域作為研究對象，得到相對應(yīng)的三個(gè)單通道信號，將三個(gè)單通道信號經(jīng)預(yù)處理后進(jìn)行獨(dú)立成分分析，得到相應(yīng)的獨(dú)立分量，最后用快速傅里葉變換提取頻率范圍內(nèi)振幅最大的信號為心率信號，達(dá)到了心率檢測的目的。Guo等[13]對多個(gè)面部感興趣區(qū)域使用聯(lián)合盲源分離的方法，應(yīng)用獨(dú)立向量分析聯(lián)合分析多個(gè)面部感興趣區(qū)域產(chǎn)生的多個(gè)顏色通道信號，得到測量的心率更加可靠更加準(zhǔn)確。Wei等[14]提出通過對兩個(gè)面部感興趣區(qū)域中獲得的六通道信號，應(yīng)用二階盲源分離技術(shù)來測量心率的方法，具有較強(qiáng)的魯棒性。Qi等[15]采用聯(lián)合盲源分離的方法對多個(gè)面部區(qū)域中顏色通道信號形成的多維數(shù)據(jù)集，篩選出接近真實(shí)心率的信號，從而實(shí)現(xiàn)了對心率的準(zhǔn)確的檢測。

對于熱紅外視頻，單個(gè)ROI僅能生成單通道像素均值時(shí)間序列，在相對靜止的環(huán)境下，多個(gè)面部ROI區(qū)域共同包含的信息主要為心率信息，故本研究擬借鑒iPPG技術(shù)中的多區(qū)域分析技術(shù)，形成多通道像素均值時(shí)間序列。一方面，提出多區(qū)域獨(dú)立成分分析方法，同時(shí)，將單通道集合經(jīng)驗(yàn)?zāi)B(tài)分解算法擴(kuò)展為多通道的多變量經(jīng)驗(yàn)?zāi)B(tài)分解，從而驗(yàn)證這兩種多區(qū)域分析方法進(jìn)行熱紅外視頻心率檢測的有效性。另一方面，與傳統(tǒng)的單區(qū)域分析方法進(jìn)行性能比對。

2 方法

2.1 多區(qū)域獨(dú)立成分分析

盲源分離是指在沒有關(guān)于信號混合過程先驗(yàn)信息的前提下，從一組觀測到的混合信號中提取未觀測到的信號即潛在的源信號的過程。通常情況下，觀測信號由一系列傳感器獲取，每個(gè)傳感器接受的信號由不同的源信號所構(gòu)成。設(shè)x(t)=[x1(t),x2(t),...,xm(t)]是在t時(shí)刻的m維的源信號向量，其分量是相互獨(dú)立的，設(shè)y(t)=[y1(t),y2(t),...yn(t)]T是n維觀測信號向量，每個(gè)觀測信號分量都是m個(gè)獨(dú)立的源信號的線性組合，即：

y(t)=Ax(t)

(1)

這里A為n×m的混合系數(shù)矩陣。盲信號分離是研究從給定的混合信號中y(t)重構(gòu)出源信號x(t)，獨(dú)立成分分析(independent component analysis，ICA)是一種最常用的盲源分離技術(shù)。ICA的目標(biāo)是找到一個(gè)對觀測信號y(t)做線性變換的m×n矩陣W,使得y(t)經(jīng)變換后的x′(t)各個(gè)分量之間盡可能獨(dú)立，即:

x′(t)=Wy(t)

(2)

2.2 多變量經(jīng)驗(yàn)?zāi)B(tài)分解

經(jīng)驗(yàn)?zāi)B(tài)分解(empirical mode decomposition，EMD)是由Huang等提出的一種信號分析方法，分解的原理是它根據(jù)原始信號本身的時(shí)間尺度特征將其分解為若干本征模態(tài)函數(shù)(intrinsic mode function，IMF)。EMD方法尤其適用于處理非平穩(wěn)和非線性數(shù)據(jù)方面具有明顯優(yōu)勢。但是實(shí)際中，原始信號通常包含了大量復(fù)雜的噪聲信息，這就可能出現(xiàn)模態(tài)混疊現(xiàn)象。為此，Wu等[16]提出一種噪聲輔助分析方法，即集合經(jīng)驗(yàn)?zāi)B(tài)分解(ensemble empirical mode decomposition，EEMD)，有效減少了模態(tài)混疊現(xiàn)象的發(fā)生。但是，EMD和EEMD都是對一維信號進(jìn)行分析處理。

多變量經(jīng)驗(yàn)?zāi)B(tài)分解法(multivariate empirical mode decomposition，MEMD)是EMD的一種擴(kuò)展，實(shí)現(xiàn)多元信號的多通道同步聯(lián)合分析[17-18]。利用MEMD來同時(shí)提取多個(gè)單通道之間的共同模式，可避免處理單個(gè)通道的信息而忽視了多個(gè)通道之間相互依賴的信息，將多個(gè)通道的信號分解為多個(gè)本征模式分量。對于輸入信號x(t)=[x1(t),x2(t),...,xm(t)]，其算法具體步驟如下：

(1)在一個(gè)球面上，選擇合適的m-1個(gè)采樣點(diǎn)，可以得到m維空間的方向向量集nQk;

(6)通過d(t)=x(t)-m(t)，求得d(t)，如果d(t)滿足IMF的停止條件，則為一個(gè)IMF，否則從步驟(2)開始執(zhí)行。則MEMD最終會分解出M個(gè)IMF，即

(3)

式中，Cm(t)為第m個(gè)IMF，r(t)為殘余量。

IMF停止條件為極大值點(diǎn)與極限值點(diǎn)個(gè)數(shù)之和與過零點(diǎn)的個(gè)數(shù)的差不超過1；極大值點(diǎn)與極小值點(diǎn)構(gòu)成的包絡(luò)的平均值應(yīng)處處接近于0。

3 實(shí)驗(yàn)與結(jié)果

熱紅外視頻心率檢測實(shí)驗(yàn)流程，見圖1。首先，利用熱紅外攝像機(jī)采集人體面部視頻；其次，對視頻圖像幀確定N個(gè)ROI區(qū)域，分別計(jì)算每個(gè)ROI區(qū)域內(nèi)的像素均值，構(gòu)成時(shí)間序列；然后，分別采用MRICA和MEMD方法提取包含心率信息的獨(dú)立分量和本征模態(tài)函數(shù)；最后，通過功率譜分析、篩選得到最佳的獨(dú)立分量和本征模態(tài)函數(shù)，其主頻即為心率頻率。同時(shí)，為了驗(yàn)證多區(qū)域分析方法的優(yōu)越性，還對比了單區(qū)域分析方法的性能，包括單通道濾波和集合驗(yàn)?zāi)B(tài)分解算法。

圖1 熱紅外視頻心率檢測實(shí)驗(yàn)流程圖Fig.1 The flow chart of heart rate detection with thermal infared video

3.1 視頻數(shù)據(jù)采集

數(shù)據(jù)采集見圖2。研究中使用高德C400熱紅外攝像機(jī)拍攝受試者的面部區(qū)域，尺寸為140 mm×206 mm×114 mm，波長為8～14 μm，圖片分辨率為640×480，拍攝的熱紅外視頻幀率為25 fps，溫度靈敏度是0.1℃。使用康泰cms50d指夾式脈搏血壓儀記錄受試者的心率數(shù)據(jù)，脈率顯示范圍為25～250 bpm，誤差為±1 bpm，幀率為60 fps。

圖2 數(shù)據(jù)采集示意圖Fig.2 Data acquisition schematic diagram

在房間內(nèi)，每位受試者均坐在椅子上，盡量保持靜止。固定好高德攝像頭正對受試者，人臉距離攝像頭約為0.5 m，每位受試者只拍攝一次，每次拍攝時(shí)間不低于1 min。脈搏血壓儀夾在受試者手指上，提取心率數(shù)據(jù)，與高德攝像頭同步采集熱紅外視頻。有30位受試者自愿參與本研究，24名男性和6名女性，年齡在20～28歲。心率的檢測時(shí)間為20 s，研究中讀取前60 s的視頻，分為不重疊的3段，共得到90個(gè)視頻片段，其心率分布直方圖見圖3，心率的分布范圍主要為60～90 次/min。

圖3 心率分布直方圖Fig.3 Histogram of heart rate distribution

3.2 面部感興趣區(qū)域確定

選擇鼻子作為感興趣區(qū)域時(shí)會引入呼吸帶來的運(yùn)動(dòng)干擾；選擇嘴唇、眼睛作為感興趣區(qū)域時(shí)會由于說話或眨眼造成的噪聲而難以提取心率信號[19]。通常，研究人員會選擇毛細(xì)血管分布豐富，且皮膚區(qū)域分布平整的臉頰和額頭作為感興趣區(qū)域，有助于高質(zhì)量心率信號的獲取。

首先，手動(dòng)選取第一幀圖像，確定3個(gè)ROIs，見圖4。臉頰兩側(cè)、額頭的ROIs是以鼻子所在的兩條直線相互對稱的，其中x=50，d=160，臉頰兩側(cè)的ROIs的像素大小為50×50，到對稱中心距離為80；額頭ROI到對稱中心距離為240，像素大小為160×50。之后，計(jì)算每幀圖像、每個(gè)面部感興趣區(qū)域內(nèi)所有像素點(diǎn)的均值，構(gòu)成三通道像素均值時(shí)間序列。采用單區(qū)域分析方法進(jìn)行對比時(shí)，單通道像素均值時(shí)間序列為這三個(gè)感興趣區(qū)域內(nèi)所有像素的平均。

圖4 感興趣區(qū)域的確定Fig.4 Region of interest

3.3 實(shí)驗(yàn)結(jié)果和分析

3.3.1基于多區(qū)域獨(dú)立成分分析的視頻心率檢測 對多通道像素均值時(shí)間序列進(jìn)行預(yù)處理，包括歸一化和濾波[20]。本研究使用4階巴特沃斯濾波，頻率范圍為0.75～2.5 Hz，即對應(yīng)于心率值45～150次/min。

MRICA是通過假設(shè)三通道信號為包含心率成分的脈沖信號，以及運(yùn)動(dòng)和其他信號等多種成分的線性組合。采用獨(dú)立成分分析處理后可以得到三個(gè)獨(dú)立分量，選擇幅值占比最大的信號作為心率信號。最后由最佳信號的功率譜圖最大幅值對應(yīng)的頻率可以估算出檢測的心率。選擇第7個(gè)受試者20～40 s數(shù)據(jù)做分析。三個(gè)獨(dú)立分量時(shí)域圖及頻譜圖見圖5。最后通過三個(gè)獨(dú)立分量的頻譜圖選取能量占比最大的信號為最佳候選信號。由計(jì)算得能量占比P1=0.045，P2=0.077，P3=0.095，第三個(gè)信號能量占比最大即為最佳候選信號，其主頻為f=1.2 Hz，得到HR=f×t=1.2×60 =72 bpm，參考信號參考值也為72 bpm。

圖5 獨(dú)立分量Fig.5 Independent component

3.3.2基于多變量經(jīng)驗(yàn)?zāi)B(tài)分解的視頻心率檢測 將歸一化的多通道像素均值時(shí)間序列，經(jīng)MEMD分解后，分解為多個(gè)本征模式分量，同時(shí)提取3個(gè)信號通道之間的共同模式。IMF的個(gè)數(shù)和信號的長度有關(guān)，由于研究中的20 s數(shù)據(jù)有500幀圖像，可以得到9個(gè)IMF，3個(gè)通道共有27個(gè)IMF，我們將其記為IMF1，IMF2，...，IMF27。當(dāng)IMF主頻落在感興趣的心率頻率范圍0.75～2.5 Hz之間，即對應(yīng)于心率值45～150次/min，則我們便將其選定為候選的IMF。每個(gè)通道均至少有一個(gè)候選IMF，在這些候選IMF中選擇主頻能量占比最大的IMF作為最佳本征模式分量，得到對應(yīng)的頻率和心率檢測值。選擇受試者4的第41～60 s數(shù)據(jù)進(jìn)行分析，得到IMF4、IMF5、IMF1、IMF22為候選IMF，圖6是確定的候選IMF時(shí)域圖和頻譜圖，計(jì)算4個(gè)候選IMF的能量占比，分別為P1=0.090，P2=0.072，P3=0.063，P3=0.087。我們發(fā)現(xiàn)IMF4的能量占比最大，即為最佳候選IMF，其主頻為1.51 Hz，最終得到HR=f×t=1.51×60=90.6 bpm，而相應(yīng)時(shí)間段內(nèi)的參考心率為91.6 bpm。

圖6 候選IMFFig.6 IMF candidates

3.3.3基于多區(qū)域分析的視頻心率檢測結(jié)果 為了驗(yàn)證基于多區(qū)域分析方法的有效性，將基于單區(qū)域分析的單通道濾波和EEMD算法進(jìn)行對比。四種方法的結(jié)果見表1，以4個(gè)評價(jià)指標(biāo)來展現(xiàn)，分別為平均絕對誤差MAE、標(biāo)準(zhǔn)差SD、均方根誤差RMSE、皮爾遜相關(guān)系數(shù)r[21]。

表1 不同方法的心率檢測性能對比Table 1 Comparison of heart rate detection performance of different method

由表1可知，MRICA方法的心率檢測結(jié)果最好，平均絕對誤差為3.17 bpm，標(biāo)準(zhǔn)差為2.93 bpm，均方根誤差為4.3 bpm，相關(guān)系數(shù)為0.87。對比MRICA和MEMD，以及EEMD和單通道濾波方法的結(jié)果，可知多區(qū)域分析方法得到心率檢測的結(jié)果優(yōu)于單區(qū)域分析方法。其中單通道濾波效果最差，主要原因?yàn)樾盘柋旧砦⑷酰瑔渭冏鰹V波處理，心率信號易淹沒在噪聲中。EEMD的結(jié)果要優(yōu)于單通道濾波，EEMD方法有一定的去噪效果，但仍有一些包含心率信號的IMF淹沒在噪聲之中。MEMD是將三個(gè)通道數(shù)據(jù)分解為多個(gè)IMF，同時(shí)提取三個(gè)信號通道之間的共同模式，減少了心率信號的淹沒，得到更多包含心率信息的IMF。MRICA是通過假設(shè)三通道信號為包含心率成分的脈沖信號等多種成分的線性組合，可以達(dá)到較好的心率檢測結(jié)果。

為了更好的展現(xiàn)算法性能，本研究采用Bland-Altman和散點(diǎn)圖來分別進(jìn)行一致性和相關(guān)性分析。圖7為不同方法在數(shù)據(jù)庫上的心率檢測結(jié)果Bland-Altman圖。由于單通道濾波算法性能較差，后續(xù)僅與采用EEMD算法的單區(qū)域分析方法進(jìn)行對比。

圖7 不同方法的Bland-Altman圖Fig.7 The Bland-Altman plots of different methods

由圖7可知，MRICA方法的心率差值均值為0.2 bpm，一致性界限為-8.3～8.7 bpm。MEMD方法的心率差值均值為-1.6 bpm，一致性界限為-13.2～10 bpm。EEMD方法的心率差值均值為-2.8 bpm，一致性界限為-35.9～30.3 bpm。相較于EEMD，多區(qū)域分析方法的一致性界限范圍明顯縮小，落在一致性界限范圍外的點(diǎn)也大幅減少，具有更好的一致性。

圖8為不同方法在數(shù)據(jù)庫上心率檢測結(jié)果的散點(diǎn)圖。其中橫軸表示從參考信號中獲取的心率真值，縱軸表示不同算法獲得的心率測量值?？梢钥闯觯珽EMD算法的散點(diǎn)圖中，點(diǎn)的分布較為分散，這說明心率估計(jì)誤差相對較大。而MRICA和MEMD方法的散點(diǎn)圖中點(diǎn)的分布更加集中于基準(zhǔn)線y=x附近，這說明多區(qū)域分析方法所獲得的的心率測量值與心率真值之間具有很強(qiáng)的相關(guān)性，性能更好。

圖8 不同方法的散點(diǎn)圖Fig.8 The scatter plots of different methods

4 總結(jié)

本研究利用相對靜止環(huán)境下，面部多個(gè)感興趣區(qū)域共同包含的主要為心率信息這一特點(diǎn)，分別采用多區(qū)域獨(dú)立成分分析和多變量經(jīng)驗(yàn)?zāi)B(tài)分解算法進(jìn)行心率檢測，實(shí)驗(yàn)結(jié)果表明，多區(qū)域分析方法相比于單區(qū)域分析方法，更能表征潛在的心率信息成分，且多區(qū)域獨(dú)立成分分析方法性能最佳，平均絕對誤差3.17 bpm，均方根誤差2.93 bpm，標(biāo)準(zhǔn)差4.30 bpm，相關(guān)性達(dá)到0.87，為基于視頻的非接觸式心率的24 h連續(xù)檢測提供解決方案。同時(shí)，本研究尚存在不足，目前只是探究了相對靜止環(huán)境下熱紅外視頻的心率檢測研究，未進(jìn)行實(shí)時(shí)檢測心率，如何減少實(shí)際環(huán)境中的運(yùn)動(dòng)干擾及實(shí)時(shí)檢測心率是亟需探索的方向。而一些基于神經(jīng)網(wǎng)絡(luò)的方法已經(jīng)可以提取普通攝像頭的視頻心率。未來，一些基于神經(jīng)網(wǎng)絡(luò)的方法在熱紅外視頻心率的提取也是探索的方向[22-23]。