陳龍保，歐衛(wèi)華，韓 杰

(貴州師范大學(xué) 大數(shù)據(jù)與計(jì)算機(jī)科學(xué)學(xué)院，貴州 貴陽 550025)

0 引言

心率是指人在安靜狀態(tài)下每分鐘心跳的次數(shù)，是人體健康狀況的重要指標(biāo)。傳統(tǒng)心率檢測方法需要皮膚接觸(如心電圖)，易造成不舒適、不衛(wèi)生等問題。視頻心率檢測是通過檢測心跳導(dǎo)致的人臉表皮微弱顏色變化實(shí)現(xiàn)心率檢測，屬于無接觸式檢測方法，在遠(yuǎn)程醫(yī)療、情緒分析、活體檢測等方面有廣泛的應(yīng)用前景[1-4]。

視頻心率檢測一般步驟如圖1所示。首先通過人臉檢測獲取感興趣區(qū)域(Region of interest,ROI)；其次計(jì)算ROI像素的空間均值及濾波等預(yù)處理得到含有噪聲的rPPG信號(hào)；然后，對(duì)rPPG信號(hào)進(jìn)行分解、濾波等處理提取心率信號(hào)；最后通過功率譜分析計(jì)算心率。由于皮膚血管分布不均勻、心率信號(hào)微弱，以及光照變化、運(yùn)動(dòng)等因素影響[5]，與接觸式心率檢測方法相比，視頻心率檢測的魯棒性和準(zhǔn)確性離實(shí)際應(yīng)用仍然有一定差距。

圖1 視頻心率檢測流程

目前視頻心率檢測方法主要有傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類。傳統(tǒng)方法的基本思想是構(gòu)造模型解耦心率信號(hào)和噪聲干擾。如主成分分析法[6]、色度特征法(Chrominance,Chrom)[7]、皮膚正交空間法(Plane-orthogonal-to-skin,POS)[8]等。這些方法通過建立皮膚光照模型，根據(jù)不同的先驗(yàn)知識(shí)，選擇不同的投影方向?qū)⑿穆市盘?hào)成份與噪聲干擾分離[9]。但實(shí)際中心率信號(hào)非常微弱，同時(shí)受到光照、運(yùn)動(dòng)、被測試者與攝像頭的距離、攝像頭的幀速率和分辨率等諸多因素影響，僅僅通過固定投影難以將各種耦合信號(hào)進(jìn)行分離。另外傳統(tǒng)方法需要興趣區(qū)域選擇、濾波等預(yù)處理和后處理，需要調(diào)節(jié)的參數(shù)太多。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理等諸多領(lǐng)域的成功應(yīng)用，近年來研究人員提出了端對(duì)端的深度學(xué)習(xí)網(wǎng)絡(luò)心率檢測算法。如petlík等[10]提出HR-CNN網(wǎng)絡(luò)，通過基于信噪比約束的二維卷積網(wǎng)絡(luò)獲取rPPG信號(hào)?？紤]到異常光照和運(yùn)動(dòng)的影響，Chen等[11]引入注意力機(jī)制，通過構(gòu)造學(xué)習(xí)時(shí)空信息特征圖，提出了DeepPhys方法。為了能夠更好的表示顏色變化信息，Niu等[12]將RGB信號(hào)轉(zhuǎn)換到Y(jié)UV空間，提取心率的變化信息，將其轉(zhuǎn)化為時(shí)空?qǐng)D進(jìn)行心率的檢測。以上方法使用2D卷積，為了解決2D卷積不能提取視頻時(shí)間信息，Artemyev等[13]提出使用3D時(shí)空卷積，提取視頻在時(shí)間和空間上的多重特征，利用豐富的特征信息提取rPPG信號(hào)。為了解決視頻壓縮對(duì)心率檢測的影響，Yu等[14]提出了rPPGNet方法，通過使用3D卷積增強(qiáng)視頻恢復(fù)rPPG信號(hào)。深度學(xué)習(xí)方法在現(xiàn)有公開數(shù)據(jù)集上獲得了較傳統(tǒng)方法更準(zhǔn)確的檢測結(jié)果，但模型復(fù)雜、計(jì)算量大，且模型泛化性弱、缺乏可解析性。

Demirezen等[15]利用非線性模態(tài)分解進(jìn)行心率信號(hào)的提取，并取得了不錯(cuò)的效果。但如何選擇合適的模態(tài)數(shù)是算法有效的關(guān)鍵。選擇模態(tài)數(shù)過多會(huì)引起過分解，產(chǎn)生虛假信號(hào)對(duì)信號(hào)的合成造成干擾；過少會(huì)引起欠分解，導(dǎo)致信號(hào)分解不夠充分，出現(xiàn)模態(tài)混疊現(xiàn)象。欠分解現(xiàn)象如圖2所示，若分解模態(tài)數(shù)選擇固定值4時(shí)，合成的心率信號(hào)與PPG信號(hào)存在較大偏差，且存在噪聲殘余，表明欠分解未有效去除噪聲干擾。

圖2 欠分解示例

事實(shí)上，每個(gè)人的心率信號(hào)具有不同的特點(diǎn)，同時(shí)易受實(shí)際環(huán)境中運(yùn)動(dòng)、光照等影響[16]，如何自適應(yīng)的選擇分解模態(tài)數(shù)是算法魯棒的難點(diǎn)。針對(duì)上述問題，本文設(shè)計(jì)了基于自適應(yīng)變分模態(tài)分解的心率信號(hào)提取算法。具體來說，首先將rPPG信號(hào)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解獲取信號(hào)模態(tài)數(shù)；然后進(jìn)行變分模態(tài)分解為不同頻率和帶寬的模態(tài)；最后根據(jù)模態(tài)的中心頻率和心率頻率范圍合成心率信號(hào)。

1 相關(guān)工作

1.1 皮膚光照反射模型

視頻心率檢測的依據(jù)是心跳引起血液流動(dòng)導(dǎo)致人臉表皮發(fā)生微弱顏色變化，該顏色變化中蘊(yùn)含了心率信息。具體的皮膚光照反射模型如圖3所示，光源照射在人臉表皮，一部分經(jīng)過鏡面反射直接被攝像頭采集，而另一部分滲透真皮和皮下組織，經(jīng)過血液吸收后反射回來形成漫反射。由于血液流動(dòng)改變光的吸收量造成漫反射光有微弱的差別，因此漫反射光中含有心率信息。具體的皮膚光照反射模型如公式(1)所示。

圖3 皮膚光照反射模型

Ci(t)=I(t)*(Ss(t)+Sd(t))+Sn(t)

(1)

其中，Ci(t)為第i通道t時(shí)刻的像素值，I(t)為光照強(qiáng)度，Ss(t)為鏡面反射部分，Sd(t)為漫反射部分，Sn(t)為量化噪聲?；谄つw光照反射模型的心率信號(hào)提取方法的基本出發(fā)點(diǎn)是設(shè)計(jì)算法去除鏡面反射部分和光照強(qiáng)度，從Sd(t)中提取心率信號(hào)。

1.2 變分模態(tài)分解

變分模態(tài)分解是Dragomiretskiy等[17]在2014年提出的一種信號(hào)分解方法，其目標(biāo)是將一個(gè)輸入信號(hào)分解為若干不同的模態(tài)，每個(gè)模態(tài)具有不同的中心頻率和帶寬。

具體地，通過搜尋約束變分模型的最優(yōu)解來自適應(yīng)分解信號(hào)。每個(gè)模態(tài)的中心頻率和帶寬在求解過程中不斷迭代更新，最終根據(jù)信號(hào)的頻域特征將信號(hào)分解為不同的頻率和帶寬的子信號(hào)。其約束變分模型如式(2)所示：

(2)

其中，x為rPPG信號(hào)，uk(k=1,2,3,…,K)表示分解后模態(tài)的集合，ωk(k=1,2,3,…,K)為對(duì)應(yīng)模態(tài)中心頻率的集合，δ(t)為沖激函數(shù)，?t為對(duì)時(shí)間求偏導(dǎo)。

約束變分問題不易求解。因此，通過Lagrange乘子法將約束變分模型轉(zhuǎn)化為非約束變分模型，如式(3)所示。

(3)

然后利用交替方向乘子法[18]求解上述非約束變分模型，在頻域內(nèi)迭代更新子信號(hào)和中心頻率，其表達(dá)式如式(4)、(5)所示：

(4)

(5)

2 自適應(yīng)變分模態(tài)分解心率檢測算法

2.1 算法流程

自適應(yīng)變分模態(tài)分解算法流程如圖4所示，主要包含4個(gè)步驟。第一步對(duì)輸入的視頻幀進(jìn)行人臉檢測和皮膚檢測；第二步選擇人臉區(qū)域的皮膚像素作為ROI，計(jì)算ROI的像素平均值歸一化后作為源信號(hào)；第三步利用自適應(yīng)變分模態(tài)分解算法分解源信號(hào)，得到不同的頻率和帶寬的子信號(hào)；第四步根據(jù)心率頻率范圍選取子信號(hào)合成心率信號(hào)，對(duì)心率信號(hào)進(jìn)行功率譜密度分析計(jì)算心率。

圖4 算法流程

2.2 人臉檢測和皮膚檢測

ROI的選擇是視頻心率檢測算法魯棒的關(guān)鍵步驟，而人臉檢測是選擇合適ROI的重要前提。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，人臉檢測技術(shù)已經(jīng)比較成熟，有多種不同的人臉檢測算法可供使用?？紤]到運(yùn)行效率和魯棒性，本文采用Dlib工具箱中人臉檢測器進(jìn)行人臉檢測和特征點(diǎn)定位[19]。興趣區(qū)域選擇的出發(fā)點(diǎn)是保證所選區(qū)域有較豐富的心率信號(hào)。但實(shí)際中人臉皮膚血管分布不均，且人臉表面存在劉海、眼鏡等干擾因素影響。因此有效去除干擾區(qū)域是保證信號(hào)質(zhì)量的關(guān)鍵。皮膚檢測的目的是去除人臉區(qū)域的非皮膚像素。考慮顏色特征在YCrCb顏色空間表示更合適，因此先將RGB空間轉(zhuǎn)換到Y(jié)CrCb空間。具體流程如圖5所示。首先，檢測視頻幀中的人臉；接著依據(jù)公式(6)將RGB顏色空間轉(zhuǎn)換到Y(jié)CrCb顏色空間；然后根據(jù)膚色范圍形成人臉皮膚掩碼；最后把掩碼下人臉圖像作為興趣區(qū)域。

圖5 皮膚檢測流程圖

(6)

人臉檢測及皮膚檢測結(jié)果如圖6所示，其中，(a)為Dlib人臉檢測器檢測人臉81個(gè)關(guān)鍵點(diǎn)，(b)為皮膚檢測結(jié)果，白色區(qū)域?yàn)槠つw像素，黑色區(qū)域?yàn)榉瞧つw像素。從圖中可以看出，皮膚檢測有效地去除了人臉區(qū)域的非皮膚像素，保障了原始rPPG信號(hào)的質(zhì)量。

(a) (b)

2.3 源信號(hào)計(jì)算

心跳引起的顏色變化極其微弱，且易受皮膚鏡面反射和運(yùn)動(dòng)等噪聲的影響。為此，采用ROI空間像素均值和通道歸一化計(jì)算源信號(hào)。

首先，對(duì)每幀視頻中的皮膚像素在空間上按式(7)計(jì)算均值。然后，在時(shí)間上按式(8)[7]方法進(jìn)行歸一化以消除信號(hào)中的直流分量。

(7)

(8)

考慮到運(yùn)動(dòng)對(duì)心率信號(hào)的影響較大，事實(shí)上運(yùn)動(dòng)干擾影響所有通道，而心率信號(hào)在每個(gè)通道的強(qiáng)弱不同。血液中的血紅蛋白對(duì)綠光有較強(qiáng)的吸收，紅光次之[20]。因此，歸一化的綠色通道信號(hào)和紅色通道信號(hào)的比值受運(yùn)動(dòng)的影響較小，可以提高rPPG信號(hào)質(zhì)量，如式(9)[7]所示。

(9)

2.4 自適應(yīng)變分模態(tài)分解

EMD算法[21]能夠自適應(yīng)對(duì)信號(hào)進(jìn)行循環(huán)迭代分解，其目標(biāo)是把混合信號(hào)x分解為n個(gè)模態(tài)，n個(gè)模態(tài)分別為n-1個(gè)子信號(hào)和1個(gè)殘差項(xiàng)。其目標(biāo)函數(shù)如式(10)所示。在變分模態(tài)分解中，變分問題的約束條件為所有模態(tài)可以重構(gòu)源信號(hào)。因此，本文在求解變分模態(tài)分解時(shí)，考慮引入EMD的模態(tài)數(shù)，解決變分模態(tài)分解需預(yù)設(shè)模態(tài)數(shù)問題。

(10)

考慮到每個(gè)人的心率信號(hào)分布在不同的頻率，且受到不同噪聲的影響。在針對(duì)不同的人進(jìn)行心率檢測時(shí)，應(yīng)當(dāng)能夠自適應(yīng)分解為合適的模態(tài)數(shù)?；谝陨戏治?，本文設(shè)計(jì)一種自適應(yīng)變分模態(tài)分解算法，具體步驟如下：首先，對(duì)提取到的rPPG信號(hào)自適應(yīng)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，獲得信號(hào)的模態(tài)數(shù)。然后，將經(jīng)驗(yàn)?zāi)B(tài)分解的模態(tài)數(shù)作為變分模態(tài)分解的模態(tài)數(shù)K，對(duì)rPPG信號(hào)進(jìn)行自適應(yīng)變分模態(tài)分解。

算法1 自適應(yīng)變分模態(tài)分解

1.IMFs = EMD(rPPG).decompose()；//對(duì)rPPG信號(hào)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解

2.IMFs_num = len(IMFs[:,0])；//獲取經(jīng)驗(yàn)?zāi)B(tài)分解的模態(tài)數(shù)

3.U,U_f,C_f = VMD(rPPG,K = IMFs_num)；//對(duì)rPPG信號(hào)進(jìn)行變分模態(tài)分解，獲取信號(hào)的模態(tài)和中心頻率

自適應(yīng)變分模態(tài)分解結(jié)果如圖7所示。其中(a)為原始rPPG信號(hào)，(b)為變分模態(tài)分解后得到不同頻率和帶寬的模態(tài)，分解結(jié)果按照頻率由低到高依次排序。

圖7 變分模態(tài)分解示意圖

2.5 心率信號(hào)合成和功率譜分析

心率頻率范圍為0.75～4 Hz，對(duì)應(yīng)的心率為45～240 bpm。rPPG信號(hào)經(jīng)變分模態(tài)分解后得到不同中心頻率的子信號(hào)，根據(jù)每個(gè)子信號(hào)的中心頻率和心率頻率范圍選取子信號(hào)合成心率信號(hào)。然后對(duì)心率信號(hào)進(jìn)行功率譜分析計(jì)算心率，以最大功率對(duì)應(yīng)的頻率作為心率的頻率(fHR)。計(jì)算公式如式(11)[22]所示。

HR=fHR×60

(11)

合成心率信號(hào)和PPG信號(hào)對(duì)比如圖8所示,合成心率信號(hào)除存在時(shí)間偏移，基本上與PPG信號(hào)波形一致，表明本文方法所合成的心率信號(hào)較準(zhǔn)確。功率譜分析結(jié)果如圖9所示。

圖8 合成心率信號(hào)與PPG信號(hào)對(duì)比圖

圖9 功率譜分析

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

1)PURE數(shù)據(jù)集[23]：該數(shù)據(jù)集由10名受試者(8男2女)在6種不同狀態(tài)下錄制60個(gè)視頻，6種狀態(tài)分別為：Steady,Talking,Slow Translation,Fast Translation,Slow Rotation and Medium Rotation。視頻的分辨率為640×480，幀速率為每秒30幀，視頻存儲(chǔ)格式為png。真實(shí)心率的測量使用采樣率為60 Hz的脈搏血氧儀收集。

2)UBFC數(shù)據(jù)集[24]：該數(shù)據(jù)集包含42名受試者錄制自然狀態(tài)下的42個(gè)視頻，受試者錄制視頻的同時(shí)配戴脈搏血氧儀指夾傳感器(Contec Medical CMS50E)用于真實(shí)心率的采集。視頻的分辨率為640×480，幀速率為每秒30幀，視頻時(shí)長為1 min。受試者距離攝像機(jī)1 m，視頻采集設(shè)備為Logitech C920 HD Pro，存儲(chǔ)格式為無壓縮的8位RGB格式。

PURE和UBFC數(shù)據(jù)集部分樣本圖片如圖10所示，第一行為UBFC數(shù)據(jù)集，第二行為PURE數(shù)據(jù)集。

圖10 數(shù)據(jù)集部分樣本圖片

本文采用平均絕對(duì)誤差(Mean absolute error,MAE)和均方根誤差(Root mean square error,RMSE)作為算法的評(píng)價(jià)指標(biāo)。平均絕對(duì)誤差衡量檢測結(jié)果和真實(shí)值之間的絕對(duì)誤差，均方根誤差衡量算法的精度。計(jì)算公式分別如式(12)、(13)所示。

(12)

(13)

其中，N為檢測的樣本總數(shù)，HR(T)為第T個(gè)樣本檢測心率值，HRtrue(T)為第T個(gè)樣本真實(shí)心率值。

3.2 實(shí)驗(yàn)設(shè)置

本文在PyCharm平臺(tái)Python 3.7環(huán)境下進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)備CPU為Intel(R)Core(TM)i7-6500U，顯卡為NVIDIA GeForce 940M。

本文皮膚檢測采用YCrCb顏色空間閾值檢測，其中YCrCb顏色空間閾值設(shè)置為0

變分模態(tài)分解算法中懲罰因子α設(shè)置為2 000。PURE數(shù)據(jù)集進(jìn)行檢測時(shí)使用視頻的所有幀，UBFC數(shù)據(jù)集選取每個(gè)視頻1 200幀。

3.3 皮膚檢測實(shí)驗(yàn)結(jié)果

皮膚檢測采用YCrCb顏色空間閾值檢測，并對(duì)比了無皮膚檢測和HSV顏色空間閾值檢測方法。其中，信號(hào)分解算法為本文所提自適應(yīng)變分模態(tài)分解方法，實(shí)驗(yàn)結(jié)果如表1～表3所示。由表1～表3結(jié)果可見，YCrCb顏色空間的檢測結(jié)果優(yōu)于HSV顏色空間和未做皮膚檢測的結(jié)果。在PURE數(shù)據(jù)集的Steady狀態(tài)和Slow Translation狀態(tài)下，YCrCb顏色空間的檢測結(jié)果較HSV顏色空間檢測結(jié)果差。原因是空間閾值皮膚檢測方法較簡單，在出現(xiàn)不同強(qiáng)度的光照和偽影時(shí)，皮膚檢測結(jié)果可能影響原始rPPG信號(hào)的提取。

表1 PURE數(shù)據(jù)集皮膚檢測對(duì)比結(jié)果(MAE/bpm)

表2 PURE數(shù)據(jù)集皮膚檢測對(duì)比結(jié)果(RMSE/bpm)

表3 UBFC數(shù)據(jù)集皮膚檢測對(duì)比結(jié)果

3.4 心率檢測實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的有效性，選擇與EMD、ICA、Chrom、POS、rPPG-NMD、PBV、LGI等方法進(jìn)行比較[3，6-8，15，25-26]。為了保證實(shí)驗(yàn)結(jié)果的客觀公正，文中所對(duì)比的方法均采用同一種人臉檢測器和皮膚檢測方法。

PURE數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如表4和表5所示。結(jié)果可知，本文所提方法優(yōu)于基于模型的方法和EMD方法。在Talking狀態(tài)下，平均絕對(duì)誤差和均方根誤差均較大，原因是說話時(shí)人臉皮膚存在褶皺，造成提取到的rPPG信號(hào)質(zhì)量較差。在Fast Translation狀態(tài)下，由于快速旋轉(zhuǎn)，數(shù)據(jù)幀變得模糊，微小的顏色變化被模糊干擾，提取到的原始rPPG信號(hào)受干擾影響較大，造成實(shí)驗(yàn)結(jié)果誤差較大。在Slow Translation狀態(tài)下，本文方法和文獻(xiàn)[8]方法的均方根誤差相同，表明在該狀態(tài)下，2種算法的魯棒性非常接近。在Medium Rotation狀態(tài)下，文獻(xiàn)[7]和文獻(xiàn)[8]的方法優(yōu)于本文方法，表明中度旋轉(zhuǎn)噪聲的頻率與心率信號(hào)的頻率相近，通過自適應(yīng)變分模態(tài)分解后合成的心率信號(hào)仍含有噪聲，本文方法不能很好的去除中度旋轉(zhuǎn)噪聲。PURE數(shù)據(jù)集檢測結(jié)果與真實(shí)值間的相關(guān)性如圖11所示。

表4 PURE數(shù)據(jù)集平均絕對(duì)誤差(MAE/bpm)

表5 PURE數(shù)據(jù)集均方根誤差(RMSE/bpm)

圖11 PURE數(shù)據(jù)集檢測結(jié)果相關(guān)性示意圖

UBFC數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如表6所示。由表可知，本文的方法優(yōu)于其他對(duì)比方法。文獻(xiàn)[3]的方法進(jìn)行心率信號(hào)合成時(shí)去掉2個(gè)高頻噪聲和殘差分量。經(jīng)驗(yàn)?zāi)B(tài)分解得到的不同模態(tài)并非頻率固定，因此，去掉的高頻中可能含有心率信號(hào)。本文的方法得到具有物理意義的模態(tài)，頻率相對(duì)較為集中，因此獲得較好的結(jié)果。UBFC數(shù)據(jù)集檢測結(jié)果與真實(shí)值間的相關(guān)性如圖12所示。

表6 UBFC數(shù)據(jù)集檢測結(jié)果

圖12 UBFC數(shù)據(jù)集檢測結(jié)果相關(guān)性示意圖

4 結(jié)語

本文針對(duì)心率信號(hào)提取算法魯棒不強(qiáng)的問題，提出了一種自適應(yīng)變分模態(tài)分解算法。首先，采用EMD自適應(yīng)分解rPPG信號(hào)獲得信號(hào)模態(tài)數(shù)，將其作為VMD算法的模態(tài)數(shù)進(jìn)行信號(hào)分解，對(duì)分解后的信號(hào)根據(jù)心率頻率范圍和中心頻率提取心率信號(hào)。最后進(jìn)行功率譜分析計(jì)算心率。

在公開數(shù)據(jù)集PURE和UBFC上實(shí)驗(yàn)結(jié)果表明，YCrCb顏色空間閾值皮膚檢測方法對(duì)于光照具有較高敏感性，可以進(jìn)一步研究光照變化，采取更加魯棒的皮膚檢測方法。對(duì)比經(jīng)驗(yàn)?zāi)B(tài)分解、基于模型的信號(hào)提取算法具有更高的準(zhǔn)確性。未來的研究將注重在運(yùn)動(dòng)噪聲對(duì)心率信號(hào)提取的影響，提高運(yùn)動(dòng)情況下的算法魯棒性。