戴 陽,鄭婷婷,楊 雪

(長安大學(xué) 信息工程學(xué)院,西安 710064)

1 引言

心率(HR)是人體最重要也是最基本的一項生理指標(biāo),在一定程度上能夠反映出人的健康狀況、壓力水平和情緒波動[1].連續(xù)的心率檢測對訓(xùn)練輔助[2],健康監(jiān)測,駕駛員狀態(tài)評估[3]和情感狀態(tài)評估等具有重要作用.但在現(xiàn)實生活中,往往使用傳感器如透射式手指脈搏血氧儀測量心率,這種接觸式測量限制人類活動,很難在特定情況之外的日常生活中使用[4].而且,在對于某些特殊群體,如皮膚燒傷病人,好動癥患者,以及新生嬰幼兒等,很難使用接觸式設(shè)備進(jìn)行長時間監(jiān)測.因此,非接觸式HR測量的研究具有重要意義.

相比于傳統(tǒng)的接觸式心率測量方法,基于rPPG 的非接觸式HR測量方法更加靈活,無需測試者合作即可應(yīng)用.在rPPG 中,只需數(shù)碼相機(jī)和環(huán)境光即可遠(yuǎn)程訪問心臟搏動信息[5].如圖1所示,環(huán)境光用作光源,而數(shù)碼相機(jī)則用作光電轉(zhuǎn)換器.rPPG 的原理基于以下事實：血液中的血紅蛋白對光具有吸收作用,并且吸收量與血紅蛋白濃度成正比.由于血紅蛋白濃度隨血容量脈沖(BVP)呈準(zhǔn)周期性變化,所以血液吸收的光量會隨心動周期在皮膚表面下被BVP 周期性調(diào)節(jié),表現(xiàn)為皮膚的輕微顏色變化.盡管由BVP 引起的皮膚輕微的顏色變化對于人眼是不可見的,但是可以使用數(shù)碼相機(jī)對其進(jìn)行檢測[6].

圖1 rPPG 實現(xiàn)原理

近些年,一系列基于rPPG 的非接觸式心率檢測方法開始被研究提出.Verkruysse 等人[5]首次證明了使用消費(fèi)級相機(jī)遠(yuǎn)程測量心率的可能性.在這一研究中,通過選擇視頻中人臉前額作為ROI,并通過計算ROI 內(nèi)所有像素的平均值來計算每幀中的原始RGB 信號,并根據(jù)血紅蛋白對綠光的吸收比對紅光和藍(lán)光的吸收更好的事實,表明G 通道相比于R 通道與B 通道對血液脈沖信號有更好的反應(yīng),但對噪聲因素沒有研究.Pho等人[7,8]利用盲源分離的方法,提取rPPG 信號,使用獨(dú)立分分析(ICA)對RGB 三通道信號進(jìn)行盲源分離,選擇第二個源信號作為rPPG 信號進(jìn)行心率檢測.雖然該方法抑制了噪聲的干擾,但I(xiàn)CA 盲源分離出的源信號是隨機(jī)排序,無法確保第二個源信號最能反應(yīng)血液脈沖信號.Wu 等人[9]提出了一種歐拉視頻放大(EVM)框架,利用空間分解和時間濾波來提取血液脈沖信號信號.這種技術(shù)可以放大由BVP 引起的皮膚輕微的顏色變化.因此,該方法可用于使該現(xiàn)象對肉眼可見.但由于放大顏色信號的同時,對頻帶內(nèi)的噪聲也進(jìn)行了放大,所以使用該方法提取rPPG 信號進(jìn)行心率估計仍具有挑戰(zhàn).Wang 等人[10]提出一種“平面-正交-皮膚”(POS),該方法對檢測到的人臉區(qū)域進(jìn)行皮膚分割,分離出皮膚和非皮膚像素,將皮膚區(qū)域作為ROI,在時間歸一化RGB 空間中定義一個與膚色正交的平面來提取用于心率檢測的rPPG 信號,但沒考慮血液脈沖信號被噪聲淹沒的情況.

本文受以上研究啟發(fā),提出一種基于歐拉視頻放大和盲源分離的心率檢測算法,通過歐拉顏色放大技術(shù)放大正常心率范圍內(nèi)的色度信息,防止因噪聲和圖像傳感器限制等原因淹沒rPPG 信號,引入獨(dú)立成分分析從色度信息中盲源分離出源信號,抑制頭部微小運(yùn)動噪聲的干擾,考慮到源信號的隨機(jī)性,本文提出一種相關(guān)性分析方法,選出最能反應(yīng)BVP 信號的源信號作為rPPG 信號,通過時域濾波和功率譜密度分析估計出心率,并通過多組實驗驗證了本文方法的性能.

2 心率檢測模型

本文提出的非接觸式HR測量算法主要包括4 個主要步驟,具體框架如圖2所示,首先對輸入視頻進(jìn)行歐拉視頻放大,接著對放大后的視頻進(jìn)行ROI 選取與跟蹤,然后在ROI 內(nèi)提取源信號,最后對選出的源信號分析,估計出HR值.每個步驟的細(xì)節(jié)在下面的小節(jié)中進(jìn)行了說明.

圖2 心率檢測框架圖

2.1 歐拉視頻放大

為了克服人類視覺系統(tǒng)的局限性,揭示視頻中難以,或不可能用肉眼看到的時間變化,提出了歐拉視頻放大技術(shù).該框架是2012年由Wu 等人首先設(shè)計[9],其基本的方法是在任意空間位置的時間尺度上,觀察一系列顏色值,比如像素,然后在某一特定頻帶上,放大顏色值的變化.

歐拉視頻放大技術(shù)的處理框架如圖3所示,首先運(yùn)用圖像金字塔,將輸入的人臉視頻分解為不同的空間子帶；然后對每個空間頻帶進(jìn)行時間濾波處理,濾出感興趣頻帶；接著將提取的帶通信號乘以放大系數(shù)ɑ,其中ɑ的值由不同的應(yīng)用指定,它的邊界受視頻運(yùn)動步長δ和圖像空間結(jié)構(gòu)波長λ限制,如式(1)所示,并且在空間頻帶上,超出確定的空間截止頻率時,衰減ɑ值；最后將放大的信號添加到原始金字塔圖像中,并重構(gòu)結(jié)果視頻.

圖3 歐拉視頻放大技術(shù)的處理框架

每次心臟跳動引起皮膚顏色變化非常細(xì)微[11],盡管可以從人臉視頻數(shù)據(jù)中分析出來,但這種變化極易被噪聲淹沒,同時還會受圖像傳感器的限制.因此,本文使用歐拉顏色放大技術(shù),對心跳引起的細(xì)微顏色變化信號進(jìn)行放大.為了將圖像的亮度信息和色度信息分離,將視頻的色彩空間由RGB 空間轉(zhuǎn)換到Y(jié)IQ 空間,轉(zhuǎn)換關(guān)系如下所示：

其中,Y表示亮度信息,I、Q表示色度信息,通過高斯金字塔對每幀視頻進(jìn)行空間分解,得到多個尺度的子帶集合,利用理想帶通濾波器對每一個子帶進(jìn)行濾波,通帶頻率為[0.7,4] Hz,即正常心率范圍,然后將濾波后子帶的I、Q通道的色度信息放大100 倍,Y通道的亮度信息衰減為0.如圖4(a)、圖4(b)所示,可以明顯看出放大前后,人臉皮膚的顏色變化.當(dāng)血液脈沖到達(dá)某一點(diǎn)時,該點(diǎn)的皮膚顏色會變深,而當(dāng)血液脈沖遠(yuǎn)離時,該點(diǎn)的顏色會變淺.

圖4 視頻中兩幀放大前后的顏色變化

2.2 ROI 選取與跟蹤

為了解決視頻圖像中的背景噪聲問題,本文對采集到的視頻進(jìn)行人臉檢測.首先以視頻的第一幀圖像作為參考圖像,使用Viola-Jones 人臉檢測器[12]框出人臉區(qū)域,接著使用判別響應(yīng)圖擬合(Discriminative Response Map Fitting,DRMF)方法[13],識別矩形框中面部特征點(diǎn).與臉部其他皮膚區(qū)域相比,臉頰的皮膚可以提供更高信噪比的rPPG 信號[14],因此,本文選定臉頰區(qū)域作為ROI.如圖5所示,黃色矩形框表示識別到的人臉區(qū)域,“+”表示面部特征點(diǎn),藍(lán)色區(qū)域為ROI.

圖5 人臉區(qū)域

考慮到視頻采集時,人臉會發(fā)生微小的剛性運(yùn)動,為了抑制剛性運(yùn)動的干擾,獲得更加平滑的原始信號.本文使用Kanade-Lucas-Tomasi (KLT)[15]對上述特征點(diǎn)進(jìn)行跟蹤,首先計算特征點(diǎn)在相鄰幀之間位移變化,得到轉(zhuǎn)移矩陣,然后通過矩陣變換準(zhǔn)確地獲取人臉矩形框,具體如式(3)所示：

其中,Pi=[P1(i),P2(i),···,Pk(i)]為第i幀特征點(diǎn)的位置,k為特征點(diǎn)的個數(shù)；Fi=[f1(i),f2(i),f3(i),f4(i)]為人臉邊框位置,f1(i)～f2(i)表示人臉邊框的4 個頂點(diǎn)坐標(biāo)；A表示轉(zhuǎn)移矩陣.

2.3 提取源信號

2.3.1 提取I、Q色度信息

選取ROI 之后,在時間序列上,提取反應(yīng)BVP 的色度信息.考慮到2.1 節(jié)已對色度信息進(jìn)行了放大,所以本文將放大后的色度信息,即I與Q通道上的信息,用作rPPG 分析的原始信號.如文獻(xiàn)[12]所述,空間平均有助于減少傳感器噪聲,改善rPPG 信號的SNR.定義I(x,y,t)為第t幀I通道(x,y)處的值,則t時刻I通道ROI 內(nèi)的空間平均如式(4)所示：

其中,|ROI|表示ROI 內(nèi)像素點(diǎn)個數(shù).空間平均后,在ROI 內(nèi),I、Q每個通道上都得到一條如I(t)=的時間序列信號.同時為了濾除時間序列信號的趨勢成份以及減少量綱的影響,本文對原始信號進(jìn)行去趨勢化[16]和標(biāo)準(zhǔn)化處理,如圖6(a)、圖6(b)所示.

圖6 原始I、Q 信號

2.3.2 盲源分離

一方面考慮到人臉自身的微小運(yùn)動和相機(jī)振動等因素,原始信號I(t)、Q(t)混合著一定的噪聲.從圖6可以看出,在視頻的初始和結(jié)束部分,由于人臉發(fā)生輕微晃動,導(dǎo)致原始信號發(fā)生大幅度抖動.因此,需要對原始信號進(jìn)一步處理,提取干凈的rPPG 信號.另一方面,由于缺乏心率信號相關(guān)的先驗知識,很難使用傳統(tǒng)的方法分離出反應(yīng)BVP 信號的rPPG 信號,所以本文采用盲源分離的方法,通過ICA 分離出源信號[17]s1(t)、s2(t),如圖7(a)、圖7(b)所示.

圖7 盲源分離出的獨(dú)立源信號

2.3.3 獨(dú)立成分選取

針對ICA 分離出的源信號為隨機(jī)排序,無法確定哪個源信號更能反應(yīng)BVP 信號這一問題,本文提出相關(guān)性分析方法來選擇源信號.由于血紅蛋白對波長在540～570 nm 之間的黃綠光吸收更多[18],同時黃綠光處于Q 通道顏色范圍內(nèi),所以Q通道的信號更能反應(yīng)BVP 信號.因而可知,可以用Q(t)作為參考信號,在源信號s1(t)、s2(t)中 選出與Q(t)最相關(guān)的作為反應(yīng)心率信息的rPPG 信號.

本文使用皮爾遜相關(guān)系數(shù)來評價兩個變量的線性相關(guān)程度,計算公式如下所示：

其中,r表示皮爾遜相關(guān)系數(shù),r越大,表明兩者越相關(guān),n為樣本數(shù)量,Xi、Yi表示第i個樣本,、為樣本均值,σX、σY為樣本標(biāo)準(zhǔn)差.

將2.3.2 節(jié)中ICA 分離出的s1(t)、s2(t)源信號分別與Q(t)進(jìn)行相關(guān)性分析,得到的皮爾遜相關(guān)系數(shù)r,如圖8所示.

圖8 兩個獨(dú)立信號與Q(t)的相關(guān)系數(shù)

從圖8可以看出,s2(t)與Q(t)的相關(guān)系數(shù)更大,說明兩者線性相關(guān)程度更大,s2(t)更能反應(yīng)BVP 信號.所以,本文將盲源分離出的s2(t)作為rPPG 信號來估計HR.

2.4 心率計算

通常rPPG 信號會包含感興趣范圍之外的頻率分量,本文將感興趣的頻率范圍設(shè)置為[0.7,4] Hz,以覆蓋從42 次/分鐘(bpm)到240 bpm 的正常HR范圍.因此,使用截止頻率為[0.7,4] Hz 的基于漢明窗的有限脈沖響應(yīng)帶通濾波器進(jìn)行濾波.

最后,對濾波后的rPPG 信號進(jìn)行快速傅里葉變換(FFT),將信號轉(zhuǎn)到頻域,并對其進(jìn)行功率譜密度(PSD)分析[19].因為rPPG 信號反映了心率變化趨勢,所以該信號中包含一個與心率HR的頻率fHR相近的基礎(chǔ)振蕩頻率,通常取其最大頻率分量為fHR的近似值：

其中,W(f)為色度特征信號在[0,T]連續(xù)時間內(nèi)的功率譜密度.同時為了直觀起見,本文將功率表示為心率HR而不是頻率f的函數(shù),如圖9所示,其中HR=60f.

圖9 PSD 分析

3 實驗與分析

在本節(jié)中,本文在自采集數(shù)據(jù)庫上對方法進(jìn)行評估.所有的實驗均在Windows 10 操作系統(tǒng)下,2019a 版本的Matlab 上實現(xiàn).

3.1 數(shù)據(jù)的采集

本文使用普通網(wǎng)絡(luò)攝像頭,在自然光、日光燈、弱光3 種場景下對10 名參與者(4 名男性,6 名女性)的人臉視頻進(jìn)行采集.要求參與者正對攝像頭并與之水平相距60 cm 左右.所有視頻的采樣頻率為30 fps,空間分辨率為1280×720,持續(xù)時間為30 s 左右.與rPPG記錄并行,本文同步記錄了來自透射式手指脈搏血氧儀(DB18,飛利浦投資有限公司)的脈搏血氧儀數(shù)據(jù),并將之作為參考HR信號.

3.2 實驗結(jié)果分析

為驗證本文所提HR檢測算法的性能,與文獻(xiàn)[8]、文獻(xiàn)[10]提出的心率檢測算進(jìn)行對比.綜合先前研究對HR 檢測算法的性能評價,本文采用4 種評價指標(biāo)作為性能度量：第1 種指標(biāo)是平均絕對誤差HRme,如式(7),式中N為表示視頻數(shù)據(jù)個數(shù),HRvd表示HR估計值,HRgt表示HR基準(zhǔn)值；第2 種指標(biāo)為誤差的均方根誤差,如式(8),為RMS E；第3 種指標(biāo)是誤差的標(biāo)準(zhǔn)差,記為HRsd；第4 種指標(biāo)是HR檢測結(jié)果的平均誤差率HRmer,如式(9).

在自然光場景下,心率檢測的性能如表1所示.比較發(fā)現(xiàn),3 種方法的HRme皆小于5 bpm,滿足中華人民共和國醫(yī)藥行業(yè)規(guī)定的誤差標(biāo)準(zhǔn)(誤差≤5 bpm),RMS E小于6 bpm,HRsd小于4 bpm,HRmer均小于6%,表明在自然光場景下,3 種方法都表現(xiàn)較好的性能.但與先前兩種方法相比,本文方法的HRme為 2.39 bpm,HRmer為3.05%,具有明顯的優(yōu)勢.

在日光燈場景下,表2結(jié)果表明,由于人臉光照環(huán)境發(fā)生變化,導(dǎo)致提取的rPPG 信號相比于在自然場景下變?nèi)?增大了被噪聲淹沒的可能性.所以3 種方法性能都有所下降.文獻(xiàn)[8]和文獻(xiàn)[10]的方法,RMS E均大于5 bpm,HRsd大于5 bpm,HRmer大于6%.本文所提方法,RMSE 為3.46 bpm,HRsd為1.88 bpm,HRmer為3.97%.

表1 自然光場景下的性能比較

表2 日光燈場景下的性能比較

在弱光場景下,如表3所示,3 種方法性能明顯下降,文獻(xiàn)[8] 和文獻(xiàn)[10] 這兩種方法的HRmer皆大于6%.對比先前兩種方法,本文方法的性能更好,HRme小于3 bpm,RMS E小于5 bpm,HRsd小于4 bpm,HRmer為4.05%.

表3 弱光場景下的性能比較

從數(shù)據(jù)結(jié)果可以看出,本文所提方法具有較好的穩(wěn)定性.在不同光照條件下,相比于先前兩種方法,具有更低的誤差率.主要原因如下,相比于文獻(xiàn)[10]的方法,本文考慮到血液脈沖信號被噪聲淹沒的情況,并通過引進(jìn)歐拉顏色放大技術(shù),放大正常心率范圍內(nèi)的色度信息來解決.相比于文獻(xiàn)[8]的方法,本文針對盲源分離出的信號具有隨機(jī)性,無法確定哪一個源信號更能反應(yīng)血液脈沖信號這一問題,通過相關(guān)性分析方法,評價各個源信號與所選血液脈沖參考信號的相關(guān)程度,選取相關(guān)程度最大的源信號作為rPPG 信號,提高了算法的穩(wěn)定性.

通過顯示參與者的Bland-Altman 圖來評估基準(zhǔn)心率HRgt與估計心率HRvd之間的一致性.Bland-Altman 分析為Bland JM 與Altman DG 提出[20],主要思想是使用均值m估計基準(zhǔn)心率HRgt與 估計心率HRvd的差值,使用標(biāo)準(zhǔn)差SD 估計差值的偏倚,若95%的數(shù)據(jù)的差值都在區(qū)間[m?1.96SD,m+1.96SD]內(nèi),則表示HRgt與HRvd具有較好的一致性測量結(jié)果.

如圖10所示,橫坐標(biāo)為基準(zhǔn)心率HRgt與估計心率HRvd的平均值,縱坐標(biāo)為HRgt與HRvd的差值.在3 種光照場景下,兩種方法偏差的均值m為0.707 3 bpm,標(biāo)準(zhǔn)差SD 為2.057 bpm,95%一致性界限為[?3.324,4.738],僅有1 個點(diǎn)在一致性界限點(diǎn)外,95%以上的數(shù)據(jù)在一致性界限內(nèi).該結(jié)果表明,在3 種光照環(huán)境下,本文的非接觸式心率檢測與標(biāo)準(zhǔn)的脈搏血氧儀之間具有很好的一致性,本文方案可以替代標(biāo)準(zhǔn)儀器進(jìn)行日常心率檢測.

圖10 3 種光照場景下Bland-Altman 一致性分析

4 總結(jié)與展望

rPPG 技術(shù)是一種遠(yuǎn)程人體生命體征監(jiān)測技術(shù),在特殊情況下非常有用,如新生兒監(jiān)護(hù)、遠(yuǎn)程醫(yī)療、健康監(jiān)護(hù)等,具有重要的研究意義.本文提出的基于視頻放大與盲源分離的非接觸式心率檢測方法通過歐拉顏色放大技術(shù)放大正常心率范圍內(nèi)的色度信息,解決了因噪聲和圖像傳感器限制等原因淹沒rPPG 信號的問題.同時引入主成分分析從色度信息中盲源分離出源信號,抑制了頭部微小運(yùn)動噪聲的干擾,考慮到源信號的隨機(jī)性,利用血紅蛋白對波長在540～577 nm 之間的黃綠光吸收更多的先驗知識,提出一種相關(guān)性分析方法,選出最能反應(yīng)BVP 信號的源信號作為rPPG 信號.實驗結(jié)果表明,本文提出的HR檢測方法比傳統(tǒng)的方法具有更好的HR測量精度和穩(wěn)定性.但在劇烈運(yùn)動和光照突變的場景下,本文的方法具有一定的局限性.在未來的工作中,將進(jìn)一步研究來解決劇烈運(yùn)動和光照突變引起的噪聲問題.