陳 宇,楊學(xué)志,方 帥,李龍偉,王定良

1(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,合肥 230009)

2(工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室,合肥 230009)

3(合肥工業(yè)大學(xué) 軟件學(xué)院,合肥 230009)

4(中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院,合肥 230036)

心率作為人的基本生命體征,不僅可以反應(yīng)人體的健康狀態(tài),也是評(píng)估人體心腦血管疾病最重要和有效的參數(shù)之一.其在心腦血管疾病、高血壓、心理和精神疾病等領(lǐng)域都被證實(shí)是一種有效的診斷手段[1].

臨床上傳統(tǒng)的心率監(jiān)測(cè)技術(shù)主要是利用心電圖機(jī)(electrocardiogram,ECG),其通過設(shè)備上的十二導(dǎo)聯(lián)綁定在體表不同的裸露部位獲取精確的心電數(shù)據(jù)進(jìn)行分析處理[2].這種方式可以得到較為精準(zhǔn)的心率,但是其存在成本高昂、操作繁雜、專業(yè)要求高,普通家庭無法獨(dú)立使用.除此以外,家用的脈搏血氧儀也被廣泛用來測(cè)量受試者心率,其是利用光電傳感器夾在受試者指尖、耳垂等體表末梢通過接收反射或透射的光信號(hào)進(jìn)行心率測(cè)量.該方法需要測(cè)試部位和設(shè)備緊密貼合且不能夠有相對(duì)運(yùn)動(dòng),使用不便,舒適度較差不利于長(zhǎng)時(shí)間實(shí)時(shí)檢測(cè).針對(duì)傳統(tǒng)方法的在實(shí)際應(yīng)用中的局限性,研究一種使用方便的非接觸式的心率檢測(cè)技術(shù)就顯得十分重要.

基于視頻的光電容積描記術(shù)(video photoplethysmography,VPPG),是一種非接觸式心率檢測(cè)技術(shù).其可以利用普通彩色相機(jī)采集面部或指尖等區(qū)域表皮視頻,通過檢測(cè)皮下毛細(xì)血管由于心臟周期泵血使得血液血紅蛋白濃度變化產(chǎn)生的微弱顏色變化,提取血液容積脈沖信號(hào)(blood volume pulse,BVP).通過分析該信號(hào)的頻率即可進(jìn)行心率估計(jì).Verkruysse 等人[3]最早使用普通彩色攝像頭,在可見光作為光源的條件下證明了使用VPPG 技術(shù)進(jìn)行非接觸式心率檢測(cè)的可行性.隨后,Poh 等人[4]提出對(duì)視頻幀進(jìn)行人臉感興趣區(qū)域檢測(cè)并計(jì)算RGB 三通道像素均值,然后使用獨(dú)立成分分析(ICA)進(jìn)行BVP 信號(hào)提取和心率估計(jì).盡管這些算法都可以比較好的進(jìn)行心率估計(jì),但需要測(cè)試者全程保持靜止或人臉和環(huán)境背景的穩(wěn)定才能保證良好的實(shí)驗(yàn)結(jié)果,這不僅會(huì)給測(cè)試者帶來不便,而且會(huì)限制算法的使用場(chǎng)景.由于人臉運(yùn)動(dòng)(如說話、表情變化)、頭部晃動(dòng)和光照不均勻等干擾因素的存在,會(huì)影響VPPG技術(shù)BVP 信號(hào)的提取以及心率估計(jì)的準(zhǔn)確性.因此,如何保證在真實(shí)的生活場(chǎng)景中提升心率檢測(cè)算法的穩(wěn)定性和準(zhǔn)確性,已經(jīng)成為國(guó)內(nèi)外學(xué)者研究的重點(diǎn).

研究者們主要做出的改進(jìn),有如下幾個(gè)方面: 其一,是根據(jù)皮膚光照反射特點(diǎn)采用不同的顏色空間進(jìn)行BVP 信號(hào)提取,通過不同顏色通道信號(hào)的差異性和互補(bǔ)性來增強(qiáng)原始BVP 信號(hào).如de Haan 等人[5]利用不同顏色通道信號(hào)之間的互補(bǔ)性,提出了基于色度的顏色空間投影分解算法(chrominance-based rPPG,CHROM)以減輕頭部晃動(dòng)產(chǎn)生的影響.其二,是根據(jù)BVP 信號(hào)特性以及先驗(yàn)知識(shí)等進(jìn)行噪聲濾除和信號(hào)增強(qiáng)等操作.如Wang 等人[6]通過分析BVP 信號(hào)頻域上心動(dòng)信號(hào)和噪聲信號(hào)的區(qū)別,采取頻域修正的方式來去除非心率范圍內(nèi)的干擾.Tasli 等人[7]通過估計(jì)頭部運(yùn)動(dòng)頻率并進(jìn)行剔除,取得了更魯棒的心率估計(jì).

除此以外,近年來研究表明通過同步分析多個(gè)不同的面部感興趣區(qū)域的信號(hào)可以用來提升原始BVP信號(hào)的提取效果.如Kumar 等人[8]使用信噪比來對(duì)不同的感興趣區(qū)域信號(hào)進(jìn)行加權(quán).Feng 等人[9]將ROI 區(qū)域分塊后設(shè)計(jì)并提取了兩種特征,最后使用K均值算法自適應(yīng)選擇有效的感興趣區(qū)域.Li 等人[10]使用人臉特征點(diǎn)裁剪獲得固定的人臉皮膚區(qū)域.Favilla 等人[11]使用ICA 算法分析面部3 個(gè)區(qū)域的多通道信息進(jìn)行心率檢測(cè).周雙等人[12]采用矩陣低秩分解來對(duì)不同感興趣區(qū)域的信號(hào)進(jìn)行降噪處理.然而,由于以上的多區(qū)域分析的劃分均是在人臉檢測(cè)框的基礎(chǔ)上進(jìn)行簡(jiǎn)單的矩形分割,此方式雖然操作簡(jiǎn)單,但實(shí)際上并沒有考慮到分塊內(nèi)人臉輪廓、陰影和皮膚紋理等信息,以及視頻幀之間分塊區(qū)域位于人臉位置的一致性,ROI 分塊劃分存在一定的不合理之處.

為了解決上述ROI 分塊劃分和挑選中存在的問題,本文受傳統(tǒng)的超像素分割算法的啟發(fā),提出一種基于人臉視頻的自適應(yīng)超像素分割和ROI 優(yōu)選方法.使得分塊區(qū)域擁有相同或近似的特征集,一方面提升子塊劃分質(zhì)量,從源頭提升了BVP 信號(hào)提取的質(zhì)量,另一方面通過優(yōu)選算法尋找面部信號(hào)最佳區(qū)域.增強(qiáng)了面部運(yùn)動(dòng)干擾以及環(huán)境光分布不均時(shí)算法的抗干擾能力.

1 心率檢測(cè)方法

本文心率檢測(cè)算法是以ROI 超像素分割和脈搏矩陣信號(hào)優(yōu)選為基礎(chǔ).通過裁切視頻幀內(nèi)面部ROI,隨后根據(jù)輪廓、皮膚紋理和陰影等特征將面部ROI 通過超像素聚類分割成互不重疊的子塊,再對(duì)分塊結(jié)果進(jìn)行色度BVP 矩陣提取,最后進(jìn)行多指標(biāo)綜合分析優(yōu)選出最佳面部子區(qū)域進(jìn)行信號(hào)處理與心率估計(jì).

本方法的核心步驟包括以下幾個(gè)部分: 1)人臉與特征點(diǎn)檢測(cè); 2)人臉自適應(yīng)超像素分割; 3)色度BVP矩陣提取; 4)脈搏信號(hào)評(píng)估優(yōu)選與心率估計(jì).具體算法框圖如圖1 所示.

圖1 算法流程及示意圖

1.1 人臉與特征點(diǎn)檢測(cè)

在真實(shí)生活場(chǎng)景中,由于檢測(cè)過程中頭部晃動(dòng)以及表情變化等會(huì)影響攝像頭對(duì)面部顏色周期性變化的提取效果,進(jìn)而導(dǎo)致BVP 信號(hào)提取質(zhì)量的大幅降低.因此對(duì)原始視頻進(jìn)行人臉與特征點(diǎn)檢測(cè)算法,來獲取穩(wěn)定的人臉ROI 區(qū)域(圖像幀).首先根據(jù)視頻第1 幀圖像,使用Viola 等人[13]的人臉檢測(cè)器輸出視頻中人臉檢測(cè)矩形區(qū)域的頂點(diǎn)坐標(biāo); 然后采用魯棒判別響應(yīng)圖擬合 (DRMF)[14]方法對(duì)人臉坐標(biāo)區(qū)域內(nèi)主要器官進(jìn)行特征點(diǎn)定位,記錄人臉66 個(gè)特征點(diǎn)位置C1,包含眼睛、鼻子、眉毛、臉頰和嘴巴等區(qū)域.之后對(duì)后續(xù)的視頻幀進(jìn)行KLT 跟蹤特征點(diǎn)的位置,獲取連續(xù)幀面部特征點(diǎn)矩陣C,記作:

其中,i為視頻幀數(shù),m為特征點(diǎn)個(gè)數(shù),范圍為1-66.

1.2 人臉自適應(yīng)超像素分割

傳統(tǒng)的ROI 分割算法均是將人臉檢測(cè)框內(nèi)區(qū)域簡(jiǎn)單的分割成m行n列的矩形.如圖2 所示.這樣分割,首先并沒有考慮到頭部運(yùn)動(dòng)導(dǎo)致分塊對(duì)應(yīng)人臉位置的變化,其次也沒有考慮到分塊內(nèi)像素間的特征聯(lián)系,ROI 分割存在不合理之處.例如: 平面內(nèi)頭部偏轉(zhuǎn)會(huì)造成檢測(cè)框改變,分塊對(duì)應(yīng)面部位置變化,導(dǎo)致連續(xù)幀之間分塊不連續(xù); 光照分布不均時(shí)陰影區(qū)域和正常亮度區(qū)域若被隨機(jī)劃分為一個(gè)子塊,會(huì)導(dǎo)致子塊內(nèi)像素均值增大,顏色變化幅度減小進(jìn)一步降低BVP 信號(hào)提取質(zhì)量.

圖2 傳統(tǒng)ROI 分割效果演示

超像素分割算法是通過像素間共享特征(如亮度、紋理、陰影、輪廓等)將圖像分割為包含特定圖像結(jié)構(gòu)的子區(qū)域[15].該算法可用于對(duì)面部區(qū)域進(jìn)行分割,但是傳統(tǒng)的超像素分割僅對(duì)圖像進(jìn)行處理,未考慮連續(xù)幀之間的分塊個(gè)數(shù)及位置的連續(xù)性.故針對(duì)心率檢測(cè)場(chǎng)景對(duì)傳統(tǒng)方法進(jìn)行改進(jìn)提出人臉自適應(yīng)超像素分割算法.

方法首先針對(duì)視頻圖像中人臉位置運(yùn)動(dòng)做出位置自適應(yīng)處理,再結(jié)合簡(jiǎn)單的線性迭代聚類(simple linear iterative clustering,SLIC)[16]實(shí)現(xiàn)連續(xù)幀間人臉區(qū)域分塊的一致性.能夠很好地應(yīng)對(duì)視頻中人臉位置移動(dòng)、遠(yuǎn)近距離變化和平面內(nèi)旋轉(zhuǎn)等情況下人臉分塊的穩(wěn)定性,保證子塊BVP 信號(hào)提取區(qū)域?qū)?yīng)人臉位置的穩(wěn)定性和連續(xù)性.具體步驟為:

(1)視頻人臉獲取.根據(jù)第1.1 節(jié)獲取的視頻人臉位置對(duì)原始圖形進(jìn)行裁切獲取原始人臉區(qū)域圖像幀序列F.

(2)自適應(yīng)處理.傾斜校正: 如圖3 所示根據(jù)獲取的圖像幀序列F以及第1.1 節(jié)獲取的人臉特征點(diǎn)位置C使用戚剛[17]的傾斜校正方法校正視頻中旋轉(zhuǎn)的人臉獲得校正人臉序列F1.

圖3 人臉傾斜校正

人臉尺寸一致處理: 由于頭部運(yùn)動(dòng)會(huì)影響圖像中面部像素區(qū)域大小[18],若采用固定的分割個(gè)數(shù)可能會(huì)使得分割子塊像素區(qū)域過小,導(dǎo)致BVP 信號(hào)提取質(zhì)量的急速下降[19].因此通過設(shè)置初始化超像素分塊尺寸,根據(jù)視頻初始幀人臉像素尺寸自適應(yīng)決定分塊個(gè)數(shù).由于人臉五官位置在不同尺寸圖片中比例保持相對(duì)穩(wěn)定,因此根據(jù)面部特征點(diǎn)C對(duì)傾斜校正序列F1進(jìn)行對(duì)比縮放,獲得尺寸一致的人臉圖像序列F2,以確保分塊個(gè)數(shù)一致.

(3)初始化種子點(diǎn).設(shè)序列F2中圖像像素個(gè)數(shù)為K,為了確保分塊BVP 提取質(zhì)量,設(shè)置初始超像素大小為S=50×50的矩形區(qū)域,則超像素個(gè)數(shù)M=K/S,超像素種子點(diǎn)間的距離L=sqrt(K/S).

(4)相似度衡量.針對(duì)序列F2圖像幀中的每個(gè)像素,分別計(jì)算與距離最近的種子點(diǎn)間的相似程度,為該像素點(diǎn)賦予最相似種子點(diǎn)標(biāo)簽.相似度衡量公式如下所示:

其中,dlab為像素點(diǎn)之間的顏色差異,dxy是像素點(diǎn)間的空間距離.Di用來衡量?jī)上袼亻g的相似程度;L為種子點(diǎn)的間距,e為平衡參數(shù),用來反應(yīng)顏色差異與空間距離在相似度衡量中的比重.Di越大,表明兩像素之間相似度越高.

自適應(yīng)超像素分割迭代過程如圖4,通過不斷迭代上述過程直至達(dá)到收斂,分塊之間充分考慮到面部像素之間距離和顏色特征等聯(lián)系,并且經(jīng)過了面部?jī)A斜校正和一致性處理,可以確保連續(xù)幀之間分塊位置的一致性,獲得最終自適應(yīng)分割結(jié)果標(biāo)簽Label,范圍1-M.

圖4 自適應(yīng)超像素分割迭代過程

1.3 分塊色度脈搏矩陣提取

對(duì)獲取的連續(xù)幀人臉自適應(yīng)分塊結(jié)果,根據(jù)Label標(biāo)記區(qū)域進(jìn)行BVP 信號(hào)提取.研究表明[20],HSV 顏色空間H通道色度特征對(duì)面部運(yùn)動(dòng)具有良好的魯棒性,可以抵抗面部運(yùn)動(dòng)光線反射角度變化造成的皮膚亮度和顏色變化.因此采用H通道進(jìn)行色度脈搏提取.首先根據(jù)分塊Label 結(jié)果,分別計(jì)算M個(gè)ROI 分割子區(qū)域像素均值,記為bm(N)其中m表示第m個(gè)分塊區(qū)域,N表示的視頻總幀數(shù).隨后將計(jì)算得到的M個(gè)區(qū)域的像素均值矩陣B通過顏色空間轉(zhuǎn)換到H通道獲得H通道色度BVP 信號(hào)矩陣,記為:

其中,hm(N)表示第m個(gè)分塊區(qū)域色度脈搏提取信號(hào).

H通道顏色轉(zhuǎn)換方法在以下公式中進(jìn)行描述.使用以下公式對(duì)RGB 值進(jìn)行標(biāo)準(zhǔn)化與顏色空間轉(zhuǎn)換:

其中,R′,G′,B′為RGB三通道的歸一化值,范圍0-1;Cmax和Cmin分別為歸一化RGB通道的最大值和最小值,以及歸一化RGB通道的差值Δ;H即為HSV 顏色空間的色度分量.

1.4 脈搏信號(hào)篩選與心率估計(jì)

獲取到面部M個(gè)子塊色度BVP 信號(hào)后,對(duì)各子塊的原始脈搏信號(hào)質(zhì)量進(jìn)行評(píng)估與優(yōu)選.在進(jìn)行脈搏波質(zhì)量評(píng)估的特征選取時(shí),必須要符合以下準(zhǔn)則.首先,因?yàn)檎鎸?shí)場(chǎng)景下無心率參考真值,質(zhì)量評(píng)估指標(biāo)不依賴真值對(duì)比; 其次,特征數(shù)值大小需體現(xiàn)信號(hào)質(zhì)量?jī)?yōu)劣; 最后,特征值應(yīng)方便從簡(jiǎn)短的波形獲得,確保特征及時(shí)更新實(shí)現(xiàn)ROI 優(yōu)選的時(shí)效性.考慮到上述條件,因此選取幅度、頻域和非線性3 個(gè)方面指標(biāo)綜合評(píng)判脈搏波質(zhì)量.

(1)幅度特征: 分塊區(qū)域亮度變化標(biāo)準(zhǔn)差(light std),表示分塊內(nèi)像素亮度與均值之間的偏離程度,可以體現(xiàn)分塊內(nèi)亮度變化程度.公式如式(8):

其中,light(m)表示的是第m個(gè)分塊的亮度變化程度指標(biāo),lvaluemi代表第m分塊中第i幀的亮度值,μ代表分塊中所有幀的亮度均值,N為視頻幀總數(shù).

(2)頻域特征: 分塊脈搏波信噪比(signal noise ratio,SNR),表示脈搏信號(hào)平均功率與噪聲平均功率的比值.可以反應(yīng)心率信號(hào)能量占正常心率區(qū)間內(nèi)的總能量大小,公式如式(9):

其中,SNR(m)表示的是第m個(gè)分塊的信噪比指標(biāo),fHR表示信號(hào)頻譜峰值頻率,fs表示信號(hào)采樣率,函數(shù)S表示頻譜密度函數(shù).

(3)非線性特征: 分塊內(nèi)樣本熵.熵值作為一種非線性特征,可以體現(xiàn)隨機(jī)變量不確定性的程度,反應(yīng)信號(hào)的規(guī)則與不規(guī)則性.近來已經(jīng)被越來越多人應(yīng)用于對(duì)生理信號(hào)分析上[21],樣本熵(sample entropy,SampEn)對(duì)心率信號(hào)的高斯噪聲尤其敏感,故選取作為波形質(zhì)量評(píng)估特征.

以上3 種指標(biāo)由于評(píng)價(jià)尺度不一無法直接對(duì)比數(shù)值大小使用,現(xiàn)分別對(duì)指標(biāo)進(jìn)行有效性歸一化處理,公式如下:

其中,min 和max 分別為各分塊區(qū)域中對(duì)應(yīng)指標(biāo)的最小值和最大值.Lightnorm(m)、SNRnorm(m)、SampEnnorm(m)分別為第m塊有效性歸一化后的指標(biāo),數(shù)值越大表明分塊內(nèi)BVP 信號(hào)質(zhì)量越好.

綜合有效性歸一化后的指標(biāo),得到分?jǐn)?shù)Score值,公式如下:

其中,Score(m)為第m塊分區(qū)BVP 質(zhì)量最終分?jǐn)?shù),分?jǐn)?shù)越高說明綜合質(zhì)量越好.

如圖5 所示,對(duì)Score(m)數(shù)值排序后選取最佳分塊區(qū)域?qū)?yīng)BVP 信號(hào),對(duì)BVP 信號(hào)進(jìn)行帶通濾波,選取在0.8-3.5 Hz區(qū)間最大功率對(duì)應(yīng)的信號(hào)頻率fHR得到受試者心率.其中對(duì)應(yīng)關(guān)系如下:

圖5 優(yōu)選BVP 信號(hào)及功率譜密度

2 實(shí)驗(yàn)與結(jié)果

2.1 實(shí)驗(yàn)設(shè)備及數(shù)據(jù)

本文實(shí)驗(yàn)和數(shù)據(jù)采集是在白色LED 照明環(huán)境中進(jìn)行.使用普通彩色攝像頭(羅技C920)連接微軟Surface 筆記本(Windows 10 ,16 GB 內(nèi)存,512 GB 硬盤)進(jìn)行面部視頻采集,同步使用指夾式脈搏傳感器(紫金電子 PWS-20D )采集左手食指指尖ppg 信號(hào).攝像頭設(shè)置采集分辨率為1080 P、幀率30 fps,每次采集受試者30 s 的人臉視頻,并以RGB 顏色空間保存成mp4 格式.脈搏傳感器設(shè)置采樣率為200 Hz,采樣精度為10 位作為脈搏真值保存.共有20 名受試者參與本次實(shí)驗(yàn),其中男性12 名、女性8 名,年齡分別為20-43 歲、19-35 歲.數(shù)據(jù)采集方式和采集界面如圖6 所示,受試者需正對(duì)攝像頭并且保持距離40-60 cm 左右而坐,同時(shí)采集面部視頻與指尖ppg 信號(hào).

圖6 采集場(chǎng)景演示

2.2 實(shí)驗(yàn)結(jié)果

本文針對(duì)算法的效果復(fù)現(xiàn)了文獻(xiàn)[10-12] 中的3 種心率檢測(cè)算法作為對(duì)比,主要從實(shí)際場(chǎng)景下對(duì)算法進(jìn)行評(píng)估.其中采用了5 種誤差指標(biāo)對(duì)準(zhǔn)確性進(jìn)行比較.第1 個(gè)指標(biāo)為平均絕對(duì)誤差,代表心率檢測(cè)值與真實(shí)值之間誤差的絕對(duì)平均值,記為Me; 第2 個(gè)指標(biāo)為誤差標(biāo)準(zhǔn)差SDe,用來反映誤差之間相互離散的程度;第3 個(gè)指標(biāo)為誤差均方根記作RMSE,用來評(píng)估面部測(cè)量值和指尖ppg 參考值之間的偏離程度; 第4 個(gè)指標(biāo)為心率平均準(zhǔn)確率HRac,主要是反映心率檢測(cè)結(jié)果的平均準(zhǔn)確性,具體公式如式(15):

其中,T為實(shí)驗(yàn)樣本總數(shù),為第t組面部心率檢測(cè)的心率測(cè)量值,為第t組脈搏傳感器心率測(cè)量的參考值; 第5 個(gè)參數(shù)是皮爾森相關(guān)系數(shù)記作r,是用來反應(yīng)心率測(cè)量值和真實(shí)值之間線性相關(guān)性的統(tǒng)計(jì)量.r值通常范圍在-1 至1 之間,且絕對(duì)值越大說明兩變量之間的相關(guān)程度越高.

為了全面驗(yàn)證本文方法在實(shí)際場(chǎng)景下的性能,設(shè)計(jì)了3 個(gè)典型場(chǎng)景驗(yàn)證算法的準(zhǔn)確性.首先分析受試者保持面部靜止場(chǎng)景,其次是受試者在鏡頭內(nèi)存在頭部運(yùn)動(dòng)和表情變化等動(dòng)態(tài)干擾場(chǎng)景.隨后使用不同光照?qǐng)鼍跋乱曨l驗(yàn)證算法的穩(wěn)定性,最后對(duì)受試者進(jìn)行10 min 的連續(xù)心率檢測(cè).

2.2.1 靜止?fàn)顟B(tài)下心率檢測(cè)

在本次實(shí)驗(yàn)中,為檢驗(yàn)靜止?fàn)顟B(tài)下本文算法心率檢測(cè)的準(zhǔn)確性,受試者需端坐在采集攝像頭前50 cm左右位置,保持環(huán)境光照穩(wěn)定及受試者頭部靜止采集2 組人臉視頻.每組視頻時(shí)長(zhǎng)為30 s,實(shí)驗(yàn)樣本總數(shù)為40 組.實(shí)驗(yàn)結(jié)果如表1 所示,其中單位為bpm (beat per minute)即心臟每分鐘跳動(dòng)次數(shù).

表1 靜態(tài)場(chǎng)景下算法準(zhǔn)確性分析

如表1 所示,展示了4 種方法在受試者保持靜止時(shí)的準(zhǔn)確性情況.可以發(fā)現(xiàn)4 種方法都可以很好的應(yīng)對(duì)靜態(tài)場(chǎng)景下的心率檢測(cè),其中,Me均低于1.6 bpm,SDe和RMSE低于2 bpm,HRac可以達(dá)到98% ,r接近1.通過觀察可以發(fā)現(xiàn),本文方法中的Me最低、r最高,分析原因可能是: 在視頻采集中,受試者雖然身體保持靜止但是由于呼吸動(dòng)作的存在會(huì)引入輕微的起伏干擾,其次眨眼等動(dòng)作的存在也會(huì)導(dǎo)致面部某些區(qū)域存在輕微的干擾.而本文采用的人臉自適應(yīng)超像素分割和綜合指標(biāo)ROI 優(yōu)選方法可以從面部區(qū)域中自動(dòng)尋找最佳區(qū)域進(jìn)行心率檢測(cè),表現(xiàn)出來更好的準(zhǔn)確性.

2.2.2 動(dòng)態(tài)干擾場(chǎng)景下心率檢測(cè)

由于檢測(cè)過程中,頭部的晃動(dòng)和表情變化等,會(huì)使得鏡頭內(nèi)人臉位置和背景發(fā)生變化造成皮膚與光源反射角度的變化,最終導(dǎo)致BVP 信號(hào)的失真進(jìn)一步影響心率檢測(cè)的準(zhǔn)確性.因此本文特地設(shè)計(jì)一組頭部移動(dòng)和表情變化干擾場(chǎng)景.在這次的實(shí)驗(yàn)中,運(yùn)動(dòng)干擾包括在鏡頭內(nèi)以一定的速率水平或豎直移動(dòng)頭部以及進(jìn)行平面內(nèi)旋轉(zhuǎn)等操作; 表情變化為視頻采集時(shí)受試者隨機(jī)朗讀1-9 號(hào)數(shù)字.在本組實(shí)驗(yàn)中,每名受試者采集3 組數(shù)據(jù),樣本總數(shù)為60 組.具體的實(shí)驗(yàn)結(jié)果如表2 所示.為了直觀展示實(shí)驗(yàn)結(jié)果,實(shí)驗(yàn)數(shù)據(jù)通過散點(diǎn)圖和Bland-Altman 圖進(jìn)行展示,如圖7 所示.

圖7 運(yùn)動(dòng)結(jié)果散點(diǎn)和Bland-Altman

由表2 結(jié)果可以得知,由于運(yùn)動(dòng)干擾和表情變化的引入導(dǎo)致4 種方法的準(zhǔn)確性均表現(xiàn)出不同程度的降低.經(jīng)過對(duì)比發(fā)現(xiàn),文獻(xiàn)[10-11]方法的性能明顯偏低,其中,Me、SDe、RMSE均大于 7 bpm,HRac下降至90% 以下,相比較靜止?fàn)顟B(tài)下最差下降幅度高達(dá)11.2%,與心率的相關(guān)性明顯降低; 文獻(xiàn)[12]的效果雖然有稍許提升,但是Me依然大于5 bpm 超過實(shí)際場(chǎng)景下心率檢測(cè)的誤差上限.而本文的方法,在4 種方法中受到運(yùn)動(dòng)干擾和表情變化的干擾幅度最小,尤其是心率準(zhǔn)確性指標(biāo)HRac達(dá)到了95.34%相關(guān)系數(shù)r高達(dá)0.956.上述數(shù)據(jù)表明本文的人臉自適應(yīng)超像素分割方法可以有效地從運(yùn)動(dòng)的人臉中提取信號(hào)最佳的區(qū)域進(jìn)行心率估計(jì),具有良好的性能表現(xiàn).

表2 動(dòng)態(tài)干擾場(chǎng)景下算法準(zhǔn)確性分析

通過對(duì)比圖7 第1 行中4 種方法的散點(diǎn)圖可以看出文獻(xiàn)[10-12]的方法存在較多的數(shù)據(jù)誤差較大明顯偏離線性回歸線,而本文方法的數(shù)據(jù)集中在線性回歸線附近,且線性回歸線的斜率接近于1,表明本文方法的測(cè)量值與心率參考值的相關(guān)最強(qiáng).

圖7 第2 行是運(yùn)動(dòng)結(jié)果的Bland-Altman 圖,其在醫(yī)學(xué)領(lǐng)域經(jīng)常被用來分析新方法與標(biāo)準(zhǔn)方法測(cè)量結(jié)果的一致程度.虛線內(nèi)的區(qū)域是95%置信區(qū)間,中心實(shí)線代表心率測(cè)量值與參考值之間的相對(duì)平均誤差.從圖中可知,本文方法的虛區(qū)域遠(yuǎn)遠(yuǎn)窄于其他3 種方法且中心實(shí)線最接近于0,表明本文方法較其他3 種方法的測(cè)量值與標(biāo)準(zhǔn)參考值有著更好的一致性.進(jìn)一步分析原因可能如下:

1)文獻(xiàn)[10]采用的自適應(yīng)濾波算法,能夠較好地處理高斯白噪聲干擾.但由于使用的是整張人臉作為ROI,而運(yùn)動(dòng)時(shí)人臉引起的尖銳干擾并不能被自適應(yīng)濾波器很好地濾除.因此該方法無法提取到純凈的BVP 信號(hào),進(jìn)而無法在運(yùn)動(dòng)干擾條件下進(jìn)行準(zhǔn)確的心率估計(jì).

2)文獻(xiàn)[11]采用的多區(qū)域分析方法,主要選取額頭和兩頰3 個(gè)獨(dú)立區(qū)域作為心率檢測(cè)的ROI.該方法從一定程度上可以從運(yùn)動(dòng)干擾中提取優(yōu)質(zhì)BVP 信號(hào)進(jìn)行心率估計(jì).但是由于選取的是固定區(qū)域,固定區(qū)域無法確保不受到偶然干擾影響,并且額頭部位在女性中容易受到劉海覆蓋干擾,影響實(shí)際應(yīng)用場(chǎng)景下的表現(xiàn).

3)文獻(xiàn)[12]也是通過將面部進(jìn)行分割提取不同區(qū)塊的色度特征信號(hào)進(jìn)行心率估計(jì).但是,首先其對(duì)人臉區(qū)域僅進(jìn)行簡(jiǎn)單的矩形分割沒有考慮區(qū)域內(nèi)像素間關(guān)系; 其次由于固定了分割矩形塊大小為20×20 的像素區(qū)域,并沒有對(duì)不同幀內(nèi)人臉圖像尺寸進(jìn)行一致性處理,無法確保運(yùn)動(dòng)中分塊個(gè)數(shù)的穩(wěn)定; 最后由于沒有對(duì)人臉旋轉(zhuǎn)進(jìn)行校正,難以保證傾斜狀態(tài)下分塊位置的連續(xù)性.

4)本文方法與文獻(xiàn)[12]采取的方法類似,都是通過將臉部區(qū)域分割成不同的子塊通過對(duì)子塊信號(hào)的分析進(jìn)行心率估計(jì).不同的是,本文在簡(jiǎn)單矩形分割的基礎(chǔ)上引入了自適應(yīng)超像素聚類算法,確保區(qū)域內(nèi)像素間的特征相關(guān)性.同時(shí)本文算法針對(duì)人臉視頻分割后分塊位置的一致性和連續(xù)性進(jìn)行了人臉校正操作.一方面提升原始BVP 信號(hào)的提取質(zhì)量,另一方面通過綜合指標(biāo)優(yōu)選ROI 方法進(jìn)一步提升了算法在實(shí)際場(chǎng)景中的抗干擾能力.

2.2.3 不同光照?qǐng)鼍跋滦穆蕶z測(cè)

考慮到真實(shí)場(chǎng)景中視頻采集環(huán)境的復(fù)雜性,位于不同光照條件下心率檢測(cè)的準(zhǔn)確性會(huì)受到影響.因此本次實(shí)驗(yàn)分別采集了受試者靜止?fàn)顟B(tài)4 種光照?qǐng)鼍跋碌囊曨l進(jìn)行對(duì)比實(shí)驗(yàn),具體為面向光源(正)、側(cè)面對(duì)光源(側(cè))、逆向光源(逆)、以及暗光條件(暗).在本次實(shí)驗(yàn)中,每名受試者均在特定場(chǎng)景下采集2 組視頻,視頻時(shí)長(zhǎng)30 s,樣本總數(shù)為160 組.實(shí)驗(yàn)的結(jié)果如圖8 所示.

圖8 不同光照?qǐng)鼍跋碌男穆蕼?zhǔn)確性變化

由圖8 可知,在正面向光源的場(chǎng)景中4 種方法的準(zhǔn)確率均可以達(dá)到97%以上,表明在光照條件良好的狀態(tài)下4 種方法均可以準(zhǔn)確地進(jìn)行心率檢測(cè).但是針對(duì)側(cè)光和逆光這類光照分布不均勻的場(chǎng)景,文獻(xiàn)[10-12]方法的準(zhǔn)確性均有較大幅度的下降,其中文獻(xiàn)[10]更是分別下降了7.8%、12.4%.本文方法展示出較高的準(zhǔn)確性優(yōu)勢(shì),其中側(cè)光準(zhǔn)確率達(dá)到94.3%,逆光準(zhǔn)確率達(dá)到92.1%,對(duì)比最差方法提升了5.2%與8.2%,但是針對(duì)暗光環(huán)境4 種方法均表現(xiàn)不佳.分析原因?yàn)閭?cè)光、逆光時(shí)光照分布不均勻,本文方法可以根據(jù)光照分布的情況從面部選取像素特征相近區(qū)塊進(jìn)行分析并挑選質(zhì)量最佳子塊進(jìn)行心率估計(jì).面對(duì)暗光這樣的光照?qǐng)鼍?由于射入皮膚的光照強(qiáng)度變低導(dǎo)致面部反射的光強(qiáng)變低,無法從ROI 挑選上對(duì)光照進(jìn)行增強(qiáng),故以上方法在暗光場(chǎng)景中均表現(xiàn)欠佳.

2.2.4 連續(xù)時(shí)間心率檢測(cè)

長(zhǎng)時(shí)間連續(xù)的心率檢測(cè),可以用來評(píng)估用戶的心率變化趨勢(shì)以及對(duì)一些心血管疾病的產(chǎn)生進(jìn)行早期預(yù)警.為了最終評(píng)價(jià)本算法的準(zhǔn)確性,設(shè)計(jì)一組連續(xù)10 min的心率檢測(cè)實(shí)驗(yàn).受試者正坐在攝像機(jī)前50 cm 的位置,保持10 min 內(nèi)面部一直處于視頻采集畫面內(nèi),期間不限制受試者頭部移動(dòng)和表情等變化.并同時(shí)使用脈搏血傳感器每10 s 記錄一次實(shí)時(shí)心率值做對(duì)比分析,實(shí)驗(yàn)結(jié)果如圖9 所示.

圖9 心率變化折線圖

在圖9 中的紅線和藍(lán)線分別代表指尖PPG 傳感器采集的心率參考值和面部心率檢測(cè)的測(cè)量值.從整體上看,藍(lán)線的變化趨勢(shì)隨著紅線有著相似的起伏波動(dòng),說明測(cè)量值和參考值之間有著良好的一致性(r=0.9558).綜上所述,本文的算法可以有效地進(jìn)行心率長(zhǎng)期檢測(cè),提升真實(shí)場(chǎng)景下算法的魯棒性.

3 結(jié)論與展望

近年來由于視頻圖像處理技術(shù)的快速發(fā)展,基于視頻的非接觸心率檢測(cè)技術(shù)發(fā)展迅速,但在實(shí)際場(chǎng)景應(yīng)用仍有諸多挑戰(zhàn).本文針對(duì)面部運(yùn)動(dòng)和光照變化干擾問題,提出一種人臉自適應(yīng)分割和多區(qū)域多指標(biāo)綜合評(píng)價(jià)算法,提升脈搏波質(zhì)量,提高心率檢測(cè)可靠性,增強(qiáng)實(shí)際場(chǎng)景魯棒性.主要由以下幾部分組成: 面部區(qū)域自適應(yīng)超像素分割為互不重疊的子塊; 提取色度特征構(gòu)建脈搏信號(hào)矩陣; 根據(jù)綜合指標(biāo)評(píng)估各分塊質(zhì)量,最后對(duì)最優(yōu)子塊進(jìn)行心率估計(jì).實(shí)驗(yàn)結(jié)果表明,相比傳統(tǒng)ROI 分割方法,本文算法分割后脈搏矩陣信號(hào)質(zhì)量有顯著提升.在面部運(yùn)動(dòng)和光照不均勻場(chǎng)景下心率檢測(cè)準(zhǔn)確性和穩(wěn)定性均有明顯提升.然而,在暗光和環(huán)境光照變化劇烈等場(chǎng)景下,本文心率檢測(cè)算法性能出現(xiàn)比較明顯的下降.在以后的工作中,將對(duì)環(huán)境光照變化造成的干擾問題進(jìn)行研究,進(jìn)一步提升復(fù)雜光照?qǐng)鼍跋碌男穆蕶z測(cè)魯棒性.