黃繼風(fēng)， 白國臣， 熊乃學(xué)， 魏建國

(1. 上海師范大學(xué)信息與機(jī)電學(xué)院，上海 200234；2. 天津大學(xué)智能與計算學(xué)部計算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300050)

心率(heart rate，HR)是衡量生理活動的指標(biāo)，可以表明一個人的健康和情感狀態(tài)[1]。體育鍛煉、精神壓力和藥物都會影響心臟活動，因此，HR信息可被廣泛地應(yīng)用于醫(yī)學(xué)診斷、健康評估、刑偵檢測[2]等領(lǐng)域。對于 HR的測量，心電圖(electrocardiography，ECG/EKG)[3]是目前為止最為精確的HR檢測方法，自從心電圖在臨床中正式投入應(yīng)用以來，各種生理參數(shù)檢測技術(shù)和設(shè)備相繼問世。但是心電圖在使用過程中需要連接復(fù)雜的電極，適于需要準(zhǔn)確的生理參數(shù)的場合。而光電容積脈搏波描記法(photo plethysmo graphy，PPG)[4-5]是基于生物醫(yī)學(xué)傳感技術(shù)，通過對實時描記被測部位的光吸收量來獲取外周血管的血液，從而獲得HR相關(guān)信息，其容積隨心臟搏動而產(chǎn)生的脈動性變化，即血液體積脈沖(blood volume pulse，BVP)，但有關(guān)PPG的研究仍停留在接觸式測量階段。

相對于接觸式HR檢測方法，非接觸式檢測方法由于不需要與被檢測者發(fā)生接觸，因此具有更為廣泛地應(yīng)用前景。在過去十年中，研究人員專注于非接觸式(即遠(yuǎn)程式)檢測方法，主要基于計算機(jī)視覺技術(shù)。PAVLIDIS等[6]于2007年首次提出基于面部的非接觸式生理信號的測量方法，其研究發(fā)現(xiàn)，面部區(qū)域具有較薄的組織層便于檢測。文獻(xiàn)[6-7]通過面部熱成像，可以完成基于生物熱模型檢測HR。文獻(xiàn)[8-9]通過采用專用光源如紅燈或紅外燈等非侵入性光學(xué)的PPG技術(shù)檢測HR。

2008年，VERKRUYSSE等[10]利用面部視頻在環(huán)境光下實現(xiàn)PPG估計測試者HR的可能性，其發(fā)現(xiàn)普通攝像頭采集到面部區(qū)域的色彩強(qiáng)度存在周期性變化，且與BVP具有相關(guān)性。在2010年，POH等[11]提出了從普通相機(jī)采集的面部顏色信息中檢測HR的框架，該框架基于攝像頭實現(xiàn)了非接觸式HR檢測(圖 1)，從而被廣泛采用，其核心思想是使用盲源分離(blind source separation，BSS)[12]，通過恢復(fù)面部顏色的時間變化來檢測心跳信號。2013年，文獻(xiàn)[13-14]提出了基于微弱的頭部運動估計HR的方法。文獻(xiàn)[15-16]通過應(yīng)用發(fā)散噪聲降低算法和光學(xué)建模方法直接研究了 HR的估計。文獻(xiàn)[17-18]從機(jī)器學(xué)習(xí)的角度出發(fā)，使用基于監(jiān)督學(xué)習(xí)的方式，將膚色變化的信號與使用 BVP感知器獲得的數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)，從而獲得HR信號。此外，GUPTA等[19]使用多種類型的攝像頭，利用信息融合的方式提高檢測的精度。

圖1 基于攝像頭非接觸式心率檢測示意圖

傳統(tǒng)的研究方法已經(jīng)較為成功地解決了受控的實驗室環(huán)境下非接觸式HR信號的提取，比如需要測試環(huán)境光線均勻、環(huán)境中噪聲較小、面部姿勢保持自然等要求。因此上述條件在自然環(huán)境下(比如移動、物體遮擋、陰影)以及特殊情況下，例如本文使用的數(shù)據(jù)集中存在著部分受測人員佩戴眼鏡、耳麥的情況，以及面部存在表情動作，如嘴部的張合、眼球的運動、眼皮的跳動等，很難滿足之前實驗方法的要求。另外，有些研究(分區(qū)域的)將面部區(qū)域分成多個子區(qū)域，對采集到的 BVP信號在時域中進(jìn)行信號處理，但不同子區(qū)域的波形信號存在對齊問題(圖2)，給信號處理帶來復(fù)雜性。

圖2 不同區(qū)域采集到的原始BVP信號存在

在相關(guān)研究的基礎(chǔ)上，本文提出了一種對噪聲(陰影、遮擋等自然環(huán)境導(dǎo)致)更為魯棒的非接觸式HR信號提取模型。該模型基于低秩稀疏矩陣分解的方法，用來解決提取色度信息中含有的噪聲、面部陰影情況下的干擾；盡管不同子區(qū)域提取的信號存在對齊問題，但利用時頻轉(zhuǎn)換可避免上述問題的發(fā)生。通過實驗證實了本文模型的有效性與創(chuàng)新性。

1 模型框架

本文提出的非接觸式HR信號提取的方法模型以及信號提取的過程，圖3包括4個步驟：①基于面部檢測與面部特征點檢測技術(shù)，實現(xiàn)對面部感興趣的區(qū)域(region of interest，ROI)定位；②將 ROI區(qū)域等分成25(5×5)個子區(qū)域，提取ROI每個子區(qū)域 的 色 度 信 息ci(i=1,2,···,25)， 在 此 基 礎(chǔ) 上 對ci(i=1,2,···,25)帶通濾波，獲得[0.7 Hz，2.0 Hz]內(nèi)含有噪聲的 BVP信號，并將時域信號轉(zhuǎn)換到頻域，組合成矩陣C；③應(yīng)用低秩稀疏矩陣的分解模型，將矩陣C分解為一項表示BVP頻域信號低秩矩陣L和一項表示噪聲的稀疏矩陣S，分離出低秩矩陣L；④從L中選出最大幅值對應(yīng)的頻率，并估計HR值。

圖3 基于低秩矩陣分解的非接觸心率估計模型框架

1.1 面部ROI區(qū)域檢測與BVP頻域信號提取

在之前關(guān)于HR信號提取的方法中，往往采用OpenCV視覺處理庫中提供的Haar-cascade 檢測方法，其結(jié)果是獲得一個包含部分背景的矩形區(qū)域，從而對結(jié)果造成影響。另外，也有一些研究[20]在使用該方法時，通過找到面部區(qū)域的中心點，選擇某一固定大小的區(qū)域作為目標(biāo)ROI。

然而上述使用固定區(qū)域的方法在人體移動、頭部旋轉(zhuǎn)或有面部表情時會給測量帶來噪聲。另外，考慮到人在做張嘴活動時，嘴部區(qū)域的變化(如牙齒露出)同樣也會對 ROI區(qū)域的色度值造成影響。本文采用文獻(xiàn)[21]提出的基于嵌入式回歸樹方法得到面部的68個關(guān)鍵特征點，利用其中的5個特征點坐標(biāo)(圖4綠色點，分別為眼睛下部、嘴唇上方、兩腮處)，去除面部區(qū)域中對實驗影響較大的眼部與嘴部區(qū)域，作為實驗所用的ROI區(qū)域，避免由于頭部旋轉(zhuǎn)晃動導(dǎo)致的誤差。

在HR信號提取過程中，特征的選取對信號提取至關(guān)重要，理想情況下選擇的特征對光照、遮擋等引入的噪聲具有較強(qiáng)的抗干擾能力，同時又能夠?qū)ζつw顏色細(xì)微的變化提供足夠的區(qū)分。現(xiàn)階段，文獻(xiàn)[22]提供了一種非接觸式 HR信號提取中最佳的特征——色度特征C，該特征在RGB色彩空間的基礎(chǔ)上，考慮了皮膚顏色變化的色彩比例。該特征的具體定義為

其中，Rn，Gn和Bn分別為正則化后的R、G與B3通道的強(qiáng)度值；α=σ(X) /σ(Y)；σ(*)表示與Y的標(biāo)準(zhǔn)差。

將紅色ROI區(qū)域等分成25(5×5)個子區(qū)域，對分割的每個子區(qū)域計算色度特征值(分別記為ci(i=1,2,···,25))，利用[0.7 Hz，2.0 Hz]的帶通濾波器對ci(i=1,2,···,25)濾波，得到含有噪聲的 BVP 信號。將濾波后的各個 BVP信號利用快速傅里葉變換轉(zhuǎn)換到頻域空間，將各頻域信號組合成矩陣C。

圖4 ROI區(qū)域(左圖為頭部正常姿勢檢測到的ROI區(qū)域，右圖為頭部旋轉(zhuǎn)的情況，利用眼睛下部，嘴唇上方，兩腮處5個特征點(綠色)實現(xiàn)ROI區(qū)域(紅色)隨頭部的旋轉(zhuǎn)；粉色的為面部檢測框；藍(lán)色為面部特征點連接而成)

1.2 低秩稀疏分解模型

在使用色度特征非接觸式提取HR信號的過程中，存在一個重大的問題，即在面部ROI區(qū)域的色度信號構(gòu)成的矩陣C中除了含有BVP信號外，還受到面部陰影、遮擋或其他噪聲因素的影響。當(dāng)噪聲矩陣的元素服從獨立同分布的高斯分布時，可用經(jīng)典的 ICA/PCA方法提取較為理想的信號，但當(dāng)具有低秩的數(shù)據(jù)信號中混合大量的稀疏噪聲時，上述方法無法求解。本文為了剔除噪聲因素的干擾，考慮到由頻域BVP信號組合而成的矩陣C具有的低秩性特點，因此本文提出使用低秩稀疏分解的(low-rank and sparse matrix decomposition)[23-25]模型予以解決。

低秩稀疏矩陣分解需考慮如何從含有較大的但稀疏的誤差中分離出本質(zhì)上低秩的數(shù)據(jù)矩陣(圖 5)。低秩稀疏矩陣分解從數(shù)學(xué)上可以描述為：給定觀測矩陣C∈Rm×n，則

其中，C為觀測矩陣；L為具有低秩矩陣；S為存在的稀疏噪聲矩陣；||*||0為零范數(shù)。

圖5 低秩稀疏矩陣分解模型(其中觀測矩陣(Observation Matrix)可以被分解為一項低秩矩陣(Low rank Matrix)和一項稀疏矩陣(Sparse Matrix))

而上述模型為NP-hard問題，可以使用最小化分解誤差優(yōu)化問題模型近似描述

文獻(xiàn)[26]證明了式(3)可以收斂到局部最小值，且式(3)可通過式(4)進(jìn)行求解

借助對(C-St-1)使用奇異值硬閾值逐步迭代求解Lt，對(C-Lt)使用投影硬閾值迭代計算St，即

由于處在頻域空間的 BVP信號所組成的低秩矩陣中，包含的HR信號具有一致性，即該低秩矩陣L的秩數(shù)k為1。在算法中利用雙邊隨機(jī)投影 BRP代替 SVD，實現(xiàn)快速計算，利用低秩矩陣分解的方法，分離出低秩性的頻域BVP信號(圖 6)。

圖6 低秩矩陣分解方法

1.3 心率估計

通過低秩稀疏分解得到去除噪聲的頻域 BVP信號，選擇頻幅最大值對應(yīng)的頻率f，由式(6)可得HR值

其中，f為最大幅值對應(yīng)的信號頻率；HR單位為bpm。

2 實驗評估

2.1 實驗環(huán)境與數(shù)據(jù)集

對于上述方法的實驗驗證是在 HP Elite 8380臺式機(jī)、Ubuntu 16.04操作系統(tǒng)、Python 2.7編程語言實現(xiàn)的。實驗數(shù)據(jù)來源包括 MAHNOB-HCI(https://mahnob-db.eu/hci-tagging/)數(shù)據(jù)集(該數(shù)據(jù)集包括12名男性，17名女性，測試者在不同情緒、表情以及動作時，使用心電圖儀獲得的 HR信號)和使用surface Pro4電腦采集的分辨率為640×480像素，15 fps的視頻數(shù)據(jù)(該數(shù)據(jù)集測試者的HR值由手環(huán)測得)2個數(shù)據(jù)集。在2個數(shù)據(jù)集中，既包含平靜理想狀態(tài)下的情況，也包括說話、移動、不同膚色等復(fù)雜情況下的數(shù)據(jù)(表1)。

表1 使用的部分MAHNOB_HCI數(shù)據(jù)集以及說明

2.2 結(jié)果與評價

為了評價本文方法，特從統(tǒng)計分析與一致性評價2個角度對測試結(jié)果進(jìn)行分析和評價。

選用5個統(tǒng)計指標(biāo)：誤差均值Me、標(biāo)準(zhǔn)差SDe、根方差RMSE、誤差比均值和皮爾遜相關(guān)系數(shù)r。實驗中，對上述2部分?jǐn)?shù)據(jù)集。

進(jìn)行分別測試，并對MAHNOB-HCI數(shù)據(jù)集測試的結(jié)果與其他方法進(jìn)行對比對 MAHNOB-HCI數(shù)據(jù)集測試結(jié)果見表 2，本文采集的數(shù)據(jù)集測試結(jié)果見表 3，可以看出其結(jié)果優(yōu)于其他方法的測量值。

在臨床醫(yī)學(xué)等領(lǐng)域，會出現(xiàn)2種或更多種檢測或測量方法。其測得的結(jié)果往往會有一定的差異，這種差異被稱為偏倚(bias)。偏倚可通過對結(jié)果的平均數(shù)進(jìn)行估計，的變異情況則使用差值的標(biāo)準(zhǔn)差SD表示。如果差值的分布服從正態(tài)分布，則 95%的差值應(yīng)該位于- 1 .96SD與+ 1 .96SD之間，并將該區(qū)間稱為 95%的一致性界限。為了說明這些方法之間可以相互替代使用，需要對不同方法獲得的測試結(jié)果進(jìn)行一致性評價。Bland-Altman圖[28]可通過分析計算這些方法得到結(jié)果的一致性界限，并用圖形的方式直觀地反映一致性界限，從而得出這些測量方法是否具有一致性的結(jié)論。

表2 本文方法與其他方法在MAHNOB-HCI數(shù)據(jù)集上測試結(jié)果比較

表3 本文采集的數(shù)據(jù)集測試統(tǒng)計結(jié)果

圖7(a)的線性擬合圖顯示r為0.92 (r2=0.86)，具有較高的相關(guān)性；圖7(b)顯示的所有的測試者在采用本文方法與其他方法的 Bland-Altman分析圖，并對本次實驗進(jìn)行整體的一致性評價。圖7(b)中實線表示均值=- 0 .67bpm，均值上下2條虛線分別為+ 1 .96SD(即 7.2 bpm)和- 1 .96SD(即-8.5 bpm)，可以看到本文方法獲得的 HR值均在置信度為 95%的一致性界限區(qū)間之中。

圖7 本文方法與其他測量方式獲得的心率值試驗結(jié)果對比圖

圖7(c)和(d)2幅圖為使用不同測試方法分別分析白色人種和有色人種測量結(jié)果對應(yīng)的 Bland-Altman圖。從圖7(c)可以看出白色人種在使用本文方法得到的偏倚值= 2 .5bpm一致性界限為[-6.3，11.3]bpm。而從圖 7(d)可以看到該方法在測量有色人種時，其偏倚值=- 1 .2bpm，一致性界限為[-6.1，3.7]bpm。即該方法模型在對有色人種的實驗測試結(jié)果比白色人種的實驗結(jié)果更優(yōu)，對于具體原因還需要進(jìn)一步研究。

3 結(jié) 束 語

本文分析了現(xiàn)有的非接觸式HR信號提取方法對自然狀態(tài)下魯棒性不足的原因，并在此基礎(chǔ)上提出一種基于低秩稀疏分解模型的提取方法，在去除陰影、噪聲后得到較為理想的信號，進(jìn)而評估 HR值。為了檢測該方法的測試效果，本文采集部分?jǐn)?shù)據(jù)集，同時也使用了部分MAHNOB-HCI數(shù)據(jù)集作為實驗測試數(shù)據(jù)。對于實驗數(shù)據(jù)，通過使用統(tǒng)計學(xué)方法與Bland-Altman一致性分析方法，對實驗效果進(jìn)行評估，發(fā)現(xiàn)該模型在現(xiàn)有模型中取得理想的實驗結(jié)果，滿足一致性的要求。