陳嘉濤，張泓凱，黃燕平，藍公仆，許景江，秦 嘉，安 林

1.佛山科學(xué)技術(shù)學(xué)院 機電工程與自動化學(xué)院，廣東 佛山 528000

2.佛山科學(xué)技術(shù)學(xué)院 物理與光電工程學(xué)院，廣東 佛山 528000

3.廣東省“珠江人才計劃”引進創(chuàng)新創(chuàng)業(yè)團隊 廣東唯仁醫(yī)療科技有限公司，廣東 佛山 528051

進行心率、血氧、血壓等能直接反應(yīng)身體運作情況的人體心理活動參數(shù)的檢測，對了解個體的生理健康或者情緒狀態(tài)有著十分重要的意義。因此開發(fā)方便快捷的生理參數(shù)檢測方法具有很強的應(yīng)用價值。

當前，心電圖（Electrocardiogram，ECG）與光電容積描計法（Photoplethysmography，PPG）是心率檢測領(lǐng)域最常使用的兩門技術(shù)。ECG通過在人體的不同部位連接傳感器電極，采集體表不同部位的電信號，進而收集心臟的運作信息，是眾多生命體征儀器開發(fā)過程中的黃金標準。PPG則是利用光電技術(shù)在活體組織中檢測血液容積的變化，提取人體相關(guān)的體征信息，也是目前使用最為廣泛的心率檢測技術(shù)。然而，二者都需要待檢者與檢測設(shè)備進行直接接觸，存在著一定的局限性。比如，當患者皮膚出現(xiàn)創(chuàng)傷或者新生兒皮膚尚未發(fā)育完全時，物理設(shè)備可能會給受檢者帶來二次傷害或者增加不適感。

2008年，Verkruysse等[1]提出remote photoplethysmography（rPPG），這是一種基于普通攝像頭的無接觸式生理參數(shù)檢測技術(shù)。RPPG的檢測原理與PPG是類似的，利用光學(xué)信息來分析生理體征參數(shù)。在心臟的驅(qū)動作用下，血液在血管內(nèi)部進行周期性流動，同時動脈的搏動對血管群進行擠壓，從而造成光線傳播強度的周期性變化，反應(yīng)到皮膚表面則呈現(xiàn)為皮膚亮度的變化。通過圖像設(shè)備與待檢者保持一定的距離完成數(shù)據(jù)采集，隨后利用圖像、信號處理技術(shù)對這一部分微弱的變化進行放大分析，便可以提取出與心臟運作有關(guān)的生理參數(shù)，達到遠程無接觸檢測的目的。

無接觸檢測技術(shù)是基于環(huán)境光作為探測光源，圖像傳感器作為數(shù)據(jù)接收裝置，因此受試者的肢體運動和環(huán)境光的變化成為影響rPPG檢測結(jié)果的兩大因素。最近十幾年間，學(xué)者們針對rPPG存在的干擾問題進行了大量的研究，該項技術(shù)的性能獲得了多方面的提升[2-3]：（1）準確率與魯棒性得到了顯著的提高。從人體在靜態(tài)下進行測量到受試者可以完成簡單的肢體動作[4]，再到新生兒的臨床監(jiān)護[5]和駕駛員操作狀態(tài)下的無干擾心率監(jiān)測實驗[6]，rPPG從實驗室研究發(fā)展為實際應(yīng)用；（2）在檢測設(shè)備上，除了常規(guī)的RGB相機，紅外與近紅外技術(shù)[7]的引入，使得rPPG的使用范圍大大提升，在低照明度下也能完成準確的心率預(yù)測；（3）基于深度學(xué)習(xí)的rPPG檢測算法也得到了極大的發(fā)展，從人工神經(jīng)網(wǎng)絡(luò)[8]到與傳統(tǒng)檢測方法結(jié)合的皮膚檢測網(wǎng)絡(luò)[9]，再到神經(jīng)搜索[10]，深度學(xué)習(xí)在提升rPPG抗干擾方面的能力吸引了眾多學(xué)者的研究興趣；（4）除了常規(guī)的心率檢測，rPPG也被用于呼吸率[11]、血氧[12]、血壓[13]等生理參數(shù)的預(yù)測。本文從rPPG的檢測流程出發(fā)，首先介紹圖像獲取與感興趣區(qū)域（region of interest，ROI）選取的方法，隨后在提取及分析脈沖信號部分對如何提高檢測的魯棒性與準確率等方面，詳細介紹了rPPG的研究進展；之后就其應(yīng)用研究進行簡述，最后展望了rPPG的未來研究方向。

1 基于視頻的rPPG檢測流程

皮膚血管內(nèi)的血紅蛋白對光線有較強的吸收作用，從而引起表皮顏色上的微弱變化，通過采集皮膚圖像并對這一變化信號進行捕捉放大，進而分析出相關(guān)的生理參數(shù)。因此，基于視頻的無接觸測量技術(shù)檢測流程分為以下4個部分（圖1）：（1）面部信息獲??；（2）ROI定義；（3）生理信號提取與解析；（4）體征參數(shù)計算。下面根據(jù)檢測流程逐步展開進行介紹。

圖1 基于攝像機的生理參數(shù)檢測流程圖Fig.1 Flow chart of camera-based physiological parameter detection

1.1 面部數(shù)據(jù)采集

從理論上講，人體身上的每一處皮膚都可以捕捉到PPG信號[14]，但是手臂、小腿等位置由于皮膚深度、日常行動等因素，即使是在理想的環(huán)境下，也不足以提取出穩(wěn)健的rPPG信號[15]，所以，無接觸檢測的部位一般為人體面部。

基于CCD模塊的彩色相機在rPPG領(lǐng)域內(nèi)是最常使用的采集設(shè)備，低成本、成像質(zhì)量高是RGB相機最大的優(yōu)勢。在目前所開展的研究中，大多數(shù)實驗都是處于良好的照明條件下進行。然而由于普通相機沒有附加光源，當環(huán)境照明度較低或者處于黑暗條件下時，RGB相機會出現(xiàn)成像質(zhì)量差、幀速低的現(xiàn)象。針對這一情況，紅外技術(shù)的引入，提高了rPPG在低照明度下的檢測性能。比如，Park等[7]基于近紅外技術(shù)，提出一套無接觸心率檢測系統(tǒng)，提升了rPPG在黑暗環(huán)境下的使用性能；Hu等[16]利用長、短波紅外技術(shù)設(shè)計了一套雙攝成像系統(tǒng)，在夜間完成了心率與呼吸率的高效檢測。除了紅外技術(shù)的使用，深度相機、多光譜成像技術(shù)的使用也增加了rPPG的應(yīng)用范圍。表1總結(jié)了目前rPPG研究中所使用的相機及其優(yōu)缺點。

由表1可以看出，除了RGB相機，新引入的設(shè)備大多是為了解決低照明度下的檢測問題，比如，近紅外（near infrared，NIR）相機在黑暗情況下拍攝的圖像質(zhì)量遠遠強于RGB相機[21]。當前大多數(shù)彩色相機是利用CCD作為圖像傳感器，工作方式是通過離散的像素點將光學(xué)信號轉(zhuǎn)為模擬的電流信號，再經(jīng)過后續(xù)操作完成圖像的獲取存儲[22]。受限于這一工作方式，當環(huán)境光線照明度較低時，CCD模塊無法捕捉足夠的光信號進而轉(zhuǎn)換為電信號，所以獲取的圖像整體亮度較低，加大了后續(xù)數(shù)據(jù)分析的難度。紅外技術(shù)的使用提升了彩色相機在低照明度下的成像質(zhì)量。但是，紅外相機的成像質(zhì)量相對較差，所以CCD與紅外技術(shù)結(jié)合的雙模式成像方式受到了關(guān)注，并在rPPG檢測方面展現(xiàn)了良好的實驗結(jié)果。

表1 RPPG研究中使用的相機類型及優(yōu)缺點Table 1 Types of cameras used in rPPG research and their advantages and disadvantages

1.2 ROI定義

定義合理的ROI目的是減少環(huán)境噪聲的引入，包括非皮膚區(qū)的背景噪聲及面部器官活動等帶來的干擾。針對第一種情況，Viola-Jones人臉檢測器是在rPPG領(lǐng)域最常用的獲取人臉區(qū)域的技術(shù)?；贖aar特征和級聯(lián)結(jié)構(gòu)，可以實時完成準確的人臉檢測，所以其一般用于rPPG的預(yù)處理階段，隨后再使用跟蹤技術(shù)完成全部圖像序列的ROI定義工作。

由于面部皮膚不同位置的厚度、平坦度不同，rPPG信號在皮膚上的分布并不均勻[23]。因此，在VJ檢測器的基礎(chǔ)之上，膚色[24-25]和人臉特征點檢測[8]等計算機視覺技術(shù)被用于進一步提升定義ROI的精度及降低非皮膚區(qū)帶來的干擾。表2總結(jié)了部分代表性文獻的ROI獲取方式及所定義的皮膚區(qū)。

表2 所定義的RIO及其定義方式Table 2 ROI definition in some representative literature

1.3 初始信號提取與解析

完成ROI的定義之后，需要從這一系列連續(xù)圖像中提取原始脈沖信號，進行相關(guān)的分析。對所提取的信號進行解析，一項開創(chuàng)性工作是盲分離技術(shù)（blind source separation，BSS）[4，26]的應(yīng)用。盲分離技術(shù)是一種在沒有先驗條件的情況下，將源信號在可觀測的混合信號中分離出來的信號處理技術(shù)，在語音分離、生物醫(yī)學(xué)等領(lǐng)域得到了廣泛的應(yīng)用[37]。最具代表性的盲分離技術(shù)是獨立成分分析（independent component analysis，ICA），Poh等[4]將RGB三個通道的信號輸入ICA矩陣，自適應(yīng)分離出目標信號，而隨后的半盲源分離[38]、聯(lián)合盲源分離[30]、約束盲分離[39]都是在此基礎(chǔ)上的改進。但是BSS也存在著一定的缺陷，實際應(yīng)用中，噪聲源的個數(shù)難以估計，同時盲分離技術(shù)對于輸入信號的長度也有要求。因而，模態(tài)分解技術(shù)[11]成為另外一種常用的rPPG信號解析方式，將單信號分解為多個具有單一中心頻率的子信號。下面總結(jié)了用于提升rPPG信號質(zhì)量的算法，并分點進行敘述。

1.3.1 降低運動干擾

基于相機的rPPG致力于給志愿者最自由舒適的檢測體驗，因此個體運動是影響rPPG檢測準確率最大的干擾因素。除了對個體進行運動補償，比如使用跟蹤算法[40]對ROI進行跟蹤來提升檢測的魯棒性，降低運動干擾的方法還可以分為以下三種（表3）。

表3 提升rPPG檢測運動魯棒性算法總結(jié)Table 3 Summary of algorithms for improving rPPG detection motion robustness

第一種方式是信息融合。面部不同區(qū)域的rPPG信號強度不同，賦予不同質(zhì)量信號權(quán)重并進行融合，可以有效地提升rPPG信號的質(zhì)量。Po[41]對人臉進行分塊處理，通過均值漂移和信噪比閾值自適應(yīng)選取具有高質(zhì)量rPPG信號進行加權(quán)融合，恢復(fù)高質(zhì)量的心率信號。Serge[42]提出基于超像素分割的rPPG信號提取方式，將人臉皮膚分割成多個像素塊，提取每一個區(qū)域的信號進行信噪比計算，通過賦予不同信號的權(quán)重進行融合，有效地提高了rPPG信號的質(zhì)量。同樣的處理方式在Yannick等[43]的研究中被使用，他們采用貝葉斯評價準則用于皮膚塊信號的評價，并以此計算權(quán)重進行融合，展現(xiàn)了良好的rPPG信號提取效果。類似的，基于信號頻譜主、次頻比值的rPPG塊提取[44]，基于不同區(qū)域膚色強度的信號加權(quán)方法[45]，多區(qū)域信號的加權(quán)融合展現(xiàn)了比單一區(qū)域更好的信號提取效果。區(qū)域信息融合的方式通過賦予高質(zhì)量信號更大的權(quán)重，降低低質(zhì)量信號的參與，有效地避免了噪聲干擾，提升了rPPG檢測的運動魯棒性。而除了面部的信息融合之外，多相機的通道信號融合同樣展現(xiàn)了良好的檢測效果。例如，Cheng等[34]證明了多個彩色相機的同步采集對于提升rPPG檢測準確率的有效性。信息融合是解決運動干擾非常有效的方法，賦予不同信號權(quán)重進行信號重建，可以提升rPPG信號的魯棒性，但是這需要較大的計算資源，對于皮膚區(qū)的檢測要求較高。此外，另外一種提升rPPG運動魯棒性的方法是顏色空間的轉(zhuǎn)換。

第二種是顏色空間的轉(zhuǎn)換。RGB空間是使用最廣泛的色彩空間，也是rPPG領(lǐng)域使用最多的顏色空間。RGB空間屬于加色系統(tǒng)，外界對三個通道的干擾是同步的，通過顏色空間轉(zhuǎn)換的方式，分離亮度和色度信息，在色度信息中提取血液的脈沖信號，可以有效地提高rPPG檢測的魯棒性。Yang等[46]證明CIE Lab模式對提升rPPG運動魯棒性是有效果的，個體的運動只會影響信號在亮度通道上的分布，色度信號獨立于運動之外，只受血液流動的影響；色度信息的使用在de Haan等[47]的研究中也被使用，將脈沖信號從運動引起的干擾中分離出來，在同樣的運動實驗中，準確率比BSS算法提升了40%；對于同樣使用投影變換進行rPPG信號的提取，YCbCr[48]空間提取的信號平均信噪比RGB空間提升了69.3%，同樣采用修正策略，Cho等[49]在HIS空間中，對圖像的像素點進行基于遞歸最小二乘法的噪聲消除，實驗結(jié)果表明，修正后的圖像所提取的rPPG信號與參考信號展現(xiàn)出了良好的一致性。不過，顏色空間轉(zhuǎn)換只適用于運動幅度較小的場景，只進行簡單的圖像轉(zhuǎn)換，對亮度信息的濾除效果是限制的，另外環(huán)境光噪聲的強度同樣會對色度的提取產(chǎn)生影響。

第三種方式是建立rPPG的光學(xué)模型進而降低運動的干擾以提升魯棒性。根據(jù)Feng所建立的光學(xué)模型[50]，三個顏色通道的信號都受到同一種運動的調(diào)制，因此提出基于紅色及綠色通道信號的自適應(yīng)色差運算方法，先通過ROI跟蹤技術(shù)減少頭部運動的干擾，再經(jīng)過色差運算去除受運動調(diào)制的散射、漫反射光強信號，剩余部分為運動調(diào)制的脈沖信號，最后根據(jù)rPPG信號的頻譜特性，由帶通濾波器進一步降低運動產(chǎn)生的造成。在此基礎(chǔ)上，Wang等[51]將光學(xué)模型進一步地細化，并以此建立了投影矩陣P：

在新的坐標空間里將鏡面反射、漫反射信號分離以提取脈沖信號。Qi等[52]將兩個投影軸進行移動，建立新的投影矩陣，并采用ICA對投影后的反射信號進行分離，提取出魯棒性更強的心率信號。

1.3.2 降低光照噪聲

rPPG以自然光作為探測源，照射到皮膚上的光線容易受到外界的干擾而影響表皮亮度的變化。不同于解決運動對rPPG檢測造成的干擾主要集中在算法層面，提升無接觸檢測的光照魯棒性可以分為硬件及算法兩個方面。

不同成像技術(shù)的使用提升了rPPG的檢測性能，使得其在弱光環(huán)境下的檢測效率得到了顯著的提升（表4）。但是，rPPG信號在可見光之外的光譜下強度是比較弱的，因此，Wang等[17]利用窄帶雙頻濾光片代替紅外濾光片，提升了在紅外波段rPPG信號的強度。而不同于使用單一的CCD或紅外成像技術(shù)，Kado等[53]在可見光與近紅外錄制的視頻中分別提取rPPG信號，并對面部進行分塊處理提取心率值，構(gòu)建心率直方圖，通過融合不同的面部區(qū)域的信號，顯著地提升了rPPG在多種不同光照條件下的檢測性能。此外，在弱光環(huán)境下，基于可見光的相機成像幀速會降低，無法捕捉到皮膚上微弱的變化信息，因此，Laurie[36]開發(fā)了一種曝光自控制算法，使得相機在低幀速的情況下也能提取出高質(zhì)量信號。

表4 提升rPPG檢測光照魯棒性算法總結(jié)Table 4 Summary of algorithms for improving rPPG detection illumination robustness

另外一方面，從算法的角度進行光照信息的濾除受到了更加廣泛的關(guān)注。第一種方式是對初始信號進行分解，從信號中直接提取處于人體脈搏范圍內(nèi)的信息。面部視頻的rPPG信號中包含了心率信號及噪聲信號，使用集成經(jīng)驗?zāi)B(tài)分解（ensemble empirical mode decomposition，EEMD）、小波分解[54]等信號分析工具將rPPG信號自適應(yīng)地分解為多個具有不同頻率的模態(tài)，進而選取處于人體脈搏范圍之內(nèi)的分量。這種信號解析方式可以有效地排除無規(guī)律光照噪聲產(chǎn)生的干擾，然而，當外界噪聲的頻率與心跳頻率接近或者光照強度過大以至于覆蓋了信號原有的脈動特征時，對單一信號的分解將會出現(xiàn)較大的誤差。由此，Song等[55]針對這一缺陷提出EEMD-MCCA，有效地解決了使用單一模態(tài)分解工具無法應(yīng)對周期性光照噪聲的缺陷。Song在面部的不同區(qū)域提取rPPG信號，由EEMD對每一組信號分解后將所得的全部子信號送入MCCA中進行進一步分離，在光照不均勻及多種光照變化的條件下，EEMDMCCA都展示出了良好的信號分解效果。此外，將光照變化的信息從提取的混合信號中進行濾除，對rPPG信號進行重建，同樣可以有效地提升rPPG在光照變化環(huán)境下的檢測魯棒性。

同一環(huán)境中，光源是固定的，而變化的信息是面部與背景共有的，相機同步記錄了人體的面部及環(huán)境信息。因而，可以通過估計光照信號的強度，采用自適應(yīng)濾波的方式在rPPG信號中減去估計值以抵消光照噪聲，對信號進行重建。聯(lián)合盲分離[56]、偏最小二乘法[32]，歸一化最小均方誤差算法[57]等都是利用背景信息進行光照噪聲的濾除。類似的，從頻域的角度利用自回歸（AR）建模[58]和極點抵消光閃爍引起的混疊頻率成分也展現(xiàn)了良好的去噪性能。然而，這種方式對光照噪聲的估計需要建立在良好的背景條件下，當檢測人員處于不斷變化的環(huán)境時，背景噪聲是難以確定的，受到光線傳播、背景切換、人為干擾等因素，聯(lián)合背景信息的rPPG信號去噪方式受到了比較大的限制。Ryu等[35]提出奇異譜分析方法，解決了這一限制。Ryu的方法不需要背景信息的參與，從人體的面部信號中提取光照干擾譜，只依賴面部的信息降低環(huán)境光對rPPG檢測的影響。

同樣不需要背景信息參與而提升rPPG檢測光照魯棒性的方法是從圖像的角度進行光照噪聲去除。本征圖像分解可以將一張圖像分解為光照圖與反射率圖，反射率圖代表物體本身不受光照影響的部分，以此作為rPPG提取的圖像數(shù)據(jù)[28]。同樣的處理方式，Yin等[59]對人臉面部進行分塊處理，將每一個區(qū)域圖像通過對數(shù)運算分離反射率圖與噪聲，從反射率圖像提取信號并進行分解，最后，將每一個子信號重構(gòu)形成高質(zhì)量的心率信號，展現(xiàn)出了良好的抗噪性能。

1.3.3 基于深度學(xué)習(xí)的信號提取方式

近年來，由于深度學(xué)習(xí)跨領(lǐng)域知識共享、無需復(fù)雜的特征工程、方便快捷的優(yōu)勢受到了廣泛的關(guān)注。表5總結(jié)了基于深度學(xué)習(xí)的rPPG算法。

表5 基于深度學(xué)習(xí)的rPPG算法總結(jié)Table 5 RPPG algorithm summary based on deep learning

Chen等[60]是首個將端對端網(wǎng)絡(luò)應(yīng)用到無接觸測量中的學(xué)者，利用視頻幀的差分圖像作為網(wǎng)絡(luò)的輸入，學(xué)習(xí)人體面部顏色及運動的映射關(guān)系而實現(xiàn)心率和呼吸率的魯棒性測量。端對端網(wǎng)絡(luò)直接將視頻數(shù)據(jù)作為輸入，由網(wǎng)絡(luò)進行相關(guān)特征的學(xué)習(xí)以恢復(fù)穩(wěn)定的生理脈沖信號，不需要先驗知識，簡單方便。同樣使用端對端網(wǎng)絡(luò)模型進行人臉數(shù)據(jù)到體征參數(shù)的映射函數(shù)研究還有神經(jīng)搜索[10]、人工神經(jīng)網(wǎng)絡(luò)[8]、信息增強注意網(wǎng)絡(luò)[61]等。實際上，注意力機制在大部分端對端網(wǎng)絡(luò)的使用中發(fā)揮了關(guān)鍵作用。注意力模塊自動學(xué)習(xí)相關(guān)的脈沖特征，通過在人體rPPG信號強的位置賦予更大的權(quán)重以提高測量精度。不過端對端網(wǎng)絡(luò)也存在著劣勢，這種模型依賴于高質(zhì)量數(shù)據(jù)、模型的訓(xùn)練過程及巨大的計算資源，缺乏數(shù)據(jù)的支撐對訓(xùn)練的結(jié)果影響是比較大的。此外，對于不同的環(huán)境噪聲，需要不同的數(shù)據(jù)樣本進行模型的訓(xùn)練，固定樣本訓(xùn)練所得的模型泛化能力較差，這成為端對端網(wǎng)絡(luò)一個較大的局限性。

另外一種基于深度學(xué)習(xí)的rPPG檢測方法是采用傳統(tǒng)的特征檢測方式對數(shù)據(jù)進行預(yù)處理，再通過網(wǎng)絡(luò)對這些特征進行學(xué)習(xí)以提供魯棒性的檢測。例如，利用色度差分的方式建立rPPG信號的時空圖并提取信號，再由卷積網(wǎng)絡(luò)進行遷移學(xué)習(xí)，最后再通過插值的方式進行rPPG信號的合成[62]；Liu等[63]提出的DeeprPPG把人臉檢測和ROI選擇從網(wǎng)絡(luò)中分離出來，提取特征后再輸入到網(wǎng)絡(luò)中，實現(xiàn)了rPPG的魯棒性測量。使用先驗知識進行網(wǎng)絡(luò)訓(xùn)練的優(yōu)勢在于可以對視頻數(shù)據(jù)進行預(yù)處理，讓網(wǎng)絡(luò)學(xué)習(xí)特征，提升模型的訓(xùn)練精度，因此神經(jīng)網(wǎng)絡(luò)的性能也最終取決于預(yù)處理的特征質(zhì)量。對于不同的環(huán)境，需要提取不同的特征供給模型進行訓(xùn)練，因此，目前基于深度學(xué)習(xí)的rPPG算法整體上泛化能力是較差的。

1.4 相關(guān)體征參數(shù)的計算

完成rPPG信號的解析之后，可以根據(jù)信號的時域或者頻域特征進行相關(guān)參數(shù)的計算。心率與呼吸率的研究最為成熟，這兩個參數(shù)往往以頻率作為特征進行計算，二者的生理信號都具有明顯的周期性。主要分為兩種方式進行估算，基于峰值點估計與基于頻率估計。對于給定的時域rPPG信號，可以通過檢測并統(tǒng)計信號的極大值點數(shù)來得到心率的估計值[28]。一個極大值點代表一個心動周期。

P為rPPG信號檢測的峰值個數(shù)；T為所用的時間長度。這種估算方式保留了rPPG的原始特征，并可以通過分析相鄰峰值之間的信號進一步分析其他生理信息，如心率變異性[64]。

另外一種方式是將時域信號轉(zhuǎn)為頻域進行分析，這也是更加簡單準確的心率估計方法，如快速傅里葉變換，功率譜密度估計等。在頻域上，選擇最高的幅值點對應(yīng)的頻率fmax作為HR的估計頻率，由式（3）可得心率值：

2 RPPG技術(shù)的應(yīng)用

RPPG以自然光為媒介從人體表皮的連續(xù)圖像中進行心臟脈沖信息的獲取，不需要專業(yè)硬件，使用手機或計算機攝像頭就可以獲得心率、呼吸率、血氧飽和度、血壓等生理體征參數(shù)。這種無接觸、低成本、操作簡單的檢測方式除了用于臨床診治，還使得隨時隨地的健康監(jiān)測成為可能，對于移動醫(yī)療、遠程醫(yī)療的推廣有著重要的意義。

2.1 生理體征參數(shù)的檢測

2.1.1 血氧飽和度測量

血氧飽和度是血液中氧合血紅蛋白(HbO2)的容量占全部可結(jié)合血紅蛋白(Hb)容量的百分比（公式（5）），用于衡量血細胞中血氧含量，在手術(shù)和ICU的監(jiān)測中是一個至關(guān)重要的參數(shù)。

比爾-朗伯定律被廣泛地用于通過光學(xué)透過率測量來確定溶液的濃度，它表明溶液中物質(zhì)對光的吸收與它的濃度成正比。因此，基于朗伯比爾定律[65]，假設(shè)脈搏血氧儀對光吸收的脈動成分（AC）來源于動脈，而直流成分（DC）來自其他組織。通過對兩個不同波長λ1和λ2的AC、DC比值進行測量，可以得到以下式子：

k、b為經(jīng)驗系數(shù)。基于式（5），Shao等[65]經(jīng)過波段挑選，用橙、紅光代替了接觸式的紅、近紅外光波，通過兩個光源交替采集，測量兩個分量的比值進行血氧的計算，與參考值展現(xiàn)了很好的一致性。Rosa[66]選擇歐拉運動放大技術(shù)（Eulerian video magnification，EVM）對皮膚微弱的顏色變化進行放大分析，并在樹莓派上完成了實驗，測得的數(shù)據(jù)與標準設(shè)備誤差小于2%，實現(xiàn)了低成本無接觸測量血氧。當前，關(guān)于無接觸測量血氧的實驗研究對象大多數(shù)為健康人群，未來可以適當增加病例以檢驗其魯棒性。

2.1.2 血壓測量

血壓是人體四大生命體征之一，可以反映心臟的收縮功能。脈搏傳輸時間差（pulse transit time，PTT）是無接觸測量血壓的核心原理，最初由ECG和PPG聯(lián)合估計，隨后Vanderpohl等[67]通過兩個rPPG信號進行衡量，拉開了rPPG無接觸測量血壓的序幕。由文獻[68]可以得知由PTT估計BP的計算公式：

a、b與人體血管壁的彈性有關(guān)?；谶@一理念，Shao等[69]首次證明了采用無接觸的方式可以計算出身體多點PTT的數(shù)值，并以此開發(fā)了一套無接觸多參數(shù)測量系統(tǒng)。Fan等[13]基于高斯模型設(shè)計了自適應(yīng)選取rPPG模塊的框架，通過分析rPPG信號之間的特性，證明了PTT與BP之間的高度相關(guān)性。信號脈沖的質(zhì)量對基于rPPG的PTT估計有著關(guān)鍵的作用，F(xiàn)an等[70]改進了卡爾曼濾波器，用于提升rPPG信號信噪比而顯示更加清晰的波峰以此提升PPT的估計精度。此外，受身體自主移動的影響，除了采用單點信號波峰估計的PTT之外，基于多點脈搏波相位差的血壓監(jiān)測方法也被證實具有良好的測量精度[71]。作者在左手橈動脈及指端出分別采集信號進行PPT的計算，實驗證明所計算的PTT與血壓的相關(guān)性達到了0.79，高于只采用單一信號進行PTT計算的單點脈搏波相位差計算方法，但是作者也指出，多點測量的方法對相機的幀速有著較高的要求。

2.1.3 心率變異性測量

一個與心臟疾病密切相關(guān)的參數(shù)HRV，是判斷心率是否失常的重要指標。在臨床使用方面，ECG一直是HRV檢測的標準設(shè)備，通過QRS波群的特征進行心跳周期之間差異性的分析。研究表明，脈搏波與HRV信號具有等價的關(guān)系，但是rPPG信號的時域特征容易受噪聲的影響，對脈搏波信號的特征進行融合[64]成為一個有效的方法。每一個皮膚塊提供一個脈搏信號，從多個信號的時域、頻域特征中選擇并結(jié)合合理的信息，提高rPPG在噪聲和異常干擾下對心率異常檢測的可鑒別性。此外，房顫會導(dǎo)致PPG信號的異常，因此，Pereira等基于這一特性提出雙窗口支持向量機分類模型[72]，經(jīng)過測試，該模型在由大量患者組成的數(shù)據(jù)集上表現(xiàn)出了良好的泛化性能和測試性能；同樣采用雙窗口的檢測策略，Li等[25]采用周期方差最大化算法提取rPPG信號，并自適應(yīng)通過雙窗口檢測峰值，成功地提升了rPPG在HRV上的檢測效果。而在頻域上，高頻段與低頻段的功率信息是另外一個判斷心率信息是否失常的指標，但是同樣容易受到噪聲的影響，Alghoul等[73]基于ICA將噪聲與信號分離成獨立的分量，展現(xiàn)出比EVM更好的實驗效果。目前基于rPPG的HRV分析尚處于實驗室階段，臨床使用以及基于HRV進行其他與心率失常相關(guān)生理疾病的診斷是未來研究的重點。

2.2 基于rPPG的生命體檢測

人臉防欺騙技術(shù)在保護人臉識別系統(tǒng)免受假體攻擊方面的重要作用，近年來受到了廣泛的關(guān)注[74]。隨著仿真技術(shù)的更新迭代，依靠外部特征的辨別模式已經(jīng)不足以完成準確的判斷，rPPG帶來一種新的辨別方式。根據(jù)Wang等[51]所建立的光學(xué)模型，人臉假體只會存在鏡面反射，無法提取出具有周期性的脈沖信號，成為rPPG用于活體檢測的基礎(chǔ)。Li等[75]首個使用rPPG作為活體檢測的工具，實驗證實，對實體材料制成的面具具有較好的識別效果。而結(jié)合深度學(xué)習(xí)的rPPG展現(xiàn)出了更好的檢測性能，Liu等[74]所提出的CNN-RNN模型，利用像素監(jiān)督估計人臉深度信息，利用序列監(jiān)督估計rPPG信號，融合了深度信息和rPPG特征進行真實面孔和假體面孔的區(qū)分。

但是rPPG進行活體檢測也有著潛在的缺陷，第一是在應(yīng)對周期性干擾噪聲方面的表現(xiàn)，這與rPPG在體征參數(shù)方面的檢測魯棒性是一樣的；第二是在面對視頻假體方面，rPPG也是同樣基于視頻數(shù)據(jù)進行參數(shù)的分析，真實人體與拍攝的人臉視頻是否能通過rPPG進行分辨，這仍有待檢驗?？偟膩碚f，rPPG在活體檢測領(lǐng)域展現(xiàn)出了不錯的應(yīng)用前景，有著巨大的潛能發(fā)展成為一種生物特征識別工具。

2.3 駕駛員狀態(tài)監(jiān)測

駕駛員的健康或疲勞狀態(tài)，一直是安全駕駛中最受關(guān)注的問題?；谔卣鞯臋z測方法容易受到個體外在的影響，而通過生理信息進行評估準確性更高，因此基于rPPG的駕駛員監(jiān)測技術(shù)具有更廣泛的發(fā)展空間。處于真實環(huán)境下，光線是影響rPPG對駕駛員檢測準確率最大的因素。Wu等[8]將神經(jīng)網(wǎng)絡(luò)用于個體心率的預(yù)測，并在不同的天氣條件下進行了檢驗，實踐證明神經(jīng)網(wǎng)絡(luò)有效地提高了檢測的魯棒性與準確率，提升了rPPG對不同光照噪聲的抵抗能力。而Huang等[6]基于統(tǒng)計信號處理及蒙特卡洛模擬提出了一個概率模型，并收集了一個駕駛數(shù)據(jù)庫提供測試，在不同的場景及環(huán)境下，Huang等提出的模型都優(yōu)于其他算法。此外，Tsai等[76]以心率變異性作為疲勞判斷指標，提出了一種基于rPPG的汽車駕駛員疲勞狀態(tài)監(jiān)測方法，并以此設(shè)計了一個疲勞預(yù)警系統(tǒng)，保障了司機的行車安全。無接觸的檢測方式可以避免佩戴各種儀器對駕駛員帶來的不適感，以一種不易察覺的方式完成個人的體征檢測，為駕駛員的安全提供幫助。

2.4 嬰幼兒監(jiān)護

新生兒的皮膚尚未發(fā)育完全，與外界物理設(shè)備的接觸可能會導(dǎo)致皮膚受損。基于rPPG的無接觸體征監(jiān)測技術(shù)可以有效地避免接觸式儀器對嬰幼兒皮膚可能造成的傷害。最新的研究結(jié)果表明，rPPG在對于新生兒心率及呼吸率的監(jiān)測上面，展現(xiàn)出了良好的實驗結(jié)果。Villarroel等[77]提出的多任務(wù)深度學(xué)習(xí)算法，在不同的光照條件下都能很好地獲取幼兒的皮膚信息，在從醫(yī)院收集的數(shù)據(jù)上進行測試，預(yù)測心率與參考心率的平均誤差為2.3次/min，并且完成了持續(xù)的監(jiān)測。Nagy等[78]開發(fā)設(shè)計了一個基于單攝像頭的早產(chǎn)兒監(jiān)護系統(tǒng)。該系統(tǒng)可以在白天使用單色攝像機，在夜晚中使用近紅外技術(shù)捕獲嬰幼兒數(shù)據(jù)。提出的基于深度學(xué)習(xí)的方法，具有高效的檢測效率，同時又不耗費巨大的計算資源，在相關(guān)的NICU數(shù)據(jù)集上展現(xiàn)了良好的測試結(jié)果。基于rPPG的監(jiān)護系統(tǒng)可以在不對嬰幼兒產(chǎn)生影響的情況收集個體的心率及呼吸信息，這對提升嬰幼兒尤其是早產(chǎn)兒的存活率有著重要的意義。

2.5 其他應(yīng)用

除了以上所提及的應(yīng)用場景，rPPG還有其他的潛在的應(yīng)用前景。比如個體的日常健康管理，個體精神狀況、心理狀況檢查，運動員的運動表現(xiàn)監(jiān)測等。RPPG有著廣闊的發(fā)展前景等待探索，有著巨大的潛力發(fā)展成為一門強大的心率檢測技術(shù)。

3 未來的研究方向

過去的十幾年間，rPPG各方面的性能都得到了很大的提升，從實驗室研究到臨床應(yīng)用，再到商業(yè)產(chǎn)品的開發(fā)，基于相機的新型檢測方式帶給了受檢者舒適的體驗。但是rPPG仍處于技術(shù)的研發(fā)階段，存在著一定的局限性需要進一步去彌補和提高。為了進一步滿足實際應(yīng)用的需求，rPPG的發(fā)展需要解決以下的兩個問題。

3.1 皮膚差異

光線對不同位置皮膚的穿透深度不同，表皮對光線的吸收強度也不同。目前的研究結(jié)果表明，大部分rPPG算法在黑色人種身上的實驗效果是較差的[52]，同樣的情況也出現(xiàn)在以PPG為核心技術(shù)的部分運動手表中。這是合理的，rPPG與PPG都是以光作為探測源，而黑色素是人類皮膚的主要色素體。光線到達表皮再繼續(xù)深入內(nèi)部，在表皮處會有一定強度的衰減，導(dǎo)致進入皮膚深層的光強降低。黑色素越多，對光線的吸收強度越大，這一定程度上減弱了信號，降低了信噪比，增大了檢測結(jié)果的誤差。除了人種的差異之外，面部皮膚的遮掩如紋身、毛發(fā)，或者當受檢者處于高光環(huán)境而導(dǎo)致面部大面積油光反射，這些因素都會對微弱的周期性顏色變化信息產(chǎn)生干擾，從而rPPG的檢測準確率也會降低。進一步的工作可以集中于針對這些干擾因素而提出檢測性能更高的rPPG算法。

3.2 數(shù)據(jù)庫

隨著深度學(xué)習(xí)的發(fā)展，rPPG算法逐漸由傳統(tǒng)的計算框架改由利用神經(jīng)網(wǎng)絡(luò)進行特征的提取與結(jié)果的估計，而高質(zhì)量的數(shù)據(jù)對基于深度學(xué)習(xí)的rPPG算法開發(fā)是非常重要的。此外，對于所提出的新算法也同樣需要大量的數(shù)據(jù)進行評測。然而，目前常見的數(shù)據(jù)庫大多數(shù)是在可控條件下采集的，施加的干擾大部分是人為添加。而在現(xiàn)實場景中，環(huán)境、個體對rPPG帶來的干擾是不可控的，同時也更具多樣化。因此，需要更多更全面、更具多樣性的數(shù)據(jù)庫提出并共享，以此來評測所提出的rPPG算法，以及促進更多更高效和準確的檢測算法開發(fā)。同時，目前的數(shù)據(jù)集主要的實驗人員為健康的成年人，嬰幼兒、老年人以及有相關(guān)心血管生理疾病的病人等實驗人員的數(shù)據(jù)極少，而這一部分數(shù)據(jù)對于提升算法的泛化能力是極為重要的。因此，也需要有針對這一部分人群的數(shù)據(jù)庫提出，以此來對新算法的性能進行評估。

3.3 其他限制

除了上述兩個主要問題之外，檢測距離的限制，檢測速度及實用性同樣是需要進一步解決的問題。目前所進行的研究，人臉與相機之前的距離多為0.6 m左右，這在大多數(shù)情況適用于手機進行自我檢測，在實際應(yīng)用中需要的距離往往更長，如ICU的監(jiān)護，運動員的生理檢測等。目前的rPPG算法主要檢測一段時間的平均值，這更適用于常規(guī)長時間的健康狀況監(jiān)測，在Chen的工作也提到，rPPG更適用于中醫(yī)類似的監(jiān)測系統(tǒng)，在需要實時放映心臟運作情況如ICU等醫(yī)護場所，rPPG存在著較大的局限。

基于視頻的心率檢測方法具有很大很廣的應(yīng)用前景和潛能等待著挖掘與研究，同樣相信rPPG在生理監(jiān)測、遠程醫(yī)療等領(lǐng)域能發(fā)揮出重要的作用。

4 總結(jié)

遠程光電容積描計法是逐漸發(fā)展起來的一門無接觸生理體征參數(shù)測量技術(shù)，開展相應(yīng)的研究具有十分重要的理論意義及使用價值。然而，目前仍存在著大量的難題需要去進一步地解決。本文總結(jié)了當前rPPG主流的算法模型，就rPPG測量的各項生理指標進行了介紹，以及就未來rPPG的研究前景進行展望。為了適應(yīng)不同的臨床場景，目前已經(jīng)開發(fā)了多種具有較高準確率和魯棒性的算法，并已在駕駛、醫(yī)療監(jiān)測等領(lǐng)域完成初步應(yīng)用。希望這篇綜述能讓讀者對rPPG有進一步的認識，也希望rPPG能夠進一步發(fā)展，真正在公共安全、健康管理及醫(yī)療領(lǐng)域發(fā)揮其應(yīng)用價值。