肖 劍 李思卓 董 威 李清華 胡 芳

(長安大學(xué)電子與控制工程學(xué)院 西安 710064)

1 引言

生物識別技術(shù)是根據(jù)個體的生理和行為屬性(如指紋、面部、聲音、步態(tài)等[1])進(jìn)行身份識別的方法。目前常用的生物特征識別技術(shù)要么識別度不高，要么容易被竊取，要么識別成本高得讓人望而卻步。因此利用心電信號(ElectroCardioGram,ECG)以及光電容積脈搏波(PhotoPlethysmoGraphy,PPG)信號這兩種生物特征的識別方法受到了想要改進(jìn)目前生物識別技術(shù)的專家學(xué)者的關(guān)注，基于ECG和PPG信號的身份識別技術(shù)具有識別度和安全性高、成本低等特點，并且ECG與PPG信號滿足用于身份識別的生物特征4大要求：(1)普遍性；(2)唯一性；(3)穩(wěn)定性；(4)可測量性。但在現(xiàn)實應(yīng)用場景中，單一的生物識別系統(tǒng)存在若干問題，例如感測數(shù)據(jù)中的噪聲、信號特征的類內(nèi)變化、類間相似性、非普遍性和欺騙攻擊等，都會對生物識別的準(zhǔn)確性產(chǎn)生影響。

為了解決上述問題，研究人員著眼于多生物特征融合技術(shù)。信息的融合可以發(fā)生在特征級別、匹配級別以及決策級別[2—4]。匹配層的實現(xiàn)難度較小，融合中有一定量的特征信息，因此關(guān)于匹配層融合較為流行；決策層融合不關(guān)注特征的細(xì)節(jié)，而是將各自的輸出按照一定的規(guī)則進(jìn)行判斷輸出；特征層融合[5,6]存在特征不兼容的情況，融合難度較高，但是特征層的特征集包含豐富的生物特征數(shù)據(jù)信息，這些信息并不會在匹配層和決策層輸出。因此，使用多特征融合技術(shù)用來提高生物識別的準(zhǔn)確性成為科研人員的方向。

Gupta[7]提出了一種多融合系統(tǒng)，包括掌紋、掌背靜脈和手部幾何形狀作為特征進(jìn)行融合，采用串行匹配層融合方法，提高了系統(tǒng)的準(zhǔn)確性和識別時間。Hammad等人[8]第1次利用卷積神經(jīng)網(wǎng)絡(luò)對心電信號和指紋進(jìn)行融合識別，實驗表明該文作者所提出的多模態(tài)系統(tǒng)比現(xiàn)有的多模態(tài)認(rèn)證系統(tǒng)更加高效。Arteaga-Falconi等人[9]利用決策級融合方法對ECG和指紋進(jìn)行融合識別，在等錯誤率方面有所改善。Bashar[10]對心電和腦電特征在特征級進(jìn)行融合，與單個信號特征相比，融合效果有顯著提高。楊宜蒙[11]提出了融合ECG信號與PPG信號的識別方法，作者從時域和頻域中提取了ECG信號和PPG信號的生物特征，采用逐步篩選法和D-S證據(jù)理論進(jìn)行融合，證明了將ECG信號與PPG信號融合的可行性。但是大部分的實驗并沒有考慮類內(nèi)相關(guān)性對識別精度的影響，并且存在識別精度不高的問題。

本文在研究多模生物信號識別的基礎(chǔ)上，深入探討了判別相關(guān)性分析，提出了一種ECG信號與PPG信號特征層融合以及決策級K-最近鄰(KNearest Neighbor,KNN)和支持向量機(jī)(Support Vector Machines,SVM)分類器融合的識別模型。該系統(tǒng)克服了單個系統(tǒng)的局限性，增加了對類內(nèi)相關(guān)性的討論，提高了整個系統(tǒng)的性能并增強(qiáng)了安全性。本文首先對心電和光電容積脈搏波信號進(jìn)行預(yù)處理，采取巴特沃斯濾波器以去除信號中的噪聲，利用小波變換獲得可以用來融合分類的特征矩陣，再將兩組初始特征矩陣進(jìn)行組合，并利用判別相關(guān)分析(Discriminant Correlation Analysis,DCA)算法進(jìn)行特征融合與提取，最后使用融合后的分類器完成身份識別。實驗結(jié)果表明，本融合模型有效提高了身份識別的準(zhǔn)確性，為多模生物身份識別提供了新模型。

2 背景：判別相關(guān)分析算法

近些年基于典型相關(guān)分析[12](Canonical Correlation Analysis,CCA)的特征融合分析引起多模態(tài)識別領(lǐng)域的關(guān)注，基于CCA的特征識別融合是使用兩組特征之間的相關(guān)性來進(jìn)行特征向量變換，使得變換的特征具備兩個特征集的最大相關(guān)特性，且在每個特征集內(nèi)部是不相關(guān)的[13—17]。

假設(shè)X∈Rp×n和Y∈Rq×n表示兩個矩陣，每個矩陣包含來自兩個不同模態(tài)的n個訓(xùn)練特征向量，令Sxx∈Rp×p和Syy∈Rq×q表示X和Y的內(nèi)集協(xié)方差矩陣，Sxy∈Rp×q表示集合之間的協(xié)方差矩陣。CCA的目的在于找到線性組合X*=，最大化兩個特征集之間的相關(guān)性，求解特征，找到變換矩陣Wx和Wy

然而這兩個特征向量之間的相關(guān)性不一定遵循同一模式，從而使得該矩陣獲得這兩組特征向量之間的關(guān)系較為困難，如文獻(xiàn)[18]所定義，CCA通過連接或求和特征向量進(jìn)行特征級融合

其中，Z1和Z2稱為典型相關(guān)判別特征(Canonical Correlation Discriminant Features,CCDF)。

上述特征融合方法存在兩個問題，第1個問題是在樣本數(shù)量小于特征數(shù)時(n＜p或n＜q)，協(xié)方差矩陣Sxx和Syy奇異且不可逆，解決該問題的方法是在應(yīng)用CCA融合數(shù)據(jù)前先降低特征向量的維數(shù)，故采用兩階段線性判別分析(Linear Discriminant Analysis,LDA)+CCA的方法。第2個問題是CCA對類內(nèi)數(shù)據(jù)進(jìn)行去相關(guān)處理，導(dǎo)致模型對樣本中的類結(jié)構(gòu)不敏感，但在分類識別中分離類是有必要的?；贚DA的降維方法通過找到能夠區(qū)分開類別的投影解決該問題，但由于第1階段LDA得到的特征不會在第2階段CCA經(jīng)過轉(zhuǎn)換后保留，因此兩階段LDA+CCA將不是有效的解決方案。

而本文不僅需要最大化兩個特征集之間的成對相關(guān)性，而且需要同時分離每個特征集內(nèi)的類，因此提出通過判別相關(guān)分析法作為解決方案。

判別相關(guān)分析(Discriminant Correlation Analysis,DCA)是由Haghighat等人[19]在2016年首次提出，在人臉虹膜和指紋等數(shù)據(jù)集上取得了很好的效果，它是一種特征層融合技術(shù)，也是第1個在特征融合中考慮類結(jié)構(gòu)的技術(shù)。該方法是用于最大化兩個特征集上對應(yīng)特征的相關(guān)性，以及屬于每個特征集內(nèi)的不同類的去相關(guān)特征，目的是消除類間相關(guān)性，并將相關(guān)性限制在類中。此外，它具有非常低的計算復(fù)雜度，可以用于實時應(yīng)用。

本文采用DCA方法最大化兩個特征集中的成對相關(guān)性，同時在相關(guān)性分析中加入類結(jié)構(gòu)，如下所述：

假設(shè)數(shù)據(jù)矩陣中的樣本是從單獨類中采集的，數(shù)據(jù)矩陣的n列可以分為多個獨立的組，其中ni列屬于第i類，即。令表示對應(yīng)第i類第j個特征向量。分別表示第i類和整個特征集中xij向量的均值，類間散布矩陣定義為

其中，P是正交特征向量的矩陣，而是按降序排序的實特征值以及非負(fù)特征值的對角矩陣。

Q(c×r)由來自矩陣P的第r個特征向量組成，其對應(yīng)r個最大的非零特征值。因此有

X'是X在空間中的投影，I為類間散布矩陣，并且類是分開的。最多有c—1個非零廣義特征值，因此，r的上限是c—1。r的其他上限是數(shù)據(jù)矩陣的秩，即r ≤min(c-1,rank(X),rank(Y))。用上述方法可以求出第2個特征集Y

X和Y已轉(zhuǎn)換為X'和Y'，其中類間散布矩陣被單元化，現(xiàn)在需要使一個集合中的特征僅與其他集合中的對應(yīng)特征具有非零相關(guān)性。對變換后的特征集的集合協(xié)方差矩陣采用奇異值分解(Singular Value Decomposition,SVD)進(jìn)行對角化，=X′Y ′T

通過對變換的特征向量進(jìn)行連接或求和來進(jìn)行特征級融合，如式(4)、式(5)所示。求和方法具有維數(shù)較少的優(yōu)點，并且對識別結(jié)果的變化非常小。文中實驗使用式(5)中的求和方法。

3 ECG與PPG特征層融合模型

ECG與PPG信號融合模型如圖1所示，首先，分別對ECG信號和PPG信號進(jìn)行預(yù)處理及特征提取，得到ECG信號與PPG信號的特征矩陣。然后分別對各自的特征矩陣進(jìn)行特征標(biāo)準(zhǔn)化，利用DCA算法進(jìn)行特征融合，對組合特征矩陣進(jìn)行特征提取，獲得最佳分類融合特征矩陣。在決策層上先對訓(xùn)練集進(jìn)行處理，選取與測試數(shù)據(jù)最相近的K個樣本，然后再用SVM訓(xùn)練K個樣本得到分類超平面，以此來實現(xiàn)決策級的融合。下面詳細(xì)探討該融合識別模型。

圖1 心電與光電容積脈搏波融合的身份識別模型

3.1 信號預(yù)處理及特征提取

ECG和PPG身份識別的流程一致，都分為信號預(yù)處理、特征提取與分類識別。ECG信號如圖2所示，PPG信號如圖3所示。ECG信號預(yù)處理一般是去除信號中的噪聲，主要有：(1)肌電干擾；(2)基線漂移；(3)工頻干擾。PPG信號受到的噪聲有以下3種：(1)運動偽差；(2)高頻隨機(jī)干擾；(3)基線漂移。由于ECG信號與PPG信號都是非平穩(wěn)的周期信號，本文在對它們進(jìn)行去噪時選擇巴特沃斯濾波器。

圖2 心電信號

圖3 光電容積脈搏波信號

文中采用小波變換檢測ECG信號的QRS波段，各個波段峰值以及波段距離，PPG信號的P波特征點用作識別分類。實驗中對ECG信號和PPG信號進(jìn)行小波變換后，產(chǎn)生模極值對，信號的波形與這些模極值相對應(yīng)，而奇異點就是極值中間的0點。所以可以將不同頻率分段的波段通過設(shè)定相應(yīng)的閾值以及取值窗口定位出來，最終定位QRS波、P波、T波以及P波和T波的起始點和終止點，如圖4所示。同樣通過該方法對PPG信號進(jìn)行小波變換，對P波、V波及各自的起始點和終止點進(jìn)行定位，如圖5所示。

圖4 ECG特征檢測

圖5 PPG特征檢測

通過上述方法，定位出ECG信號的5個基準(zhǔn)點，分別為P,Q,R,S,T。通過計算得出各個基點之間的距離和幅度，將它們組成特征向量如表1所示，得到的4個時間特征以及4個幅值特征組成大小為8×23的特征矩陣。

表1 小波變換提取到的信號特征

同樣，通過該方法檢測到PPG信號的P波和V波及其各自的起始點和終止點的位置，通過計算最終得到7個距離特征及4個幅值特征如表2所示，組成大小為11×23的特征矩陣。

表2 PPG信號的特征與描述

3.2 基于DCA算法的特征融合與識別

將ECG信號與PPG信號特征矩陣分別進(jìn)行歸一化處理后，采用DCA算法進(jìn)行融合，由于兩個特征向量維數(shù)不同，較低維的PPG信號特征矩陣用零補(bǔ)齊。去除每個特征集內(nèi)部的相關(guān)特征，并且將類結(jié)構(gòu)結(jié)合在特征層融合方法中，最大化兩個特征集上對應(yīng)特征的相關(guān)性，得到ECG和PPG的特征融合矩陣。

基于多集判別相關(guān)分析的ECG和PPG特征層融合識別流程圖如圖6所示。

圖6 特征層融合識別流程圖

融合識別算法步驟分為以下5步：

(1)對ECG信號特征提取后得到的特征向量組成第1個特征的樣本空間X∈Rp×n；

(2)對PPG信號特征提取后得到的特征向量矩陣組成第2個特征的樣本空間Y∈Rq×n；

(3)采用最大最小值法，對特征向量進(jìn)行歸一化操作，使得兩組特征向量的數(shù)量級接近。

(4)由式(4)、式(5)計算類間散度矩陣Sbx和Sby，通過式(7)、式(8)計算出協(xié)方差矩陣的特征向量，由式(9)、式(11)得到變換矩陣Wbx和Wby。

(5)由式(13)對協(xié)方差矩陣進(jìn)行奇異值分解，再由式(15)、式(16)獲得轉(zhuǎn)換特征集和最終變換矩陣，最后通過式(3)求和的方法進(jìn)行特征融合，其優(yōu)勢在于維數(shù)較少。

4 決策層融合的實現(xiàn)

生物特征識別算法決策階段是由一個分類器對來自識別系統(tǒng)中受試者存儲的模板上進(jìn)行訓(xùn)練，該分類器會對受試者和攻擊者進(jìn)行區(qū)分，在識別時輸出正確的決策。常見的K-最近鄰(K-Nearest Neighbor,KNN)算法的實現(xiàn)原理：為了判斷未知樣本的類別，以所有已知類別的樣本作為參照，計算未知樣本與所有已知樣本的距離，從中選取與未知樣本距離最近的K個已知樣本，根據(jù)少數(shù)服從多數(shù)的投票法則(majority-voting)，將未知樣本與K個最鄰近樣本中所屬類別占比較多的歸為一類。K這個字母的含義就是要選取的最鄰近樣本實例的個數(shù)。本文中K選取5。

而支持向量機(jī)(Support Vector Machines,SVM)的基本思想就是在特征空間構(gòu)造出一個最優(yōu)的超平面，使得不同類距離超平面最遠(yuǎn)，從而達(dá)到較好的泛化能力。支持向量機(jī)的提出最開始是應(yīng)用于二分類問題，而本文的應(yīng)用場景為多分類問題，因此本文需要使用1對1法(One-Versus-One SVMs,OVO SVMs)法將SVM用于處理多分類問題。該算法的思想是假設(shè)一個樣本訓(xùn)練集由k＞2類別數(shù)據(jù)組成，分別選取2個不同的類別構(gòu)成一個SVM的子分類器，這樣k個類別共有k(k—1)/2個SVM子分類器。在構(gòu)造一個類別i和類別j的SVM子分類器時，利用樣本數(shù)據(jù)集中類別i和類別j的樣本作為訓(xùn)練數(shù)據(jù)，并將類別i的數(shù)據(jù)標(biāo)記為+1，類別j的數(shù)據(jù)標(biāo)記為—1。多類別測試的過程中，將測試的數(shù)據(jù)對所有子分類器分別進(jìn)行測試，累積各個類別的得分，選取最高得分的類別作為測試數(shù)據(jù)的類別。

之所以將SVM與KNN相結(jié)合是因為當(dāng)使用1對1法分類時樣本數(shù)量變大，所需要的子分類器就會增多，所需要的代價是很大的，因此在本文實驗中采用了決策級融合，將KNN與SVM結(jié)合起來，在使用KNN處理訓(xùn)練集可以降低樣本數(shù)量，再使用1對1法進(jìn)行分類時所需要的子分類器數(shù)目變少，會大大提高系統(tǒng)分類效率。其主要實現(xiàn)過程為：首先對融合特征后的訓(xùn)練集進(jìn)行初步處理，根據(jù)每個樣本與其K個最近鄰的標(biāo)簽的異同決定其取舍，在本文中K取5，然后再用SVM對使用KNN后得到的樣本每兩個類別進(jìn)行訓(xùn)練得到分類超平面。本方法將KNN與SVM有效地融合在一起，當(dāng)單一使用SVM分類器時，時間復(fù)雜度為O(N2)，使用KNN處理訓(xùn)練集后再使用SVM進(jìn)行分類時時間復(fù)雜度為O(N)。實驗結(jié)果表明，使用KNN與SVM的融合分類器會比使用單一分類器如KNN或SVM準(zhǔn)確率更高，并且大大提高系統(tǒng)效率。

5 實驗設(shè)計與數(shù)據(jù)分析

5.1 生物電信號采集系統(tǒng)設(shè)計

生物電信號采集系統(tǒng)主要目的是實現(xiàn)心電信號和脈搏信號的同步采集，并將采集到的信號傳輸至上位機(jī)PC端?；谏镫娦盘柕纳矸葑R別算法主要在上位機(jī)PC端進(jìn)行研究，將采集到的ECG信號和PPG信號通過預(yù)處理、特征提取和分類識別實現(xiàn)身份識別。系統(tǒng)總體框圖如圖7所示。

圖7 身份識別系統(tǒng)總體框圖

心電信號采集選用AD公司的AD8232芯片，用于在復(fù)雜噪聲環(huán)境下快速、精準(zhǔn)地提取ECG信號。該芯片集成了儀表放大器、增益放大器、右腿驅(qū)動電路、休眠電路設(shè)計、基準(zhǔn)電壓緩沖以及導(dǎo)聯(lián)脫落檢測電路，能夠方便有效地對信號進(jìn)行預(yù)處理。同時導(dǎo)聯(lián)檢測功能能夠時刻檢測導(dǎo)聯(lián)是否脫落，并提醒使用者將電極放置在受試者的雙臂及右腿位置，保持周圍環(huán)境安靜，即可采集心電信號。實驗結(jié)果表明所采集的心電信號能夠表現(xiàn)出個體的心臟生理狀況，能夠清晰地找到主要用于識別的QRS波群。

在手指指尖上通過光電容積脈搏傳感器實現(xiàn)PPG信號的采集，采用三軸加速度計獲得實驗對象的運動情況，將采集到的信號通過AD同步轉(zhuǎn)換實現(xiàn)兩種數(shù)據(jù)的同步采集，其數(shù)據(jù)采集過程如圖8所示。

圖8 數(shù)據(jù)采集過程

5.2 實驗對象

本次實驗一共采集了23個個體的ECG信號和PPG信號，其中男性15人，女性8人，他們的年齡范圍為22～26歲，采樣頻率為500 Hz，采集過程中受試者均為坐著狀態(tài)，每位受試者均采集20組ECG和PPG數(shù)據(jù)，每類數(shù)據(jù)時長為60 s，因此每個志愿者有40條數(shù)據(jù)，本次實驗一共有920條數(shù)據(jù)。組成本文的實驗數(shù)據(jù)庫。實驗所需的操作系統(tǒng)為64位Windows10,CPU為Intel奔騰G4560處理器，仿真平臺利用Matlab 2016a，部分編程使用PyCharm，利用Excel對數(shù)據(jù)進(jìn)行分析并繪制相應(yīng)圖。

5.3 實驗結(jié)果與分析

實驗中選擇數(shù)據(jù)庫中23個受試者的ECG和PPG信號，每個人的信號每30 s為一組，每個人20組信號組成測試集，通過改變匹配閾值的大小，對測試集中的類內(nèi)匹配和類間匹配都進(jìn)行測試，得到系統(tǒng)的拒識率、誤識率和等錯誤率，繪制ROC曲線。

圖9為ECG和PPG的雙模特征層融合識別算法的ROC曲線，由圖可以看到隨著閾值的增加，誤識率越來越低，而拒識率越來越高，在閾值為0.6188處拒識率與誤識率相等，其等錯誤率為8.642%。在閾值較大時，雖然錯誤接受率比較低，但相應(yīng)的錯誤拒絕率變大，導(dǎo)致用戶識別過于嚴(yán)格，對用戶進(jìn)行識別帶來不便。在閾值較低時，錯誤接受率變小，錯誤拒絕率增大，對于識別要求不是很嚴(yán)格，使得用戶較容易進(jìn)入系統(tǒng)。說明雙模特征層融合識別算法在識別精度與算法性能方面均優(yōu)于單模態(tài)生物識別。

圖9 ROC曲線

此外，為了得到訓(xùn)練時間長短對算法識別性能的影響，實驗中將采集到的每一個個體的ECG信號與PPG信號的前30 s信號作為訓(xùn)練樣本，后30 s信號作為測試樣本。又將訓(xùn)練樣本的信號時間細(xì)分為前5 s、前10 s、前15 s、前20 s、前25 s、前30 s對其分別進(jìn)行訓(xùn)練并測試其結(jié)果。

通過融合分類器對六組信號分別進(jìn)行分類，匹配得到不同訓(xùn)練時間與識別正確率之間的關(guān)系，結(jié)果如圖10所示，由圖可知基于ECG與PPG的多模態(tài)融合特征進(jìn)行識別的效果優(yōu)于單模態(tài)特征識別效果，在訓(xùn)練時長超過15 s后融合識別的識別率對于ECG信號識別其優(yōu)勢并不十分明顯，但在訓(xùn)練時長較短的情況下融合識別的識別率明顯優(yōu)于單模態(tài)特征識別，訓(xùn)練時長為10 s時融合識別的識別率可以達(dá)到90.6%。

圖10 不同信號在不同訓(xùn)練時長下的識別率

本次試驗對23名受試者分別從單一特征與單一分類器，單一特征與多分類器，多特征與單分類器和多特征與多分類器這4個方面進(jìn)行驗證，實驗結(jié)果如表3所示。

表3以識別準(zhǔn)確率作為性能參數(shù)，總結(jié)了本研究的實驗結(jié)果。使用單分類器SVM對單信號ECG和PPG進(jìn)行身份認(rèn)證時，準(zhǔn)確率分別為88.0%和81.0%。使用單分類器KNN對單信號ECG和PPG進(jìn)行身份認(rèn)證時，準(zhǔn)確率分別為84.5%和74.5%。使用融合分類器KNN-SVM對單信號ECG和PPG進(jìn)行身份認(rèn)證時，準(zhǔn)確率分別為91%和82.4%。使用單分類器SVM對融合信號ECG-PPG進(jìn)行身份認(rèn)證時準(zhǔn)確率為96.1%。使用單分類器KNN對融合信號ECG-PPG進(jìn)行身份認(rèn)證時準(zhǔn)確率為91.5%。而使用融合分類器KNN-SVM對融合特征ECG-PPG進(jìn)行身份認(rèn)證時準(zhǔn)確率可以達(dá)到98.2%。實驗結(jié)果表明，對信號在特征層進(jìn)行融合并且對分類器進(jìn)行決策層融合可以達(dá)到最優(yōu)的分類結(jié)果。

表3 不同模式下識別準(zhǔn)確率

6 結(jié)束語

本文在研究特征層融合時，結(jié)合判別相關(guān)分析最大化兩個特征集的相關(guān)性的特點，提出了一種心電與光電容積脈搏波多模態(tài)生物識別模型。首先對心電信號與脈搏信號分別進(jìn)行預(yù)處理和特征提取，將特征信號進(jìn)行歸一化處理后，利用DCA算法對特征融合，獲得心電與光電容積脈搏波的融合特征矩陣，作為最終的識別特征，在決策層融合兩個分類器(KNN-SVM)，最終實現(xiàn)身份識別。實驗結(jié)果表明，該模型降低了單模態(tài)生物識別出現(xiàn)注冊失敗的錯誤率，提高了用戶驗證身份的靈活性以及對欺騙攻擊的抵抗性。在常規(guī)環(huán)境下能達(dá)到更高的正確識別率，是一種有效的融合識別方法，后續(xù)研究將著眼于融合模型的可擴(kuò)展性層面，例如將使用大型數(shù)據(jù)庫、多個通道和多個特征進(jìn)行。