陳 敏,王嬈芬

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201620)

0 概述

據(jù)世界衛(wèi)生組織的統(tǒng)計(jì)數(shù)據(jù)顯示,心血管疾病已經(jīng)成為居民死亡的頭號(hào)殺手,每年有超過1 770萬人死于心血管疾病[1]。心律失常是心血管疾病的一種重要表現(xiàn)形式,有房顫、早搏、室顫和心動(dòng)過速等類型。醫(yī)院里心臟專家通過對(duì)心電圖的視覺觀察識(shí)別心電信號(hào)的異常,而隨著家用可穿戴設(shè)備的逐漸普及[2],通過計(jì)算機(jī)對(duì)心電信號(hào)進(jìn)行自動(dòng)檢測(cè)和分類成為近年來的研究熱點(diǎn)。

傳統(tǒng)的心電信號(hào)分類主要研究選擇更優(yōu)的特征[3-5]及分類器[6]等。而隨著深度學(xué)習(xí)的快速發(fā)展,研究者們將研究重心轉(zhuǎn)移到深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)去實(shí)現(xiàn)特征的自動(dòng)提取與分類。深度學(xué)習(xí)在圖像分割、圖像分類等領(lǐng)域有著優(yōu)異表現(xiàn),將心電信號(hào)有效地轉(zhuǎn)換為二維圖像也是研究熱點(diǎn)之一。文獻(xiàn)[7]提出使用卷積方法將心電信號(hào)轉(zhuǎn)換為二維卷積圖像,但是生成的圖像比較模糊,因此作者又融合了時(shí)域特征作為最后的特征。文獻(xiàn)[8]將心電信號(hào)的頻譜圖作為二維圖像送入設(shè)計(jì)的二維卷積神經(jīng)網(wǎng)絡(luò),但是頻譜圖只能反映心電信號(hào)的頻域信息,沒有考慮信號(hào)在時(shí)域方面的特點(diǎn)。因此,如何有效地將心電信號(hào)轉(zhuǎn)換為二維圖像并盡可能多地保留其圖像信息是一個(gè)值得思考的問題。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域重要的網(wǎng)絡(luò)結(jié)構(gòu)。傳統(tǒng)的特征提取方法雖然也能夠提取到合適的特征,但整個(gè)過程耗時(shí)較多且不一定有好的魯棒性。因此,部分學(xué)者設(shè)計(jì)出各種卷積神經(jīng)網(wǎng)絡(luò)對(duì)心電信號(hào)進(jìn)行自動(dòng)提取特征并分類。文獻(xiàn)[9]設(shè)計(jì)了一個(gè)8層的卷積神經(jīng)網(wǎng)絡(luò)對(duì)心電信號(hào)進(jìn)行四分類,總準(zhǔn)確率達(dá)到92.7%,文獻(xiàn)[10]以10 s數(shù)據(jù)作為輸入,設(shè)計(jì)了一個(gè)16層的卷積神經(jīng)網(wǎng)絡(luò),對(duì)MIT-BIH數(shù)據(jù)庫(kù)中17種心電信號(hào)類型進(jìn)行分類,得到90.13%的總準(zhǔn)確率。以上深度學(xué)習(xí)方法均是將一維信號(hào)送入設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)分類,其中模型結(jié)構(gòu)的設(shè)計(jì)及參數(shù)的調(diào)整需要通過多次實(shí)驗(yàn)迭代確定,整個(gè)過程復(fù)雜且耗時(shí)較多。

針對(duì)以上問題,本文提出使用格拉姆角場(chǎng)(Gramian Angular Field,GAF)將一維心電信號(hào)轉(zhuǎn)換為二維圖像,并借鑒深度學(xué)習(xí)中遷移學(xué)習(xí)的方法,設(shè)計(jì)一個(gè)遷移卷積神經(jīng)網(wǎng)絡(luò)(Transfer Convolutional Neural Network,TCNN)對(duì)心電信號(hào)進(jìn)行分類。

1 本文算法

1.1 格拉姆角場(chǎng)

在笛卡爾坐標(biāo)系中,心電信號(hào)是典型的二維信號(hào)。其中,x軸方向表示采樣點(diǎn)或時(shí)間值,y軸方向表示采集的心電電壓值,單位一般為毫伏(mV)。在極坐標(biāo)系中對(duì)心電信號(hào)進(jìn)行表示,具體過程如下:

1)X={x1,x2,…,xi,…,xn}為心電信號(hào)的時(shí)間序列表示,將X歸一化到[-1,1]的范圍內(nèi):

(1)

(2)

G=[cos(φi+φj)]=

(3)

G(i,j||i-j|=k)通過對(duì)方向值φ求和,保留了相對(duì)于時(shí)間間隔k的時(shí)間相關(guān)性。主對(duì)角線Gi,i是k=0的特殊情況,包含著原始值的信息。

對(duì)于長(zhǎng)度為n的原始時(shí)間序列,得到的格拉姆矩陣的大小為n×n。當(dāng)n過大時(shí)會(huì)造成G過大,此時(shí)采用分段聚合近似(Piecewise Aggregate Approximation,PAA)方法對(duì)時(shí)間序列進(jìn)行降維。PAA的原理是:利用時(shí)間序列在短期內(nèi)數(shù)據(jù)變化較小的特性,把一個(gè)時(shí)間序列分成固定長(zhǎng)度的小區(qū)間,并計(jì)算各個(gè)區(qū)間內(nèi)數(shù)據(jù)的均值來表示整個(gè)區(qū)間內(nèi)的數(shù)據(jù)。最后得到的G就是一維信號(hào)轉(zhuǎn)為二維圖像的矩陣表示。

利用格拉姆角場(chǎng)對(duì)信號(hào)進(jìn)行轉(zhuǎn)換有兩個(gè)優(yōu)勢(shì):

1)一維信號(hào)與二維圖像之間是雙映射關(guān)系,這樣不會(huì)丟失一維信號(hào)的任何信息[11]。

2)保持了信號(hào)的時(shí)間依賴性,信號(hào)的時(shí)間隨著位置從矩陣的左上角到右下角的移動(dòng)而增加。

1.2 遷移卷積神經(jīng)網(wǎng)絡(luò)

1.2.1 VGG16卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),在自然語(yǔ)言處理[12-13]、圖像分類[14]、醫(yī)藥發(fā)現(xiàn)[15]、災(zāi)難氣候發(fā)現(xiàn)[16]等領(lǐng)域都有廣泛應(yīng)用。本文設(shè)計(jì)的遷移卷積神經(jīng)網(wǎng)絡(luò)基于遷移學(xué)習(xí)的思想,使用了2014年ILSVRC比賽獲得冠軍的VGG16網(wǎng)絡(luò)模型。該模型由牛津大學(xué)視覺幾何組開發(fā),目前仍被認(rèn)為是優(yōu)秀的圖像分類模型。

VGG16網(wǎng)絡(luò)模型共16層,包括13個(gè)卷積層、5個(gè)池化層(池化層一般不計(jì)算在層數(shù)內(nèi))和3個(gè)全連接層。在圖1所示的VGG16結(jié)構(gòu)中,conv為卷積層,maxpool為池化層,fc為全連接層。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的輸入為244×244的彩色圖像,每個(gè)卷積層使用3×3的卷積核,步長(zhǎng)為1。每組卷積后進(jìn)行一個(gè)2×2的最大池化。全連接層神經(jīng)元的數(shù)量依次為4 096,4 096,1 000。前面的卷積部分雖然很深,但由于共享卷積核的原理,參數(shù)量不大,參數(shù)量主要消耗在最后3個(gè)全連接層。在深度學(xué)習(xí)Keras框架中,帶有全連接層權(quán)重的文件大小為526 MB,沒有全連接層權(quán)重的文件大小為56.1 MB。

圖1 VGG16網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 VGG16 network model structure

1.2.2 基于VGG16的遷移卷積神經(jīng)網(wǎng)絡(luò)

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要組成部分,其目的是將源領(lǐng)域?qū)W習(xí)到的信息推廣應(yīng)用到目標(biāo)領(lǐng)域的學(xué)習(xí)過程中去[17]。尤其是在缺乏大規(guī)模樣本的醫(yī)學(xué)圖像領(lǐng)域,常在現(xiàn)有的大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,得到模型的初始化參數(shù),再遷移到目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練。VGG16就是在ImageNet數(shù)據(jù)集(包含120萬幅自然圖像和1 000多種不同類別)上訓(xùn)練得到的。

基于遷移學(xué)習(xí)的思想,本文設(shè)計(jì)了一種結(jié)構(gòu)簡(jiǎn)單、參數(shù)量少、訓(xùn)練時(shí)間短的TCNN網(wǎng)絡(luò)。該結(jié)構(gòu)的前13層是VGG16模型的結(jié)構(gòu),每層神經(jīng)元的數(shù)量和訓(xùn)練好的權(quán)重均不改變。在其后去掉了VGG16模型的3層全連接層,添加了包含512個(gè)神經(jīng)元的卷積層Conv、同樣包含512個(gè)神經(jīng)元的全連接層FC和Softmax層。心電圖像經(jīng)過模型前13層的過程可看作特征提取過程,其后的卷積層和全連接層對(duì)輸入的特征進(jìn)行重新整合并進(jìn)行參數(shù)的微調(diào),最終通過Softmax層對(duì)心電圖像進(jìn)行自動(dòng)分類。

(4)

利用Softmax分類器的代價(jià)函數(shù)可得到最終的分類結(jié)果:

(5)

其中,l{·}為示性函數(shù)。代價(jià)函數(shù)中對(duì)k個(gè)可能值進(jìn)行累計(jì),把輸入值分為第j類的概率在假設(shè)函數(shù)中給出,進(jìn)而對(duì)代價(jià)函數(shù)求導(dǎo),通過最小化代價(jià)函數(shù),實(shí)現(xiàn)對(duì)心電信號(hào)的分類。

2 心律失常分類實(shí)驗(yàn)

本文提出的心律失常分類流程如圖2所示。心電信號(hào)進(jìn)行心拍分割后,使用SMOTE算法進(jìn)行心電數(shù)據(jù)不平衡處理。通過格拉姆角場(chǎng)將心拍轉(zhuǎn)換為二維圖像后,用訓(xùn)練集訓(xùn)練設(shè)計(jì)的TCNN網(wǎng)絡(luò)進(jìn)行心律失常自動(dòng)分類,最后在驗(yàn)證集上驗(yàn)證模型的有效性。

圖2 心律失常分類流程圖Fig.2 Flow chart of arrhythmia classification

2.1 實(shí)驗(yàn)數(shù)據(jù)來源

本文實(shí)驗(yàn)數(shù)據(jù)來自美國(guó)麻省理工學(xué)院與Beth Israel醫(yī)院合作建立的MIT-BIH心律失常標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)對(duì)47個(gè)個(gè)體的動(dòng)態(tài)心電數(shù)據(jù)進(jìn)行采集,生成了48個(gè)時(shí)長(zhǎng)約為30 min的心電記錄文件。該數(shù)據(jù)庫(kù)包含15種心律失常類型。本文對(duì)其中常見的4種心律失常疾病,即左束支傳導(dǎo)阻滯(Left Bundle Branch Block,LBBB)、右束支傳導(dǎo)阻滯(Right Bundle Branch Block,RBBB)、房性早搏(Artial Premature Contraction,APC),室性早搏(Premature Ventricular Contraction,PVC)和正常(Normal,N)心電信號(hào)進(jìn)行分類,選擇的數(shù)據(jù)編號(hào)及樣本數(shù)量如表1所示。

表1 數(shù)據(jù)編號(hào)及樣本數(shù)量Table 1 Data number and sample size

2.2 心電信號(hào)去噪及心拍分割

心電信號(hào)是一類微弱的生理電信號(hào),信噪比較低。其噪聲來源主要是50 Hz的工頻干擾、低頻的基線漂移和肌電干擾。由于心電信號(hào)頻率范圍集中分布在1 Hz～45 Hz,因此本文使用巴特沃斯高通濾波器濾除0.7 Hz以下的基線漂移,使用45 Hz的巴特沃斯低通濾波器濾除工頻干擾和大部分肌電干擾。

濾除噪聲后要將連續(xù)的心電信號(hào)分割為單個(gè)的心拍。本文使用MIT-BIH官網(wǎng)的WFDB工具箱實(shí)現(xiàn)對(duì)心拍最高點(diǎn)(QRS波群)的檢測(cè)。之后在QRS波群位置前取100個(gè)點(diǎn),后取150個(gè)點(diǎn)進(jìn)行心拍分割。整個(gè)過程如圖3所示。

圖3 心拍分割過程Fig.3 Process of heart beat cutting

2.3 心拍數(shù)量不平衡處理

將心電信號(hào)分割成單個(gè)心拍實(shí)現(xiàn)了樣本數(shù)量的增多,有利于使用深度學(xué)習(xí)進(jìn)行自動(dòng)分類,但仍然存在類別之間樣本不平衡的問題。在醫(yī)學(xué)領(lǐng)域,疾病類型樣本的數(shù)量總是遠(yuǎn)遠(yuǎn)少于正常樣本的數(shù)量。如在表1中,正常心電信號(hào)的樣本數(shù)量明顯多于其余4種心律失常類型樣本的數(shù)量,這樣容易造成樣本較少那一類的高錯(cuò)分率。因此,需要對(duì)樣本數(shù)量進(jìn)行不平衡處理。在對(duì)Normal樣本隨機(jī)降采樣為7 000個(gè)后,本文采用一種新的過采樣方法——SMOTE方法,使LBBB、RBBB、APC和PVC的樣本數(shù)量與Normal的樣本數(shù)量相同。該算法的特點(diǎn)是:通過在少數(shù)類樣本與其K個(gè)最近鄰樣本之間線性內(nèi)插的方法合成新的樣本,合成公式如下:

Xnew=Xi+gif×(Xi,j-Xi)

(6)

其中,Xnew為新少數(shù)類樣本,Xi為第i個(gè)少數(shù)類樣本,Xi,j為第i個(gè)少數(shù)類樣本的第j個(gè)近鄰樣本,gif∈[0,1],為內(nèi)插時(shí)的隨機(jī)概率數(shù)。

2.4 一維信號(hào)到二維圖像的轉(zhuǎn)換

將平衡處理后的所有樣本通過格拉姆角場(chǎng)轉(zhuǎn)換為二維圖像,像素分辨率為434×434。在編號(hào)為100、109、118、232和106的數(shù)據(jù)中分別選取一個(gè)樣本進(jìn)行生成圖片的展示,如圖4所示,左邊為預(yù)處理后的心電信號(hào),右邊為經(jīng)過格拉姆角場(chǎng)轉(zhuǎn)換得到的二維圖像。

圖4 5種心電信號(hào)的二維圖像轉(zhuǎn)換圖Fig.4 Two-dimensional image conversion diagrams of five kinds of ECG signals

2.5 TCNN訓(xùn)練

將數(shù)據(jù)集圖像隨機(jī)分為兩部分:訓(xùn)練集30 000張和測(cè)試集5 000張,其中,訓(xùn)練集的20%作為驗(yàn)證集。得到的圖像樣本首先進(jìn)行預(yù)處理,裁剪為(224,224)的大小,并減去每個(gè)像素點(diǎn)顏色的平均值,然后送入設(shè)計(jì)好的模型進(jìn)行訓(xùn)練。因?yàn)閂GG16模型的結(jié)構(gòu)和權(quán)重均不改變,因此將VGG16前面的模型鎖住。圖像樣本經(jīng)過VGG16網(wǎng)絡(luò)的過程類似于特征提取過程,輸出的值送入卷積層進(jìn)行進(jìn)一步特征提取,接著送入全連接層進(jìn)行進(jìn)一步學(xué)習(xí),最終送入Softmax分類器進(jìn)行分類。全連接層的神經(jīng)元數(shù)量為512,設(shè)置dropout值為0.5,即每次訓(xùn)練時(shí),隨機(jī)停止一半的神經(jīng)元工作,剩余的一半用來訓(xùn)練,防止網(wǎng)絡(luò)結(jié)構(gòu)的過擬合。

2.6 評(píng)價(jià)指標(biāo)

采用總準(zhǔn)確率(Total Accuracy,TA)、靈敏度(Sensitivity,Se)和特異性(Specificity,Sp)3種方法對(duì)心律失常分類效果進(jìn)行分析和評(píng)估,計(jì)算公式如下:

(7)

(8)

(9)

其中,TP表示當(dāng)前心拍類型正確分類的心拍個(gè)數(shù),FP表示不屬于當(dāng)前心拍類型被錯(cuò)分為當(dāng)前心拍類型的心拍個(gè)數(shù),TN表示屬于當(dāng)前心拍類型而被錯(cuò)分為其他類型的心拍個(gè)數(shù),FN表示不屬于當(dāng)前心拍類型且被錯(cuò)分為其他類型的心拍個(gè)數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

本文模型在ASUS STRIX GL504,Intel i7 CPU,NVIDIA GTX 1060 GPU上訓(xùn)練,使用Keras框架。每次epoch訓(xùn)練時(shí)間平均為10 min,單張測(cè)試時(shí)間平均約為0.05 s。數(shù)據(jù)的去噪和心拍分割使用Matlab2017a實(shí)現(xiàn)。

經(jīng)過10次epoch的模型訓(xùn)練,得到圖5的訓(xùn)練結(jié)果。從圖5可以看出,驗(yàn)證集的損失值和精確率在第2次迭代后已十分平穩(wěn)且均優(yōu)于訓(xùn)練集的損失值和精確率,說明模型已經(jīng)訓(xùn)練得很好且沒有發(fā)生過擬合。

圖5 訓(xùn)練過程中損失值和精確率的變化Fig.5 Changes of loss value and accuracy rate during training

使用訓(xùn)練好的模型對(duì)測(cè)試集樣本進(jìn)行分類,得到的混淆矩陣如圖6所示。其中,橫縱坐標(biāo)0～4分別表示心電信號(hào)類型Normal、LBBB、RBBB、APC和PVC。矩陣中對(duì)角線上的元素個(gè)數(shù)為正確分類的樣本數(shù)量。從圖中可以看出,5種心電信號(hào)類型都達(dá)到了近乎完全正確的分類,有4個(gè)正常心拍被錯(cuò)分為APC和PVC,這可能是由于正常心拍的P波和異位心拍的P波之間細(xì)微的形態(tài)差異造成的[18]。

圖6 分類結(jié)果的混淆矩陣表示Fig.6 Confusion matrix representation of classification results

通過混淆矩陣計(jì)算分類的總準(zhǔn)確率、靈敏度和特異性,得到表2所示的評(píng)價(jià)指標(biāo)結(jié)果。從表2可以看出,除正常心拍的靈敏度外,其他指標(biāo)均達(dá)到99.80%以上,這驗(yàn)證了本文提出方法的有效性。

表2 心律失常分類的評(píng)價(jià)指標(biāo)結(jié)果Table 2 Results of evaluation index of arrhythmia classification %

將本文使用的ELMD方法與文獻(xiàn)[19-20]中的方法進(jìn)行比較。文獻(xiàn)[19]方法將心電信號(hào)轉(zhuǎn)為灰度圖,并使用基于AlexNet的遷移學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行心電信號(hào)的自動(dòng)二分類和五分類,其中五分類得到94.95%的分類準(zhǔn)確率;文獻(xiàn)[20]方法將心電信號(hào)進(jìn)行小波分解(Wavelet Packet,WT),將得到的小波分量送入LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行分類,得到99.39%的準(zhǔn)確率。通過對(duì)比可以發(fā)現(xiàn),本文使用的方法分類精確度99.82%更高,這驗(yàn)證了本文方法的優(yōu)越性。

4 結(jié)束語(yǔ)

針對(duì)心電信號(hào)心律失常分類問題,本文提出一種利用格拉姆角場(chǎng)將心電信號(hào)轉(zhuǎn)換為二維圖像的方法。通過對(duì)心電信號(hào)進(jìn)行數(shù)學(xué)變換,得到其格拉姆矩陣并轉(zhuǎn)換為二維圖像,同時(shí)保留信號(hào)信息的完整性和原始信號(hào)的時(shí)間依賴性。在此基礎(chǔ)上,設(shè)計(jì)基于遷移學(xué)習(xí)的遷移卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)心電信號(hào)進(jìn)行分類,其中VGG16部分無需調(diào)整參數(shù)即可提取心電圖像的有效特征,模型結(jié)構(gòu)簡(jiǎn)單且訓(xùn)練用時(shí)較少。實(shí)驗(yàn)結(jié)果表明,該模型分類的總準(zhǔn)確率達(dá)到99.82%,可實(shí)現(xiàn)對(duì)心律失常的有效分類。下一步將使用其他模型實(shí)現(xiàn)對(duì)更多心律失常類型的自動(dòng)分類,并且在更多數(shù)據(jù)庫(kù)的心電信號(hào)數(shù)據(jù)上進(jìn)行驗(yàn)證,以提高分類方法的實(shí)用性。