韓傳奇 崔莉

(*中國科學(xué)院計(jì)算技術(shù)研究所 北京 100190)

(**中國科學(xué)院大學(xué) 北京 100190)

0 引言

根據(jù)世界衛(wèi)生組織的統(tǒng)計(jì)數(shù)據(jù),心血管疾病(cardiovascular diseases,CVDs)每年可導(dǎo)致約1790萬人死亡,是世界范圍內(nèi)致死率第一的疾病[1]。2017 年,我國每5 例死亡病例就有2 例死于心血管疾病[2]。嚴(yán)峻的心血管疾病形勢給患者個人、家庭和國家都帶來了沉重的精神壓力和經(jīng)濟(jì)負(fù)擔(dān)。而根據(jù)相關(guān)調(diào)查,大約有90%的心血管疾病病例可以通過早期監(jiān)測配合健康的生活方式得到預(yù)防或改善[3]。

心律不齊是一種較為常見的心血管疾病,主要由心臟組織和活動的變化而引起,嚴(yán)重時會導(dǎo)致昏厥、心力衰竭甚至猝死。近年來,以Apple Watch、Huawei Watch 為代表的消費(fèi)級可穿戴設(shè)備通過搭載單導(dǎo)聯(lián)心電信號(electrocardiogram,ECG)傳感器,實(shí)現(xiàn)了以房顫為代表的心律不齊篩查功能?？纱┐髟O(shè)備憑借低成本、便攜的特點(diǎn),非常適合人們?nèi)粘Ｊ褂靡詫?shí)現(xiàn)主動式健康管理的目的,得到了人們的認(rèn)可。然而,現(xiàn)有的產(chǎn)品在ECG 分析過程中需要云端的支持。具體來說,可穿戴設(shè)備在使用ECG 分析功能前,需要先通過App 與移動設(shè)備建立連接。測量時,由可穿戴設(shè)備搭載的傳感器采集心電信號,之后通過藍(lán)牙等通訊方式將數(shù)據(jù)傳輸?shù)揭苿佣?再借由移動端網(wǎng)絡(luò)上傳到云端。該數(shù)據(jù)經(jīng)由醫(yī)生診斷或云端部署的算法推理得到結(jié)論后,將信息返回給用戶。上述過程將算力集中在云端服務(wù)器,需要可穿戴設(shè)備與移動設(shè)備傳送大量的數(shù)據(jù),增加了等待時延和用戶隱私泄露風(fēng)險。因此,設(shè)計(jì)一種可部署在移動端甚至是可穿戴設(shè)備上的模型,實(shí)現(xiàn)人工智能物聯(lián)網(wǎng)“端-邊-云”協(xié)同,對于提升心臟健康輔助診斷實(shí)用水平具有重要的意義。

在學(xué)術(shù)界,利用人工智能技術(shù)對單導(dǎo)聯(lián)ECG 數(shù)據(jù)進(jìn)行心律不齊的輔助診斷已有較多的研究,主要可分為基于特征工程的機(jī)器學(xué)習(xí)方法和基于端到端的深度學(xué)習(xí)方法。采用特征工程的機(jī)器學(xué)習(xí)方法首先需要對數(shù)據(jù)進(jìn)行預(yù)處理,之后研究人員根據(jù)醫(yī)學(xué)先驗(yàn)知識和自身經(jīng)驗(yàn)設(shè)計(jì)并優(yōu)化特征集,并將這些特征投入到諸如線性判別器(linear discriminants,LD)、支持向量機(jī)(support vector machine,SVM)等分類器中。此類方法具有模型體積小以及可解釋性強(qiáng)等優(yōu)點(diǎn)。然而特征工程通常需要耗費(fèi)大量的時間,對研究人員的醫(yī)學(xué)知識儲備亦提出較高的要求。而在大數(shù)據(jù)時代下,基于SVM 等傳統(tǒng)機(jī)器學(xué)習(xí)的算法在準(zhǔn)確率方面亦容易遇到瓶頸[4]。相比之下,深度學(xué)習(xí)模型具有端到端的訓(xùn)練推理方式,可以直接以經(jīng)過預(yù)處理甚至原始的心電信號為輸入,自動完成特征提取及分類。但為了抽象出包含復(fù)雜病理信息的特征,神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常較為復(fù)雜,參與訓(xùn)練的參數(shù)量規(guī)模可以達(dá)到百萬級甚至千萬級以上,對部署環(huán)境的算力提出了嚴(yán)苛的要求,不利于模型向移動端甚至邊緣端遷移和部署。此外,模型參數(shù)更新依賴于數(shù)據(jù)驅(qū)動,因此基于深度學(xué)習(xí)的方法在訓(xùn)練時對數(shù)據(jù)集的質(zhì)量有較高的要求。然而受采集難度等因素影響,目前業(yè)界公開的心律不齊數(shù)據(jù)庫通常規(guī)模較小且不同類別的樣本分布嚴(yán)重不均衡。以業(yè)界著名MIT-BIH 心律不齊數(shù)據(jù)庫[5]為例,該數(shù)據(jù)庫包含了47 位個體的ECG 數(shù)據(jù),僅有約30%的心拍類別為異常類別。在這種情況下,不同個體間生理存在的差異會對模型訓(xùn)練產(chǎn)生較大的干擾[6],這些因素共同導(dǎo)致深度學(xué)習(xí)模型在面對新的個體數(shù)據(jù)時無法對部分異常類別樣本開展實(shí)用化的篩查。

為解決上述問題,本文在現(xiàn)有經(jīng)典網(wǎng)絡(luò)的基礎(chǔ)上通過分析卷積神經(jīng)網(wǎng)絡(luò)特征圖維度及心電樣本特點(diǎn),提出了一種壓縮方案,使得模型能夠在大幅減少參數(shù)量的前提下保持較優(yōu)的分類能力。同時通過將類別先驗(yàn)概率引入損失函數(shù),使用logit adjusted loss[7]訓(xùn)練模型,增強(qiáng)了模型在識別異常類別上的性能。

論文的其余部分組織如下。第1 節(jié)介紹國內(nèi)外相關(guān)研究工作。第2 節(jié)給出本文所采用的心電分類算法框架,同時介紹了樣本預(yù)處理方法。第3 節(jié)介紹本文提出的壓縮卷積神經(jīng)網(wǎng)絡(luò)和采用的logit adjusted loss 訓(xùn)練模型細(xì)節(jié)。第4 節(jié)給出實(shí)驗(yàn)介紹和結(jié)果分析。第5 節(jié)對論文進(jìn)行總結(jié)。

1 相關(guān)研究

在基于特征工程的傳統(tǒng)機(jī)器學(xué)習(xí)方法中,文獻(xiàn)[8]基于醫(yī)學(xué)經(jīng)驗(yàn)設(shè)計(jì)了8 組時間域特征集,其中每組特征集包含RR 間期(RR-intervals)等20 余個特征。之后研究人員利用線性判別器按照美國醫(yī)療儀器促進(jìn)協(xié)會(The Association for the Advancement of Medical Instrumentation,AAMI)標(biāo)準(zhǔn)對5 種心律不齊做分類判別,其實(shí)驗(yàn)過程和結(jié)果在業(yè)界樹立了堅(jiān)實(shí)的基準(zhǔn)。文獻(xiàn)[9]則在此基礎(chǔ)上通過引入小波變換后的頻域特征提升分類效果。文獻(xiàn)[10]亦采用了線性判別器為分類器,所選用的特征除了歸一化的RR 間期外,還有利用小波分析和線性預(yù)測建模(linear prediction modeling)從原始波形中提取特征。文獻(xiàn)[11]和[12]分別利用粒子群算法和遺傳算法優(yōu)化特征選擇,之后以SVM 為分類器進(jìn)行心電異常識別。不同于上述采用單分類器的方法,文獻(xiàn)[13]先將PT 段波形作為輸入,利用SVM 中進(jìn)行心律不齊初級分類;之后根據(jù)基于RR 間期的先驗(yàn)規(guī)則進(jìn)行二級分類,并在仿真實(shí)驗(yàn)中取得了良好的泛化表現(xiàn)。

近年來,深度學(xué)習(xí)已在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域取得了巨大的成就。憑借深度學(xué)習(xí)強(qiáng)大的數(shù)據(jù)挖掘能力,利用其進(jìn)行心律不齊分類也得到大量科研人員的研究。文獻(xiàn)[14]通過設(shè)計(jì)33 層的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)取得了專家級精度的分類算法。文獻(xiàn)[15]利用自動編碼器(AutoEncoder)對原始信號進(jìn)行降維,并通過長短時記憶網(wǎng)絡(luò)(long-short term memory,LSTM)捕捉時序依賴進(jìn)行分類。文獻(xiàn)[16]則在單層LSTM 基礎(chǔ)上疊加了一層反向網(wǎng)絡(luò),以此捕捉雙向時序關(guān)聯(lián)信息,并通過引入注意力機(jī)制進(jìn)一步優(yōu)化特征權(quán)重。最近話題熱度很高的Transformer 模型[17],在心電分類任務(wù)上也得到了相關(guān)應(yīng)用[18-19]。這些方法在分類精度方法取得了比傳統(tǒng)機(jī)器學(xué)習(xí)方法更優(yōu)的評價指標(biāo),但突出的問題是模型體積過大,如文獻(xiàn)[14]的可訓(xùn)練參數(shù)量達(dá)到千萬級,為訓(xùn)練如此龐大的模型,其采用的私有數(shù)據(jù)集包含有53 549 位個體的91 232條ECG 數(shù)據(jù)。而基于規(guī)模較小的公開數(shù)據(jù)集的方法中,通常采用SMOTE(synthetic minority oversampling technique)[20]等生成式數(shù)據(jù)增強(qiáng)方法對數(shù)量較少的異常樣本進(jìn)行擴(kuò)充,從而增強(qiáng)模型對異常類別的識別能力。然而這種方法增加了模型的訓(xùn)練負(fù)擔(dān)和周期。此外對于心律不齊分類任務(wù)來說,心電圖微小的差異都可能對應(yīng)不同的診斷結(jié)果,因此并非所有的生成數(shù)據(jù)均能保證有效可靠。

2 心律不齊分類方法

2.1 心律不齊分類框架

心律不齊分類任務(wù)的目標(biāo)是,給定心電圖樣本集X作為輸入,通過模型推理得到標(biāo)簽集Y′,使其與真實(shí)標(biāo)簽集Y的誤差盡可能小。為此,本文提出的心電分類通用架構(gòu)如圖1 所示,其主要分為3 個部分,分別是數(shù)據(jù)預(yù)處理、模型構(gòu)建與心律不齊分類。數(shù)據(jù)預(yù)處理則包含樣本去噪、樣本切片、質(zhì)量評估和樣本歸一化等。

圖1 心律不齊分類任務(wù)框架圖

2.2 數(shù)據(jù)預(yù)處理

心電信號在采集過程中可能受到環(huán)境干擾或動作擾動的影響而帶有噪音。為獲取高質(zhì)量心電信號,本文采用的去噪策略如下:首先,分別以200 ms和600 ms 為窗口寬度進(jìn)行中值濾波,獲取心電圖基線;之后通過做差去除基線飄移;接下來,以coif5 為母小波,利用離散小波變換(discrete wavelet transform,DWT)的方法去除高頻噪音。經(jīng)過上述處理,心電信號已具備較高的信噪比,初步滿足后續(xù)分析需求。

在得到高質(zhì)量數(shù)據(jù)后,需要將數(shù)據(jù)切分成固定長度的樣本作為模型的輸入。如圖2 所示,正常的心拍波形圖包含5 個關(guān)鍵波群,分別為P 波、QRS 波群和T 波。其中P 波反映心房的除極活動,QRS 波群和T波則分別反映心室的除極和復(fù)極活動。為保證固定長度的樣本包含上述波群,本文首先利用Pan-Tompkins 方法[21]定位心電圖中最明顯的R 波,之后以R 波為基準(zhǔn),取其前0.28 s 和后0.45 s 的心電信號作為波形樣本。經(jīng)過切片后的樣本為單心拍的ECG 波形數(shù)據(jù),為了保留對心律不齊分類有重要作用的多心拍時序關(guān)聯(lián)信息,在切片過程中同時記錄下當(dāng)前心拍與前后相鄰心拍間的RR 間隔,記為RR_pre 和RR_post,并據(jù)此計(jì)算出個體平均心拍間隔RR_avg。以360 Hz 采樣率為例,經(jīng)過上述處理后獲得了由260 個采樣點(diǎn)組成的波形數(shù)據(jù)和3 個時間間隔數(shù)據(jù)組成的心拍樣本。

圖2 正常心拍的ECG 波形圖

在送入模型前,樣本還需要經(jīng)過質(zhì)量評估。未通過評估的樣本將被視為噪音數(shù)據(jù)而被丟棄。在本文中,當(dāng)RR_pre 或RR_post 大于2 s 時,會被認(rèn)為當(dāng)前心拍樣本在采集過程中出現(xiàn)了電極片脫落等意外事件,進(jìn)而被標(biāo)記為噪音數(shù)據(jù)。每條通過質(zhì)量評估的ECG 信號x,其波形幅值將進(jìn)一步經(jīng)過minmax 標(biāo)準(zhǔn)化處理,使其范圍控制在[0,1]內(nèi):

標(biāo)準(zhǔn)化處理后的心電信號為xn,利用xn進(jìn)行訓(xùn)練有主題加快模型的收斂速度。

3 壓縮卷積神經(jīng)網(wǎng)絡(luò)分類模型

3.1 基礎(chǔ)模型構(gòu)建

完整的卷積神經(jīng)網(wǎng)絡(luò)通常包含卷積層、池化層和全連接層。其中在卷積層中包含有多個卷積核(kernel)與該層輸入進(jìn)行卷積運(yùn)算。在圖像卷積中,淺層的卷積核通常起到檢測邊緣等局部信息的作用。而伴隨著網(wǎng)絡(luò)的加深,卷積核提取到的特征也越來越豐富,表達(dá)能力也更強(qiáng)。

VGG16 網(wǎng)絡(luò)是在2014 年由牛津大學(xué)和Google DeepMind 公司的研究人員合作研發(fā)的深度網(wǎng)絡(luò)模型[22]。該網(wǎng)絡(luò)包含13 個卷積層、5 個池化層和3 個全連接層。VGG16 在ILSVRC 2014 比賽中大放異彩,取得了分類項(xiàng)目第2 名、定位項(xiàng)目第1 名的優(yōu)異成績。VGG 網(wǎng)絡(luò)結(jié)構(gòu)簡潔、泛化性能好,至今仍然在許多研究中擔(dān)任骨干網(wǎng)絡(luò)(backbone)。本文以該網(wǎng)絡(luò)為基礎(chǔ),設(shè)計(jì)心律不齊分類模型。

由于VGG16 在設(shè)計(jì)時的初衷是針對計(jì)算機(jī)視覺任務(wù),其輸入為3×W×H的紅綠藍(lán)(red green blue,RGB)圖像。而在心電分類任務(wù)中,其輸入為維度1×W的時序信號,因此本文將該網(wǎng)絡(luò)中的二維卷積及池化操作更改為一維運(yùn)算并命名為1d-VGG。由于波形數(shù)據(jù)通過卷積網(wǎng)絡(luò)后將映射為高維度的特征圖(feature map),為取得相同維度的時間域特征,RR_pre,RR_post 及RR_avg 亦將通過2層卷積網(wǎng)絡(luò)做嵌入升維(embedding),并同波形特征圖拼接后作為全連接網(wǎng)絡(luò)的輸入。上述網(wǎng)絡(luò)的結(jié)構(gòu)如圖3(a)所示。

圖3 1d-VGG 和cpr-VGG 網(wǎng)絡(luò)結(jié)構(gòu)圖

經(jīng)過計(jì)算,1d-VGG 網(wǎng)絡(luò)的訓(xùn)練參數(shù)量為28.4 M,規(guī)模較為龐大。需要進(jìn)一步壓縮以適配移動端部署條件。

3.2 模型壓縮

卷積神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的加深,其特征圖感受野也在擴(kuò)大。以圖3(a)所示的結(jié)構(gòu)為例,若以連續(xù)多個卷積層和1 個maxpool 層為1 個卷積模塊(block),則圖中包含的5 個卷積模塊輸出的特征感受野如表1 所示。對于淺層特征,其感受野相對較小,關(guān)注的是ECG 局部細(xì)節(jié)信息;而對于深層特征,其側(cè)重捕捉心電圖局部特征的上下文關(guān)聯(lián)。

表1 1d-VGG 網(wǎng)絡(luò)卷積模塊的特征感受野

在心律不齊分類中,異常的病癥會導(dǎo)致ECG 關(guān)鍵波群形態(tài)有明顯變化。比如房顫(atrial fibrillation,AF)發(fā)生時通常伴隨著P 波消失和QRS 波肥大[23]。這些異常變化對于準(zhǔn)確識別異常病癥至關(guān)重要。正常人的P 波以及QRS 波的時長通常不超過0.11 s,以360 Hz 的采樣率計(jì)算,上述波群在樣本中約占40 個采樣點(diǎn)。根據(jù)表1 不難看出,淺層的卷積層可以起到異常波群檢測的作用。而對于深層卷積層提取的特征,它們的維度更高,表達(dá)能力更強(qiáng),但分辨率較低。結(jié)合心律不齊分類的診斷依據(jù),其包含的冗余信息也相應(yīng)增加。這些信息對心電分類助力有限,反而可能使模型過分拘泥于病人的一些個體差異,降低泛化性能。事實(shí)上,文獻(xiàn)[24-26]在圖像分類任務(wù)中亦對VGG 網(wǎng)絡(luò)深層特征圖包含較多的冗余信息有近似的結(jié)論。

為此,在1d-VGG 的基礎(chǔ)上對深層網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整(見圖3(b)),具體來講,保留1d-VGG 骨干網(wǎng)絡(luò)中前2 個卷積模塊中的設(shè)定。伴隨著深度的加深,卷積核數(shù)量的壓縮率也相應(yīng)增加(見表2),以此促使網(wǎng)絡(luò)在深層特征選擇上關(guān)注更多有用的信息。RR 時序特征嵌入網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)參數(shù)也根據(jù)波形特征圖維度的變化做相應(yīng)的調(diào)整。經(jīng)過上述操作,cpr-VGG 網(wǎng)絡(luò)的訓(xùn)練參數(shù)量壓縮為0.5 M,相比壓縮前降低了98.2%。

表2 cpr-VGG 網(wǎng)絡(luò)卷積核壓縮率設(shè)置

3.3 模型訓(xùn)練

分類任務(wù)中,真實(shí)類別為y的樣本x在經(jīng)過模型f(·) 的非線性擬合后,對每一個類別輸出一個logit,即fy′(x)。這些logit 通過Softmax 函數(shù),映射為樣本x對應(yīng)不同類別L的概率。對于其真實(shí)類別y,輸出概率為

通過對數(shù)據(jù)集中每一個樣本進(jìn)行上述映射,可以得到一個擬合分布Q,其與真實(shí)分布P之間的差異可通過KL 散度(Kullback-Leibler divergence)計(jì)算:

其中,H(P(x)) 為真實(shí)分布的熵,其數(shù)值在一個數(shù)據(jù)集上為定值。因此,衡量上述差異的關(guān)鍵在于式(3)的后一項(xiàng)。將式(2)代入該項(xiàng)中,可得到樣本x對應(yīng)的交叉熵(cross entropy,CE)損失:

在計(jì)算得到該損失值后,便可以通過反向傳導(dǎo)更新模型參數(shù),使得擬合分布與真實(shí)分布的差異逐步縮小。對于數(shù)據(jù)集D中的多個樣本,其在反向傳導(dǎo)所用的損失函數(shù)值為多個樣本結(jié)果的平均值:

其中N為樣本個數(shù)。式(5)為分類任務(wù)中最常用的損失函數(shù)。

通過優(yōu)化式(5)訓(xùn)練的模型將取得最小平均誤差。然而如前文所述,在實(shí)際訓(xùn)練時采用的數(shù)據(jù)庫往往存在著嚴(yán)重的疾病類別不平衡的情況。在這種情況下,將數(shù)據(jù)集D視為|L| 個類別數(shù)據(jù)的集合,即D=,其中Dj包含的樣本數(shù)為nj,則式(5)可以進(jìn)一步推導(dǎo)為

由式(6)不難看出,對于數(shù)據(jù)集中數(shù)量最多的優(yōu)勢類別(通常為正常類別),其在計(jì)算損失函數(shù)中占有的權(quán)重也最大。因此,采用傳統(tǒng)的交叉熵?fù)p失函數(shù)在類別分布不平衡的條件下,將導(dǎo)致模型更關(guān)注優(yōu)勢類別的誤差率而容易對數(shù)量較少的異常樣本造成誤診。

為使模型能公平地對待每一種類別上的誤差,引入平衡錯誤率[27](balanced error rate,BER),其定義如下:

與式(6)相比,式(7)在計(jì)算錯誤率時對每個類別使用了均衡的類別概率。為了得到最小平衡錯誤率,期望模型f(·) 學(xué)習(xí)到的數(shù)據(jù)分布Pbal(y|x)具有均衡的類別概率。為方便說明,將理想的分類器記為f*(·),從而有:

根據(jù)貝葉斯公式,式(9)又可推導(dǎo)為

注意到在式(2)中,有P(y|x) ∝exp(fy(x)),將其代入式(10),便可以推出:

由式(11)不難看出,取得最小平衡錯誤率的理想分類器f*(·) 與當(dāng)前取得最小平均誤差的分類器在logit 上相差一個偏移項(xiàng)lnP(y)。因此只需要將該偏移項(xiàng)與模型logit 相加后代入式(4)表示的傳統(tǒng)交叉熵?fù)p失函數(shù),得到式(12),便可以通過優(yōu)化該損失函數(shù)訓(xùn)練得到理想分類器。

4 實(shí)驗(yàn)及驗(yàn)證

4.1 數(shù)據(jù)來源

本文實(shí)驗(yàn)采用業(yè)界知名MIT-BIH(MITDB)心律不齊數(shù)據(jù)庫。該數(shù)據(jù)庫包含48 條時長約為30 min的二導(dǎo)聯(lián)數(shù)據(jù),采樣率為360 Hz。按照文獻(xiàn)[4]方法,移除4 條含有起搏器因素的數(shù)據(jù)。為適應(yīng)可穿戴設(shè)備的應(yīng)用需求,僅利用II 導(dǎo)聯(lián)數(shù)據(jù)作為實(shí)驗(yàn)分析對象。之后,按照AAMI 標(biāo)準(zhǔn)將MIT-BIH 數(shù)據(jù)庫標(biāo)簽映射為5 大類:非異位搏動(N)、室上性異位搏動(S)、室性異位搏動(V)、混合搏動(F)及未知搏動(Q)。其映射關(guān)系如表3 所示。

表3 類別標(biāo)簽映射關(guān)系

在劃分?jǐn)?shù)據(jù)集時,采用更能測試模型泛化性能的患者間范式(inter-patient paradigm),其中訓(xùn)練集和測試集均包含來自22 位不同個體的數(shù)據(jù),相應(yīng)的個體編號及樣本類別分布情況見表4。由于F類與Q類的樣本數(shù)量過少,在后續(xù)討論中本文將聚焦于其他3 個主要類別的效果評估中。

表4 數(shù)據(jù)集樣本分布統(tǒng)計(jì)表

4.2 評估指標(biāo)

本文選用靈敏度(sensitivity,Sen)、精準(zhǔn)率(precision,Pre)和F1 值作為衡量模型分類表現(xiàn)的客觀指標(biāo)。靈敏度反映的是模型對正例的查全水平,而精準(zhǔn)率反映的是模型對正例的查準(zhǔn)水平。由于靈敏度和精準(zhǔn)率在多數(shù)情況下是一對矛盾的度量指標(biāo),因此有F1 值作為權(quán)衡二者的綜合度量。對于多分類任務(wù),進(jìn)一步計(jì)算了宏F1(macro-F1)。上述指標(biāo)的計(jì)算公式如式(13)所示,其中TP、FP和FN分別代表真陽性、假陽性和假陰性樣本個數(shù)。

4.3 訓(xùn)練設(shè)定

本文方法基于Python 3.7 實(shí)現(xiàn),采用Pytorch 1.7.1作為深度學(xué)習(xí)框架,在高性能GPU 服務(wù)器上進(jìn)行實(shí)驗(yàn)。具體的配置為AMD EPYC7502 32 核處理器,64 GB 內(nèi)存,RTX3090(24 GB)顯卡。

本文實(shí)驗(yàn)采用Adam(adaptive moment estimation)[28]優(yōu)化器,它可以計(jì)算每個參數(shù)的自適應(yīng)學(xué)習(xí)率。在實(shí)際應(yīng)用中Adam 被證實(shí)具有收斂速度快、學(xué)習(xí)效果良好等優(yōu)點(diǎn),其默認(rèn)參數(shù)就能解決許多神經(jīng)網(wǎng)絡(luò)優(yōu)化問題,因此本文的初始學(xué)習(xí)率亦設(shè)為默認(rèn)的0.001。本文的批大小(batch size)設(shè)為128,該設(shè)定亦被許多相關(guān)文獻(xiàn)采用[14-15,19]。為衡量模型在訓(xùn)練中的表現(xiàn),從訓(xùn)練集中隨機(jī)選取30%數(shù)據(jù)作為驗(yàn)證集。當(dāng)驗(yàn)證集損失函數(shù)在連續(xù)5 輪迭代(epoch)中未出現(xiàn)下降時,模型學(xué)習(xí)率降為之前的10%。當(dāng)損失函數(shù)連續(xù)12 輪未下降時,模型停止訓(xùn)練,輸出訓(xùn)練過程中取得最小損失函數(shù)的模型參數(shù)用于后續(xù)測試。具體訓(xùn)練算法如算法1 所示。

4.4 實(shí)驗(yàn)結(jié)果與分析

本文以未經(jīng)壓縮的1d-VGG 為baseline 模型,同時以壓縮后的cpr-VGG 作為對照組,分別按照上一節(jié)內(nèi)容展開訓(xùn)練。二者在測試集的分類混淆矩陣分別如表5 和6 所示。之后,根據(jù)式(13)計(jì)算相關(guān)評價指標(biāo),對比結(jié)果如表7 所示。為衡量logit adjusted loss 模型的作用,本文進(jìn)一步開展了以經(jīng)典交叉熵作為損失函數(shù)的消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果亦列于表7 中。從該表可以看出,經(jīng)過壓縮后的cpr-VGG 模型在S 類的F1 值增加0.01,N 類的F1 值下降0.01,而V 類的F1 值下降最為明顯。之所以出現(xiàn)如此明顯的下降,是因?yàn)镹 類的靈敏度下降0.02,而由于N 類是主導(dǎo)類別,占據(jù)測試集樣本總數(shù)的90%,其靈敏度的下降將極大影響其他弱勢類別的指標(biāo)。例如,有近1301個N 類樣本被誤分為V 類,進(jìn)而削弱了cpr-VGG 在識別該類異常的特異度。然而考慮到cpr-VGG 相比1d-VGG 在參數(shù)量上減少了98.2%而宏F1 值僅下降0.03,因此本文認(rèn)為cpr-VGG 憑借更輕巧的特點(diǎn)更適合賦能可穿戴設(shè)備實(shí)現(xiàn)本地心律不齊分類功能。

表5 1d-VGG+logit adjusted loss 分類混淆矩陣

表6 cpr-VGG+logit adjusted loss 分類混淆矩陣

表7 消融實(shí)驗(yàn)對比結(jié)果

為進(jìn)一步分析cpr-VGG 的分類表現(xiàn),本文對同樣采用MITDB 數(shù)據(jù)庫的典型相關(guān)文獻(xiàn)進(jìn)行對比。從表8 可以看出,cpr-VGG 取得了最優(yōu)的宏F1 值,表明其可以較好地完成多分類心律不齊分類任務(wù)。

表8 cpr-VGG 與相關(guān)工作的對比結(jié)果

在采用交叉熵為損失函數(shù)的消融實(shí)驗(yàn)中,根據(jù)表7 不難看出1d-VGG 和cpr-VGG 的宏F1 值均出現(xiàn)了明顯的下降,其主要原因是模型在室上性異位搏動(S)類別上表現(xiàn)較差:靈敏度分別為0.42 和0.43。與此同時,大量的該類樣本被誤分為主導(dǎo)類別N 類。上述結(jié)果印證了深度學(xué)習(xí)模型在類別不均衡條件下訓(xùn)練可能導(dǎo)致其對數(shù)量較少的異常樣本誤診率提高,同時也體現(xiàn)出logit adjusted loss 模型對于緩解該問題的突出貢獻(xiàn)。需要注意的是,采用交叉熵作為損失函數(shù)并未對室性異位搏動類樣本(V 類)識別上造成明顯的影響。為分析原因,本文將N、S 和V3類樣本的平均波形圖繪制如圖4所示?？梢灾庇^地發(fā)現(xiàn),V 類的形狀與其他2 類有較為明顯的差異。這種差異可以幫助模型在訓(xùn)練時將V 類樣本映射到與其他類別邊界距離足夠大的空間,因此可以降低類別不平衡帶來的不利影響。

圖4 心律不齊主要類別樣本平均波形圖

5 結(jié)論

具備健康管理功能的可穿戴設(shè)備引起了市場的強(qiáng)烈反響。但是受制于資源限制,在移動端甚至邊緣端部署深度學(xué)習(xí)模型對于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)提出了嚴(yán)苛的要求。此外,數(shù)據(jù)類別不平衡問題極大地影響著模型在異常類別上的分類性能,對模型的實(shí)用性提出嚴(yán)峻的挑戰(zhàn)。針對該問題,本文提出了一種經(jīng)過壓縮的cpr-VGG 模型,實(shí)現(xiàn)單導(dǎo)聯(lián)心律不齊分類。相比于1d-VGG 模型基準(zhǔn),新的模型大幅減少參數(shù)數(shù)量,提升了模型的部署能力。另一方面,為改善模型在類別不平衡數(shù)據(jù)集上的分類表現(xiàn),本文以引入類別先驗(yàn)分布的logit adjusted loss 作為損失函數(shù),在不增加訓(xùn)練負(fù)擔(dān)的前提下改善了模型的性能。在實(shí)驗(yàn)驗(yàn)證中,cpr-VGG 表現(xiàn)出與未經(jīng)壓縮的1d-VGG 相近的分類性能,與典型同類工作相比也取得了更高的多分類評價指標(biāo)。未來的研究工作包括設(shè)計(jì)更精細(xì)化的剪枝壓縮方法和構(gòu)建更合理的樣本組織形式,以進(jìn)一步提升模型在心律不齊分類中的綜合表現(xiàn)。