蒿敬波,陽廣賢,肖湘江,陶 陽

(1.南昌工學(xué)院 信息與人工智能學(xué)院,江西 南昌 330108;2.湖南超能機(jī)器人,湖南 長沙 410003;3.湖南省兒童醫(yī)院,湖南 長沙 410007)

0 引 言

兒童先天性心臟病(先心病)的早期篩查十分重要,但是對于醫(yī)療資源相對匱乏的偏遠(yuǎn)地區(qū)來說實(shí)施起來卻比較困難。心音自動(dòng)分析與模式識別技術(shù)[1-3]的發(fā)展,特別是深度學(xué)習(xí)方法的卓越表現(xiàn),以及多種心音數(shù)據(jù)庫[4-5]的建立,為該問題的解決提供了有力支持。目前國外的3M、Eko和國內(nèi)的奧圖無線等科技公司已經(jīng)在心音的數(shù)字化聽診、無線數(shù)據(jù)傳輸和自動(dòng)分析等方面進(jìn)行了有效嘗試,展現(xiàn)出良好的應(yīng)用前景和發(fā)展?jié)摿Α?/p>

典型的基于深度學(xué)習(xí)的心音分類過程如圖1所示,該范例從某種程度來講幾乎適用于所有的心音分類應(yīng)用。受診者的心音波動(dòng)可以通過電子聽診器采集并保存為數(shù)字化的心音記錄,再經(jīng)過濾波、降采樣、截取、歸一化、分割等預(yù)處理操作,得到干凈規(guī)整的心音數(shù)據(jù)。針對心音數(shù)據(jù),可以生成人工設(shè)計(jì)的心音特征表示,如時(shí)域、頻域或時(shí)頻域的特征向量、頻譜圖等。最后利用深度神經(jīng)網(wǎng)絡(luò)提取深度語義特征,并根據(jù)提取到的特征進(jìn)行心音分類。

圖1 基于深度學(xué)習(xí)的心音分類過程

心音的采集和預(yù)處理技術(shù)已經(jīng)較為成熟,當(dāng)前研究更多集中于心音分割與心音特征提取上面,而后者正是深度學(xué)習(xí)技術(shù)的優(yōu)勢所在。心音分割旨在確定基礎(chǔ)心音(第1心音和第2心音)的位置,對心音特征提取方案的選擇具有重要影響。傳統(tǒng)的心音分類方案為保證特征提取質(zhì)量,對心音分割具有較高要求。隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展和對應(yīng)的特征提取能力的顯著提升,逐漸趨向于不進(jìn)行心音分割,以簡化操作步驟并避免心音定位錯(cuò)誤的不良影響。心音特征提取旨在從心音數(shù)據(jù)中獲取有效信息,形成具有充分表現(xiàn)能力的描述形式,供分類器使用并提升準(zhǔn)確率。在分類器設(shè)計(jì)當(dāng)中,傳統(tǒng)機(jī)器學(xué)習(xí)方法依賴人工的特征生成與特征選擇方式來確定最終分類所需特征,而深度學(xué)習(xí)方法則利用表示學(xué)習(xí)技術(shù)訓(xùn)練深度學(xué)習(xí)模型,自動(dòng)從較為原始或較高維度的數(shù)據(jù)中提取合適的特征。

該文以心音小波譜圖作為深度學(xué)習(xí)模型的輸入數(shù)據(jù),充分展現(xiàn)了心音的深層時(shí)頻信息,同時(shí)基于最新的Transformer架構(gòu)深度神經(jīng)網(wǎng)絡(luò),以取得最佳的組合效果。在模型的實(shí)際部署中利用了云端的強(qiáng)大算力,快速準(zhǔn)確地完成異常心音識別任務(wù),助力兒童先心病的早期篩查。

1 相關(guān)工作

1.1 心音特征表示

心音數(shù)據(jù)是一種非平穩(wěn)時(shí)間序列,可根據(jù)實(shí)際情況采用時(shí)域、頻域或時(shí)頻分析方法進(jìn)行心音數(shù)據(jù)建模,并由此決定適合提取的心音特征,具體示例如表1所示。

表1 心音特征示例

基于傳統(tǒng)機(jī)器學(xué)習(xí)的心音分類模型,如邏輯回歸、隨機(jī)森林和支持向量機(jī)等,通常需進(jìn)行心音分割,采用壓縮的特征向量,有效信息損失較多;基于深度學(xué)習(xí)的心音分類模型,集深度特征提取與分類功能于一體,可以直接輸入原始心音數(shù)據(jù)或高分辨率的頻譜圖像,從而保留了絕大多數(shù)有效信息。

1.2 深度學(xué)習(xí)圖像分類

執(zhí)行效率與分類準(zhǔn)確率之間的平衡一直是基于深度學(xué)習(xí)的圖像分類應(yīng)用所面臨的關(guān)鍵問題,為此發(fā)展出了一系列深度學(xué)習(xí)分類模型。

AlexNet[15]網(wǎng)絡(luò)是第一種為人熟知的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)分類模型,包含五個(gè)卷積層和三個(gè)全連接層,引入了隨機(jī)失活、修正線性單元、重疊池化和局部響應(yīng)歸一化等新技術(shù)。VGG[16]網(wǎng)絡(luò)通過改用較小的3×3卷積核并同時(shí)增加網(wǎng)絡(luò)深度到最高19層,取得了明顯的性能提升。ResNet[17]網(wǎng)絡(luò)利用深度殘差結(jié)構(gòu)克服了CNN的深度退化問題,使得網(wǎng)絡(luò)深度最大可以達(dá)到152層,并且引入批歸一化來加快訓(xùn)練速度,獲得了里程碑式的分類效果。

近年來,Transformer模型架構(gòu)在自然語言處理領(lǐng)域取得了巨大成功,并且開始逐漸向機(jī)器視覺領(lǐng)域轉(zhuǎn)移[18]。Transformer模型的兩個(gè)關(guān)鍵技術(shù)優(yōu)勢在于自注意力[19]和預(yù)訓(xùn)練機(jī)制,其中最為核心的自注意力機(jī)制對于機(jī)器視覺任務(wù)來說尤顯重要,特別是音頻信號這類時(shí)序數(shù)據(jù)的譜圖分析。

2 系統(tǒng)設(shè)計(jì)

2.1 總體流程

為了實(shí)現(xiàn)兼顧便利性、實(shí)時(shí)性和準(zhǔn)確性的兒童異常心音識別,系統(tǒng)開發(fā)的總體流程如圖2所示。

圖2 總體開發(fā)流程

系統(tǒng)開發(fā)流程可以分為三個(gè)主要階段,第一階段是心音數(shù)據(jù)的處理,第二階段是心音分類模型的構(gòu)建,第三階段是應(yīng)用系統(tǒng)的部署。

2.2 數(shù)據(jù)處理

臨床慣用心音聽診部位有五個(gè),包括:二尖瓣區(qū),心尖搏動(dòng)最強(qiáng)點(diǎn),位于左鎖骨中線內(nèi)側(cè)第五肋間處;肺動(dòng)脈瓣區(qū),位于胸骨左緣第二肋間;主動(dòng)脈瓣區(qū),位于胸骨右緣第二肋間;主動(dòng)脈瓣第二聽診區(qū),位于胸骨左緣第三肋間;三尖瓣區(qū),位于胸骨左緣第四、五肋間。不同聽診區(qū)適于不同心臟疾病的診斷,因此在進(jìn)行心音采集時(shí),由專業(yè)醫(yī)生判定對應(yīng)的心音屬于正常還是異常心音,選定一個(gè)聽診部位,利用電子聽診器采集15～20秒左右心音信號并保存為MP3文件,形成心音數(shù)據(jù)集,按照5∶2∶3的大致比例分為訓(xùn)練集、驗(yàn)證集與測試集。

讀取訓(xùn)練集和驗(yàn)證集中的每個(gè)音頻文件,削平萬分之五的異常峰值。

使用3階巴特沃斯濾波器進(jìn)行帶通濾波,截止頻率分別為20 Hz和500 Hz。巴特沃斯濾波器又稱最大平坦濾波器,其特點(diǎn)是通頻帶內(nèi)的頻率響應(yīng)曲線最大限度平坦,而在阻頻帶則逐漸下降為零。1階巴特沃斯濾波器的衰減率為每倍頻6分貝,2階巴特沃斯濾波器的衰減率為每倍頻12分貝,3階巴特沃斯濾波器的衰減率為每倍頻18分貝,依此類推。由于該濾波器設(shè)計(jì)和實(shí)現(xiàn)簡單,性能方面又沒有明顯缺限,因而在工程領(lǐng)域得到了廣泛應(yīng)用。

使用Sinc插值方法進(jìn)行數(shù)據(jù)重采樣,將心音數(shù)據(jù)的采樣率降為2 000。Sinc插值算法是一種從離散實(shí)信號構(gòu)造時(shí)間連續(xù)帶限函數(shù)的方法,是信號處理領(lǐng)域常用的插值補(bǔ)間算法,廣泛用于振動(dòng)信號及圖形信號的擬合。Sinc插值在頻域表現(xiàn)為一個(gè)只保留奈奎斯特頻率以下的理想低通濾波器,重建的信號更符合大部分的自然信號規(guī)律。

使用BayesShrink閾值估計(jì)方法進(jìn)行小波去噪?；陔x散小波變換的去噪方法可在降低噪聲的同時(shí)較好地保持信號細(xì)節(jié),最常見的方法是閾值去噪法,而閾值估計(jì)是其中的關(guān)鍵步驟。目前常用的小波閾值包括VisuShrink閾值、SUREShrink閾值、GCV閾值和BayesShrink閾值等。BayesShrink閾值考慮了原始信號小波系數(shù)的廣義高斯分布的先驗(yàn)信息,因此估計(jì)的閾值誤差更小。這里選用db6小波,不僅去噪效果良好,同時(shí)信號有效成分也可以得到最大限度的保留。

以8 000為幀長(對應(yīng)4秒時(shí)長心音片段),4 000為步長,從心音數(shù)據(jù)居中位置得到5個(gè)數(shù)據(jù)幀。全部數(shù)據(jù)幀統(tǒng)一進(jìn)行標(biāo)準(zhǔn)化處理,將數(shù)據(jù)取值限制在區(qū)間[-1,1]。

基于Hilbert變換進(jìn)行心音包絡(luò)檢查。Hilbert變換是開展信號包絡(luò)分析的常用方法,首先將原始信號轉(zhuǎn)變?yōu)閺?fù)解析信號,再將復(fù)信號的模作為信號包絡(luò)。對于每幀心音數(shù)據(jù),由上式可以得到對應(yīng)的Hilbert包絡(luò)。取每秒內(nèi)包絡(luò)峰值(共4個(gè))平均值的40%作為心跳閾值,以1 000為窗口長度進(jìn)行移動(dòng),若窗口內(nèi)最大值超過閾值則記為一次心跳,從而可以求得每幀數(shù)據(jù)對應(yīng)的心跳數(shù),進(jìn)而可以推算出每分鐘的心率,而5個(gè)數(shù)據(jù)幀對應(yīng)的結(jié)果平均后即可作為參考心率。若得到的參考心率小于30或大于240,則認(rèn)為該數(shù)據(jù)有效,否則為無效數(shù)據(jù),以避免劣質(zhì)音頻數(shù)據(jù)的影響。

由每幀數(shù)據(jù)生成一個(gè)復(fù)Morlet小波譜圖。連續(xù)小波變換(Continuous Wavelet Transform,CWT)是刻畫心音等非平穩(wěn)信號時(shí)頻特征的有力工具,其他經(jīng)典的時(shí)頻分析工具通?；诙虝r(shí)傅里葉變換(Short-Time Fourier Transform,STFT),其時(shí)頻分析窗口大小固定,在時(shí)間分辨率與頻率分辨率上難以取得理想的平衡。小波分析將信號分解成一系列小波函數(shù)的疊加,這些小波函數(shù)是由一個(gè)母小波函數(shù)通過平移與尺度伸縮得來。利用小波函數(shù)既可以去逼近那些非穩(wěn)態(tài)信號中尖銳變化的部分,也可以去逼近離散不連續(xù)具有局部特性的信號,從而更為真實(shí)地反映原信號在某一時(shí)間尺度上的變化。實(shí)際當(dāng)中通常希望得到平滑連續(xù)的小波振幅,非正交小波函數(shù)較為合適,而要同時(shí)得到振幅和相位信息,還需選擇復(fù)數(shù)小波,因?yàn)閺?fù)數(shù)小波具有虛部,可對相位進(jìn)行描述。復(fù)Morlet小波兼具以上兩種特性,故這里選用復(fù)Morlet小波。

復(fù)Morlet小波的時(shí)域表達(dá)式如下所示:

(1)

其中,fb為帶寬參數(shù),決定了波形振蕩的快慢程度,fc為中心頻率,決定了波形振蕩頻率。

針對某個(gè)模態(tài)分量fi修正后的小波的時(shí)間和頻率分辨率如下式所示,其中fs為采樣頻率?？赏ㄟ^調(diào)整fc與fb來改變Morlet小波變換的時(shí)頻分辨率。

這里參數(shù)選取fc=0.5,尺度規(guī)模為128,利用小波工具包PyWavelets所提供的CWT函數(shù)進(jìn)行復(fù)Morlet小波變換,然后基于時(shí)間、頻率和小波系數(shù)模值來繪制每幀心音數(shù)據(jù)對應(yīng)的等高線圖,可以得到RGB格式的小波譜圖。

2.3 模型構(gòu)建

心音分類模型的設(shè)計(jì)借鑒了經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)ResNet,同時(shí)為充分利用心音小波譜圖當(dāng)中的上下文信息,特別引入了Transformer架構(gòu)中的自注意力模塊[20](Self-Attention Block,SAB),其基本結(jié)構(gòu)如圖3所示。給定一個(gè)輸入特征圖X,尺寸大小為H×W×C(分別對應(yīng)高度、寬度和通道數(shù)),通過內(nèi)嵌矩陣(WK,WQ,WV),通過1×1卷積計(jì)算得到鍵K=XWK、查詢Q=XWQ和值V=XWV,可以計(jì)算得到自注意力特征圖Y=(Softmax(QKT)V)W。

圖3 自注意力模塊

完整的分類模型網(wǎng)絡(luò)結(jié)構(gòu)如表2所示,通過在經(jīng)典的殘差卷積網(wǎng)絡(luò)組件中引入自注意力模塊SAB,可以有效提升模型的特征提取能力。分類模型的輸入圖像尺寸設(shè)定為256×256。

表2 分類模型網(wǎng)絡(luò)結(jié)構(gòu)

2.4 系統(tǒng)部署

為提供高可靠性快速響應(yīng)的心音識別服務(wù),基于XMLRPC協(xié)議和Redis隊(duì)列來實(shí)現(xiàn)并發(fā)心音識別服務(wù),其整體架構(gòu)如圖4所示。

圖4 并發(fā)心音識別服務(wù)架構(gòu)

心音識別的客戶端與服務(wù)端之間通過XMLRPC協(xié)議進(jìn)行數(shù)據(jù)通信與服務(wù)調(diào)用。XMLRPC是一個(gè)遠(yuǎn)程過程調(diào)用的分布式計(jì)算協(xié)議,通過XML格式封裝函數(shù)調(diào)用,并使用HTTP協(xié)議作為傳送機(jī)制。心音識別服務(wù)中最耗時(shí)的部分在于心音數(shù)據(jù)的處理步驟,而分類模型的推理速度在GPU環(huán)境下不足數(shù)據(jù)處理耗時(shí)的十分之一。因此可將數(shù)據(jù)處理模塊獨(dú)立封裝,以多進(jìn)程形式并發(fā)執(zhí)行,并基于Redis隊(duì)列與分類模型推理模塊進(jìn)行高速交互,可以顯著提高后臺服務(wù)的整體響應(yīng)速度。此外,數(shù)據(jù)處理模塊的進(jìn)程數(shù)量可以直接擴(kuò)展,無需任何額外配置操作,部署十分方便。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

訓(xùn)練集和驗(yàn)證集共包含醫(yī)院現(xiàn)場采集的400余個(gè)音頻文件,正常和異常心音各半。讀取包含的全部音頻文件,利用上述數(shù)據(jù)處理操作得到對應(yīng)的小波譜圖形式的訓(xùn)練和驗(yàn)證數(shù)據(jù)集,效果如圖5所示。

圖5 心音小波譜圖

測試集由200個(gè)同樣在醫(yī)院現(xiàn)場采集的,與訓(xùn)練和驗(yàn)證集不存在交疊的音頻文件所組成,正常和異常心音各半。

3.2 實(shí)驗(yàn)環(huán)境

訓(xùn)練心音分類模型時(shí),硬件環(huán)境為NVidia GTX 1070顯卡,軟件環(huán)境為Tensorflow GPU 2.3版,模型訓(xùn)練時(shí)選取批處理尺寸為16,訓(xùn)練策略為自適應(yīng)動(dòng)量估計(jì)法,損失函數(shù)為交叉熵,最大訓(xùn)練輪數(shù)為1 000,輸入圖像無需數(shù)據(jù)增強(qiáng)(非自然圖像),選擇驗(yàn)證準(zhǔn)確率最高(100輪內(nèi)未出現(xiàn)提升)的模型為最優(yōu)分類模型。

3.3 評價(jià)指標(biāo)

對于心音分類模型,通常采用敏感性(Sensitivity,Se)、特異性(Specificity,Sp)和平均準(zhǔn)確率(Mean Accuracy,MAcc)等指標(biāo)進(jìn)行性能評價(jià)。這里定義TP為預(yù)測為正(P)且預(yù)測正確(T)的數(shù)目,TN為預(yù)測為負(fù)(N)且預(yù)測正確(T)的數(shù)目,FP為預(yù)測為正(P)但預(yù)測錯(cuò)誤(N)的數(shù)目,FN為預(yù)測為負(fù)(N)但預(yù)測錯(cuò)誤(N)的數(shù)目。

Se表示預(yù)測為正且預(yù)測正確的數(shù)目占實(shí)際正樣本總數(shù)的比例,具體如下式所示:

(3)

Sp表示預(yù)測為負(fù)且預(yù)測正確的數(shù)目占實(shí)際負(fù)樣本總數(shù)的比例,具體如下式所示:

(4)

MAcc表示所有類別的平均準(zhǔn)確率,對于二分類模型來說如下式所示:

(5)

3.4 測試結(jié)果

測試結(jié)果表明,對于醫(yī)院現(xiàn)場環(huán)境下采集的心音數(shù)據(jù)測試集,Se為0.90,Sp為0.85,平均準(zhǔn)確率達(dá)到87.5%。

利用PhysioNet 2016競賽的心音數(shù)據(jù)集與競賽結(jié)果[1],與文中識別方法進(jìn)行了對比測試,測試結(jié)果如表3所示。

表3 對比測試結(jié)果

測試結(jié)果表明,文中識別方法不僅明顯優(yōu)于已有方法,同時(shí)針對現(xiàn)場復(fù)雜環(huán)境下的心音識別任務(wù),也能達(dá)到較為理想的結(jié)果。

4 結(jié)束語

該文提出了一種基于小波譜圖與深度神經(jīng)網(wǎng)絡(luò)的心音識別方法,主要實(shí)現(xiàn)了基于心音包絡(luò)檢查的心音數(shù)據(jù)質(zhì)量評估技術(shù)、心音數(shù)據(jù)的復(fù)Morlet小波譜圖生成技術(shù)、基于Transformer架構(gòu)的深度學(xué)習(xí)分類模型構(gòu)建技術(shù)和基于XMLRPC協(xié)議與Redis隊(duì)列的并發(fā)心音識別服務(wù)的部署技術(shù)。具備運(yùn)算資源占用較少、模型迭代能力強(qiáng)、服務(wù)響應(yīng)時(shí)間短、可擴(kuò)展性好等顯著優(yōu)點(diǎn)。基于該方法的應(yīng)用系統(tǒng)已準(zhǔn)備部署到兒童晨檢機(jī)器人產(chǎn)品上,從而真正實(shí)現(xiàn)應(yīng)用落地。在后續(xù)研究當(dāng)中,考慮心音數(shù)據(jù)采集方案的進(jìn)一步改進(jìn)和心音分類模型的繼續(xù)優(yōu)化,以便盡早實(shí)現(xiàn)兒童先心病的智能化早期篩查。