鄭雅純 鄭和裕 林美娜

開發(fā)設(shè)計(jì)

基于加法網(wǎng)絡(luò)和自注意力機(jī)制的OSA檢測(cè)方法

鄭雅純 鄭和裕 林美娜

（廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣東 廣州 510006）

為實(shí)現(xiàn)準(zhǔn)確率高且計(jì)算復(fù)雜度低的阻塞性睡眠呼吸暫停（OSA）檢測(cè)，根據(jù)血氧飽和度（SpO2）提出一種基于加法網(wǎng)絡(luò)和自注意力機(jī)制的OSA檢測(cè)方法。該方法引入加法網(wǎng)絡(luò)用于SpO2的特征提取，以降低計(jì)算復(fù)雜度；采用自注意力機(jī)制調(diào)整采樣點(diǎn)間的特征權(quán)重，以提高檢測(cè)精度。在數(shù)據(jù)集Apnea-ECG上實(shí)現(xiàn)了敏感性94.56%、特異性96.91%的檢測(cè)性能，且浮點(diǎn)運(yùn)算數(shù)量為2.88 K FLOPs，比卷積操作減小了40%。實(shí)驗(yàn)結(jié)果表明：該方法在獲得較高檢測(cè)精度的同時(shí)，可以保持較低的計(jì)算復(fù)雜度。

血氧飽和度；阻塞性睡眠呼吸暫停檢測(cè)；加法網(wǎng)絡(luò)；自注意力機(jī)制

0　引言

阻塞性睡眠呼吸暫停（obstructive sleep apnea, OSA）表現(xiàn)為睡眠期間患者的呼吸氣流減少或呼吸受阻[1]。研究表明，長(zhǎng)期OSA會(huì)增加人們患高血壓、冠心病、中風(fēng)等疾病的風(fēng)險(xiǎn)[2-4]。2019年，柳葉刀呼吸醫(yī)學(xué)雜志報(bào)告顯示：全球30～69歲人群中約9.36億人患有OSA[5]。因此，盡早發(fā)現(xiàn)和治療OSA具有重要意義。血氧飽和度（oxygen saturation, SpO2）是表征OSA事件的參考信號(hào)之一[6]。其采集設(shè)備脈搏血氧計(jì)具有廉價(jià)、簡(jiǎn)單和非侵入式等特點(diǎn)[1]。因此，本文采用SpO2作為OSA檢測(cè)的參考信號(hào)。

過(guò)去十幾年間，研究人員提出了許多基于SpO2經(jīng)驗(yàn)特征的OSA檢測(cè)方法。如BURGOS等采用2種時(shí)域特征并結(jié)合決策樹實(shí)現(xiàn)OSA檢測(cè)[7]。MOSTAFA等利用遺傳算法、最小冗余最大相關(guān)性算法等特征選擇算法和人工神經(jīng)網(wǎng)絡(luò)（artificial neural network, ANN）、支持向量機(jī)（support vector machine, SVM）等分類器實(shí)現(xiàn)OSA檢測(cè)[8-9]。BEHAR等利用數(shù)據(jù)特征、患者信息，并結(jié)合邏輯回歸算法檢測(cè)OSA[10]。上述方法雖然有效實(shí)現(xiàn)OSA檢測(cè)，但嚴(yán)重依賴經(jīng)驗(yàn)參數(shù)，且未能很好地提取SpO2潛在的復(fù)雜特征。近年來(lái)，不少研究人員將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于OSA檢測(cè)。如CHAW等構(gòu)建一個(gè)具有10個(gè)卷積層，32 614個(gè)參數(shù)的深度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)OSA[11]；VAQU- ERIZO-VILLAR等構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)和貝葉斯優(yōu)化方法的網(wǎng)絡(luò)模型預(yù)測(cè)兒童OSA的嚴(yán)重程度[12]；MOSTAFA等開發(fā)具有自動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)及超參數(shù)選擇能力的一維卷積網(wǎng)絡(luò)（one dimensional convolutional neural network, CNN1D）檢測(cè)OSA[1]。上述方法都取得了顯著成果，但存在以下問(wèn)題尚未討論：1）卷積網(wǎng)絡(luò)運(yùn)算量大，運(yùn)算復(fù)雜度高，不利于在移動(dòng)設(shè)備，如手表、手機(jī)上部署；2）SpO2采集過(guò)程中，由于被測(cè)者肢體運(yùn)動(dòng)產(chǎn)生的大量運(yùn)動(dòng)偽跡造成SpO2的非平穩(wěn)變化，影響OSA的檢測(cè)精度[13]。

為減少偽跡干擾，提高檢測(cè)性能，同時(shí)降低模型運(yùn)算復(fù)雜度，本文提出一種基于加法網(wǎng)絡(luò)（AdderNet）和自注意力機(jī)制的OSA檢測(cè)方法。同時(shí)，構(gòu)建并訓(xùn)練可以準(zhǔn)確識(shí)別含有呼吸暫停事件的SpO2片段的網(wǎng)絡(luò)模型，從而實(shí)現(xiàn)基于SpO2的OSA檢測(cè)。其中，加法網(wǎng)絡(luò)采用L1距離運(yùn)算代替卷積操作，提取SpO2的波形特征，以降低計(jì)算復(fù)雜度[14]；自注意力機(jī)制用于調(diào)整不同時(shí)間采樣點(diǎn)特征的權(quán)重，以適應(yīng)偽跡干擾帶來(lái)SpO2的非平穩(wěn)變化。

1 檢測(cè)方法

1.1 問(wèn)題描述

1.2 基于加法網(wǎng)絡(luò)和自注意力機(jī)制的OSA檢測(cè)方法

1.2.1 特征提取

為降低網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度，用加法網(wǎng)絡(luò)代替卷積操作，實(shí)現(xiàn)SpO2形態(tài)特征的提取。加法網(wǎng)絡(luò)是由CHEN等提出的一種僅含加法計(jì)算的網(wǎng)絡(luò)，其加法層利用只具有加法的距離度量函數(shù)L1距離，代替卷積神經(jīng)網(wǎng)絡(luò)中的卷積計(jì)算，以實(shí)現(xiàn)更高的速度和更低的能耗[14]。

1.2.2 特征權(quán)重調(diào)整

為適應(yīng)偽跡干擾帶來(lái)的SpO2非平穩(wěn)變化，提高檢測(cè)精度，利用自注意力機(jī)制生成含有相鄰樣本點(diǎn)間時(shí)序關(guān)系的掩碼，以自適應(yīng)調(diào)整特征權(quán)重。自注意力機(jī)制是由VASWANI等提出的一種注意力機(jī)制，廣泛應(yīng)用于文本識(shí)別、機(jī)器翻譯等領(lǐng)域[17]。

自注意力機(jī)制的數(shù)學(xué)計(jì)算過(guò)程如下：

1.2.3 基于加法網(wǎng)絡(luò)和自注意力機(jī)制的網(wǎng)絡(luò)模型

基于加法網(wǎng)絡(luò)和自注意力機(jī)制的網(wǎng)絡(luò)模型（neu- ral network based on AdderNet and Seft-attention, A-S- NN）主要包括輸入層、加法層、自注意力機(jī)制、全連接層及Sigmoid激活函數(shù)，如圖1所示。

基于加法網(wǎng)絡(luò)和自注意力機(jī)制的網(wǎng)絡(luò)的具體數(shù)學(xué)計(jì)算如下：

5）特征向量通過(guò)全連接層及Sigmoid激活函數(shù)輸出預(yù)測(cè)值。

2 數(shù)據(jù)處理

2.1 數(shù)據(jù)集

本文采用來(lái)自Physionet的公開數(shù)據(jù)集呼吸暫停-心電圖數(shù)據(jù)庫(kù)（Apnea-ECG database, AED）中的SpO2數(shù)據(jù)進(jìn)行實(shí)驗(yàn)[18-19]。AED中有8個(gè)含有SpO2數(shù)據(jù)的記錄，這些記錄持續(xù)時(shí)間為7 ～10 h。醫(yī)生給出每分鐘的注釋，若該分鐘出現(xiàn)呼吸暫停則標(biāo)注為A，否則標(biāo)注為N。SpO2的采樣頻率為100 Hz。

2.2 數(shù)據(jù)預(yù)處理與數(shù)據(jù)劃分

為適應(yīng)網(wǎng)絡(luò)輸入，去除異常數(shù)據(jù)，對(duì)原始SpO2數(shù)據(jù)進(jìn)行預(yù)處理：

1）將采樣頻率降為1 Hz；

2）將數(shù)據(jù)切為1 min的片段；

3）剔除含有異常值的片段，即SpO2低于50%的片段[20]。

根據(jù)受試者不同，將8個(gè)記錄劃分為四折交叉驗(yàn)證對(duì)結(jié)果進(jìn)行評(píng)估，具體劃分如表1所示。

表1 四折交叉驗(yàn)證的數(shù)據(jù)劃分

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的深度學(xué)習(xí)框架為Pytorch，服務(wù)器CPU為Intel(R) Core(TM) i7-9750H CPU @ 2.60 GHz，內(nèi)存為16 GB。

3.2 參數(shù)設(shè)置

A-S-NN網(wǎng)絡(luò)的參數(shù)設(shè)置如表2所示。

表2 A-S-NN網(wǎng)絡(luò)參數(shù)設(shè)置

模型訓(xùn)練采用的優(yōu)化器為Adam，迭代步數(shù)為500，學(xué)習(xí)率（learning rate, LR）為

式中，為當(dāng)前已迭代的步數(shù)。

3.3 評(píng)估指標(biāo)

利用靈敏度（sensitivity, Se）、特異性（specificity, Sp），平衡錯(cuò)誤率（balanced error rate, Ber）來(lái)評(píng)估模型的檢測(cè)性能。

同時(shí)，使用浮點(diǎn)運(yùn)算量（amount of floating point arithmetics, FLOPs）、乘加次數(shù)（amount of multiply- adds, MAdd）和內(nèi)存使用來(lái)評(píng)估模型所需的算力及其他計(jì)算資源，這3個(gè)指標(biāo)均由torchstat工具包計(jì)算得出。

3.4 實(shí)驗(yàn)對(duì)比與分析

為驗(yàn)證本文采用的加法層及自注意力機(jī)制的有效性，構(gòu)建以下4種網(wǎng)絡(luò)模型：

1）卷積網(wǎng)絡(luò)（neural network based on convolution, C-NN）；

2）卷積及自注意力機(jī)制網(wǎng)絡(luò)（neural network based on CNN and Seft-attention, C-S-NN）；

3）加法網(wǎng)絡(luò)（neural network based on AdderNet, A-NN）；

4）基于加法網(wǎng)絡(luò)和自注意力機(jī)制的網(wǎng)絡(luò)（neural network based on AdderNet and Seft-attention, A-S- NN）。

卷積層與加法層的參數(shù)設(shè)置一致，如表2所示。4種網(wǎng)絡(luò)模型的OSA檢測(cè)性能對(duì)比如表3所示，其中、、為跨被試四折交叉驗(yàn)證的平均結(jié)果。

表3 4種網(wǎng)絡(luò)模型的OSA檢測(cè)性能對(duì)比

由表3可以看出：

1）C-S-NN和A-S-NN的檢測(cè)性能分別高于C-NN和A-NN，說(shuō)明自注意力機(jī)制能有效減小運(yùn)動(dòng)偽跡的干擾，提高檢測(cè)性能；

2）A-S-NN與A-NN的浮點(diǎn)運(yùn)算量、乘加次數(shù)及內(nèi)存使用均小于C-S-NN與C-NN，說(shuō)明加法層可有效減少計(jì)算量；

3）A-S-NN與A-NN的浮點(diǎn)運(yùn)算量和內(nèi)存使用相等，表明自注意力機(jī)制幾乎不增加模型的運(yùn)算復(fù)雜度。

A-S-NN與其他OSA檢測(cè)方法的性能對(duì)比如表4所示。

表4 A-S-NN與其他OSA檢測(cè)方法的性能對(duì)比

由表4可以看出：

1）ANN方法取得最好的檢測(cè)性能，但其采用非跨被試方法，即被測(cè)者的數(shù)據(jù)同時(shí)存在于訓(xùn)練集與測(cè)試集，但在實(shí)際檢測(cè)時(shí)，需要先采集新患者數(shù)據(jù)并重新學(xué)習(xí)模型參數(shù)，顯然是不合理的；

2） A-S-NN、CNN1D取得了比SVM更好的檢測(cè)性能，說(shuō)明深度學(xué)習(xí)方法更能從數(shù)據(jù)中學(xué)習(xí)到有效信息；

3）與CNN1D相比，A-S-NN的提高了2.7%，提高了1.2%。

4 結(jié)語(yǔ)

為減少SpO2中的運(yùn)動(dòng)偽跡干擾，提高OSA檢測(cè)性能，同時(shí)降低模型運(yùn)算復(fù)雜度，本文提出一種基于加法網(wǎng)絡(luò)和自注意力機(jī)制的OSA檢測(cè)方法，并在公開數(shù)據(jù)集AED上獲得較高的OSA檢測(cè)精度（: 94.56%,: 96.91%）。首先，與CNN1D相比，、分別提高了2.7%和1.2%；然后，與A-NN相比，提高了0.9%，說(shuō)明應(yīng)用自注意力機(jī)制可有效提高模型的檢測(cè)性能；最后，A-S-NN的浮點(diǎn)運(yùn)算量?jī)H為2.88K FLOPs，比C-S-NN小了約40%，說(shuō)明加法層可有效降低計(jì)算復(fù)雜度。因此，本文提出的A-S-NN能夠在保持較低計(jì)算復(fù)雜度的同時(shí)，實(shí)現(xiàn)較高的OSA檢測(cè)性能，適合部署在算力及其他計(jì)算資源配置較低的設(shè)備上。

[1] MOSTAFA S S, MENDON?A F, RAVELO-GARCIA A G, et al. Multi-objective hyperparameter optimization of convolu- tional neural network for obstructive sleep apnea detection[J]. IEEE Access, 2020,8:129586-129599.

[2] GROTE L, PLOCH T, HEITMANN J, et al. Sleep-related breathing disorder is an independent risk factor for systemic hypertension[J]. Journal of Hypertension, 2000,18(6):679-685.

[3] MOOE T, FRANKLIN K A, HOLMSTROM K, et al. Sleep-disordered breathing and coronary artery disease: long- term prognosis[J]. American journal of Respiratory and Critical Care Medicine, 2001, 164(10):1910-1913.

[4] MOHSENIN V. Sleep-related breathing disorders and risk of stroke[J]. Stroke, 2001, 32(6):1271-1276.

[5] BENJAFIELD A, AYAS N, EASTWOOD P, et al. Estimation of the global prevalence and burden of obstructive sleep apnoea: a literature-based analysis[J]. The Lancet Respiratory Medicine, 2019, 7(8):687-698.

[6] QUAN S F, GILLIN J C, LITTNER M R, et al. Sleep-related breathing disorders in adults: Recommendations for syndrome definition and measurement techniques in clinical research. editorials[J]. Sleep (New York, NY), 1999, 22(5):667-689.

[7] BURGOS A, GONI A, ILLARRAMENDI A, et al. Real-time detection of apneas on a PDA[J]. IEEE Transactions on Infor- mation Technology in Biomedicine, 2009,14(4):995-1002.

[8] MOSTAFA S S, CARVALHO J P, MORGADO-DIAS F, et al. Optimization of sleep apnea detection using SpO2and ANN[C]//2017 XXVI International Conference On Informa- tion, Communication and Automation Technologies (ICAT). IEEE, 2017:1-6.

[9] MOSTAFA S S, MORGADO-DIAS F, RAVELO-GARCíA A G. Comparison of SFS and mRMR for oximetry feature selection in obstructive sleep apnea detection[J]. Neural Computing and Applications, 2018:1-21.

[10] BEHAR J A, PALMIUS N, LI Q, et al. Feasibility of single channel oximetry for mass screening of obstructive sleep apnea[J]. EClinicalMedicine, 2019, 11:81-88.

[11] CHAW H T, KAMOLPHIWONG S, WONGSRITRANG K. Sleep apnea detection using deep learning[J]. Tehni?ki Glasnik, 2019, 13(4):261-266.

[12] VAQUERIZO-VILLAR F, ALVAREZ D, KHEIRANDIS H -GOZAL L, et al. A convolutional neural network architecture to enhance oximetry ability to diagnose pediatric obstructive sleep apnea[J]. IEEE Journal of Biomedical and Health Informatics, 2021 (99):1-11.

[13] 閆佳運(yùn).可穿戴式睡眠監(jiān)護(hù)設(shè)備中若干關(guān)鍵技術(shù)研究[D]. 北京:北京工業(yè)大學(xué),2016.

[14] CHEN H, WANG Y, XU C, et al. AdderNet: Do we really need multiplications in deep learning?[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 1468-1477.

[15] YAN L, DODIER R H, MOZER M, et al. Optimizing classifier performance via an approximation to the Wilcoxon-Mann-Whitney statistic[C]//Proceedings of the 20th International Conference on Machine Learning (ICML- 03), Washington DC, 2003: 848-855.

[16] RUOPP M D, PERKINS N J, WHITCOMB B W, et al. Youden Index and optimal cut-point estimated from observations affected by a lower limit of detection[J]. Biometrical Journal: Journal of Mathematical Methods in Biosciences, 2008, 50(3): 419-430.

[17] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. arXiv preprint arXiv:1706.03762, 2017.

[18] GOLDBERGER A L, AMARAL L A N, GLASS L, et al. PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals[J]. Circulation, 2000,101(23):215-220.

[19] PENZEL T, MOODY G B, MARK R G, et al. The apnea- ECG database[C]//Computers in Cardiology 2000, IEEE, 2000: 255-258.

[20] XIE B, MINN H. Real-time sleep apnea detection by classifier combination[J]. IEEE Transactions on Information Technology in Biomedicine, 2012,16(3):469-477.

OSA Detection Method Based on Additive Network and Self-attention Mechanism

Zheng Yachun Zheng Heyu Lin Meina

(School of Automation, Guangdong University of Technology, Guangzhou 510006, China)

In order to achieve obstructive sleep apnea (OSA) detection with high accuracy and low computational complexity, according to blood oxygen saturation (SpO2) proposes an OSA detection method based on additive network and self-attention mechanism. In this method, additive network is introduced for SpO2feature extraction to reduce the computational complexity; self-attention mechanism is used to adjust the feature weight between sampling points to improve the detection accuracy. The detection performance of sensitivity 94.56%, specificity 96.91% and floating-point operation are realized on data set Apnea-ECG. The number is 2.88 K flops, which is 40% less than the convolution operation. The experimental results show that this method can obtain high detection accuracy and maintain low computational complexity.

oxygen saturation; obstructive sleep apnea detection; AdderNet; Seft-attention mechanism

鄭雅純，女，1996年生，碩士研究生，主要研究方向：模式識(shí)別，機(jī)器學(xué)習(xí)，生物信號(hào)處理。E-mail: zheng_yachun@163.com

鄭和裕，男，1996年生，碩士研究生，主要研究方向：模式識(shí)別，機(jī)器學(xué)習(xí)，生物信號(hào)處理。E-mail: zheng_hy1209@qq.com

林美娜，女，1997年生，碩士研究生，主要研究方向：模式識(shí)別，生物信號(hào)處理。E-mail: meina.lin@mail.gdut.edu.cn

TP391

A

1674-2605(2021)06-0008-06

10.3969/j.issn.1674-2605.2021.06.008