李倩玉，王蓓，金晶，張濤，王行愚

（1.華東理工大學 信息科學與工程學院,上海 200237;2.清華大學 自動化系,北京 100086）

睡眠是人的一生中不可缺少的一種復雜生理過程。充足的睡眠能使大腦和身體得到充分的休息和恢復。由于如今不健康的生活方式的影響，睡眠障礙已成為現(xiàn)代社會的嚴重問題。長時間的睡眠障礙會使人精神不振、免疫力下降，還會誘發(fā)心腦血管疾病等[1]。因此，及早診斷睡眠障礙有助于發(fā)現(xiàn)異常變化并防止疾病進一步發(fā)展，對身心健康具有重要的意義。

睡眠分期是診斷睡眠障礙和檢測睡眠質(zhì)量的有效方式。在實際臨床上，首先利用多導睡眠監(jiān)測儀（polysomnography,PSG）獲取腦電、眼電、肌電、脈搏、血氧飽和度、呼吸等信號，再由專業(yè)醫(yī)師對照國際通用的睡眠分期標準[2-4]，對每個30 s時長的睡眠數(shù)據(jù)進行睡眠時期的人工劃分。研究表明，睡眠深淺的變化是由神經(jīng)中樞活動的變化引起的，因此綜合上述信號在不同睡眠時期的特征，能夠很好地反映睡眠模式[5-6]。然而，整晚的睡眠數(shù)據(jù)量較大，對專業(yè)醫(yī)師的資質(zhì)要求高，人工判讀煩瑣且耗時。隨著大數(shù)據(jù)、人工智能等創(chuàng)新技術(shù)的發(fā)展，自動睡眠分期方法逐漸成為快捷的輔助方式，受到了廣泛的研究與關(guān)注[7]。

近年來，自動睡眠分期方法主要涵蓋了基于機器學習和深度學習的方法?；跈C器學習的自動睡眠分期方法通常包含了特征提取和睡眠階段分類兩個步驟。通過時域分析法[8-9]、頻域分析法[10-11]等來提取睡眠特征，捕獲睡眠過程中的主要變化，然后采用如隨機森林[12-13]、支持向量機[14-15]等分類器對睡眠階段進行分類?；谏疃葘W習的自動睡眠分期方法主要依靠深度神經(jīng)網(wǎng)絡端對端特性，自動提取復雜、有用的特征，從一定程度上避免了手工提取特征的主觀性。然后，通過深化網(wǎng)絡結(jié)構(gòu)、堆疊不同功能網(wǎng)絡層的方式，提高網(wǎng)絡的特征表達能力。深度學習模型能夠利用損失函數(shù)衡量網(wǎng)絡輸出與實際標簽的偏差，并借助反向傳播算法計算損失成本關(guān)于參數(shù)的梯度，以此來不斷更新各層參數(shù)，從而得到最佳的分類輸出。

相比于機器學習的處理模式，深度學習模型在自動特征提取和模型優(yōu)化上均具有一定的優(yōu)勢。常見的卷積神經(jīng)網(wǎng)絡最先在自動睡眠分期上獲得廣泛的應用。例如：Tsinalis 等[16]使用未經(jīng)預處理的原始腦電信號作為輸入，在兩個卷積層中分別利用大小不同的卷積核，提取信號不同尺度上的抽象特點，豐富了信號的特征表示；Zhao 等[17]利用多層卷積及映射模塊提取并融合了腦電圖和心電圖中的多尺度特征，對不同睡眠階段相關(guān)信號的細微變化進行捕捉；Sors 等[18]則利用當前待分類的數(shù)據(jù)段及其前后兩個數(shù)據(jù)段作為輸入，構(gòu)建了一個14 層卷積神經(jīng)網(wǎng)絡。

此外，考慮到睡眠過程中所獲取的腦電數(shù)據(jù)具有時間序列的特點，適用于時間序列分類的遞歸神經(jīng)網(wǎng)絡[19-20]（recursive neural network,RNN）、長短時記憶網(wǎng)絡[21-23]（long short-term memory,LSTM）、雙向長短時記憶網(wǎng)絡[24-25]（bi-directional long short-term memory,BiLSTM）等相繼被應用在了睡眠分期問題上。例如：Hsu 等[19]利用Elman遞歸神經(jīng)網(wǎng)絡同時提供信號流前饋連接和反饋連接通道，便于捕捉睡眠前后關(guān)聯(lián)信息；楊鑫等[20]提出了一種基于雙向遞歸神經(jīng)網(wǎng)絡的單通道睡眠分期方法，融入了雙向遞歸神經(jīng)網(wǎng)絡對前后時序信號的記憶能力，提高了睡眠分期判別的準確率；Dong 等[23]利用整流神經(jīng)網(wǎng)絡檢測分層特征，并利用長短時記憶網(wǎng)絡進行序列信息學習，以優(yōu)化分類性能；羅森林等[24]將卷積神經(jīng)網(wǎng)絡與雙向長短時記憶網(wǎng)絡結(jié)合，綜合利用這兩種網(wǎng)絡的優(yōu)點，實現(xiàn)睡眠時期的自動判別。

雖然目前基于深度學習的自動睡眠分期方法已取得了不錯的效果，但仍存在幾個比較突出的問題：1）雖然深度學習可以通過不斷加深網(wǎng)絡結(jié)構(gòu)來獲得輸入信號的更有效的特征表達，但一個層級過深的神經(jīng)網(wǎng)絡往往會存在梯度消失的問題；2）在睡眠分期任務上效果較好的雙向長短時記憶網(wǎng)絡尚不能在一個長序列中突出重要的信息，進而削弱了網(wǎng)絡對時序信息的學習能力；3）由于不同睡眠時期樣本之間存在明顯的不平衡問題，不可避免地會影響到自動睡眠分期模型在少樣本類別上的分類性能，從而降低了整體的分類效果。

綜合考慮上述問題，在構(gòu)建睡眠分期的深度學習模型中，本文提出了一種基于雙向LSTM 卷積網(wǎng)絡與注意力機制(CNN-BiLSTM-Attention)的自動睡眠分期模型。首先，利用卷積神經(jīng)網(wǎng)絡(convolution neural network,CNN)從原始腦電信號中提取時不變特征，并引入殘差網(wǎng)絡，避免網(wǎng)絡結(jié)構(gòu)過深帶來的梯度消失問題；其次，針對睡眠腦電數(shù)據(jù)的前后序列相關(guān)性，設計了帶注意力機制(Attention)的雙向長短時記憶網(wǎng)絡(BiLSTM)，來加強對時序信息的學習，以提升睡眠分期方法的分類性能；同時，采用過采樣方法，對睡眠過渡階段（少樣本類別）進行數(shù)據(jù)增強處理，以減輕樣本不平衡問題對模型帶來的影響。

1 模型框架

本文所設計并構(gòu)建的基于雙向LSTM 卷積網(wǎng)絡與注意力機制的自動睡眠分期模型結(jié)構(gòu)如圖1所示。該CNN-BiLSTM-Attention 模型主要由4 個模塊組成：數(shù)據(jù)輸入模塊、特征表示模塊、序列信息學習模塊以及分類判別模塊。

圖1 基于CNN-BiLSTM-Attention 的自動睡眠分期模型Fig.1 Automatic sleep staging model based on CNN-BiLSTM-Attention

1.1 數(shù)據(jù)增強處理

自動睡眠分期以臨床采集的受試者整夜睡眠產(chǎn)生的生物電信號作為輸入。在一個正常人的整晚睡眠中，不同睡眠時期的時長占比存在較大差異，導致了少樣本睡眠階段分類性能表現(xiàn)較差的問題。

為解決樣本不平衡問題，在數(shù)據(jù)輸入模塊中，本文采用了邊界人工合成少數(shù)類過采樣算法（borderline synthetic minority oversampling technique,Borderline SMOTE）對原始腦電信號進行數(shù)據(jù)增強處理。該算法是常用過采樣技術(shù)的改進算法[26]，它將少數(shù)類樣本分為安全、危險和噪聲3 類，并僅使用代表在少數(shù)類樣本邊界上的危險樣本來合成新的數(shù)據(jù)，以達到樣本平衡效果。利用該算法生成樣本步驟：

1）對每個少數(shù)類樣本pi，利用K近鄰算法從整個數(shù)據(jù)集中計算其m個最近鄰；

2）將周圍m個最近鄰樣本有一半以上為少數(shù)類樣本的定義為安全樣本，周圍m個最近鄰樣本有一半以上為多數(shù)類樣本的定義為危險樣本，周圍m個最近鄰樣本均為多數(shù)類樣本的定義為噪聲樣本；

3）對于每個危險樣本di，從其k個最近鄰中隨機選擇s個最近鄰，在這s個最近鄰樣本和原危險樣本之間隨機合成n個新樣本，計算公式為

1.2 CNN 特征表示

在深度學習中，常常在網(wǎng)絡前端構(gòu)建多個具有不同大小卷積核的卷積層提取輸入信號的局部或全局特征，從而得到輸入數(shù)據(jù)的有效描述。一般來說，卷積層越多，網(wǎng)絡往往能獲得更大的感受野，并提取出更好的特征。但實踐證明，網(wǎng)絡結(jié)構(gòu)的加深會使梯度爆炸、梯度消失的風險增加。

為了提取更有效的特征避免梯度消失的風險，本文在網(wǎng)絡架構(gòu)中加入了殘差網(wǎng)絡。如圖1特征表示模塊所示，在特征表示層構(gòu)建了一個16 層卷積神經(jīng)網(wǎng)絡。該卷積神經(jīng)網(wǎng)絡由淺層卷積模塊與殘差模塊兩部分組成。淺層卷積模塊將增強后的數(shù)據(jù)作為輸入，依次通過1×50 大卷積核層、1×8 最大池化層、3 個1×8 小卷積核層以及1×4 最大池化層，提取輸入數(shù)據(jù)的低級特征，然后將得到的低級特征輸入給殘差模塊。殘差模塊部分共包括5 個相同的殘差塊，本文設計的殘差塊結(jié)構(gòu)如圖2 所示。

圖2 殘差塊結(jié)構(gòu)Fig.2 Residual block structure

殘差塊與普通卷積神經(jīng)網(wǎng)絡的不同之處在于，它在一般卷積層外增加了跳躍結(jié)構(gòu)。假定網(wǎng)絡的輸入為x，輸入經(jīng)卷積后運算結(jié)果為F(x)，殘差塊輸出為H(x)。若x與F(x)維度匹配，則有

若x與F(x)維度不匹配，則在跳躍結(jié)構(gòu)添加平均池化層與全零填充層，利用全零填充增加輸入維度，使得跳躍結(jié)構(gòu)的輸出與F(x)維度適配。

1.3 序列信息學習

對于睡眠分期任務來說，作為輸入的睡眠腦電信號是一段連續(xù)的具有強相關(guān)性的時間序列，需要網(wǎng)絡具有一定的“記憶功能”，綜合前后信息對當前睡眠時期作出判斷。卷積神經(jīng)網(wǎng)絡的輸入是一個獨立的、沒有上下文聯(lián)系的單元，在處理輸入是具有明顯上下文關(guān)系的序列化信號時不占優(yōu)勢。

為了解決上述問題，本文在特征表示模塊后，加入了BiLSTM 結(jié)構(gòu)和注意力機制，以幫助網(wǎng)絡進行序列信息學習。如圖1 中的序列信息學習模塊所示，將BiLSTM 層與注意力層級聯(lián)，BiLSTM 層的輸出是注意力層的輸入。

BiLSTM 層：BiLSTM 是將兩個方向不同的獨立的LSTM 結(jié)構(gòu)疊加在一起而組成的，一個為前向?qū)?，另一個為反向?qū)印Ｔ诿恳粋€時刻t，輸入xt同時提供給這兩個層，在前向?qū)訌? 時刻到t時刻正向計算一遍，得到并保存每個時刻向前隱含層的輸出hfw。在反向?qū)友刂鴷r刻t到時刻1 反向計算一遍，得到并保存每個時刻向后隱含層的輸出hbw。最后，在每個時刻結(jié)合前向?qū)雍头聪驅(qū)虞敵鼋Y(jié)果得到最終的輸出ht。

注意力層：BiLSTM 不能在一個長序列中突出重要的信息，削弱了網(wǎng)絡對時序信息的學習能力。而注意力機制恰恰能彌補這一缺點。注意力機制可以通過引入新的可訓練變量，依次加強各段數(shù)據(jù)之間的聯(lián)系，突出注意力集中的數(shù)據(jù)段幫助網(wǎng)絡捕獲階段信息。

對于t時刻BiLSTM 層的輸出ht，初始化查詢向量q，利用點積模型計算注意力層輸入ht與查詢向量q之間的相似度，通過相似度對比得出各輸出數(shù)據(jù)段的重要程度，得到注意力得分fscore(ht,q)。然后利用歸一化指數(shù)（Softmax）函數(shù)將注意力得分轉(zhuǎn)換為[0,1] 之間的概率分布，得到權(quán)重系數(shù)αt，根據(jù)權(quán)重系數(shù)對輸入ht進行加權(quán)求和，得到注意力層輸出v。具體計算如下：

1.4 分類判別

最后，將利用注意力機制求得的特征表示v利用Softmax 函數(shù)分類，得到當前輸入樣本的睡眠時期預測分布P。Softmax 函數(shù)是深度學習中常用且有效的分類器，計算公式為

式中W和b分別為Softmax 層的權(quán)重和偏置。

2 實驗分析

2.1 實驗數(shù)據(jù)集

本文使用了來自PhysioNet 數(shù)據(jù)庫中的Sleep-EDF 數(shù)據(jù)集[27]。該數(shù)據(jù)集包含197 個整夜睡眠的生物電信號。數(shù)據(jù)集中的數(shù)據(jù)由睡眠專家按照R&K 規(guī)則劃分為：清醒期（W）、非快速眼動睡眠I 期（S1）、II 期（S2）、III 期（S3）、IV 期（S4）、快速眼動期（REM）、身體運動時間階段和無法判讀的階段。選取了年齡為25～33 歲的女性被試者身上采集的19 個整晚單通道（Pz-Oz）睡眠腦電數(shù)據(jù)，采樣頻率為100 Hz。對上述數(shù)據(jù)做了如下調(diào)整：1）去除原數(shù)據(jù)集中身體運動時間階段和無法判讀的階段；2）考慮到S3、S4 時期都屬于深度睡眠時期，其數(shù)據(jù)特征也較相似，因此將S3 和S4 期合并為SS 期。調(diào)整后的數(shù)據(jù)用于模型的訓練、驗證與測試，得到5 個睡眠時期的判別結(jié)果（W、REM、S1、S2 和SS）。

將30 s 時長的腦電數(shù)據(jù)作為一個樣本，從原始數(shù)據(jù)集中總計提取到18 816 個樣本。根據(jù)已知的睡眠分期人工標簽，統(tǒng)計了不同睡眠時期的樣本數(shù)量占比，其中S2 占比44.80%，REM 時期占比18.25%，SS 時期占比15.77%，W 時期占比12.63%，S1 時期占比8.55%。相比于S2，屬于睡眠過渡階段的S1 的占比明顯偏少，其余睡眠時期略有差異。采用1.1 節(jié)中的Borderline SMOTE，對少數(shù)類樣本進行了數(shù)據(jù)增強處理，使得各睡眠時期之間的樣本數(shù)量占比均衡。經(jīng)過類平衡處理后的樣本總量為42 145。

2.2 實驗設置與評價指標

本文采用七折交叉驗證來評估模型性能，使用RMSProp 優(yōu)化器來調(diào)整權(quán)重，學習速率和衰減系數(shù)分別設置為0.000 1 和0.9。為了探究模型對原始數(shù)據(jù)的分類性能，本文利用序號編碼，在開始訓練前即給數(shù)據(jù)添加編號，然后打亂數(shù)據(jù)。將數(shù)據(jù)分為7 折，每次以其中6 折作為訓練集，1 折作為測試集，共計進行7 次實驗，得到模型對全部數(shù)據(jù)的預測結(jié)果。再將預測標簽按原來編號順序重排，得到模型對真實睡眠腦電數(shù)據(jù)的睡眠分期預測結(jié)果。

為了評估所構(gòu)建的模型的分類效果，本文計算了各睡眠時期的精確率（p）、召回率（r）和F1值（F1）以及整體睡眠分期的平均準確率和宏平均F1值（MF1）。

2.3 實驗結(jié)果與分析

2.3.1 混淆矩陣

表1 和表2 分別給出了兩種模型的混淆矩陣?；煜仃嚭w了自動睡眠分期結(jié)果與已知的人工標簽相比較得到的統(tǒng)計結(jié)果。表1、2 中，行代表已知的人工標簽，列是模型得到的預測結(jié)果，對角線上粗體的數(shù)字為兩者判斷相一致的樣本數(shù)量。表1 給出了采用原始睡眠腦電數(shù)據(jù)，基于常用的CNN-LSTM 自動睡眠模型得到的混淆矩陣；表2 給出了采用經(jīng)類平衡處理后的數(shù)據(jù)，基于CNN-BiLSTM-Attention 自動睡眠模型得到的混淆矩陣（該結(jié)果僅包含真實的睡眠腦電數(shù)據(jù)，生成數(shù)據(jù)不包含在內(nèi)）。

表1 原始數(shù)據(jù)集下CNN-LSTM 模型的混淆矩陣Table 1 Confusion matrix of CNN-LSTM model under the original data set

表2 類平衡后CNN-BiLSTM-Attention 模型的混淆矩陣Table 2 Confusion matrix of CNN-BiLSTM-Attention model after class balance

比較表1 和表2，可以觀察到，本文提出的自動睡眠分期模型取得了令人滿意的總體分類性能，分類準確率達到88.37%，相比CNN-LSTM 模型提升了近8%。在原始睡眠腦電數(shù)據(jù)集中，屬于睡眠過渡階段的S1 的樣本數(shù)量占比極小。在表1中，S1 的精確率為45.34%，召回率為25.42%，反映綜合性能的F1指數(shù)僅為32.58%。經(jīng)過類平衡處理后，S1 的分類性能得到了顯著提高。在表2中，S1 的精確率和召回率分別提高到至76.34%和83.03%，F(xiàn)1指數(shù)也達到了79.55%，體現(xiàn)了類平衡處理的必要性和有效性。同時，其他睡眠分期的判別效果均有不同程度的提升，其中W 的3 項性能指標都在95%以上，S2、SS 和REM 的各項性能指標也都在80%以上。從上述分類結(jié)果中可以看出，CNN-BiLSTM-Attention 模型明顯優(yōu)于常用的CNN-LSTM 模型，體現(xiàn)了本文在模型結(jié)構(gòu)上所作的改進能夠有效提高模型在不同睡眠分期上的分類效果。

2.3.2 睡眠時相序列圖

構(gòu)建自動睡眠分期的目的是為臨床診斷提供高效的輔助判別工具。本文通過序列編碼的方式，既能夠保證模型訓練時有類間較平衡的樣本數(shù)量，也能夠從自動判別結(jié)果中快捷地獲取原始數(shù)據(jù)的睡眠分期判別結(jié)果，得到整晚睡眠的時相序列圖，展示睡眠狀態(tài)隨時間變化的結(jié)果，為臨床的診斷與治療提供重要依據(jù)。

圖3 和圖4 是同一名受試者整晚睡眠的時相序列圖，其中圖3 為睡眠分期的人工判別結(jié)果，圖4 為本文所提出的自動睡眠分期模型的判別結(jié)果。從圖4 可以觀察到，該模型對于持續(xù)的清醒狀態(tài)有較好的判別效果，對睡眠過程中出現(xiàn)的短時覺醒現(xiàn)象也能做到較準確的預測。整晚睡眠過程是一個連續(xù)過程，相鄰睡眠狀態(tài)之間的特征較相似，模型在部分相鄰狀態(tài)S2 和S3 以及S1 和S2、REM 存在一定的混淆。整體上，模型得到的睡眠狀態(tài)的變化趨勢與人工標簽大體相一致，能夠為臨床診斷提供有效的輔助判別。

圖3 臨床專家手動判斷結(jié)果Fig.3 Mannual inspection results by clincial experts

圖4 基于CNN-BiLSTM-Attention 的自動睡眠分期模型的判斷結(jié)果Fig.4 Interpretation results based on CNN-BiLSTM-Attention automatic sleep staging model

2.3.3 與其他方法的比較

為進一步驗證模型中引入的BiLSTM 模塊與注意力機制的有效性，首先進行了消融實驗，將模型中的BiLSTM-Attention 結(jié)構(gòu)分別替換成了LSTM 塊和BiLSTM 塊，結(jié)果如表3 中第1、2 行所示。與本文所提出的CNN-BiLSTM-Attention模型進行對比后，從中可以看到，在不使用BiLSTM模塊和注意力機制時，模型的總體分類準確率及各睡眠分期的F1都會有不同程度的下降。特別是S1 階段的分類性能下降的最為明顯。這樣的結(jié)果驗證了本文所提出模型的有效性以及注意力機制在學習睡眠分期轉(zhuǎn)換規(guī)律上的重要性。

其次，與采用相同數(shù)據(jù)集和腦電信號通道的部分文獻中自動睡眠分期判別結(jié)果進行了比較。如表3 中第3、4、5 行所示，所比較的3 個模型均屬于基于深度學習的自動睡眠分期模型。其中，文獻[28]提出了一個DeepSleepNet 的網(wǎng)絡架構(gòu)，利用CNN 自動提取特征，堆疊BiLSTM 架構(gòu)學習睡眠轉(zhuǎn)換規(guī)則；文獻[29]提出了一種序列深度模型；文獻[30]提出了一個結(jié)合狀態(tài)轉(zhuǎn)移規(guī)則的深度睡眠分期模型。從表3 中可以看出，相比上述文獻中的模型，本文所提出的CNN-BiLSTM-Attention 模型的分類準確率有5.5%～8.5%的提高，且MF1提高了10%以上。

表3 基于CNN-BiLSTM-Attention 的自動睡眠分期模型和其他分類方法的比較Table 3 Comparison of automatic sleep staging model based on CNN-BiLSTM-Attention and other classification methods

3 結(jié)束語

本文提出了一種基于CNN-BiLSTM-Attention 的自動睡眠分期模型。該模型利用卷積神經(jīng)網(wǎng)絡作為特征提取器，從原始單通道腦電信號提取時不變特征，同時引入殘差網(wǎng)絡架構(gòu)，在加深網(wǎng)絡層次的同時避免網(wǎng)絡出現(xiàn)梯度消失問題，并利用帶注意力機制的BiLSTM 進一步學習輸入信號的時序信息，挖掘睡眠過程的轉(zhuǎn)換機制。通過交叉驗證、消融實驗，以及與相關(guān)文獻方法的對比，表明本文所提出的模型在睡眠分期判讀的精度上和綜合判別性能上，均具有優(yōu)勢，能夠為睡眠過程監(jiān)測、診斷與治療提供有效可行的輔助判別工具。此外，本文的研究工作主要基于單通道的睡眠腦電信號，在此基礎(chǔ)上可加入其他電生理信號（如眼電和肌電等），基于更加豐富的信號來源，利用該模型進行自動睡眠分期判別的研究。