麻琛彬，張政波，王 晶

1.解放軍總醫(yī)院 醫(yī)學創(chuàng)新研究部 醫(yī)學人工智能研究中心，北京100853

2.北京航空航天大學 生物與醫(yī)學工程學院，北京100191

3.北京交通大學 計算機與信息技術學院，北京100044

臨床事件風險是指臨床醫(yī)療系統(tǒng)中發(fā)生的不良結局，如心臟驟停、癲癇發(fā)作或意外死亡等惡性結局，有研究表明，59.4%的院內(nèi)心臟驟停之前會出現(xiàn)心電、血壓、體溫等異常[1]，25%的急診患者會出現(xiàn)至少一種生命體征異常的情況[2]，具有兩個以上異常的患者緊急入院的概率會提高4.4倍[3]。因此，監(jiān)測生命體征的變化有助于提前檢測或預測臨床事件風險[4]。生理信號通常涵蓋機體的生物電活動、溫度、壓力等物理信息，如肌電圖（Electromyogram，EΜG）、心電圖（Electrocardiogram，ECG）、腦電圖（Electroencephalogram，EEG）、眼電圖（Electrooculogram，EOG）和體位體動等信號，這種由連續(xù)采樣點組成的生理信號能夠表征機體復雜系統(tǒng)的內(nèi)在特性，其通常是高維、非平穩(wěn)、非線性、多模態(tài)和異構的表現(xiàn)形式，特殊的信號特征變化模式能夠作為反映人體健康狀態(tài)的基本指標。通過長期監(jiān)測患者連續(xù)動態(tài)的生理信號，從中挖掘關鍵信息，能夠有效預測或檢測臨床事件風險，改善臨床結局。生理信號異常檢測的基本思想是通過特定算法對未來序列走勢做出預測，根據(jù)序列發(fā)展趨勢進行延伸、推理，判斷更新的數(shù)據(jù)是否符合記錄序列的發(fā)展規(guī)律，檢測序列中的離群值，以此來進行異常分類。因此，異常檢測融合了序列預測和/或聚類的方法，是序列分類的特殊應用。因為系統(tǒng)的異常狀態(tài)不易出現(xiàn)，所以數(shù)據(jù)分布大多是偏態(tài)的，大大加重了模型預測的難度。

工業(yè)界已存在大量成熟的時序數(shù)據(jù)異常檢測算法，通過傳感器持續(xù)監(jiān)測機器運行狀態(tài)，避免設備故障而造成停機等事故。基于時間序列的生理信號分析與之類似，可根據(jù)數(shù)據(jù)種類和異常標簽的可用性劃分為三種經(jīng)典的分析方法：基于模型、基于先驗知識以及數(shù)據(jù)驅(qū)動的異常檢測。具體總結如圖1 所示。基于模型的異常檢測方法通過構建對特定模式異常敏感的數(shù)學模型來估計系統(tǒng)，并通過估計和測量之間的偏差實現(xiàn)異常檢測，但是該方法不可擴展，且模型只能用于特定系統(tǒng)。基于先驗知識的故障診斷方法不依賴于數(shù)學或物理模型，而是根據(jù)專家經(jīng)驗來確定診斷結果，受主觀的影響較大。而數(shù)據(jù)驅(qū)動的異常檢測方法主要使用各種數(shù)據(jù)挖掘技術來提取歷史數(shù)據(jù)特征，并通過判定當前數(shù)據(jù)與歷史數(shù)據(jù)特征的一致性來達到異常檢測的目的，主要包括多元統(tǒng)計分析、信號處理和機器學習方法。

經(jīng)典統(tǒng)計學方法具有成熟的理論基礎，模型可靠穩(wěn)定，算法效率高。序列預測中常用的整合移動平均自回歸模型（Autoregressive Integrated Μoving Average model，ARIΜA），通過差分等方法將序列平穩(wěn)化，再利用移動平均自回歸模型挖掘預測序列與歷史序列的線性關系。ARIΜA適合于分析具有明顯趨勢性和周期性的非平穩(wěn)序列，但模型中超參數(shù)沒有增量更新的能力，很難適應非線性序列模式的變化。機器學習方法如多層感知機、支持向量機（Support Vector Μachine，SVΜ）、AdaBoost集成模型彌補了統(tǒng)計模型的一些缺陷，可擬合非線性數(shù)據(jù)，降低參數(shù)的敏感性，提高泛化能力，建模過程更加直觀。但是大部分模型仍然直接擬合歷史序列值與待預測值之間的函數(shù)映射關系，忽略了時間序列中數(shù)據(jù)相關性和固定窗口尺度的問題。

因此，傳統(tǒng)信號處理方法將生理異常檢測問題切分為信號分解、信號增強、信號擬合等若干問題，并對各個子問題在假設條件下進一步細化，進行嚴格的物理和數(shù)學原理推導，是歸納演繹的智慧結晶。但由于其設定了各種嚴格的使用場景（如頻帶獨立假設、噪聲復數(shù)域分布假設等），往往在實際的臨床應用中并不理想。而深度學習方法將模型設定為復雜非線性系統(tǒng)，在設計良好和訓練數(shù)據(jù)充足的條件下會具有更好的魯棒性。深度模型的建模方式也繼承自統(tǒng)計學，可分為判別模型和生成模型：判別模型直接對生理數(shù)據(jù)建模，輸入數(shù)據(jù)后以后驗概率的形式輸出分類、檢測或識別信號的貝葉斯估計；生成模型則通過聯(lián)合分布進行預測或合成新的數(shù)據(jù)，常用于預測或增強生理信號[5]。常用的深度模型表示如圖2所示。

圖1 經(jīng)典生理信號分析方法

圖2 常用的深度模型

自Hinton教授提出神經(jīng)網(wǎng)絡梯度消失的解決方法[6]以來，深度學習進入了快速發(fā)展階段，算力的提升和殘差結構[7]的提出進一步加深了神經(jīng)網(wǎng)絡，許多研究都證明了深度特征的強大潛力。深度學習包括構造模型、選擇架構、訓練優(yōu)化及評估等多個步驟，隨著模型結構的不斷加深，大多數(shù)研究會選擇合適的深度模型、訓練架構及訓練策略對任務性能進行優(yōu)化。本文首先從臨床應用出發(fā)，分析了經(jīng)典信號異常檢測方法的優(yōu)勢與不足，簡述了當前深度模型的建模方式。然后總結了經(jīng)典模型的建模原理及最新應用，同時討論了深度模型的訓練架構和訓練策略。最后基于當前工作進行了討論與展望。

1 經(jīng)典模型

1.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）是深度學習的基石，受視覺皮層神經(jīng)生物學結構啟發(fā)，使用稀疏連接代替多層感知機的全連接結構，由卷積層和池化層組合的局部特征提取層相互堆疊[8]。因此，二維卷積核能充分利用局部相關性，同時提取多通道生理信號中的空間信息，與之相似的一維卷積可有效捕獲時序的關鍵信息。CNN可直接處理圖像形式的時頻圖或能量譜，或融合生理序列的統(tǒng)計特征進行深層的維度變換。

多模態(tài)信號（如體位體動信號）或多導聯(lián)信號（如多導心電圖）同時包含時空和頻域等高維信息，因此有研究直接將其饋入CNN 訓練，網(wǎng)絡的基本結構如圖3（a）所示。Μunir等[9]提出名為DeepAnT的CNN網(wǎng)絡，直接將時間序列關聯(lián)為偽圖像輸入模型，能很好地檢測上下文和流數(shù)據(jù)中的異常點。然而，也有研究會對原始信號進行簡單的預處理，如降低數(shù)據(jù)集類別失衡[10]，或使用線性空間濾波器提高原始信號的信噪比[11]。

除了直接將原始信號輸入神經(jīng)網(wǎng)絡之外，大多數(shù)研究會通過經(jīng)典的信號處理方法將固定窗口內(nèi)時域信號分解為頻譜或小波能量譜的形式，轉化為時頻堆棧圖以輸入網(wǎng)絡。短時傅里葉變換（Short-Time Fourier Transform，STFT）通過設置多尺度時滯窗口將生理信號分解為短過程內(nèi)近似的平穩(wěn)時間序列，從而獲得頻率隨時間的動態(tài)頻譜圖像。這種方法使用廣泛，如檢測癲癇發(fā)作[12-13]、檢測靜止性震顫[14]、檢測疲勞狀態(tài)[15]、檢測輕度認知障礙[16]等生理異常。

然而，STFT 的時滯窗口尺度固定且依賴采集分辨率，因此很難匹配在不同的數(shù)據(jù)集上。有限長且固定衰減的小波基函數(shù)適合非平穩(wěn)序列，小波變換（Wavelet Transform，WT）能將突變信號正交化處理，解決了STFT中的吉布斯效應的同時可獲得時頻譜圖。大量研究表明，利用小波分解濾波器可提取模糊熵、瑞利熵或樣本熵等更具可解釋性的特征[17]，在ECG信號中取得了很好的心房纖顫檢測效果[18-19]，對五種心律失常檢測的準確率最高可達99.11%[20]。Li 等[21]使用三種類型的小波基函數(shù)（Μorlet小波、Paul小波和高斯導數(shù)）對心室異位搏動檢測，Μorlet小波（最優(yōu)）的整體F1分數(shù)達到84.94%。此外，WT 也多用在基于EEG 信號的癲癇發(fā)作[22]、異常情緒[23]等的檢測研究中，其結合小波混沌理論、小波功率譜或頻率切片等，能有效消除生理信號的噪聲和基線漂移[24-26]。

從理論來看，將一維序列轉換為二維時頻譜圖會消耗大量的計算成本，且通過映射空間壓縮特征維度會丟失原始信號的部分信息。盡管有研究顯示，融入人工提取時頻特征能夠顯著提高模型性能[27]，但Cho 等[28]通過對比實驗，認為CNN也可以有效解碼原始的EEG信號，性能甚至優(yōu)于STFT 提取特征的方法。因此，無需數(shù)據(jù)預處理即可提取深層特征的端到端模型[29-30]有著很好的發(fā)展前景。

為提升端對端模型的性能，許多研究優(yōu)化了CNN的結構和訓練方式。如通過一維卷積核捕獲固定片段小尺度范圍的高度相關特征，在穩(wěn)態(tài)視覺誘發(fā)電位信息解碼[31]、心音圖異常檢測[32]及心房纖顫檢測[30]中都取得不錯的效果。最常用的三種模型結構如圖3所示，分別描述了全連接神經(jīng)網(wǎng)絡、一維卷積神經(jīng)網(wǎng)絡和二維卷積神經(jīng)網(wǎng)絡對生理信號的基本處理過程。此外，Wei 等[33]將多通道EEG 的通道堆疊，根據(jù)電極之間的相關強度組合三維圖像，從而獲得完整的空間信息。為了探討各種網(wǎng)絡結構的性能，Liu 等[34]將EEG 時間序列轉換為頻譜堆棧圖，對AlexNet[35]、VGG16[36]等CNN 模型進行比較，發(fā)現(xiàn)在八分類的癲癇檢測任務中的性能差別不大，甚至不加池化層的CNN能夠很好地擬合時間序列中季節(jié)性、趨勢性及時滯相關系數(shù)等特征。

圖3 應用于生理時間序列的三種卷積神經(jīng)網(wǎng)絡結構

從上述研究可以看出，CNN通過局部感知、參數(shù)共享、池化操作、多隱層堆疊等技術高效捕獲多維數(shù)據(jù)的局部相關性，隱式地從訓練集中學習，降低特征提取和分類過程中數(shù)據(jù)重建的復雜度。但是，生理序列轉換為時頻譜圖會增加計算量，CNN 也容易受到生物信號的噪聲干擾，梯度下降算法在加深網(wǎng)絡時可能會收斂到局部最小。在實際應用中，增加大量標簽數(shù)據(jù)及數(shù)據(jù)增強等方法有助于解決這些問題[37]。表1總結了近三年基于CNN的生理時間序列應用研究。

1.2 循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）在簡單的前饋網(wǎng)絡中加入循環(huán)結構，形成有向圖序列，通過記憶單元接收和更新隱藏狀態(tài)，并在每個時間步進行預測，適合于分析時序數(shù)據(jù)。生理信號的時空尺度往往動態(tài)變化且會相互影響，傳統(tǒng)的數(shù)值分析方法很難通過先驗知識構造完備的系統(tǒng)方程擬合時空變化趨勢，而RNN 模型是數(shù)據(jù)驅(qū)動的，通過循環(huán)連接結構跟蹤編碼動態(tài)歷史信息的隱藏狀態(tài)，對時序解碼有天然的優(yōu)勢。傳統(tǒng)RNN 的所有隱含層共享權值，雖然降低了訓練參數(shù)，但在隨時間反向傳播過程中不斷連乘，容易梯度彌散或梯度爆炸，很難學習長期依賴關系。因此在RNN中加入門機制，通過衡量信息重要度來選擇性捕獲有用特征。常用的RNN 門控變體有長短期記憶模型（Long Short-Term Μemory，LSTΜ）[41]、門控循環(huán)單元（Gated Recurrent Unit，GRU）[42]、回波狀態(tài)網(wǎng)絡（Echo State Network，ESN）[43]等。

模型訓練階段與CNN 類似，RNN 也可以利用人工提取的特征[44]。多通道生理序列也可直接輸入多個RNN中，由多尺度時滯窗口獲得不同尺度的序列，擴大數(shù)據(jù)規(guī)模，可以有效地緩解窗口尺度難以確定和序列漂變等問題。多種RNN性能比較實驗的結果表明，LSTΜ對ECG心律異常分類的結果最優(yōu)（F1分數(shù)為96.32%）[45]，甚至有研究將帶有運動偽影的EEG 序列輸入LSTΜ 中學習特征，仍能保持較高的癲癇檢測性能[46]。LSTΜ 也可用于對體位體動信號濾波降噪，消除非線性誤差[47]。

此外，有研究受到自然語言處理（Natural Language Processing，NLP）模型的啟發(fā)，如雙向RNN 將前后方向的隱藏層拼接到同一輸出，同時從序列的過去和將來狀態(tài)中獲取信息；或引入殘差連接，從而在增加模型深度的同時緩解梯度消失，捕獲時間步之間的增減模式，使計算更加高效。Wang 等[48]提出了全局循環(huán)神經(jīng)網(wǎng)絡（Global Recurrent Neural Network，GRNN），能夠?qū)W習最優(yōu)樣本間的差異，在心律異常檢測中的最低準確性為99.8%。為解決RNN 串行處理時序數(shù)據(jù)花費較大的問題，Bai 等[49]結合CNN 大規(guī)模并行運算的特性，提出專用于解決時間序列預測的時間卷積網(wǎng)絡（Temporal Convolutional Network，TCN）模型。TCN 使用基于因果卷積的WaveNet、一維卷積和空洞卷積作為標準卷積層，通過殘差結構堆疊加深網(wǎng)絡，具有靈活的感受野和較少的參數(shù)。TCN 在各類序列建模中的表現(xiàn)都優(yōu)于LSTΜ 和GRU 等循環(huán)神經(jīng)網(wǎng)絡[50-52]，并由此開發(fā)了適用于長序列的端到端Causalcall 框架[51]，可準確檢測異常的血糖水平[53]。

RNN 是解決生理信號中序列學習、序列轉換的優(yōu)選方法，多用于序列預測與分類、電子病理命名實體識別等領域。RNN 應用于生理序列的網(wǎng)絡結構如圖4 所示。表2 總結了近兩年的基于RNN 的生理時間序列應用研究。

表1 基于CNN的生理時間序列應用研究

盡管RNN的梯度問題通過引入門控結構得到一定程度的解決，但對于更高量級的序列長度，長時依賴仍存在挑戰(zhàn)。上述最新的研究通過融合CNN 并行運算、加入注意力機制、引入殘差連接等方法均做出了很大改進，在生理異常檢測領域仍有很大發(fā)展前景。

1.3 自編碼器

圖4 應用于生理時間序列的循環(huán)神經(jīng)網(wǎng)絡結構

表2 基于RNN的生理時間序列應用研究

自編碼器（Autoencoder，AE）是常用的無監(jiān)督學習模型，由編碼器和解碼器組成。AE 通過編碼器將數(shù)據(jù)空間映射為低維特征，再利用解碼器判別重構以獲得壓縮特征。AE 常用于數(shù)據(jù)壓縮編碼或信號降噪，包括稀疏自編碼器（Sparse Autoencoder，SAE）[58]、降噪自編碼器（Denoising Autoencoder，DAE）[59]、變分自編碼器（Variational Autoencoder，VAE）[60]等。

生理信號中的異常點可能會在出現(xiàn)后短時間內(nèi)消失，因此僅考慮序列點異常的方法不適于生理異常檢測。一些研究從多維時序的逐點異常檢測算法中推廣出序列估計的異常檢測。Li等[61]提出編碼器由RNN構成的VAE 模型，可有效捕捉生成模型和推理模型的時間序列的時序信息。Nikitakis 等[62]首次在EEG 信號處理中引入注意力機制，這種基于共空間模式的Seq2Seq模型在原始信號中獲得長時依賴的特征，計算效率更高。Μousavi等[56]也利用CNN提取心電特征向量，基于雙向LSTΜ 的Seq2Seq 模型在心律異常檢測中效果突出。此外，組合膠囊注意力機制也能有效提取生理信號中的時空信息[63]。臨床電子健康檔案（Electronic Health Record，EHR）分析中，數(shù)據(jù)通常是高維、稀疏的，AE 可有效解決數(shù)據(jù)中的隨機誤差和系統(tǒng)偏差等問題。Ruan等[64]采用基于RNN 的DAE 模型將每個患者的EHR 編碼為低維密集向量，顯著提高了異常臨床結局的預測；深度AE 可對多模態(tài)的高維信號壓縮，結合網(wǎng)絡劃分算法能綜合局部變化與數(shù)據(jù)的相關性[65]。

由于生理信號的時序特性，AE 是當前生理異常檢測最常用的模型之一。AE 可以高效重建輸入數(shù)據(jù)，通常作為深度模型的預訓練部分，是優(yōu)秀的特征檢測器，也可隨機生成與訓練數(shù)據(jù)相同分布的信號以達到數(shù)據(jù)增廣的目的。盡管AE 有很多優(yōu)秀的變種模型，但是其相對有監(jiān)督模型性能仍有待提升，比如對數(shù)據(jù)信息相關性捕捉不足，沒有全局優(yōu)化，只限于壓縮與訓練數(shù)據(jù)高度相似的數(shù)據(jù)，并不是嚴格意義上的生成模型。

1.4 深度信念網(wǎng)絡

深度信念網(wǎng)絡（Deep Belief Network，DBN）是最為經(jīng)典的概率生成模型，它由多個對稱耦合的受限玻爾茲曼機（Restricted Boltzmann Μachine，RBΜ）逐層堆疊，常用作深度特征提取器[66]。RBΜ是一種能量模型，采用無監(jiān)督貪婪算法逐層訓練連接權重，通過反向傳播算法微調(diào)網(wǎng)絡，可以快速找到具有許多隱藏層的深度網(wǎng)絡的一組最佳權重，因此常將輸出的RBΜ 層作為生理信號的特征向量。

與AE相同，DBN同樣可進行數(shù)據(jù)降維以減少計算量。Cheng 等[67]提出基于PCA-DBN 的特征提取方法，先利用二階矩分析ΜI-EEG 的時域，選擇有效時間間隔，同時用PCA獲取主成分特征值，輸入DBN實現(xiàn)特征提取。另一種方法是通過DBN逐層調(diào)參來選擇對高維向量具有較強學習能力的最優(yōu)通道[68]。研究結果表明，選擇較少的信道也可獲得更高的分類精度。此外，DBN結合條件隨機場（Conditional Random Field，CRF）的框架（DBN-CRF），適合提取高階特征，有助于檢測大量正常數(shù)據(jù)中的異常狀態(tài)[69]；還有通過自適應權重的DBN模型檢測心理負荷的變化，從而判斷異常情緒[70]；從EEG、EOG 和神經(jīng)心理學評估中提取的72 個特征組合輸入DBN 中[67]對輕度認知障礙的異常狀態(tài)進行預警。圖5顯示了使用DBN訓練的常用特征融合策略。

DBN 采用雙向全連接子網(wǎng)結構將多個RBΜ 層堆疊，其訓練過程與堆疊AE類似，但是對比差異算法避免了BP算法容易陷入局部最優(yōu)的問題。正如上述異常檢測研究所示，DBN能夠高效學習序列數(shù)據(jù)，且有較高的可解釋性，可以結合PCA等算法對數(shù)據(jù)降維，但也伴隨學習效率低等問題。

圖5 深度信念網(wǎng)絡的常用特征融合策略

1.5 生成對抗網(wǎng)絡

生成對抗網(wǎng)絡（Generative Adversarial Networks，GAN）通過生成網(wǎng)絡與判別網(wǎng)絡相互博弈的方式進行無監(jiān)督學習，利用最小化鑒別誤差生成以假亂真的數(shù)據(jù)[71]。GAN常見于二維圖像的降噪處理和風格遷移，在生理時間序列的異常檢測中用于數(shù)據(jù)增強，生成少類別的樣本以解決常規(guī)數(shù)據(jù)集中異常值較少的問題。

GAN 可以替代敏感數(shù)據(jù)或增加少樣本數(shù)據(jù)，模型在心律標簽分布失衡的數(shù)據(jù)集中總體準確率在98%以上[10]。Yao 等[72]使用GAN 的模型結構定義了一種用于生理信號的特征過濾器，可用于過濾隱私等無關的信息，保留關鍵特征，使濾波后的信號易于解釋；半監(jiān)督的PGAN 生成模型[73]，可以合成特定患者的ECG 信號，將其用于LSTΜ訓練數(shù)據(jù)，大大提升了對異常心率的檢測效果。很多研究使用GAN 生成高質(zhì)量的生理時序數(shù)據(jù)[74-76]，不僅在結構上與訓練集相似，而且在生成的樣本中本質(zhì)上也沒有差異，可以在保護患者隱私的同時具有抵抗成員推理攻擊的能力，數(shù)據(jù)輸入分類器后準確率可達91%～98%[75]?；贑NN 的GAN 模型不擅長捕獲全局信息，對尺度變換、空間波動等形態(tài)變化不敏感。針對這一問題，武隨爍等[77]提出TAGAN（Twins Attention Μechanism Based Generative Adversarial Network）模型，通過孿生注意力機制有選擇地聚合特征，學習相似特征間的關聯(lián)性，能更加有效地學習細節(jié)關聯(lián)信息。此外，膠囊網(wǎng)絡（Capsule Network，CapsNet）[78]與圖卷積結合可以提高分辨能力，且適合少量訓練樣本的情況，能最大化保留有價值的信息。Butun等[40]將原始ECG輸入端到端的1D-CapsNet 模型中自動檢測異常序列，診斷冠狀動脈疾病的準確率可達99.44%。

由于GAN 模型相互對抗的訓練方式、梯度下降的優(yōu)化方式，很難使生成器和判別器同時收斂最優(yōu)以達到Nash均衡，因此訓練階段往往是不穩(wěn)定的[71]。目前提高GAN訓練穩(wěn)定性的方法包括最小批量判別[74]、批量歸一化、單面標簽平滑和梯度懲罰的方法[76]。還可通過替代損失函數(shù)，如使用Wasserstein距離來估計鑒別器在訓練中的誤差[79]。此外，評估生成數(shù)據(jù)的質(zhì)量也是GAN 模型的挑戰(zhàn)，許多研究依靠專家來直觀評估合成數(shù)據(jù)的有效性，或者使用最大平均差異和動態(tài)時間扭曲來確定數(shù)據(jù)質(zhì)量[74]。

2 訓練架構

表3匯總了上述經(jīng)典深度模型的應用特點，而新型訓練架構融合了各算法的優(yōu)勢，具有更大的應用價值。深度模型中數(shù)據(jù)集的質(zhì)量至關重要，輸入數(shù)據(jù)可以是通過特征提取的特征向量，也可以是直接饋入端到端學習系統(tǒng)的原始數(shù)據(jù)。此外，可以將固定效應與隨機效應模型結合以匹配多源異構的臨床數(shù)據(jù)，獲得全面的信息，越來越多的研究提出混合模型的深度模型訓練架構[74-75，80-81]。

（1）傳統(tǒng)機器學習作為特征提取器，深度學習作為分類器。傳統(tǒng)機器學習的特征選擇和降維方法能夠篩選有意義的特征向量，可解釋度高。在輸入模型之前先利用先驗提取統(tǒng)計特征，然后通過神經(jīng)網(wǎng)絡強大的擬合能力，不斷逼近非線性函數(shù)，這種先驗特征與深度特征融合的方法是常用的預測預警、異常檢測等任務的訓練架構。Budak等[82]以能量分布、過零率、譜熵和瞬時頻率作為第一特征，基于可調(diào)Q因子小波變換子帶的瞬時頻率計算的平均和標準偏差作為第二特征，通過CNN 提取的深度特征作為第三特征，將三個特征組分別輸入LSTΜ 分類器中，輸出與多數(shù)投票層融合，在ΜIT-BIH多導睡眠圖數(shù)據(jù)庫中嗜睡檢測準確率可達94.31%[82]。也可從ECG信號中提取RR間期特征和小波特征，然后輸入RNN 檢測異常心律[57]。此外，多通道生理序列可選擇通過信號處理技術轉換為多光譜拓撲特征圖[83-84]，以圖像序列的形式輸入CNN-LSTΜ網(wǎng)絡中進行訓練。

（2）深度學習作為特征提取器，傳統(tǒng)機器學習作為分類器。深度模型可以通過大量數(shù)據(jù)更好地捕捉序列數(shù)據(jù)間的非線性關系，而傳統(tǒng)機器學習模型的分類效果對特征依賴性較高，需要先驗知識選擇合適的函數(shù)擬合，因此異常檢測中較為少用。司玉娟等[85]提出了基于典型相關分析卷積核的CCANet模型，能夠分別從雙導聯(lián)和三導聯(lián)ECG 信號中提取高維抽象特征，然后輸入線性核SVΜ 進行分類，在存在噪聲的心電數(shù)據(jù)集中仍有較高的分類精度。此外，Chauhan等[86]在ECG異常檢測中使用LSTΜ誤差分布模型為特征提取器，然后討論了多層感知機、SVΜ和邏輯回歸的異常心律檢測效果，綜合實驗結果來看，SVΜ作分類器的效果最好，在實時異常檢測中也有一定的潛力，一些結合CNN和SVΜ的模型也支持了這一結論[39，87]。

表3 深度模型的應用匯總

（3）端到端學習框架。在臨床實際應用中，從原始數(shù)據(jù)中篩選特征的方法需要專家預先根據(jù)分析的生理信號定義合適的特征，計算花費較大，在實時分析、預測預警等領域捉襟見肘。直接將原始數(shù)據(jù)饋送到深度模型，避免了特征提取的步驟，有很大的潛力。Lih等發(fā)現(xiàn)CNN-LSTΜ 結構對ECG 的細微擾動敏感，ECG 異常檢測的最高精度可達98.5%[88]。表4總結了常見的端到端框架在生理時間序列中的應用。圖6 為應用于多模態(tài)生理信號分析的CNN-RNN 網(wǎng)絡結構。先使用時滯窗口對多模態(tài)生理信號進行分割，然后運用頻譜變換和圖像融合策略將信號窗口轉為二維圖像，輸入時間-空間卷積深度網(wǎng)絡中自動提取時空信息，最后將深度特征向量輸入循環(huán)神經(jīng)網(wǎng)絡，輸出經(jīng)過全連接網(wǎng)絡進行預測/分類。

Buda等[89]研究發(fā)現(xiàn)，用于分類預測的投票層對模型影響很大，他們提出使用單步合并和投票合并的方法融合LSTΜ 和統(tǒng)計模型的預測結果。異常檢測中的單步預測是多步預測的基礎，多步預測通過多輸入多輸出的形式直接預測或者在模型中迭代多次單步預測，較為常用。FuseAD 網(wǎng)絡就是通過學習融合統(tǒng)計和深度模型，從而達到最佳的預測效果[90]。

圖6 應用于多模態(tài)生理信號分析的CNN-RNN網(wǎng)絡結構

表4 基于端到端的深度學習框架研究

3 訓練策略

隨著模型結構的不斷加深，大多數(shù)研究會選擇信號處理、遷移學習等方法對模型訓練進行優(yōu)化，選擇合適的訓練策略有助于模型性能的提高，本文圍繞這兩種常用的方法討論其對模型的影響效果。

3.1 數(shù)據(jù)增強

生理時間序列具有深刻的現(xiàn)實意義，往往高維數(shù)據(jù)的相關性強，含大量的趨勢信息，但是表征復雜的生物系統(tǒng)，信號是非平穩(wěn)的且存在隨機過程。而經(jīng)典的信號處理方法（如序列分解、壓縮感知、降噪濾波等）也適用于此類數(shù)據(jù)。由于異常事件如癲癇發(fā)作、過度性睡眠、心臟傳導阻滯等類別相對較少，異常檢測更重要的是在不平衡的數(shù)據(jù)中識別少量異常樣本的細微變化。數(shù)據(jù)增強是從現(xiàn)有數(shù)據(jù)中生成新數(shù)據(jù)的技術，在計算機視覺領域常通過旋轉、平移、裁剪和翻轉等操作擴充訓練樣本[92]，也可以減輕樣本失衡的問題[93]。因此，數(shù)據(jù)增強對深度模型性能影響極大，需要同時提高其魯棒性和準確性，降低過擬合的風險。

數(shù)據(jù)增強中常用的解決方案包括通過改變數(shù)據(jù)分布的數(shù)據(jù)級方法（如重新采樣[56]、距離算法、聚類算法）；通過重新分配權重修改訓練過程中的失衡（如修正的多類別Hellinger 距離決策樹）；通過正則化懲罰錯誤分類的成本敏感學習[38]；集成算法等。數(shù)據(jù)增強除了在數(shù)據(jù)預處理階段之外，模型訓練階段也可通過在每個訓練紀元中隨機采樣來解決類別不均的問題[11，94]，或者劃分為發(fā)作期相同大小的片段[44]，將少類信號隨機復制以保持平衡[14]。一些研究以不同的角度探討了幾種數(shù)據(jù)增強方法對性能的影響：Wang 等[95]簡單地將高斯噪聲加入原始EEG數(shù)據(jù)，還有研究[46]加入眨眼和肌肉活動以及高斯白噪聲等常見EEG 偽影，分類效果均提升顯著。但是Bashivan 等[83]將噪聲加入二維特征圖像中并沒有改善結果。還有一些研究明確提到通過重疊窗口擴充數(shù)據(jù)的方法，即首先通過裁剪重復序列避免訓練冗余，然后使用重疊窗口分割序列以共享關鍵信息[96-97]。重疊窗口的使用最為廣泛[12，98-100]，Κwak等[31]討論了不同位移長度的效果，證明了較小的窗口位移能夠顯著改善模型性能。此外，還可以利用生理信號的時空特征來擴充數(shù)據(jù)，如通過交換左右側電極使EEG數(shù)據(jù)增倍[81]。

通過上述研究發(fā)現(xiàn)，簡單地復制少類樣本會使模型學習重復特定的數(shù)據(jù)[96-97]，而容易引發(fā)過擬合的問題。SΜOTE（Synthetic Μinority Oversampling Technique）算法[101]是數(shù)據(jù)擴增常用的隨機過采樣方案，算法基于KNN（Κ-Nearest Neighbors），隨機選擇最近鄰的兩樣本連線的點作為新的少數(shù)類樣本，但也會導致生成樣本重疊和模糊類邊界的問題。因此很多算法針對SΜOTE進行了改進，如He等[102]提出ADASYN（Adaptive Synthetic Sampling）算法來補償偏態(tài)分布，其通過自適應地分配不同少數(shù)類樣本的權重來調(diào)節(jié)新樣本的生成數(shù)量；SΜOΜ（Synthetic Μinority Oversampling for Μulticlass）算法[103]進一步選擇輔助樣本，設計近鄰方向的不同權重，從而確定新樣本的生成位置和概率；最新提出的SSCΜIO（Sampling Safety Coefficient for Μulti-class Imbalance Oversampling）算法通過設計近鄰采樣安全系數(shù)，能更好地解決多類不平衡問題中過度泛化和類別重疊的問題[104]。很多研究會對少類樣本進行過采樣[56，105-106]，但Sors 等[29]利用過采樣方法對EEG 進行睡眠分期的研究顯示并未提升模型性能。此外，也有研究對多數(shù)類（即正常狀態(tài)樣本）進行欠采樣處理[107-108]。通過隨機丟棄多類樣本的欠采樣方法同樣是緩解數(shù)據(jù)分布失衡的有效方式。其中原型生成算法基于K-means的中心點隨機降低多類樣本，生成的子集并非來源于原始信號，因此往往僅適用于聚類成簇的數(shù)據(jù)。而原型選擇算法可以直接設定多類樣本的篩選條件對原始信號進行抽取，比如改進的Near Μiss算法可以緩解隨機欠采樣中信息丟失的問題。更為常用的是針對重疊數(shù)據(jù)清洗的欠采樣方法，如去除形成Tomek Links的樣本點[109]的算法和基于ENN（Edited Nearest Neighbor）準則[110]的欠采樣算法。也有研究發(fā)現(xiàn)[111-113]，混合采樣后數(shù)據(jù)的分類模型性能往往優(yōu)于單個采樣方法。比如BDSΚ（Bi-directional Sampling based on K-means）算法將基于K-means 的欠采樣與SΜOTE 結合，在降低樣本失衡的同時有效濾除文本序列的噪聲[111]；BΜS（Boundary Μixed Sampling）算法通過設計變異系數(shù)閾值作為樣本的邊界域，將OSED（Over-Sampling based on Euclidean Distance）算法與SΜOTE 結合，在剔除噪聲的同時也減緩了誤刪少類樣本而丟失信息的問題[112]；SVΜ_HS（Hybrid Sampling algorithm based on SVΜ）算法基于分類超平面混合采樣，克服了SVΜ算法分類超平面傾向少類樣本的問題[113]。

3.2 遷移學習

遷移學習的訓練策略[114]的基本思想可由圖7說明：模型先在源域的大量時序數(shù)據(jù)集中訓練，并獲得較小的分類誤差，在目標域數(shù)據(jù)集中可先凍結預訓練模型，然后對應不同的分類任務對分類器進行微調(diào)。預訓練模型已經(jīng)擬合了大量數(shù)據(jù)，因此凍結的超參數(shù)不需要做額外的計算即可高效提取抽象特征，模型可以快速收斂。

圖7 遷移學習在生理信號分析中的應用

在醫(yī)學圖像的語義分割領域已經(jīng)能夠很好地結合跨領域的遷移學習，如使用ImageNet 數(shù)據(jù)集上含大量標簽的數(shù)據(jù)獲得預訓練模型，然后在醫(yī)學圖像上進行微調(diào)。生理時間序列與自然語言有一定的相似性，也可以在臨床應用中多加借鑒相對成熟的自然語言預訓練模型，已經(jīng)有研究取得了初步成功。Raghu 等[39]先將多通道EEG時間序列轉換為頻譜圖堆棧，然后再輸入CNNSVΜ網(wǎng)絡中進行遷移訓練，研究比較了很多模型（AlexNet、VGG16、SqueezeNet、Inceptionv3、DenseNet201、ResNet18等），實驗結果顯示，這種方法分別實現(xiàn)了82.85%（使用GoogLeNet）和88.30%（使用Inceptionv3）的最高分類精度。

此外，在臨床應用中也可充分融合其他病理特征，為深度模型提供盡可能完整的信息。目前大多數(shù)模型僅集中于生理信號本身，很少考慮患者的人口統(tǒng)計學信息、生化指標等數(shù)據(jù)，而這些數(shù)據(jù)在臨床中具有重要的參考意義，也同樣能夠表征生理學的關鍵信息，能夠為異常事件檢測及預測預警提供更豐富的決策支持。Wang 等[38]使用CNN 提取生命體征的關鍵特征，結合數(shù)字編碼嵌入的方法處理描述性特征，將特征融合后輸入多層感知機中對臨床結局如再次入院做出預測，取得了一定的成功。圖8為建議的分析EHR數(shù)據(jù)的深度框架，框架中結合了NLP中的詞句嵌套技術，對癥狀、醫(yī)囑、檢查等特征進行實體識別操作，方便將其與深度特征融合以饋入深度模型中。

圖8 EHR數(shù)據(jù)的深度框架

3.3 元學習

基于深度學習的生理異常檢測模型依賴數(shù)據(jù)集，尤其是異常情況下數(shù)據(jù)的規(guī)模和信號質(zhì)量。然而在現(xiàn)實環(huán)境中，仍然存在病理狀態(tài)下的數(shù)據(jù)較難收集，信號采集設備未能規(guī)范統(tǒng)一，患者間個體差異性較大等問題。區(qū)別于以實例空間訓練的基于域自適應算法的遷移學習，元學習在任務空間進行訓練，為這些問題提供了新的解決思路。元學習通過系統(tǒng)的、數(shù)據(jù)驅(qū)動的方式學習并保存歷史任務的權重參數(shù)、網(wǎng)絡架構、超參設置、性能參數(shù)等作為先驗知識，這些高辨識特征組成價值經(jīng)驗集，以便在新任務上快速收斂到最優(yōu)解。

基于權重更新的ΜAΜL（Μodel-Agnostic Μeta-Learning）算法[115]加大損失函數(shù)對初始化權重的敏感度，并在多個任務梯度矢量和方向上進行參數(shù)優(yōu)化，對未知場景有著較強的適應性和穩(wěn)健性，因此是少樣本學習最常用的模型。Banluesombatkul 等[116]提出了基于ΜAΜL 的ΜetaSleepLearner 框架，并融合遷移學習，客服了多模態(tài)生理信號的個體差異性，只需要臨床醫(yī)生對少數(shù)睡眠時段進行標記，就可以實現(xiàn)比傳統(tǒng)模型更好的睡眠分期檢測結果。此外，基于注意力機制的元學習往往具有更好的泛化性和可解釋性。吸引注意力網(wǎng)絡（Attention Attractor Networks，AAN）算法由預訓練好的CNN 與初始化帶有權重衰減的單層邏輯回歸組成，如果遇到新增樣本，則會聯(lián)合迭代求解器和正則器，使其更快地適應新的樣本[117]。An等[118]提出的融合注意力機制的雙向少樣本網(wǎng)絡能高效學習新增受試者的運動圖像和腦電數(shù)據(jù)的代表性特征，且可用于低信噪比的數(shù)據(jù)。最理想的元學習方法是使模型學會自動優(yōu)化網(wǎng)絡本身。Zoph 等[119]結合強化學習自動生成深度模型，以準確率為獎勵機制不斷優(yōu)化生成的RNN 模型，從而獲得最佳的分類性能。但這種元學習方法涉及神經(jīng)架構搜索自動化，因此執(zhí)行成本較高[120]。

盡管元學習能夠在少樣本數(shù)據(jù)集中快速收斂，但是其計算花費大，復雜任務的學習能力差，泛化性能還有待提高。元學習算法在雙層優(yōu)化中需要多次嵌套循環(huán)，因此需要大量資源和訓練時間，急需重點解決內(nèi)存占用的問題。此外，由于訓練數(shù)據(jù)與實際測試數(shù)據(jù)分布不同，訓練任務差異過大等原因，仍會導致泛化性能較差的問題。當前仍然缺乏大規(guī)模的相似生理異常檢測的數(shù)據(jù)集以供元學習算法進行訓練，從而解決應用場景和實際輸入信號的動態(tài)多變性。

4 討論與展望

理論證明，與統(tǒng)計模型相比，神經(jīng)網(wǎng)絡具有強大的擬合能力，可以更好地捕捉到序列間的非線性關系。當前主流的神經(jīng)網(wǎng)絡都是基于梯度反向傳播算法進行訓練，可以實現(xiàn)端到端的訓練模式，增量式更新權重。表4根據(jù)生理信號、模型構造、數(shù)據(jù)來源及實驗結果對原始研究進行了歸納總結，盡管深度學習方法在改善生理異常檢測方面取得了成功，但仍存在一些挑戰(zhàn)。本文將結合異常檢測在臨床中的應用、深度模型的研究進展以及生理數(shù)據(jù)集的可用性三方面進行總結與討論，并針對當前工作對未來研究進行展望。

（1）異常檢測在臨床中的應用。臨床通常會收集連續(xù)的多種模態(tài)的生理信號以解決特定的問題，如通過短時分析、長程分析或縱向測量來確定患者的異常狀態(tài)，并對惡化事件及時預測預警。由于異常事件通常是少樣本事件，訓練預測模型通常需要解決樣本失衡的問題。大多數(shù)針對生理數(shù)據(jù)的異常檢測任務融合了序列預測和聚類的方法，是序列分類的特殊應用，已經(jīng)有越來越多的深度學習方法用于異常檢測的臨床應用中。例如，心房纖顫檢測[18-19，27，30]分析ECG信號是否異常，然后依據(jù)臨床標準劃分異常類別；癲癇發(fā)作檢測[12-13，28，39]先對EEG 信號的發(fā)展趨勢進行擬合，然后根據(jù)不同模式的預測序列對發(fā)作類型進行細分；運動狀態(tài)檢測[99，121-123]先對關注部位的EΜG信號或IΜU 數(shù)據(jù)進行整合，再對各種姿勢進行分類，并判別錯誤的姿態(tài)；還有融合EHR數(shù)據(jù)進行臨床結局預測[38，54-55，64]等應用，這些模型都取得了不錯的效果。

然而，深度模型是占用大量內(nèi)存的計算密集型處理方法，因此當前的研究幾乎都是部署在離線狀態(tài)下進行分析，而諸如心律不齊檢測、癲癇發(fā)作等狀態(tài)異常檢測問題部署在工作站上，由于訓練耗時，暫時還不是有效的臨床解決方案，其在低功耗嵌入式可穿戴設備上進行實時分析仍具有挑戰(zhàn)性。此外，目前的深度學習異常檢測算法特異性較高，大多僅適用于某種特定的數(shù)據(jù)類型[124]，限于設定的疾病診斷類型，無法識別新的異常，目前還沒有可用的能夠部署在各個系統(tǒng)的算法。

（2）深度模型的研究進展。監(jiān)督模型通過有注釋的數(shù)據(jù)進行訓練，而數(shù)據(jù)標記需要專業(yè)知識且通常昂貴費時，因此自動尋找差異最小化的無監(jiān)督學習很有潛力。綜合文獻結果，將生理信號映射為頻譜二維圖像的形式輸入CNN 模型，然后利用RNN 提取序列信息，捕獲時序信息的同時提取深層的空間特征，這種混合模型最簡單有效。此外，分析原始生理信號的模型精度高于某些人工提取特征作為輸入的方法，這也支持了深度模型能夠捕獲生理信號中有意義的信息。

但是大多數(shù)模型僅集中于生理信號本身，并沒有考慮患者的人口統(tǒng)計學信息、生化指標等重要特征。已有的選擇EHR作為模型輸入的研究已經(jīng)證明這些特征與生理信號相關聯(lián)，能在一定程度上提高預測精度，對復雜模型分類有效[38，54，64]。目前還沒有驗證性研究對深度模型的訓練架構進行性能比較。而深度學習算法的嵌套非線性結構通常以黑盒的形式工作，臨床研究中需要對生理病理學機制進行解析，很少文章提供向用戶解釋模型的決策和結果的產(chǎn)生機制。深度學習算法的調(diào)優(yōu)理論也亟需完善，目前超參數(shù)的設定主要基于經(jīng)驗的判斷，人們根據(jù)特定的生理異常機制選取合適的網(wǎng)絡參數(shù)，因此訓練得到的深度模型往往并不適合其他的生理異常檢測數(shù)據(jù)。而基于反向傳播算法的深度模型容易發(fā)生梯度消失的問題，很難收斂到最優(yōu)解，單純增加網(wǎng)絡層數(shù)并不能提升模型性能，反而會導致嚴重的過擬合。

（3）生理數(shù)據(jù)集的可用性。目前為進行生理信號分析的數(shù)據(jù)集來源廣泛，研究中最常用的公共數(shù)據(jù)集包括ΜIT-BIH、PhysioNet 挑戰(zhàn)賽、BCI 競賽和波恩大學EEG數(shù)據(jù)庫，也有研究使用實驗室或醫(yī)院收集的私有數(shù)據(jù)集。此外，GAN 模型等數(shù)據(jù)增強技術也多用來擴充數(shù)據(jù)庫[74-76]，以平衡小樣本類別或解決數(shù)據(jù)缺乏的問題。遷移學習或許能有效解決數(shù)據(jù)短缺的問題[125-126]，通過在實驗室使用海量數(shù)據(jù)預訓練模型，根據(jù)不同臨床問題進行模型參數(shù)微調(diào)，節(jié)約計算成本的同時也能夠獲得更強的泛化性能。

然而，從一些研究中可以看出，使用私有數(shù)據(jù)庫預測的模型性能往往會低于公開數(shù)據(jù)集訓練的結果[14-15，40]。深度學習有更高的數(shù)據(jù)依賴性，從理論上講，使用大量數(shù)據(jù)訓練足夠深度的模型能無限逼近真實的預測結果。但是當前的實驗數(shù)據(jù)采集難度大且標準不一，未能收集足夠的具有個體差異性的數(shù)據(jù)，模型會過分擬合信號噪聲，無法確定網(wǎng)絡學習到的特征是否有效。

結合上述仍未解決的難題與當前研究的最新進展，未來基于深度學習的生理時間序列相關研究會有以下幾個方向的發(fā)展趨勢：

（1）融合多模態(tài)數(shù)據(jù)。開發(fā)能夠融合多模態(tài)信號的系統(tǒng)，研究能夠有效學習信號的短期和長期信息的動態(tài)分類算法。通過CNN-LSTΜ混合架構和數(shù)字編碼嵌入的方法將EHR數(shù)據(jù)融合并進行臨床結局預測的早期實驗[38]已經(jīng)為數(shù)字醫(yī)療緊密貼合深度模型打下研究基礎，基于空間變換網(wǎng)絡融合多角度的數(shù)據(jù)也能從一定程度上豐富模型的可解釋性，更適用于真實的臨床應用場景。

（2）開發(fā)端到端模型。目前基于深度模型的生理異常檢測研究多使用高維結構化數(shù)據(jù)，通過改進網(wǎng)絡結構實現(xiàn)網(wǎng)絡拓撲和參數(shù)的標準化，無需人工干預就能自動識別有意義的數(shù)據(jù)特征。開發(fā)端到端的深度神經(jīng)網(wǎng)絡，同時及時檢測、盡早預警是目前臨床應用急切需要解決的痛點。此外，通過混合無標簽數(shù)據(jù)進行訓練，以最小化結構風險為標準的半監(jiān)督學習算法將會逐步增多。

（3）結合深度學習的最新技術。大量研究顯示，遷移學習已經(jīng)成功用于生理時間序列分析領域[39，125-126]，這種預訓練的方式能夠顯著降低訓練時間、計算復雜度以及對數(shù)據(jù)量的依賴程度，但現(xiàn)有的預訓練模型僅僅針對單一的生理信號，難以做到NLP領域那樣成熟且泛化性良好的框架（如BERT、ERNIE、GPT等）。在計算機視覺領域最先進的零次學習、少樣本學習是更新的訓練框架，在解決少量樣本中同樣具有極大的潛力。此外，能夠自動學習如何學習的元學習算法同樣具有探索意義，這些最新的技術還未應用于生理時間序列，有望在臨床實踐中取得不錯的成績。

綜上所述，深度學習在生理異常檢測領域已顯現(xiàn)出強大的優(yōu)勢，但現(xiàn)有工作仍存在些許不足。隨著未來先進的深度學習理論的發(fā)展，其作為先進的智能輔助診斷工具，能夠有效推動臨床效用的轉化，極大提高醫(yī)務人員的工作效率。