陳慧玲， 張 曄， 田奧升， 趙晗馨

（國防科技大學電子科學學院， 長沙 410073）

0 引 言

隨著傳感器技術的飛速發(fā)展，序列數據分類在健康監(jiān)測、智能家居控制、設備監(jiān)控等領域得到了廣泛的應用。 一些對時效性要求較高的現實應用，例如災難預測、氣體泄漏檢測、故障檢測［1－2］等，都需要提早地對序列數據進行分類。 因此，序列數據的早期分類具有重要研究價值［3］。 然而，真實世界中的早期分類的流數據輸入形式為分類增加了難度，并且難以設置合適的停止條件退出分類。

近年來，傳統(tǒng)方法取得了較好的早期分類效果［4－6］，然而手工設計的特征需要大量的專家經驗。此外，這些方法還需要為不同長度的數據訓練多個不同的分類器。 深度方法由于其自動分類方案以及有效的特征提取能力在序列數據分類領域取得了卓越性能［7］。 部分研究人員逐漸利用深度學習的方法解決序列數據早期分類任務［8］。 因此，本文主要關注基于深度學習的方法。

在時間早期分類領域，基于深度的方法主要分為一階段的方法和二階段的方法。 其中，一階段的方法是指同時對分類過程及退出過程進行優(yōu)化。 這類方法通常設置分類子網和提前退出子網并對其聯合優(yōu)化。 然而，分類子網和退出子網的優(yōu)化具有一定的沖突［8］。 這是由于在時間推移過程中，分類準確率隨信息量的增長遞增的同時早期性不斷降低。因此，一階段的方法難以同時對2 個子網進行優(yōu)化。二階段的方法通過將分類過程與退出過程分離來緩解這種沖突，首先單獨對分類器進行訓練，然后通過制定設置閾值或一定的退出規(guī)則來退出分類。 遞歸神經網絡（recursive neural networks，RNN）由于其貫序的輸入方式被廣泛應用于早期分類［9］，然而其局部特征提取能力不強。 Huang 等學者［10－12］利用卷積神經網絡（Convolutional Neural Networks，CNN）良好的局部特征提取能力，結合CNN 和RNN 構建混合模型來同時提取局部特征及時序信息，然后利用分類概率計算置信度，并制定了一定的退出規(guī)則。Hsu 等學者［13］同樣使用了混合分類模型，并引入了注意力機制以增強模型的可解釋性。 此外，現有方法也未考慮到識別正確的概率隨時間變化的規(guī)律。

為了解決這些問題，本文提出了掩碼時間注意力機制以及置信度損失函數。 首先，本文利用基于掩碼時間注意力機制的時間卷積網絡對于不同長度的數據產生自適應的注意力權重，從而動態(tài)地抑制無關信息，并更加關注關鍵區(qū)域的有效信息，增強特征圖的信息表達能力。 然后，本文受到正確類別的概率隨時間推移而遞增［14－15］的啟發(fā)，設計了置信度損失函數。 通過對不滿足該條件的概率進行懲罰，使得正確類別的概率隨數據長度增加而平滑地增加，利于退出閾值的設置。

1 相關知識

1.1 注意力機制

深度模型的表達能力隨著參數的增加而不斷提升。 然而參數的增加帶來了更大的計算量，同時也增加了大量的冗余信息。 因此，注意力機制被引入深度模型對網絡參數進行調制。 該機制的核心思想是抑制無關信息，使模型關注更有效的關鍵特征［16］。 注意力機制的核心思想是通過一定的變換來學習不同特征重要性的差異，顯著提高了信息處理與應用的效率，此外，還具有通用性、直觀性和可解釋性等優(yōu)點。 因此被廣泛應用于機器翻譯、文本分類、語音識別、圖像處理等多個領域。 根據注意力機制插入的位置，注意力機制可分為時間注意力、空間注意力、通道注意力等［17］

實現注意力機制，通常首先對特征圖進行非線性變化得到注意力分數，然后對其進行SoftMax歸一化當成注意力權重，最后將相應的權重作用于原特征圖進行加權或者逐點相乘獲得新的特征表示。

1.2 時間卷積網絡

由于RNN 不能大規(guī)模并行以及具有長時間遺忘的缺陷，Bai 等學者［18］提出了具有時序處理能力的時間卷積網絡（Temporal Convolutional Network，TCN）。 膨脹因果卷積為TCN 的主要組成部分，其結構如圖1 所示。

圖1 膨脹因果卷積示意圖Fig. 1 Dilated causal convolution

由圖1 可知，膨脹因果卷積具有嚴格的時間約束，這是由于因果卷積的應用使得某一時刻的特征只能觀察到該時刻之前的數據［19］。 相比于常規(guī)卷積，因果卷積防止了未來信息的泄漏。 單純的因果卷積受限于卷積核大小，難以有效提取全局特征。常規(guī)CNN 通過引入pooling 層來增加感受野，然而pooling 層會造成一定的信息損失。 因此Chen 等學者［20］提出膨脹卷積，通過對卷積時的輸入間隔采樣來增加感受野。 采樣率、即膨脹率，指的是kernel的間隔數量（標準的CNN 中膨脹率為1）。 通常，膨脹率隨著深度模型的層數加深而增大，因此膨脹卷積使得感受野大小隨著層數呈指數型增長。 除膨脹因果卷積外，TCN 使用WeightNorm和Dropout來正則化網絡，并且對不同卷積層進行殘差連接以更好地對網絡進行訓練。

2 方法

為了解決模型難以動態(tài)關注流數據的關鍵識別區(qū)域的問題，本文提出了掩碼時間注意力機制。 此外，考慮到識別正確的概率隨時間推移而增加，本文提出了置信度損失函數。

2.1 掩碼時間注意力機制

為了使模型能夠自適應地關注不同長度數據的關鍵特征區(qū)域，利用有限的參數提取更有效的特征，本文為序列數據的早期分類設計了基于掩碼的時間注意力機制。 常規(guī)的注意力機制對于所有時刻的特征計算其注意力分布，然而對于早期分類持續(xù)輸入的序列數據，在某一時刻只能觀察到該時刻之前的特征。 因此，本文將掩碼引入常規(guī)的時間注意力機制以防止未來信息的泄露。 具體的掩碼時間注意力過程如圖2 所示。

圖2 掩碼時間注意力機制結構圖Fig. 2 Masked time attention mechanism

首先，本文將輸入特征經過線性層以及Tanh 激活函數變換得到不同時刻的注意力分布，其大小為1 ×T（T為完整序列數據的長度）。 然后，本文對注意力分數進行擴充，對其重復T次、并拼接在一起，得到一個大小為T×T的注意力矩陣。 同時，輸入特征也被采取同樣的擴充，得到大小為C×T×T的特征矩陣（C為特征圖的通道數）。 接下來，將注意力矩陣的上三角填充為負無窮（該步驟簡稱為掩碼，即圖2 中的Mask 操作），使得注意力矩陣經過SoftMax操作后上三角的注意力值為0。 這表示在t時刻，模型只會關注t時刻之前的時刻特征。 此后，對特征矩陣和經過掩碼的注意力矩陣進行逐元素乘法，得到不同時刻的動態(tài)特征（大小為C×T×T）。最后，本文對該動態(tài)特征使用平均池化得到C×T的融合特征，每個時刻的特征都是由該時刻前的特征通過加權相應的注意力權重得到。

將提出的掩碼時間注意力機制嵌入TCN 中，得到基于掩碼時間注意力的TCN 網絡，該網絡結構如圖3 所示。 首先，完整的序列數據被輸入到多個時域卷積塊提取出局部時序特征。 然后，網絡利用掩碼時間注意力機制對不同時刻的局部特征進行動態(tài)加權，輸出各時刻的動態(tài)融合特征。 最后，這些動態(tài)特征通過線性層以及SoftMax函數得到分類概率。

圖3 基于掩碼時間注意力機制的時間卷積網絡結構圖Fig. 3 The architecture of temporal convolutional network based on masked time attention mechanism

2.2 置信度損失函數

考慮到當分類器觀察到更多的信息時應該對正確的活動類別有更大的影響，本文引入了對正確類別分類概率隨時間的約束，即隨著數據長度的增加，正確的類別輸出更高的概率分數。

具體地，本文設計了一個置信度損失，該損失定義為：

其中，θ為模型的所有參數，Lp(θ) 、Lc(θ) 分別表示常規(guī)的交叉熵損失函數和本文設計的違背時間約束的懲罰損失，對此求得的數學定義見如下公式：

其中，表示分類器輸入第i個樣本的前t個數據得到的輸出分類概率，N為訓練集的樣本總數。為了便于理解，本文在圖4 中對該損失函數做進一步說明。

圖4 正確類別分類概率隨時間變化曲線Fig. 4 The classification probability curve of correct class regard to time

圖4 繪制了一個樣本的正確類別分類概率隨時間變化的示意圖。 圖4 中，在ta時刻之前，概率P一直單調遞增，該現象符合正確類別概率隨時間遞增的約束。 因此，本文提出的置信度損失不對其進行懲罰，即此時li為0。 在ta時刻之后，正確類別的分類概率開始下降。 例如在tb時刻，正確類別的概率低于其在tb時刻前的最大正確類別概率（），這不滿足本文提出的置信度約束。 因此，該樣本在tb時刻的損失通過tb時刻之前的最大正確類別概率減去tb時刻的正確類別概率計算得到，具體參見式（4）。Lc(θ) 的設計將正確類別的檢測分數限制為隨著活動的進展而單調地不減少。

2.3 訓練及測試流程

本節(jié)對具體的訓練及測試流程進行介紹，設計研發(fā)過程如圖5 所示。

圖5 訓練及測試過程Fig. 5 Training and testing process

在訓練階段，利用訓練集數據對提出的基于掩碼時間注意力機制的時間卷積網絡進行訓練。 隨后，將訓練集的所有序列數據輸入到之前訓練的模型中，得到所有樣本不同時刻的分類概率。 利用這些分類概率，采用Sharma 等學者［14］提出的退出規(guī)則計算出該數據集的退出閾值β。

在測試階段，將測試數據隨時間逐漸輸入到訓練好的模型中。 在t時刻，將長度為t的數據輸入到模型得到該時刻的分類概率，當該分類概率的最大值大于閾值β時，則停止繼續(xù)輸入更多的數據，將t時刻的分類結果作為該樣本的分類結果，并將t時刻作為提前退出的時刻。 通過該分類結果和該退出時刻來計算準確率及早期性。 如果t時刻的分類概率的最大值小于閾值β，則繼續(xù)輸入數據，重復測試過程，直至不能再觀測到任何數據。 保留最后時刻的分類結果作為該樣本的分類結果，且該樣本的早期性為1。

3 實驗

3.1 實驗數據

為了驗證提出方法的有效性，本文采用了公開的UCR［21］存儲庫提供的單變量數據集，從其中選取了不重復的8 個數據集。 UCR 存儲庫中的序列數據從諸多現實應用采集而來，包括電氣設備監(jiān)控數據、心電圖數據、動作識別數據以及其他傳感器數據等。 UCR 存儲庫依據一定的規(guī)則將這些數據集劃分了訓練集和測試集，并對數據進行了歸一化。

3.2 實驗條件

實驗采用的深度學習框架Pytotch1.9.0，所使用的硬件環(huán)境為NVIDIA RTX 3080 GPU。 實驗中，使用Adam 優(yōu)化器對模型參數進行訓練，學習率衰減為原來的一半。 采用訓練集損失最小的模型作為測試模型。 每個模型的訓練迭代次數設置為200。 所有模型均使用了3 個時域卷積模塊，卷積核尺寸為3，隱藏層的通道數為64。 根據經驗，本文將2.2 節(jié)中式（1）中的參數μ設置為6。 為了衡量早期分類性能，研究使用準確率和早期性的調和平均值（harmonic mean，HM） 作為評價指標，HM［21］具體定義為：

據式（6）可知，HM的值隨早期分類性能的提升而增加。

3.3 對比實驗

為驗證本文提出方法的有效性，將本文提出的模型與ECLN［22］、 ETMD［14］、EARLIE［23］進行對比，4種方法在8 個數據集上的測試結果見表1。

表1 在8 個數據集上的對比實驗結果Tab. 1 The comparative experimental results on 8 datasets

從表1 可以看出，對比其他3 種方法，本文提出的模型在8 個數據集上均取得了最優(yōu)的早期分類結果，證明了本文提出方法的先進性。

3.4 消融實驗

為了分別驗證本文提出的掩碼時間注意力機制以及置信度損失函數的有效性，本節(jié)分別對這2 個部分進行消融。 本文設置的基線模型為去除了掩碼時間注意力機制的時間卷積網絡，并使用經典的交叉熵損失函數對模型進行訓練。 首先，為了證明提出的掩碼時間注意力機制的效果，本文將該模塊添加到基線模型進行第一個消融實驗。 該實驗在8 個數據集上實驗結果見表2 第2、3 列。 其次，本文將交叉熵損失函數替換為提出的置信度損失函數，以證明該損失函數的有效性。 該實驗結果見表2 第3、4 列。

表2 在8 個數據集上的消融實驗結果Tab. 2 The ablation experimental results on 8 datasets

觀察表2 第2、3 列，相比于基線方法，添加了掩碼時間注意力的基線方法分別將8 個數據集上的HM分數提高了1%，5.48%，10.56%，3.57%，0.51%，2.33%，1.81%，0.02%。 因此，本文提出的掩碼時間注意力機制顯著提升了模型的早期分類性能。

為了進一步說明添加了掩碼時間注意力的模型能實現更有效的分類，本文在圖6 中繪制了Synthetic Control 數據集的分類準確性隨數據長度變化的結果。 圖6 中，本文提出的掩碼時間注意力機制提高了幾乎所有長度的數據的分類性能。

圖6 注意力機制對Synthetic Control 數據集的不同長度數據準確率的影響Fig. 6 The effect of the attention mechanism on the accuracy of varied－length data on the Synthetic Control dataset

觀察表2 的第3、4 列，用本文提出的置信度損失替換經典的交叉損失函數后，在8 個數據集上的HM分數分別提高了1.67%，1.76%，3.3%，3.1%，2.13%，4.72%，4.83%，0.39%。 這表明，使用了本文提出的置信度損失函數訓練模型使得模型的早期分類性能得到了顯著的提升。

4 結束語

本文提出了基于掩碼時間注意力機制的時間卷積網絡，提高了模型對不同長度數據的自適應能力。此外，本文通過設計的置信度損失函數促使正確類別的概率隨信息量的增加遞增，有利于設置更合理的退出閾值。 在8 個公開數據集上的實驗結果證明了本文提出的方法的有效性。 然而，固定閾值難以適應難度程度不同的數據，該問題將在未來進行更深入的探討研究。