周激揚　康維新

關(guān)鍵詞：無人機；異常檢測；時序卷積神經(jīng)網(wǎng)絡(luò)；通道注意力機制

一、引言

無人機以其機動性好、價格低廉、方便快捷、無人駕駛等優(yōu)點受到世界各國的重視，并且在軍事和民用領(lǐng)域都得到了廣泛應(yīng)用[1]。然而，無人機在飛行過程存在諸多影響因素，這些因素能夠?qū)o人機飛行質(zhì)量造成限制，同時降低無人機在各個領(lǐng)域應(yīng)用價值，為從根本上解決這些因素的實際危害，異常檢測技術(shù)逐漸成為無人機的應(yīng)用要點。傳感器所采集到的無人機數(shù)據(jù)通常以時間序列的形式展現(xiàn)，無人機數(shù)據(jù)是一系列與飛行和運行狀態(tài)相關(guān)的參數(shù)， 而無人機數(shù)據(jù)異常檢測技術(shù)旨在監(jiān)測航空器關(guān)鍵部件的狀態(tài)、發(fā)現(xiàn)機組飛行操縱等問題，從而完成對無人機設(shè)備的故障預(yù)測與健康管理工作，有利于維修維護、消除安全隱患和確保飛行安全。隨著機器學(xué)習(xí)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)被運用于處理數(shù)據(jù)量龐大的時間序列中，并且對于時間序列中數(shù)據(jù)所產(chǎn)生的異常進行檢測與預(yù)測。在機器學(xué)習(xí)模型進行時間序列建模過程中，時間序列預(yù)測可以判斷事物發(fā)展趨勢，高效的預(yù)測模型可為應(yīng)用決策提供有力依據(jù)。

二、時序卷積神經(jīng)網(wǎng)絡(luò)

時域卷積神經(jīng)網(wǎng)絡(luò)（Temporal Convolution Network，TCN）是Shaojie Bai 等人在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出的一種用于處理時間序列數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)。TCN 網(wǎng)絡(luò)由多個殘差模塊組成，每個殘差模塊中包含空洞因果卷積（Dilated Causal Convolution）、非線性激活函數(shù)、Dropout 和恒等映射網(wǎng)絡(luò)。非線性激活函數(shù)、Dropout 和恒等映射網(wǎng)絡(luò)能夠有效抑制網(wǎng)絡(luò)過擬合，提高網(wǎng)絡(luò)學(xué)習(xí)速度和準確率?？斩匆蚬矸e中的擴張因子和卷積核大小與TCN 感受野范圍有關(guān)，越大的擴張因子和卷積核，TCN 擁有越大的感受野。同時，擴張因子會隨著卷積層基于SE-TCN 的無人機異常時間序列檢測的加深呈現(xiàn)指數(shù)式增量，這保證TCN 能夠處理更長的時間序列數(shù)據(jù)[7]。

為了使TCN 不僅僅是一個過于復(fù)雜的線性模型，需要在卷積層的頂部添加ReLU 激活函數(shù)[8] 來引入非線性。非線性激活函數(shù)ReLU 在一定程度上解決了軟飽和的情況，當X ＞ 0 時可以保持梯度不降，使得梯度消失問題得到解決。同時，為了防止過擬合，在每個剩余塊的每個卷積層之后通過Dropout 引入正則化。

已經(jīng)有研究證明，在時間序列預(yù)測和分類任務(wù)中，時間卷積網(wǎng)絡(luò)在多種任務(wù)和數(shù)據(jù)集上的性能優(yōu)于LSTM、GRU 等典型的遞歸神經(jīng)網(wǎng)絡(luò)，相比于遞歸神經(jīng)網(wǎng)絡(luò)，TCN 可以記住更長的歷史信息，捕獲更全局的時間序列特征。

三、通道注意力機制

注意力機制作為一種人類處理信息時采用的機制，它能夠幫助模型更好地學(xué)習(xí)不同屬性之間的相互關(guān)系，防止神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中給每一個預(yù)測因子賦予相同的權(quán)值，忽略其中的重要信息[9]。本文引入通道注意力機制，通過計算時序卷積神經(jīng)網(wǎng)絡(luò)中各個隱藏層輸出的向量權(quán)重，對于不同的異常類型，突出影響較大的特征，從而提高異常檢測精確度。

由于輸入到網(wǎng)絡(luò)中的時間序列復(fù)雜多樣，一般經(jīng)過傳統(tǒng)TCN 比較困難提取顯著性信息。為了使網(wǎng)絡(luò)模型更像人類感知系統(tǒng)一樣具有提取高價值，顯著性信息的能力，在模型中融入注意力機制具有重要意義。因此，本文設(shè)計了一種通道注意力模塊，在通道注意力的基礎(chǔ)上，加上了全局最大池化（Global Max Pooling ，GMP） 結(jié)構(gòu)，使得網(wǎng)絡(luò)能夠重點關(guān)注最重要通道信息，增大顯著性特征的權(quán)重，提取顯著性特征，在特征通道維度上充分挖掘重要時間序列特征信息，提取到更加具有層次感和判別力的特征。

通道注意力機制分為以下三個部分：

（1）Squeeze（Fsq）：通過全局平均池化，將每個通道的二維特征（H×W）壓縮為1 個實數(shù)，將特征圖從 [h，w， c] ==> [1，1，c]。

（2）Excitation（Fex）：給每個特征通道生成一個權(quán)重值，論文中通過兩個全連接層構(gòu)建通道間的相關(guān)性，輸出的權(quán)重值數(shù)目和輸入特征圖的通道數(shù)相同。[1，1，c]==> [1，1，c]。

（3）Scale（Fscale）：將前面得到的歸一化權(quán)重加權(quán)到每個通道的特征上，并逐一將通道乘以權(quán)重系數(shù)。[h，w，c]×[1，1，c] ==> [h，w，c]。

針對時序卷積神經(jīng)網(wǎng)絡(luò)本身所具有時空特性，其每個隱藏層都能包含歷史時間序列的信息。對于隱藏層進行全局池化，針對各個隱藏層增加注意力，生成權(quán)重。對于各個隱藏層的權(quán)重值進行歸一化操作，取每個隱藏層輸出效果均值與分配的權(quán)重，得到最終檢測精度。

四、實驗與分析

（一）實驗環(huán)境

本文實驗采用Pytorch 深度學(xué)習(xí)框架，使用Python語言編程實現(xiàn)， 實驗運行環(huán)境為 JetBrains PyCharmCommunity Edition 軟件，操作系統(tǒng)為Windows 10（64 位），內(nèi)存為16GB，通過RTX-2060 GPU 加速，完成實驗。

（二）數(shù)據(jù)獲取

在Ubuntu 系統(tǒng)中開啟的Ardupilot 無人機仿真器，針對微電機的電流數(shù)據(jù)、電池輸出電壓數(shù)據(jù)和傳感器的三軸加速度數(shù)據(jù)等數(shù)據(jù)進行仿真，得到正常數(shù)據(jù)集。對于完成仿真得到的無人機正常數(shù)據(jù)集進行異常注入。固定值零點漂移異常是指傳感器的輸出值在某一時刻開始出現(xiàn)一個常量偏置誤差的情況，這個常量大多情況是波動的，理想狀態(tài)下保持不變，該值可以為正值也可以為負值。

（三）參數(shù)選取

為了防止過擬合，通過訓(xùn)練集訓(xùn)練預(yù)測模型，并通過驗證集進行Early stop 以防止模型在訓(xùn)練集出現(xiàn)Overfitting 的現(xiàn)象。每組樣本數(shù)Batch_Size = 100，Dropout 比率為0.2，優(yōu)化 器選擇隨機梯度下降算法時，TCN 預(yù)測效果較好。Kernel Size 等于2，即每一層的輸入，是上一層的兩個時刻的輸出，Dilations = [1， 2， 4， 8]，即每一層的輸入的時間間隔有多大，Dilation=4，即上一層每前推4 個時間進一步地輸出，作為這一層的輸入，直到取夠Kernal size 個輸入。由于時間序列波動性較大，滑動窗口長度對應(yīng)的預(yù)測效果好壞也有波動，綜合考慮預(yù)測時效以及預(yù)測準確度，這里選擇滑動窗口長度為128。

（四）結(jié)果對比

對于無人機仿真得到的正常數(shù)據(jù)集與三類完成故障注入的數(shù)據(jù)集進行基于TCN 網(wǎng)絡(luò)的時間序列異常檢測。同時，對于TCN 網(wǎng)絡(luò)添加通道注意力機制，設(shè)計對比實驗。

圖3 為了防止過擬合，通過訓(xùn)練集訓(xùn)練預(yù)測模型，并通過驗證集進行Early stop 以防止模型在訓(xùn)練集出現(xiàn)Overfitting 的現(xiàn)象。由圖3 可知，時序卷積神經(jīng)網(wǎng)絡(luò)在進行60 次迭代后，精確度與loss 值趨于收斂，且測試集的精確度上升速度略高于訓(xùn)練集。

根據(jù)表1 可得，改進通道注意力機制的時序卷積神經(jīng)網(wǎng)絡(luò)算法相比于傳統(tǒng)的時序卷積神經(jīng)網(wǎng)絡(luò)算法，正常數(shù)據(jù)集與三類異常數(shù)據(jù)集的檢測精確度得到了一定的提高，因此改進算法具有明顯的優(yōu)越性。

五、結(jié)束語

本文針對無人機時間序列異常行為檢測中的關(guān)鍵問題，主要提出了基于時序卷積神經(jīng)網(wǎng)絡(luò)的算法，以提升對無人機時間序列上出現(xiàn)的異常行為檢測的準確率和效率。在無人機飛行時間序列的特征提取方面，根據(jù)時序卷積神經(jīng)網(wǎng)絡(luò)中各隱藏層包含的空間特性結(jié)合通道注意力機制，并對改進后的時序卷積神經(jīng)網(wǎng)絡(luò)的KernelSize、Dilation、滑動窗口等關(guān)鍵參數(shù)進行設(shè)置。進而，提出了結(jié)合通道注意力機制的時序卷積神經(jīng)網(wǎng)絡(luò)異常檢測算法，對無人機異常行為進行檢測。仿真結(jié)果表明，本文所提出的方法可有效提高無人機異常行為檢測的準確性和效率。解決了無人機異常行為檢測中的關(guān)鍵性問題，進一步降低了無人機異常行為檢測難度。下一步，將在此方法的基礎(chǔ)上進行回歸實驗，并在原模型上進行改進以提升對于無人機時間序列數(shù)據(jù)的異常行為召回率，降低異常檢測的誤檢率和漏檢率。

作者單位：周激揚 康維新 哈爾濱工程大學(xué)