范裕瑩，李成娟，易 強(qiáng)，李寶清

（1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所 微系統(tǒng)技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海 201800；2.中國科學(xué)院大學(xué)，北京 100049）

0 概述

野外監(jiān)控傳感網(wǎng)主要負(fù)責(zé)探測固定區(qū)域范圍內(nèi)的非法入侵目標(biāo)，并將目標(biāo)的一系列相關(guān)信息提供給決策者。該傳感網(wǎng)主要由聲音、震動(dòng)、紅外、圖像等傳感器節(jié)點(diǎn)組成，而基于聲音、震動(dòng)信號(hào)的探測識(shí)別方法具有隱蔽性好、能耗小、可克服光學(xué)偵探技術(shù)盲區(qū)等優(yōu)點(diǎn)。

傳統(tǒng)的野外運(yùn)動(dòng)目標(biāo)分類方法主要依賴于對(duì)聲音信號(hào)的特征分類。常用的特征有信號(hào)能量、能量熵、過零率、譜質(zhì)心等時(shí)域特征［1］；有基于傅里葉變換、梅爾倒譜系數(shù)［2］、小波變換［3］、經(jīng)驗(yàn)?zāi)Ｊ椒纸猓?］等手段設(shè)計(jì)的手工特征；有融合諧波集、梅爾倒譜系數(shù)和小波能量得到的融合特征［5］。但上述的特征只能提取信號(hào)的淺層信息且對(duì)噪聲敏感，這使得傳統(tǒng)分類方法的魯棒性差。

隨著深度學(xué)習(xí)理論的提出，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在計(jì)算機(jī)視覺領(lǐng)域得到快速發(fā)展［6-8］。由于CNN 具有較強(qiáng)的深層表征能力，可以提高分類識(shí)別的準(zhǔn)確率，因此其被應(yīng)用于音頻處理領(lǐng)域，如說話人識(shí)別、環(huán)境聲音分類等。但此類方法大多將音頻信號(hào)轉(zhuǎn)換成二維表示（如譜圖），并使用二維卷積核進(jìn)行處理。使用二維表示的優(yōu)勢是可以把高維的波形概括成更緊湊的形式，但其缺點(diǎn)是網(wǎng)絡(luò)所含參數(shù)量大，容易過擬合，識(shí)別的實(shí)時(shí)性也較差。而用一維卷積層設(shè)計(jì)出的網(wǎng)絡(luò)參數(shù)量小，且能利用信號(hào)良好的時(shí)間結(jié)構(gòu)直接從時(shí)域波形中學(xué)習(xí)聲學(xué)模型。時(shí)域卷積網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）是一種典型的一維卷積神經(jīng)網(wǎng)絡(luò)，已經(jīng)被證明在音頻合成［9］、單詞級(jí)語言建模［10-11］和機(jī)器翻譯［12］等領(lǐng)域可達(dá)到最先進(jìn)的標(biāo)準(zhǔn)。相比于LSTM、GRU 等標(biāo)準(zhǔn)遞歸網(wǎng)絡(luò)，TCN 在時(shí)間序列問題上不僅能得到更精確的輸出結(jié)果，而且其結(jié)構(gòu)更簡單清晰。

然而，上述分類方法大部分僅利用單模態(tài)信號(hào)特征，使得復(fù)雜環(huán)境下對(duì)野外運(yùn)動(dòng)目標(biāo)進(jìn)行有效識(shí)別與跟蹤存在困難，因此，基于多模態(tài)深度學(xué)習(xí)的識(shí)別技術(shù)得到重視［13-14］。文獻(xiàn)［15］提出基于超圖的多模態(tài)關(guān)聯(lián)特征識(shí)別方法，在原始多模態(tài)特征聚類劃分方面取得了很好的效果。文獻(xiàn)［16］根據(jù)語義關(guān)系建立多模態(tài)語義網(wǎng)絡(luò)進(jìn)行信息檢索，相比于基于哈希索引、低秩矩陣嵌入和深度神經(jīng)網(wǎng)絡(luò)的檢索方法，該方法具有更高的檢索準(zhǔn)確性。文獻(xiàn)［17］通過獲取聲音、圖像等多模態(tài)數(shù)據(jù)信息，利用深度學(xué)習(xí)和多模態(tài)融合技術(shù)設(shè)計(jì)相應(yīng)神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了準(zhǔn)確的車輛分類。

與文獻(xiàn)［17］方法相比，利用震動(dòng)與聲音信號(hào)進(jìn)行目標(biāo)識(shí)別［18］的被動(dòng)識(shí)別技術(shù)安全性高且存儲(chǔ)內(nèi)存遠(yuǎn)小于視頻圖像信號(hào)。本文選取聲音和震動(dòng)兩種模態(tài)信號(hào)，設(shè)計(jì)一種雙通道融合網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)野外運(yùn)動(dòng)目標(biāo)分類。由于聲音、震動(dòng)信號(hào)都是典型的時(shí)間序列信號(hào)，因此采用TCN 作為特征提取網(wǎng)絡(luò)。針對(duì)數(shù)據(jù)缺乏問題，利用密集連接對(duì)TCN 網(wǎng)絡(luò)進(jìn)行改進(jìn)；針對(duì)各類數(shù)據(jù)不均衡的問題［19-20］，使用nll_loss 損失函數(shù)為不同類型數(shù)據(jù)分別賦予相應(yīng)的權(quán)重。

1 時(shí)域卷積網(wǎng)絡(luò)

1.1 基本原理

針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中需要線性堆疊多層卷積才能實(shí)現(xiàn)對(duì)時(shí)間序列建模的問題，TCN［21］通過采用空洞卷積增大每層感受野的范圍從而達(dá)到減少卷積層數(shù)量的目的?？斩淳矸e與普通卷積的不同之處在于其允許卷積時(shí)的輸入存在間隔采樣，采樣率取決于膨脹因子。

設(shè)濾波器F=（f0，f1，…，fk-1），序列信號(hào)為S=（s1，s2，…，sT），對(duì)輸入序列中t時(shí)刻的值st進(jìn)行空洞卷積，得到式（1）。

其中：d表示膨脹因子；k表示濾波器大小。因此，膨脹卷積的操作相當(dāng)于在每兩個(gè)相鄰的濾波器之間引入一個(gè)固定的間隔。

感受野的計(jì)算公式為：

由式（2）中可知，增大TCN 感受野有2 種方法，即選擇更大的濾波器大小k和增加膨脹因子d。在空洞卷積操作中，膨脹因子d會(huì)隨著網(wǎng)絡(luò)深度的增加以指數(shù)方式增長，因此，卷積網(wǎng)絡(luò)能用較少的層數(shù)獲得較大的感受野。

經(jīng)典的TCN 網(wǎng)絡(luò)中另一個(gè)重要的網(wǎng)絡(luò)結(jié)構(gòu)是殘差模塊［22］。一個(gè)殘差模塊含有兩層卷積和非線性映射，同時(shí)殘差網(wǎng)絡(luò)加入了跨層連接的恒等映射，使得網(wǎng)絡(luò)以跨層的方式傳遞信息。這可以解決梯度消失的問題，使淺層網(wǎng)絡(luò)很容易擴(kuò)展為深層網(wǎng)絡(luò)。

完整的TCN 網(wǎng)絡(luò)是一種全卷積網(wǎng)絡(luò)，用卷積層代替了全連接層，并保證每個(gè)卷積層的輸出與輸入維度一致。

1.2 改進(jìn)的TCN 特征提取網(wǎng)絡(luò)

雖然TCN 網(wǎng)絡(luò)結(jié)構(gòu)簡單，但是計(jì)算量大，存在參數(shù)量隨網(wǎng)絡(luò)深度成倍增長的問題。當(dāng)使用小數(shù)據(jù)集訓(xùn)練TCN 網(wǎng)絡(luò)時(shí)，會(huì)導(dǎo)致網(wǎng)絡(luò)產(chǎn)生過擬合現(xiàn)象。

DenseNet［23］是計(jì)算機(jī)視覺領(lǐng)域中的一種網(wǎng)絡(luò)結(jié)構(gòu)。DenseNet 網(wǎng)絡(luò)l層的輸出如式（3）所示。

其中：l表示網(wǎng)絡(luò)的層級(jí)；xl表示l層的輸出；Hl表示一個(gè)非線性變換。DenseNet 將0 到l-1 層輸出的特征圖拼接，再進(jìn)行非線性變換。因?yàn)镈enseNet 每一層都包含之前所有層的輸出信息，實(shí)現(xiàn)了特征復(fù)用，所以該網(wǎng)絡(luò)每層卷積的通道數(shù)可以設(shè)計(jì)得相對(duì)較小。因此，針對(duì)小數(shù)據(jù)集，DenseNet 能很好地解決過擬合問題。

DenseNet 進(jìn)行特征復(fù)用時(shí)，要求每層輸出的特征圖大小相等，而TCN 中的Temporal-Block 中添加了一個(gè)裁剪層（chomp），保證網(wǎng)絡(luò)每一層的特征長度相等。密集連接是實(shí)現(xiàn)跨層連接的另一種方式，如圖1 所示，Temporal-Block 作為一個(gè)整體，使用密集連接的方式相連，即圖中藍(lán)色線條部分（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），而在Temporal-Block 中使用殘差結(jié)構(gòu)實(shí)現(xiàn)跨層連接，因此，可將殘差連接去除，即Temporal-Block 中虛線部分。

圖1 改進(jìn)TCN 模型原理Fig.1 Principle of improved TCN

TCN 網(wǎng)絡(luò)取每個(gè)輸出通道的最后一個(gè)值進(jìn)行拼接作為最后的特征，若直接改變連接方式，由于提取的部分特征來自于原始幀，因此需要再連接一個(gè)過渡模塊（Transition）將特征進(jìn)一步處理，此處的Transition 模塊舍棄了池化層，由卷積核大小核為3的Conv1d 和BatchNorm1d 層構(gòu)成，該模塊在利用一維卷積對(duì)特征進(jìn)行處理的同時(shí)可減少通道數(shù)量，從而有效降低最后的特征維度，而BatchNorm1d 層具有抑制過擬合的能力。本文主要是利用改進(jìn)的TCN 網(wǎng)絡(luò)對(duì)聲音、震動(dòng)信號(hào)進(jìn)行深層特征提取。

2 聲震多模態(tài)融合網(wǎng)絡(luò)模型

不同環(huán)境產(chǎn)生的聲音信號(hào)組成成分有所不同，例如輕型輪式車在水泥路或砂石路快速行進(jìn)時(shí)，胎噪是目標(biāo)信號(hào)的主要來源，而在硬土路上慢速行駛時(shí)，發(fā)動(dòng)機(jī)噪聲和機(jī)械噪聲是主要來源。震動(dòng)信號(hào)主要由監(jiān)控目標(biāo)對(duì)地面進(jìn)行沖擊而產(chǎn)生，其信號(hào)傳播主要受地質(zhì)條件影響。為了有效結(jié)合運(yùn)動(dòng)目標(biāo)兩種信號(hào)的特征以達(dá)到性能互補(bǔ)的目的，本文提出了聲震多模態(tài)融合網(wǎng)絡(luò)模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。該模型主要包括3 個(gè)模塊：基于改進(jìn)TCN 的聲音特征提取模塊，基于改進(jìn)TCN 的震動(dòng)特征提取模塊以及特征融合模塊。網(wǎng)絡(luò)的輸入分別是四通道的原始聲音信號(hào)與單通道的原始震動(dòng)信號(hào)。具體識(shí)別步驟為先將兩種模態(tài)的信號(hào)進(jìn)行簡單預(yù)處理，利用改進(jìn)的TCN 網(wǎng)絡(luò)分別提取出聲音信號(hào)特征和震動(dòng)信號(hào)特征，之后將兩者進(jìn)行融合，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分類。

圖2 聲震多模態(tài)融合網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of multi-model fusion network model based on sound and vibration signals

2.1 網(wǎng)絡(luò)輸入

CNN 必須能對(duì)輸入的聲音、震動(dòng)信號(hào)進(jìn)行連續(xù)預(yù)測，因?yàn)樾盘?hào)持續(xù)的時(shí)間不同，而使用一維CNN要求輸入的樣本長度必須固定，所以有必要對(duì)CNN進(jìn)行調(diào)整，使其能夠處理不同長度的信號(hào)。但對(duì)CNN 進(jìn)行相關(guān)調(diào)整的過程比較復(fù)雜，因此，可使用一個(gè)適當(dāng)寬度的滑動(dòng)窗口將采集到的信號(hào)分割成固定長度的幀。本文根據(jù)信號(hào)采樣率使用一個(gè)可變寬度的窗口將聲音、震動(dòng)信號(hào)截取成適合一維CNN 輸入的信號(hào)幀。連續(xù)的幀之間有一定比例的重疊，其目的是最大限度地利用信息，增加樣本的數(shù)量，這可以看作是一種數(shù)據(jù)擴(kuò)充的手段。

2.2 網(wǎng)絡(luò)訓(xùn)練

同步的聲震數(shù)據(jù)采集的條件較為苛刻，因此，在自制數(shù)據(jù)集中，同步的聲震數(shù)據(jù)量比不要求同步的聲震數(shù)據(jù)量小。當(dāng)模型的網(wǎng)絡(luò)參數(shù)過多時(shí)，需要使用大量數(shù)據(jù)進(jìn)行訓(xùn)練才能提高網(wǎng)絡(luò)泛化性，否則易出現(xiàn)過擬合現(xiàn)象。本文將網(wǎng)絡(luò)分成3 個(gè)子網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分別為聲音分類子網(wǎng)絡(luò)、震動(dòng)分類子網(wǎng)絡(luò)、融合分類子網(wǎng)絡(luò)。此時(shí)每個(gè)子網(wǎng)絡(luò)的參數(shù)量小于整體網(wǎng)絡(luò)的參數(shù)量，且每個(gè)子網(wǎng)絡(luò)都可以動(dòng)態(tài)擴(kuò)展訓(xùn)練數(shù)據(jù)量，一定程度上可防止過擬合現(xiàn)象。

聲音子網(wǎng)絡(luò)由基于改進(jìn)TCN 的聲音特征提取模塊和一個(gè)分類層構(gòu)成。由于本文采用非平衡數(shù)據(jù)集，容易產(chǎn)生因樣本失衡導(dǎo)致的網(wǎng)絡(luò)泛化能力衰退的問題，因此本文選擇nll_loss 函數(shù)作為訓(xùn)練損失函數(shù)，通過設(shè)置參數(shù)權(quán)重改善樣本失衡帶來的影響。使用nll_loss 損失函數(shù)時(shí)需要對(duì)常用的Softmax 分類層的輸出結(jié)果進(jìn)行一次取對(duì)數(shù)運(yùn)算，因此，分類層均選用log_softmax 層。對(duì)于震動(dòng)子網(wǎng)絡(luò)，也使用上述方法進(jìn)行設(shè)計(jì)。訓(xùn)練完成后，將兩個(gè)子網(wǎng)絡(luò)的log_softmax 層去掉，得到Transition 層輸出的深層特征，并將兩種特征進(jìn)行融合，使用融合分類子網(wǎng)絡(luò)對(duì)融合后的深層特征進(jìn)行分類，其中分類融合子網(wǎng)絡(luò)為圖2 中的特征提取模塊。為了在融合后的特征基礎(chǔ)上進(jìn)一步提取聲音、震動(dòng)信號(hào)中的不變性特征，利用兩個(gè)一維卷積替代融合網(wǎng)絡(luò)中常用的全連接層。此時(shí)因?yàn)檩斎氲臄?shù)據(jù)已經(jīng)是前兩個(gè)子網(wǎng)絡(luò)提取出的深層特征，所以融合網(wǎng)絡(luò)的收斂速度極快。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用的數(shù)據(jù)集為實(shí)驗(yàn)室自制數(shù)據(jù)集。聲音信號(hào)采集設(shè)備是一種微孔徑均勻圓陣（Uniform Circular Array，UCA），采樣率為8 192 Hz。圖3 為實(shí)驗(yàn)場景示意圖，道路全長約1 km，在道路中間放置UAC，其距離路面中心的距離d有15 m、30 m、50 m 3 種不同情況。

圖3 實(shí)驗(yàn)場景示意圖Fig.3 Schematic diagram of experiment scene

數(shù)據(jù)集中包含了不同數(shù)量、不同種類的運(yùn)動(dòng)目標(biāo)在硬土路上的聲震同步信號(hào)，運(yùn)動(dòng)目標(biāo)分別為輕型輪式車（Small Wheel，SW）、履帶車（Track Wheel，TW）、大型輪式車（Large Wheel，LW）、人（Person，P）和直升機(jī)（Helicopter，H）。以輕型輪式車和人為例，從起點(diǎn)到終點(diǎn)產(chǎn)生的信號(hào)時(shí)域波形圖分別如圖4所示。

圖4 聲震信號(hào)時(shí)域波形圖Fig.4 Time domain waveform diagrams of sound and vibration signals

實(shí)驗(yàn)設(shè)置的幀長為1 s，幀移為0.25 s，樣本集中訓(xùn)練幀數(shù)約占總幀數(shù)的60%，測試幀數(shù)約占總幀數(shù)的40%，各運(yùn)動(dòng)目標(biāo)的幀數(shù)分別如表1 和表2所示。

表1 訓(xùn)練集Table 1 Training set

表2 測試集Table 2 Test set

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

本文對(duì)信號(hào)進(jìn)行簡單的預(yù)處理，首先將每一幀的信號(hào)進(jìn)行8 倍降采樣，得到1 024 個(gè)點(diǎn)，然后進(jìn)行歸一化操作。為了減少網(wǎng)絡(luò)深度，再繼續(xù)降采樣為256 個(gè)點(diǎn)，因此2 個(gè)特征提取網(wǎng)絡(luò)的輸入數(shù)據(jù)維度分別為4×256 和1×256。網(wǎng)絡(luò)的膨脹因子設(shè)置為2，與TCN 的膨脹因子相同。經(jīng)感受野計(jì)算公式可知網(wǎng)絡(luò)至少需要6 層卷積。DenseNet 網(wǎng)絡(luò)中的通道數(shù)一般設(shè)置為12，而筆者經(jīng)多次實(shí)驗(yàn)發(fā)現(xiàn)，通道數(shù)設(shè)置為［12，12，24，32，48，64］取得的效果最好。訓(xùn)練過程中使用Adam 優(yōu)化算法更新參數(shù)，訓(xùn)練的周期數(shù)設(shè)為200，batch_size 大小設(shè)為256，學(xué)習(xí)率大小設(shè)置為0.000 1，并根據(jù)樣本的數(shù)量及多次實(shí)驗(yàn)驗(yàn)證設(shè)置nll_loss 函數(shù)參數(shù)權(quán)重為［1.9，1.0，1.3，2.5］。

3.3 結(jié)果分析

實(shí)驗(yàn)包含兩個(gè)部分：1）TCN 網(wǎng)絡(luò)（TCN）與改進(jìn)后的TCN 網(wǎng)絡(luò)（M_TCN）的對(duì)比，此對(duì)比實(shí)驗(yàn)主要關(guān)注兩個(gè)網(wǎng)絡(luò)分別針對(duì)單模態(tài)輸入的結(jié)果性能比較，其中TCN 網(wǎng)絡(luò)的實(shí)驗(yàn)編號(hào)為1～4，改進(jìn)后的TCN 網(wǎng)絡(luò)的實(shí)驗(yàn)編號(hào)為5 和6；2）單模態(tài)輸入的網(wǎng)絡(luò)與多模態(tài)融合輸入的網(wǎng)絡(luò)對(duì)比，實(shí)驗(yàn)編號(hào)5 和6 為單模態(tài)輸入的實(shí)驗(yàn)，實(shí)驗(yàn)編號(hào)7 是使用聲音和震動(dòng)兩種模態(tài)作為多模態(tài)輸入的實(shí)驗(yàn)。為了保證結(jié)果的有效性，測試均在相同軟硬件平臺(tái)下進(jìn)行，且信號(hào)預(yù)處理等手段相同。實(shí)驗(yàn)結(jié)果如表3 所示。

表3 不同模型性能對(duì)比Table 3 Performance comparison of different models

對(duì)比實(shí)驗(yàn)編號(hào)為2 和4 的實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)，當(dāng)參數(shù)量較小時(shí)，識(shí)別準(zhǔn)確率為80.49%，這是TCN 網(wǎng)絡(luò)每層通道數(shù)較小，提取特征不充分，從而導(dǎo)致準(zhǔn)確率降低；當(dāng)參數(shù)量增加約兩倍時(shí)，識(shí)別準(zhǔn)確率僅提高了3.27%；若繼續(xù)提高參數(shù)量，則會(huì)產(chǎn)生過擬合，導(dǎo)致網(wǎng)絡(luò)泛化性能變差。

對(duì)比實(shí)驗(yàn)編號(hào)為4 和6 的實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)，改進(jìn)的TCN 網(wǎng)絡(luò)準(zhǔn)確率雖然下降了0.3%，但是參數(shù)量減少了約34.15%。而對(duì)比四通道的聲音實(shí)驗(yàn)（實(shí)驗(yàn)編號(hào)為1、3、5）發(fā)現(xiàn)改進(jìn)的TCN 網(wǎng)絡(luò)在參數(shù)量最少的情況下，識(shí)別準(zhǔn)確率最好。這說明改進(jìn)的TCN 網(wǎng)絡(luò)利用特征復(fù)用技術(shù)，在減小每層的通道數(shù)的同時(shí)，可以保證準(zhǔn)確率沒有明顯下降甚至有些情況下還可以提高準(zhǔn)確率。

對(duì)比實(shí)驗(yàn)編號(hào)為5、6、7 的實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)，融合了兩種模態(tài)信息的網(wǎng)絡(luò)識(shí)別準(zhǔn)確率與使用聲音信號(hào)或震動(dòng)信號(hào)作為輸入信號(hào)的實(shí)驗(yàn)相比，識(shí)別準(zhǔn)確率有6.63%～9.46%的提升。

除此之外，由聲音和震動(dòng)從不同角度描述監(jiān)控目標(biāo)，因?yàn)閮烧吒蓴_源也不相同，所以多模態(tài)融合網(wǎng)絡(luò)可以彌補(bǔ)因不同干擾帶來的信號(hào)損失，從而增加網(wǎng)絡(luò)的魯棒性。圖5 所示分別為LW 的聲音信號(hào)測試結(jié)果、震動(dòng)信號(hào)測試結(jié)果及多模態(tài)融合信號(hào)測試結(jié)果，其中，LW 的標(biāo)簽為0。

圖5 LW 信號(hào)測試結(jié)果Fig.5 Test results of LW signals

從圖5 中可以看出：背景噪聲遮住了部分有效的信號(hào)，若僅靠聲音信號(hào)進(jìn)行目標(biāo)分類，由于風(fēng)噪聲的存在，這類目標(biāo)的識(shí)別準(zhǔn)確率僅有64.82%，并且易將LW 判別為TW（標(biāo)簽3）；震動(dòng)信號(hào)對(duì)TW 的識(shí)別準(zhǔn)確率僅為43.65%，很難區(qū)分出LW 和SW（標(biāo)簽1）；將兩種信號(hào)進(jìn)行特征融合后，可有效抵抗噪聲的影響并彌補(bǔ)兩種信號(hào)的缺點(diǎn)，使準(zhǔn)確率達(dá)到85.02%。由此可見，針對(duì)僅使用聲音信號(hào)和震動(dòng)信號(hào)進(jìn)行分類的系統(tǒng)，使用多模態(tài)信號(hào)進(jìn)行分類的系統(tǒng)具有一定的魯棒性及穩(wěn)定性。

圖6 是分別用聲音信號(hào)、震動(dòng)信號(hào)、多模態(tài)信號(hào)進(jìn)行分類得到的混淆矩陣圖（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。將使用多模態(tài)信號(hào)作為輸入的網(wǎng)絡(luò)和使用單模態(tài)信號(hào)作為輸入的網(wǎng)絡(luò)進(jìn)行對(duì)比可知，5 種運(yùn)動(dòng)目標(biāo)的識(shí)別準(zhǔn)確率整體有了一定的提高：在使用聲音信號(hào)作為輸入的網(wǎng)絡(luò)中，LW 的識(shí)別率為87.77%，SW 的識(shí)別率為85.59%，TW 的識(shí)別率為85.01%；在使用震動(dòng)信號(hào)作為輸入的網(wǎng)絡(luò)中，LW 的識(shí)別率為73.54%，SW 的識(shí)別率為79.90%，TW 的識(shí)別率為84.30%；在多模態(tài)輸入的網(wǎng)絡(luò)中，LW、SW、TW 的識(shí)別率分別為89.83%，93.43%和91.93%。野外運(yùn)動(dòng)目標(biāo)識(shí)別的一個(gè)難點(diǎn)就是對(duì)不同車型的識(shí)別，而融合網(wǎng)絡(luò)使這3 種車型的識(shí)別準(zhǔn)確率均得到了提升。同時(shí)由圖6（a）、圖6（b）中可知，各類運(yùn)動(dòng)目標(biāo)的分類效果差異較大，并且直升機(jī)的分類準(zhǔn)確率明顯高于其他運(yùn)動(dòng)目標(biāo)，原因主要有以下兩點(diǎn)：1）直升機(jī)作為非車輛目標(biāo)，它的信號(hào)與車輛信號(hào)相似度較低；2）直升機(jī)的樣本數(shù)量較少，在訓(xùn)練過程中的損失函數(shù)權(quán)重最大，針對(duì)其他類型若將其直升機(jī)類型判定錯(cuò)誤，損失函數(shù)會(huì)得到更大懲罰。但從圖6（c）中可以看出，5 種運(yùn)動(dòng)目標(biāo)的分類識(shí)別準(zhǔn)確率比較均衡且識(shí)別效果較好。

圖6 混淆矩陣圖Fig.6 Confusion matrix diagrams

4 結(jié)束語

野外運(yùn)動(dòng)目標(biāo)背景噪聲復(fù)雜，單模態(tài)信號(hào)無法對(duì)目標(biāo)進(jìn)行全面描述，導(dǎo)致識(shí)別系統(tǒng)魯棒性差且識(shí)別率低。本文構(gòu)建一種聲震多模態(tài)融合網(wǎng)絡(luò)模型，先對(duì)兩種模態(tài)的信號(hào)進(jìn)行簡單預(yù)處理，再使用改進(jìn)的TCN 網(wǎng)絡(luò)提取相關(guān)特征，并將提取出的聲音信號(hào)特征與震動(dòng)信號(hào)特征進(jìn)行融合及分類。為解決各類數(shù)據(jù)不均衡問題，采用nll_loss 損失函數(shù)，對(duì)不同類型的數(shù)據(jù)分別賦予相應(yīng)的權(quán)重。實(shí)驗(yàn)結(jié)果表明，使用TCN 網(wǎng)絡(luò)和單模態(tài)信號(hào)進(jìn)行分類時(shí)準(zhǔn)確率最高為83.08%，使用改進(jìn)TCN 網(wǎng)絡(luò)和單模態(tài)信號(hào)進(jìn)行分類時(shí)準(zhǔn)確率最高為86.29%，而使用改進(jìn)TCN 網(wǎng)絡(luò)和多模態(tài)信號(hào)進(jìn)行分類時(shí)準(zhǔn)確率提升到92.92%。后期將采集不同路況下的聲震同步信號(hào)擴(kuò)充數(shù)據(jù)集，并驗(yàn)證本文模型對(duì)不同路況的魯棒性，同時(shí)結(jié)合實(shí)際項(xiàng)目需要對(duì)融合網(wǎng)絡(luò)做進(jìn)一步優(yōu)化，使其能被移植到外場實(shí)驗(yàn)的硬件平臺(tái)上。