亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進(jìn)TCN模型的野外運(yùn)動(dòng)目標(biāo)分類

        2021-09-15 07:36:00范裕瑩李成娟李寶清
        計(jì)算機(jī)工程 2021年9期
        關(guān)鍵詞:震動(dòng)準(zhǔn)確率卷積

        范裕瑩,李成娟,易 強(qiáng),李寶清

        (1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所 微系統(tǒng)技術(shù)重點(diǎn)實(shí)驗(yàn)室,上海 201800;2.中國科學(xué)院大學(xué),北京 100049)

        0 概述

        野外監(jiān)控傳感網(wǎng)主要負(fù)責(zé)探測固定區(qū)域范圍內(nèi)的非法入侵目標(biāo),并將目標(biāo)的一系列相關(guān)信息提供給決策者。該傳感網(wǎng)主要由聲音、震動(dòng)、紅外、圖像等傳感器節(jié)點(diǎn)組成,而基于聲音、震動(dòng)信號(hào)的探測識(shí)別方法具有隱蔽性好、能耗小、可克服光學(xué)偵探技術(shù)盲區(qū)等優(yōu)點(diǎn)。

        傳統(tǒng)的野外運(yùn)動(dòng)目標(biāo)分類方法主要依賴于對(duì)聲音信號(hào)的特征分類。常用的特征有信號(hào)能量、能量熵、過零率、譜質(zhì)心等時(shí)域特征[1];有基于傅里葉變換、梅爾倒譜系數(shù)[2]、小波變換[3]、經(jīng)驗(yàn)?zāi)J椒纸猓?]等手段設(shè)計(jì)的手工特征;有融合諧波集、梅爾倒譜系數(shù)和小波能量得到的融合特征[5]。但上述的特征只能提取信號(hào)的淺層信息且對(duì)噪聲敏感,這使得傳統(tǒng)分類方法的魯棒性差。

        隨著深度學(xué)習(xí)理論的提出,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在計(jì)算機(jī)視覺領(lǐng)域得到快速發(fā)展[6-8]。由于CNN 具有較強(qiáng)的深層表征能力,可以提高分類識(shí)別的準(zhǔn)確率,因此其被應(yīng)用于音頻處理領(lǐng)域,如說話人識(shí)別、環(huán)境聲音分類等。但此類方法大多將音頻信號(hào)轉(zhuǎn)換成二維表示(如譜圖),并使用二維卷積核進(jìn)行處理。使用二維表示的優(yōu)勢是可以把高維的波形概括成更緊湊的形式,但其缺點(diǎn)是網(wǎng)絡(luò)所含參數(shù)量大,容易過擬合,識(shí)別的實(shí)時(shí)性也較差。而用一維卷積層設(shè)計(jì)出的網(wǎng)絡(luò)參數(shù)量小,且能利用信號(hào)良好的時(shí)間結(jié)構(gòu)直接從時(shí)域波形中學(xué)習(xí)聲學(xué)模型。時(shí)域卷積網(wǎng)絡(luò)(Temporal Convolutional Network,TCN)是一種典型的一維卷積神經(jīng)網(wǎng)絡(luò),已經(jīng)被證明在音頻合成[9]、單詞級(jí)語言建模[10-11]和機(jī)器翻譯[12]等領(lǐng)域可達(dá)到最先進(jìn)的標(biāo)準(zhǔn)。相比于LSTM、GRU 等標(biāo)準(zhǔn)遞歸網(wǎng)絡(luò),TCN 在時(shí)間序列問題上不僅能得到更精確的輸出結(jié)果,而且其結(jié)構(gòu)更簡單清晰。

        然而,上述分類方法大部分僅利用單模態(tài)信號(hào)特征,使得復(fù)雜環(huán)境下對(duì)野外運(yùn)動(dòng)目標(biāo)進(jìn)行有效識(shí)別與跟蹤存在困難,因此,基于多模態(tài)深度學(xué)習(xí)的識(shí)別技術(shù)得到重視[13-14]。文獻(xiàn)[15]提出基于超圖的多模態(tài)關(guān)聯(lián)特征識(shí)別方法,在原始多模態(tài)特征聚類劃分方面取得了很好的效果。文獻(xiàn)[16]根據(jù)語義關(guān)系建立多模態(tài)語義網(wǎng)絡(luò)進(jìn)行信息檢索,相比于基于哈希索引、低秩矩陣嵌入和深度神經(jīng)網(wǎng)絡(luò)的檢索方法,該方法具有更高的檢索準(zhǔn)確性。文獻(xiàn)[17]通過獲取聲音、圖像等多模態(tài)數(shù)據(jù)信息,利用深度學(xué)習(xí)和多模態(tài)融合技術(shù)設(shè)計(jì)相應(yīng)神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了準(zhǔn)確的車輛分類。

        與文獻(xiàn)[17]方法相比,利用震動(dòng)與聲音信號(hào)進(jìn)行目標(biāo)識(shí)別[18]的被動(dòng)識(shí)別技術(shù)安全性高且存儲(chǔ)內(nèi)存遠(yuǎn)小于視頻圖像信號(hào)。本文選取聲音和震動(dòng)兩種模態(tài)信號(hào),設(shè)計(jì)一種雙通道融合網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)野外運(yùn)動(dòng)目標(biāo)分類。由于聲音、震動(dòng)信號(hào)都是典型的時(shí)間序列信號(hào),因此采用TCN 作為特征提取網(wǎng)絡(luò)。針對(duì)數(shù)據(jù)缺乏問題,利用密集連接對(duì)TCN 網(wǎng)絡(luò)進(jìn)行改進(jìn);針對(duì)各類數(shù)據(jù)不均衡的問題[19-20],使用nll_loss 損失函數(shù)為不同類型數(shù)據(jù)分別賦予相應(yīng)的權(quán)重。

        1 時(shí)域卷積網(wǎng)絡(luò)

        1.1 基本原理

        針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中需要線性堆疊多層卷積才能實(shí)現(xiàn)對(duì)時(shí)間序列建模的問題,TCN[21]通過采用空洞卷積增大每層感受野的范圍從而達(dá)到減少卷積層數(shù)量的目的??斩淳矸e與普通卷積的不同之處在于其允許卷積時(shí)的輸入存在間隔采樣,采樣率取決于膨脹因子。

        設(shè)濾波器F=(f0,f1,…,fk-1),序列信號(hào)為S=(s1,s2,…,sT),對(duì)輸入序列中t時(shí)刻的值st進(jìn)行空洞卷積,得到式(1)。

        其中:d表示膨脹因子;k表示濾波器大小。因此,膨脹卷積的操作相當(dāng)于在每兩個(gè)相鄰的濾波器之間引入一個(gè)固定的間隔。

        感受野的計(jì)算公式為:

        由式(2)中可知,增大TCN 感受野有2 種方法,即選擇更大的濾波器大小k和增加膨脹因子d。在空洞卷積操作中,膨脹因子d會(huì)隨著網(wǎng)絡(luò)深度的增加以指數(shù)方式增長,因此,卷積網(wǎng)絡(luò)能用較少的層數(shù)獲得較大的感受野。

        經(jīng)典的TCN 網(wǎng)絡(luò)中另一個(gè)重要的網(wǎng)絡(luò)結(jié)構(gòu)是殘差模塊[22]。一個(gè)殘差模塊含有兩層卷積和非線性映射,同時(shí)殘差網(wǎng)絡(luò)加入了跨層連接的恒等映射,使得網(wǎng)絡(luò)以跨層的方式傳遞信息。這可以解決梯度消失的問題,使淺層網(wǎng)絡(luò)很容易擴(kuò)展為深層網(wǎng)絡(luò)。

        完整的TCN 網(wǎng)絡(luò)是一種全卷積網(wǎng)絡(luò),用卷積層代替了全連接層,并保證每個(gè)卷積層的輸出與輸入維度一致。

        1.2 改進(jìn)的TCN 特征提取網(wǎng)絡(luò)

        雖然TCN 網(wǎng)絡(luò)結(jié)構(gòu)簡單,但是計(jì)算量大,存在參數(shù)量隨網(wǎng)絡(luò)深度成倍增長的問題。當(dāng)使用小數(shù)據(jù)集訓(xùn)練TCN 網(wǎng)絡(luò)時(shí),會(huì)導(dǎo)致網(wǎng)絡(luò)產(chǎn)生過擬合現(xiàn)象。

        DenseNet[23]是計(jì)算機(jī)視覺領(lǐng)域中的一種網(wǎng)絡(luò)結(jié)構(gòu)。DenseNet 網(wǎng)絡(luò)l層的輸出如式(3)所示。

        其中:l表示網(wǎng)絡(luò)的層級(jí);xl表示l層的輸出;Hl表示一個(gè)非線性變換。DenseNet 將0 到l-1 層輸出的特征圖拼接,再進(jìn)行非線性變換。因?yàn)镈enseNet 每一層都包含之前所有層的輸出信息,實(shí)現(xiàn)了特征復(fù)用,所以該網(wǎng)絡(luò)每層卷積的通道數(shù)可以設(shè)計(jì)得相對(duì)較小。因此,針對(duì)小數(shù)據(jù)集,DenseNet 能很好地解決過擬合問題。

        DenseNet 進(jìn)行特征復(fù)用時(shí),要求每層輸出的特征圖大小相等,而TCN 中的Temporal-Block 中添加了一個(gè)裁剪層(chomp),保證網(wǎng)絡(luò)每一層的特征長度相等。密集連接是實(shí)現(xiàn)跨層連接的另一種方式,如圖1 所示,Temporal-Block 作為一個(gè)整體,使用密集連接的方式相連,即圖中藍(lán)色線條部分(彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版),而在Temporal-Block 中使用殘差結(jié)構(gòu)實(shí)現(xiàn)跨層連接,因此,可將殘差連接去除,即Temporal-Block 中虛線部分。

        圖1 改進(jìn)TCN 模型原理Fig.1 Principle of improved TCN

        TCN 網(wǎng)絡(luò)取每個(gè)輸出通道的最后一個(gè)值進(jìn)行拼接作為最后的特征,若直接改變連接方式,由于提取的部分特征來自于原始幀,因此需要再連接一個(gè)過渡模塊(Transition)將特征進(jìn)一步處理,此處的Transition 模塊舍棄了池化層,由卷積核大小核為3的Conv1d 和BatchNorm1d 層構(gòu)成,該模塊在利用一維卷積對(duì)特征進(jìn)行處理的同時(shí)可減少通道數(shù)量,從而有效降低最后的特征維度,而BatchNorm1d 層具有抑制過擬合的能力。本文主要是利用改進(jìn)的TCN 網(wǎng)絡(luò)對(duì)聲音、震動(dòng)信號(hào)進(jìn)行深層特征提取。

        2 聲震多模態(tài)融合網(wǎng)絡(luò)模型

        不同環(huán)境產(chǎn)生的聲音信號(hào)組成成分有所不同,例如輕型輪式車在水泥路或砂石路快速行進(jìn)時(shí),胎噪是目標(biāo)信號(hào)的主要來源,而在硬土路上慢速行駛時(shí),發(fā)動(dòng)機(jī)噪聲和機(jī)械噪聲是主要來源。震動(dòng)信號(hào)主要由監(jiān)控目標(biāo)對(duì)地面進(jìn)行沖擊而產(chǎn)生,其信號(hào)傳播主要受地質(zhì)條件影響。為了有效結(jié)合運(yùn)動(dòng)目標(biāo)兩種信號(hào)的特征以達(dá)到性能互補(bǔ)的目的,本文提出了聲震多模態(tài)融合網(wǎng)絡(luò)模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示(彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版)。該模型主要包括3 個(gè)模塊:基于改進(jìn)TCN 的聲音特征提取模塊,基于改進(jìn)TCN 的震動(dòng)特征提取模塊以及特征融合模塊。網(wǎng)絡(luò)的輸入分別是四通道的原始聲音信號(hào)與單通道的原始震動(dòng)信號(hào)。具體識(shí)別步驟為先將兩種模態(tài)的信號(hào)進(jìn)行簡單預(yù)處理,利用改進(jìn)的TCN 網(wǎng)絡(luò)分別提取出聲音信號(hào)特征和震動(dòng)信號(hào)特征,之后將兩者進(jìn)行融合,對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分類。

        圖2 聲震多模態(tài)融合網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of multi-model fusion network model based on sound and vibration signals

        2.1 網(wǎng)絡(luò)輸入

        CNN 必須能對(duì)輸入的聲音、震動(dòng)信號(hào)進(jìn)行連續(xù)預(yù)測,因?yàn)樾盘?hào)持續(xù)的時(shí)間不同,而使用一維CNN要求輸入的樣本長度必須固定,所以有必要對(duì)CNN進(jìn)行調(diào)整,使其能夠處理不同長度的信號(hào)。但對(duì)CNN 進(jìn)行相關(guān)調(diào)整的過程比較復(fù)雜,因此,可使用一個(gè)適當(dāng)寬度的滑動(dòng)窗口將采集到的信號(hào)分割成固定長度的幀。本文根據(jù)信號(hào)采樣率使用一個(gè)可變寬度的窗口將聲音、震動(dòng)信號(hào)截取成適合一維CNN 輸入的信號(hào)幀。連續(xù)的幀之間有一定比例的重疊,其目的是最大限度地利用信息,增加樣本的數(shù)量,這可以看作是一種數(shù)據(jù)擴(kuò)充的手段。

        2.2 網(wǎng)絡(luò)訓(xùn)練

        同步的聲震數(shù)據(jù)采集的條件較為苛刻,因此,在自制數(shù)據(jù)集中,同步的聲震數(shù)據(jù)量比不要求同步的聲震數(shù)據(jù)量小。當(dāng)模型的網(wǎng)絡(luò)參數(shù)過多時(shí),需要使用大量數(shù)據(jù)進(jìn)行訓(xùn)練才能提高網(wǎng)絡(luò)泛化性,否則易出現(xiàn)過擬合現(xiàn)象。本文將網(wǎng)絡(luò)分成3 個(gè)子網(wǎng)絡(luò)進(jìn)行訓(xùn)練,分別為聲音分類子網(wǎng)絡(luò)、震動(dòng)分類子網(wǎng)絡(luò)、融合分類子網(wǎng)絡(luò)。此時(shí)每個(gè)子網(wǎng)絡(luò)的參數(shù)量小于整體網(wǎng)絡(luò)的參數(shù)量,且每個(gè)子網(wǎng)絡(luò)都可以動(dòng)態(tài)擴(kuò)展訓(xùn)練數(shù)據(jù)量,一定程度上可防止過擬合現(xiàn)象。

        聲音子網(wǎng)絡(luò)由基于改進(jìn)TCN 的聲音特征提取模塊和一個(gè)分類層構(gòu)成。由于本文采用非平衡數(shù)據(jù)集,容易產(chǎn)生因樣本失衡導(dǎo)致的網(wǎng)絡(luò)泛化能力衰退的問題,因此本文選擇nll_loss 函數(shù)作為訓(xùn)練損失函數(shù),通過設(shè)置參數(shù)權(quán)重改善樣本失衡帶來的影響。使用nll_loss 損失函數(shù)時(shí)需要對(duì)常用的Softmax 分類層的輸出結(jié)果進(jìn)行一次取對(duì)數(shù)運(yùn)算,因此,分類層均選用log_softmax 層。對(duì)于震動(dòng)子網(wǎng)絡(luò),也使用上述方法進(jìn)行設(shè)計(jì)。訓(xùn)練完成后,將兩個(gè)子網(wǎng)絡(luò)的log_softmax 層去掉,得到Transition 層輸出的深層特征,并將兩種特征進(jìn)行融合,使用融合分類子網(wǎng)絡(luò)對(duì)融合后的深層特征進(jìn)行分類,其中分類融合子網(wǎng)絡(luò)為圖2 中的特征提取模塊。為了在融合后的特征基礎(chǔ)上進(jìn)一步提取聲音、震動(dòng)信號(hào)中的不變性特征,利用兩個(gè)一維卷積替代融合網(wǎng)絡(luò)中常用的全連接層。此時(shí)因?yàn)檩斎氲臄?shù)據(jù)已經(jīng)是前兩個(gè)子網(wǎng)絡(luò)提取出的深層特征,所以融合網(wǎng)絡(luò)的收斂速度極快。

        3 實(shí)驗(yàn)與結(jié)果分析

        3.1 實(shí)驗(yàn)數(shù)據(jù)集

        本文使用的數(shù)據(jù)集為實(shí)驗(yàn)室自制數(shù)據(jù)集。聲音信號(hào)采集設(shè)備是一種微孔徑均勻圓陣(Uniform Circular Array,UCA),采樣率為8 192 Hz。圖3 為實(shí)驗(yàn)場景示意圖,道路全長約1 km,在道路中間放置UAC,其距離路面中心的距離d有15 m、30 m、50 m 3 種不同情況。

        圖3 實(shí)驗(yàn)場景示意圖Fig.3 Schematic diagram of experiment scene

        數(shù)據(jù)集中包含了不同數(shù)量、不同種類的運(yùn)動(dòng)目標(biāo)在硬土路上的聲震同步信號(hào),運(yùn)動(dòng)目標(biāo)分別為輕型輪式車(Small Wheel,SW)、履帶車(Track Wheel,TW)、大型輪式車(Large Wheel,LW)、人(Person,P)和直升機(jī)(Helicopter,H)。以輕型輪式車和人為例,從起點(diǎn)到終點(diǎn)產(chǎn)生的信號(hào)時(shí)域波形圖分別如圖4所示。

        圖4 聲震信號(hào)時(shí)域波形圖Fig.4 Time domain waveform diagrams of sound and vibration signals

        實(shí)驗(yàn)設(shè)置的幀長為1 s,幀移為0.25 s,樣本集中訓(xùn)練幀數(shù)約占總幀數(shù)的60%,測試幀數(shù)約占總幀數(shù)的40%,各運(yùn)動(dòng)目標(biāo)的幀數(shù)分別如表1 和表2所示。

        表1 訓(xùn)練集Table 1 Training set

        表2 測試集Table 2 Test set

        3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

        本文對(duì)信號(hào)進(jìn)行簡單的預(yù)處理,首先將每一幀的信號(hào)進(jìn)行8 倍降采樣,得到1 024 個(gè)點(diǎn),然后進(jìn)行歸一化操作。為了減少網(wǎng)絡(luò)深度,再繼續(xù)降采樣為256 個(gè)點(diǎn),因此2 個(gè)特征提取網(wǎng)絡(luò)的輸入數(shù)據(jù)維度分別為4×256 和1×256。網(wǎng)絡(luò)的膨脹因子設(shè)置為2,與TCN 的膨脹因子相同。經(jīng)感受野計(jì)算公式可知網(wǎng)絡(luò)至少需要6 層卷積。DenseNet 網(wǎng)絡(luò)中的通道數(shù)一般設(shè)置為12,而筆者經(jīng)多次實(shí)驗(yàn)發(fā)現(xiàn),通道數(shù)設(shè)置為[12,12,24,32,48,64]取得的效果最好。訓(xùn)練過程中使用Adam 優(yōu)化算法更新參數(shù),訓(xùn)練的周期數(shù)設(shè)為200,batch_size 大小設(shè)為256,學(xué)習(xí)率大小設(shè)置為0.000 1,并根據(jù)樣本的數(shù)量及多次實(shí)驗(yàn)驗(yàn)證設(shè)置nll_loss 函數(shù)參數(shù)權(quán)重為[1.9,1.0,1.3,2.5]。

        3.3 結(jié)果分析

        實(shí)驗(yàn)包含兩個(gè)部分:1)TCN 網(wǎng)絡(luò)(TCN)與改進(jìn)后的TCN 網(wǎng)絡(luò)(M_TCN)的對(duì)比,此對(duì)比實(shí)驗(yàn)主要關(guān)注兩個(gè)網(wǎng)絡(luò)分別針對(duì)單模態(tài)輸入的結(jié)果性能比較,其中TCN 網(wǎng)絡(luò)的實(shí)驗(yàn)編號(hào)為1~4,改進(jìn)后的TCN 網(wǎng)絡(luò)的實(shí)驗(yàn)編號(hào)為5 和6;2)單模態(tài)輸入的網(wǎng)絡(luò)與多模態(tài)融合輸入的網(wǎng)絡(luò)對(duì)比,實(shí)驗(yàn)編號(hào)5 和6 為單模態(tài)輸入的實(shí)驗(yàn),實(shí)驗(yàn)編號(hào)7 是使用聲音和震動(dòng)兩種模態(tài)作為多模態(tài)輸入的實(shí)驗(yàn)。為了保證結(jié)果的有效性,測試均在相同軟硬件平臺(tái)下進(jìn)行,且信號(hào)預(yù)處理等手段相同。實(shí)驗(yàn)結(jié)果如表3 所示。

        表3 不同模型性能對(duì)比Table 3 Performance comparison of different models

        對(duì)比實(shí)驗(yàn)編號(hào)為2 和4 的實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn),當(dāng)參數(shù)量較小時(shí),識(shí)別準(zhǔn)確率為80.49%,這是TCN 網(wǎng)絡(luò)每層通道數(shù)較小,提取特征不充分,從而導(dǎo)致準(zhǔn)確率降低;當(dāng)參數(shù)量增加約兩倍時(shí),識(shí)別準(zhǔn)確率僅提高了3.27%;若繼續(xù)提高參數(shù)量,則會(huì)產(chǎn)生過擬合,導(dǎo)致網(wǎng)絡(luò)泛化性能變差。

        對(duì)比實(shí)驗(yàn)編號(hào)為4 和6 的實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn),改進(jìn)的TCN 網(wǎng)絡(luò)準(zhǔn)確率雖然下降了0.3%,但是參數(shù)量減少了約34.15%。而對(duì)比四通道的聲音實(shí)驗(yàn)(實(shí)驗(yàn)編號(hào)為1、3、5)發(fā)現(xiàn)改進(jìn)的TCN 網(wǎng)絡(luò)在參數(shù)量最少的情況下,識(shí)別準(zhǔn)確率最好。這說明改進(jìn)的TCN 網(wǎng)絡(luò)利用特征復(fù)用技術(shù),在減小每層的通道數(shù)的同時(shí),可以保證準(zhǔn)確率沒有明顯下降甚至有些情況下還可以提高準(zhǔn)確率。

        對(duì)比實(shí)驗(yàn)編號(hào)為5、6、7 的實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn),融合了兩種模態(tài)信息的網(wǎng)絡(luò)識(shí)別準(zhǔn)確率與使用聲音信號(hào)或震動(dòng)信號(hào)作為輸入信號(hào)的實(shí)驗(yàn)相比,識(shí)別準(zhǔn)確率有6.63%~9.46%的提升。

        除此之外,由聲音和震動(dòng)從不同角度描述監(jiān)控目標(biāo),因?yàn)閮烧吒蓴_源也不相同,所以多模態(tài)融合網(wǎng)絡(luò)可以彌補(bǔ)因不同干擾帶來的信號(hào)損失,從而增加網(wǎng)絡(luò)的魯棒性。圖5 所示分別為LW 的聲音信號(hào)測試結(jié)果、震動(dòng)信號(hào)測試結(jié)果及多模態(tài)融合信號(hào)測試結(jié)果,其中,LW 的標(biāo)簽為0。

        圖5 LW 信號(hào)測試結(jié)果Fig.5 Test results of LW signals

        從圖5 中可以看出:背景噪聲遮住了部分有效的信號(hào),若僅靠聲音信號(hào)進(jìn)行目標(biāo)分類,由于風(fēng)噪聲的存在,這類目標(biāo)的識(shí)別準(zhǔn)確率僅有64.82%,并且易將LW 判別為TW(標(biāo)簽3);震動(dòng)信號(hào)對(duì)TW 的識(shí)別準(zhǔn)確率僅為43.65%,很難區(qū)分出LW 和SW(標(biāo)簽1);將兩種信號(hào)進(jìn)行特征融合后,可有效抵抗噪聲的影響并彌補(bǔ)兩種信號(hào)的缺點(diǎn),使準(zhǔn)確率達(dá)到85.02%。由此可見,針對(duì)僅使用聲音信號(hào)和震動(dòng)信號(hào)進(jìn)行分類的系統(tǒng),使用多模態(tài)信號(hào)進(jìn)行分類的系統(tǒng)具有一定的魯棒性及穩(wěn)定性。

        圖6 是分別用聲音信號(hào)、震動(dòng)信號(hào)、多模態(tài)信號(hào)進(jìn)行分類得到的混淆矩陣圖(彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版)。將使用多模態(tài)信號(hào)作為輸入的網(wǎng)絡(luò)和使用單模態(tài)信號(hào)作為輸入的網(wǎng)絡(luò)進(jìn)行對(duì)比可知,5 種運(yùn)動(dòng)目標(biāo)的識(shí)別準(zhǔn)確率整體有了一定的提高:在使用聲音信號(hào)作為輸入的網(wǎng)絡(luò)中,LW 的識(shí)別率為87.77%,SW 的識(shí)別率為85.59%,TW 的識(shí)別率為85.01%;在使用震動(dòng)信號(hào)作為輸入的網(wǎng)絡(luò)中,LW 的識(shí)別率為73.54%,SW 的識(shí)別率為79.90%,TW 的識(shí)別率為84.30%;在多模態(tài)輸入的網(wǎng)絡(luò)中,LW、SW、TW 的識(shí)別率分別為89.83%,93.43%和91.93%。野外運(yùn)動(dòng)目標(biāo)識(shí)別的一個(gè)難點(diǎn)就是對(duì)不同車型的識(shí)別,而融合網(wǎng)絡(luò)使這3 種車型的識(shí)別準(zhǔn)確率均得到了提升。同時(shí)由圖6(a)、圖6(b)中可知,各類運(yùn)動(dòng)目標(biāo)的分類效果差異較大,并且直升機(jī)的分類準(zhǔn)確率明顯高于其他運(yùn)動(dòng)目標(biāo),原因主要有以下兩點(diǎn):1)直升機(jī)作為非車輛目標(biāo),它的信號(hào)與車輛信號(hào)相似度較低;2)直升機(jī)的樣本數(shù)量較少,在訓(xùn)練過程中的損失函數(shù)權(quán)重最大,針對(duì)其他類型若將其直升機(jī)類型判定錯(cuò)誤,損失函數(shù)會(huì)得到更大懲罰。但從圖6(c)中可以看出,5 種運(yùn)動(dòng)目標(biāo)的分類識(shí)別準(zhǔn)確率比較均衡且識(shí)別效果較好。

        圖6 混淆矩陣圖Fig.6 Confusion matrix diagrams

        4 結(jié)束語

        野外運(yùn)動(dòng)目標(biāo)背景噪聲復(fù)雜,單模態(tài)信號(hào)無法對(duì)目標(biāo)進(jìn)行全面描述,導(dǎo)致識(shí)別系統(tǒng)魯棒性差且識(shí)別率低。本文構(gòu)建一種聲震多模態(tài)融合網(wǎng)絡(luò)模型,先對(duì)兩種模態(tài)的信號(hào)進(jìn)行簡單預(yù)處理,再使用改進(jìn)的TCN 網(wǎng)絡(luò)提取相關(guān)特征,并將提取出的聲音信號(hào)特征與震動(dòng)信號(hào)特征進(jìn)行融合及分類。為解決各類數(shù)據(jù)不均衡問題,采用nll_loss 損失函數(shù),對(duì)不同類型的數(shù)據(jù)分別賦予相應(yīng)的權(quán)重。實(shí)驗(yàn)結(jié)果表明,使用TCN 網(wǎng)絡(luò)和單模態(tài)信號(hào)進(jìn)行分類時(shí)準(zhǔn)確率最高為83.08%,使用改進(jìn)TCN 網(wǎng)絡(luò)和單模態(tài)信號(hào)進(jìn)行分類時(shí)準(zhǔn)確率最高為86.29%,而使用改進(jìn)TCN 網(wǎng)絡(luò)和多模態(tài)信號(hào)進(jìn)行分類時(shí)準(zhǔn)確率提升到92.92%。后期將采集不同路況下的聲震同步信號(hào)擴(kuò)充數(shù)據(jù)集,并驗(yàn)證本文模型對(duì)不同路況的魯棒性,同時(shí)結(jié)合實(shí)際項(xiàng)目需要對(duì)融合網(wǎng)絡(luò)做進(jìn)一步優(yōu)化,使其能被移植到外場實(shí)驗(yàn)的硬件平臺(tái)上。

        猜你喜歡
        震動(dòng)準(zhǔn)確率卷積
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        震動(dòng)減脂儀可以減肥?
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        水電工程場地地震動(dòng)確定方法
        振動(dòng)攪拌 震動(dòng)創(chuàng)新
        中國公路(2017年18期)2018-01-23 03:00:38
        av鲁丝一区鲁丝二区鲁丝三区| 国产精品久久久久久2021| 91精品福利一区二区| 成人xx免费无码| 日本a一区二区三区在线| 精品亚洲国产亚洲国产| 日本超级老熟女影音播放| 亚洲欧美国产精品久久| 国产精品r级最新在线观看| 色八a级在线观看| 亚洲日韩图片专区小说专区| 精品久久亚洲一级α| 性色av成人精品久久| 亚洲av中文字字幕乱码软件| 嫩呦国产一区二区三区av| 成人免费播放视频777777| 一个人看的视频www免费| 亚洲av乱码中文一区二区三区| 无码熟妇人妻AV影音先锋| 人妻熟女中文字幕在线视频| 国产午夜亚洲精品国产成人av| 亚洲精品无码永久在线观看| 午夜福利理论片高清在线观看| 国产精品福利视频一区| 热の国产AV| 色噜噜狠狠色综合欧洲| 亚洲av男人免费久久| 内射爆草少妇精品视频| 亚洲国产精品久久电影欧美 | 日韩中文字幕久久久老色批| 中文字幕在线亚洲三区| 色综合av综合无码综合网站| 大学生被内谢粉嫩无套| 国产伪娘人妖在线观看 | 欧美亚洲国产人妖系列视| av男人的天堂第三区| 亚洲精品成人无限看| 久激情内射婷内射蜜桃| 播放灌醉水嫩大学生国内精品| 亚洲色欲大片AAA无码| 国产在线视频一区二区三区|