亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于膨脹因果卷積和注意力機制的氣體識別方法

        2025-07-24 00:00:00俞凌偉楊孟平楊海王喆
        關鍵詞:集上尺度損失

        文章編號:1006-3080(2025)03-0380-11

        中圖分類號:TP391

        文獻標志碼:A

        嗅覺傳感是通過模仿人類嗅覺系統(tǒng)的原理和功能,利用傳感技術實現(xiàn)對氣味、氣體和化學物質的檢測與識別。作為嗅覺傳感的核心部件,電子鼻系統(tǒng)采用交叉敏感傳感器陣列來獲取氣體信息。由于其客觀和快速的檢測能力,電子鼻系統(tǒng)在食品工程、化學檢驗和醫(yī)療衛(wèi)生中得到了廣泛應用[1-4]。然而,有兩個問題限制了它在氣體識別中的廣泛應用,一是半導體氣體傳感器在長期工作過程中會發(fā)生不規(guī)則漂移,這是由老化、溫度、空氣流速和環(huán)境造成的[5];二是大多數(shù)半導體氣體傳感器的選擇性較差,只對特定氣體反應明顯,很難在復雜的大氣中準確地檢測目標氣體。為了提高氣體檢測的選擇性并消除不規(guī)則漂移的影響,可以使用機器學習技術融合來自多個氣體傳感器的信號。因此,本文從特征提取的角度出發(fā),提出一種基于膨脹因果卷積和注意力機制的氣體識別方法,將其與氣體檢測相結合,學習短期傳感器響應并消除傳感器漂移的影響,從而準確識別目標氣體。

        在傳統(tǒng)的氣體識別中,常用的典型算法包括K最近鄰(KNN)[]、決策樹(DT)[8]和隨機森林(RF)[9]。在研究人員構建特殊的人工特征后,大多數(shù)傳統(tǒng)的機器學習方法都可以很好地工作[10-]。然而當發(fā)生嚴重漂移時,這些顯式特征很難區(qū)分信號所代表的氣體,從而導致傳統(tǒng)機器學習方法的失敗。近些年的研究經常利用卷積神經網絡(CNN)[12-15]等深度學習方法。在CNN架構中,卷積層負責特征提取和處理,而全連接層負責分類。通過集成特征提取、處理和模式識別,CNN最大限度地減少了氣體識別中的人工干預[16。然而,CNN在氣體識別中的應用仍存在一些問題。首先,對捕獲數(shù)據(jù)中的依賴性起決定性作用的CNN感受域,僅限于局部區(qū)域,這阻礙了其有效捕獲氣體特征中的長期依賴性。其次,從電子鼻系統(tǒng)獲得的氣體信息由不同時間點的各種傳感器檢測數(shù)據(jù)組成,不同檢測時間下的氣體信息表達了不同物理含義。對于氣體識別任務,CNN并不能很好地挖掘數(shù)據(jù)之間的全局聯(lián)系。

        為了解決感受域有限的問題,本文使用膨脹因果卷積代替?zhèn)鹘y(tǒng)卷積操作,膨脹因果卷積中每個像素點只依賴于其之前的輸人像素點,而不受后續(xù)像素點的影響,允許網絡考慮到數(shù)據(jù)中的時序依賴關系[7]。此外,通過增加卷積核的空間感受野,使得每個輸出像素能夠感知到更廣泛的輸入信息,從而提高了模型的感知范圍。Transformer利用多頭注意力機制來提取特征并建立相關性[18],其穩(wěn)健的全局建模能力已被廣泛應用于圖像識別[19]、超分辨率[20]等領域。為了提升網絡的全局信息建模能力,獲得更好的局部最優(yōu)解,本文使用TE(Transformerencoder)模塊,將傳感器的每個時間特征視為句子中的一個詞向量,來挖掘傳感器信號對之間潛在的關系,以獲得全局特征。

        本文提出了一種基于注意力機制的多尺度時態(tài)卷積神經網絡(MultiscaleTemporalConvolutionalNeuralNetworkwithAttention,MTCNA),它由3個關鍵部分組成:第一為多尺度時態(tài)卷積網絡,將原始數(shù)據(jù)使用多尺度學習策略進行擴充,增強數(shù)據(jù)時間維度上的多樣性,然后對每個時間尺度的數(shù)據(jù)都使用獨立的時態(tài)卷積網絡提取局部特征和時間信息;第二為TE模塊,用于捕捉全局特征;第三為結合中心損失的交叉熵損失函數(shù),交叉熵損失用于確保模型的分類準確性,而中心損失21用于提高特征的判別性,兩種損失函數(shù)結合關注類間距離和類內距離,可以提高模型的泛化能力。

        1相關工作

        1.1電子鼻系統(tǒng)中氣體數(shù)據(jù)的特征

        電子鼻系統(tǒng)具備快速、可重復的氣體檢測能力,并通過交叉敏感傳感器陣列獲取氣體指紋信息。交叉靈敏度意味著同一個傳感器對不同的氣體可能產生不同的響應;同樣,同一種氣體也可能引發(fā)不同傳感器的響應。因此,單個傳感器的響應曲線攜帶了關于其他氣體的豐富信息,不同傳感器根據(jù)其靈敏度和選擇性也會表現(xiàn)出不同程度的響應[22-23]。

        電子鼻系統(tǒng)采用的標準檢測方法是動態(tài)頂空法,該方法生成的傳感器響應曲線呈現(xiàn)上升和下降兩個不同的階段。上升階段的發(fā)生是由于高頂空空氣富集迅速進入傳感器氣室。相反,下降階段是由樣品氣體揮發(fā)和潔凈空氣之間的動態(tài)平衡產生的。這些不同的響應代表了不同的氣體揮發(fā)狀態(tài)。受采樣頻率和氣體濃度的影響,上升相位響應變化迅速,包含高頻氣體信息,而下降相位響應變化較慢,包含低頻氣體信息。由于這些階段包含不同的信息,因此這些階段的響應對決策績效具有不同的含義,不同響應之間存在潛在的相關性,可以利用這些相關性來提高模型性能。

        1.2 氣體識別研究現(xiàn)狀

        傳統(tǒng)的氣體識別方法是從原始檢測信號中提取關鍵特征,以減輕冗余信息對分類性能的影響。然后,進行特征處理降低特征之間的相關性和非線性,從而得到最優(yōu)特征集。最后,模式識別技術被應用于這個特征集,成功識別氣體。然而,該方法數(shù)據(jù)處理的復雜性引入了過多的人工干預,導致分類模型的穩(wěn)定性較差。

        CNN是一種經典的深度學習算法,由于其強大的特征提取能力,CNN已被證明在氣體識別方面非常有效。Guo 等[24]將 CNN 與LSTM(Long-Short-TermMemory)網絡相結合,從氣體信息中全面提取時間特征。通過有效捕獲隨時間變化的模式,可以準確地識別氣體樣本。然而,LSTM-CNN混合算法的計算復雜度和訓練時間可能相對較高,限制了其實時性。Xiong等[25]提出了一種將峰值神經網絡(SNN)與殘差網絡(ResNet)相結合的新方法來識別變質的食物氣體。SNN和ResNet的集成使其能夠處理基于峰值的數(shù)據(jù),并通過剩余連接保留關鍵信息,在識別具有復雜時間動態(tài)的氣體方面表現(xiàn)出優(yōu)異的性能。Ma等[26將氣體傳感器陣列的多維動態(tài)響應信號作為圖像處理,將動態(tài)響應圖與CNN相結合,提高了模型性能。這種基于圖像的表示增強了對氣體特征的空間上下文理解,從而實現(xiàn)了有效的特征提取。盡管如此,這種方法嚴重依賴于將傳感器數(shù)據(jù)轉換為類似圖像的輸入,可能會丟失細粒度的信息。Lee等[27]利用基于CNN的深度學習技術,設計了一種用于醫(yī)療保健的便攜式電子鼻系統(tǒng)。他們的方法允許呼吸系統(tǒng)疾病的診斷,展示了CNN在各種應用場景中的多功能性。然而,傳統(tǒng)的CNN架構具有有限的感受野,這阻礙了它們捕獲氣體特征的長程相關性的能力,這可能導致模型性能的損失。為了解決這一限制,本文提出的MTCNA使用膨脹因果卷積來代替普通卷積,有效解決了CNN感受野有限的問題。

        Transformer已經在各個領域展示了其多功能性,包括語言處理、圖像識別、對象檢測、圖像超分辨率等。研究人員將Transformer的優(yōu)勢與CNN的優(yōu)勢結合起來,以進一步增強其功能。Srinivas等[28]將自注意機制集成到ResNet架構中,取代了傳統(tǒng)的卷積,在不顯著改變網絡結構的情況下提高了模型性能。使用自注意力機制的優(yōu)勢在于它能夠捕獲數(shù)據(jù)中的長期依賴關系,缺乏顯式的局部信息提取可能會妨礙其在需要精確空間關系任務上的性能。Cordonnier等[29]證明,自注意機制可以通過調整特定參數(shù)來近似卷積層的效果,這種方法受益于自注意力機制提供的全局上下文理解和空間信息處理。然而,該方法的性能可能對參數(shù)設置很敏感。Yuan等[30]在補丁切片前應用了卷積和最大池化,使模型能夠高效地捕獲圖像的主要特征。Xiao等[31提出在初始特征提取階段加入多重卷積來增強模型泛化。然而,電子鼻系統(tǒng)具有很少的檢測數(shù)據(jù),而以上提出的模型參數(shù)眾多,這導致難以有效地優(yōu)化參數(shù)。通過與不同的模塊有效協(xié)作,MTCNA解決了以前的方法需要大量樣本的問題,這使得它更適合在這種情況下處理氣體信息。

        2 實驗部分

        2.1 整體網絡結構

        本文提出的MTCNA的結構示意圖如圖1所示,網絡整體結構由多尺度時態(tài)卷積網絡(TCN)、TE模塊和全連接層組成。首先對輸入數(shù)據(jù)采用多尺度學習策略,生成不同時間尺度的信號,產生更全面、更廣泛的信號理解表示,增強模型的特征提取能力和識別性能。不同時間尺度的數(shù)據(jù)分別進入各自對應的時態(tài)卷積子網絡,通過膨脹因果卷積,網絡可隨著層深度增加而增大感知域,對氣體傳感器數(shù)據(jù)中的局部特征進行多尺度提取。其次,TE模塊利用多頭注意力機制來捕捉不同傳感器數(shù)據(jù)在不同時間尺度上特征之間的全局相關性,放大不同時間尺度特征之間的異同,生成新的特征表示。最后,新的特征經過全連接層后,模型輸出所有類別的預測概率。此外,模型在使用交叉熵損失 (LCE) 的基礎上,還使用中心損失 (LCenter) 作為輔助項以最小化類內損失。

        2.2 多尺度時態(tài)卷積網絡

        2.2.1多尺度學習策略多尺度學習策略在不同尺度下提取不同的時間細節(jié),當輸入信號包含異常響應時,網絡識別能力更強。當傳感器以低采樣率運行時,其信號會體現(xiàn)出長期的響應變化。而當傳感器以高采樣率運行時,則可能同時顯示出長期和短期的響應變化。長期響應和短期響應都有助于氣體分類,但長期響應更為重要,這是因為它反映的是氣體濃度的變化,而短時響應包括空氣流量、噪聲、傳感材料變化等次要信息。在氣體傳感器信號中存在不穩(wěn)定響應的情況下,多尺度學習策略在提取時間模式時表現(xiàn)更好,因為它增強了長期響應的貢獻。

        本文采用一種降采樣方法來生成不同尺度的信號。假設有一個氣體傳感器信號 xN} ,其中 xi 表示氣體傳感器在時刻 i 的電壓值,每個信號有 N 個時刻的數(shù)據(jù)。受MCNA(Multiscaleconvolutionalneuralnetworkwithattention)的啟發(fā),本文用降采樣率 2k 中 (k=0,1,2,…) 在不同的尺度上構建信號圖 yi 。通過獲得原始信號中每 2k 個數(shù)據(jù)的最大值而不是平均值來進行降采樣過程,如圖2所示。使用式(1)計算尺度 k 處的信號圖。

        圖1融合注意力機制的多尺度時態(tài)卷積神經網絡結構圖(a);TCN結構圖(b);TE模塊結構圖(c)Fig.1Multisaletempoalonvolutioalraletokstrctureagaoffusdaetiomeansm(a);structuediagam(b) Transformer encoder structure diagram (c)

        其中 表示取整到小于或等于 的最接近整數(shù)。當 k 取值較小時,得到的是低尺度數(shù)據(jù);當k 取值較大時,得到的是高尺度數(shù)據(jù)。從感受野的角度來看,低尺度數(shù)據(jù)的感受野較小,更關注局部信息;高尺度數(shù)據(jù)的感受野較大,更關注全局信息。從語義信息角度來看,低尺度數(shù)據(jù)關注底層的特征信息,高尺度數(shù)據(jù)關注更高層次的語義信息。這些不同層次的信息之間存在依賴關系,高層次語義需要依托于底層特征,因此不同尺度的數(shù)據(jù)也存在內在聯(lián)系。而本文使用的多尺度學習策略就是將低尺度和高尺度數(shù)據(jù)結合起來,通過共享參數(shù)的方式進行學習,有助于模型更全面地捕獲數(shù)據(jù)的語義信息,從而提高氣體識別的性能和魯棒性。

        圖2不同采樣率下信號的示意圖Fig.2Schematic diagramof signal at different samplingrates

        2.2.2時態(tài)卷積子網絡MTCNA的時態(tài)卷積子網絡由多個并行TCN塊組成,用于提取當前時間尺度的氣體數(shù)據(jù)的局部特征。傳統(tǒng)卷積在處理長序列時存在信息損失或者梯度消失的問題,而TCN具有捕獲長時間序列依賴關系的能力,能適應不同時間尺度的特征。本文的TCN塊基于Bai等[32]提出的架構,詳細的架構如圖1(b)所示。

        TCN塊主要由膨脹因果卷積組成。因果卷積使得時刻t的輸出只與時刻t以及之前的輸入相關,如圖3(a)所示,其中零填充用于產生與輸入相同長度的輸出序列。

        因果卷積的引入允許神經網絡考慮氣體數(shù)據(jù)中存在的順序依賴性,即時間上的因果關聯(lián)。然而,與傳統(tǒng)CNN類似,因果卷積也受到卷積核 (k) 大小的限制,這限制了輸出元素所能考慮的時間步長。為了捕獲更長的依賴關系,通常需要構建更深的網絡。因此,引人了膨脹因子 (d) 的概念,以在保持網絡較淺的同時,增加輸出部分對當前時刻之前更多歷史數(shù)據(jù)的利用。膨脹因子代表了輸入序列元素之間的距離,這些元素用于計算輸出結果。

        由于輸出值的輸入項相鄰,因此,傳統(tǒng)的卷積層可以被認為是一個膨脹因子為1的擴展卷積層,在分析時間序列時,卷積核大小和膨脹因子可以分別看作是采樣次數(shù)和采樣周期。對于相同的采樣次數(shù),采樣周期越長,包含的時間信息越多。使用膨脹因子會產生更大的時間步長,同時避免與下采樣相關的信息損失,因為與下采樣不同,它不會修改輸出特征的長度。如圖3(b)所示,膨脹卷積通過間隔采樣擴展感受域,使網絡回到 時間步長,其中 n 為層數(shù)。可以看出,在層數(shù)相同的情況下,膨脹因果卷積的輸出比不含膨脹因子的因果卷積獲得了更多的時間序列信息。擴展的因果卷積允許網絡像RNN一樣依賴于長期的歷史信息,同時保留了CNN的并行性和多尺度特征提取能力。

        圖3不含膨脹因子的因果卷積(a);膨脹因果卷積(b) Fig.3Causal convolution without expansion factor (a) and with expansion factor (b)

        此外,TCN單元還包含殘差連接,這使得該結構能夠獲得穩(wěn)定的深度網絡。殘差塊由兩個卷積層和非線性激活函數(shù)GELU組成,每一層加入批量歸一化,使網絡正則化,增強其泛化能力。

        2.3 TE模塊

        本文使用的TE模塊的結構如圖1(c所示,主要由多頭注意力和卷積前饋層組成。本文對原始的前饋層進行了改進,增加了一個卷積層,增強了網絡對時間序列數(shù)據(jù)的絕對位置信息進行編碼的能力。多頭注意力機制的具體結構如圖4所示,利用多個平行的自注意力層從多個方面獲取全局信息,其方程如

        式(2)和式(3)所示:

        Multihea d(Q,K,V)=concat(head1,…,headH)W0 (2)

        其中, 分別表示Query、Key、Value的矩陣,它們是由經過不同線性變換的輸入特征向量構成的矩陣, W 為權重矩陣。將它們視為輸入特征向量在不同空間上的投影,具體的線性變換矩陣參數(shù)通過學習得到。將Query矩陣與Key矩陣相乘得到當前傳感器的信號特征與其他傳感器的信號特征間的相似度。與此類似,Value矩陣與相似特征矩陣相乘可以在原始特征的基礎上更清晰地關注重要特征。然而,在對當前位置的信息進行編碼時,自注意力機制會過于關注其位置,而忽略其他位置。因此,引入具有更大感受野的多頭注意力機制,有效地對不同特征之間的相關性進行建模。多頭注意力機制通過產生 H 組不同線性投影來對Q、K、 u 進行變換,其中H 為注意頭的數(shù)量。這為分配注意力權重提供了更多選擇,并增加了公平分配的可能性。此外,多頭注意力機制還使注意層的輸出包含來自不同子空間的編碼表征信息,從而提高模型的表示能力。

        圖4多頭注意力機制的詳細結構圖Fig.4Detailedstructureof themultiheadattentionmechanism

        此外,注意力機制是置換不變性的,即不能捕獲特征之間的位置關系。本文在Transformer中使用卷積前饋網絡代替原來的前饋網絡。圖5所示為改進前后的前饋網絡的對比結果,其中圖5(b)所示為卷積前饋模塊的具體結構,卷積前饋網絡在第一個全連接層(FCL)和激活函數(shù)之間增加了一個一維深度卷積(DWConv),將整流線性單元(ReLU)激活函數(shù)改為高斯誤差線性單元(GELU)激活函數(shù)。深度卷積由可分離卷積和逐點卷積組成,該結構與傳統(tǒng)卷積相當,可以應用于特征提取,但它具有更少的參數(shù)和更低的操作成本。零填充的一維深度卷積捕捉相鄰token之間的關系,獲得特征的絕對位置信息,保持網絡結構的平移不變性,使輸入序列排列可變但平移不變,加強局部上下文之間的聯(lián)系。因此,TE模塊增強了網絡的魯棒性,減少了異常值帶來的影響,特別是當氣體成分突然波動時,識別更加準確。

        圖5原始前饋 (a);卷積前饋(b) Fig.5Original feedforward (a);convolutional feedforward (b)

        2.4 損失函數(shù)

        在經典的分類任務中,損失函數(shù)通常使用交叉熵損失。然而,傳統(tǒng)的交叉熵損失往往只關注類別信息,而忽略了特征之間的空間關系,導致模型學到的特征不夠緊湊和區(qū)分度不夠。為了在模型學習過程中對特征更好地聚類,本文引人中心損失來讓同一類別的樣本在特征空間中更加接近,通過最小化樣本特征與其對應類別中心的距離,中心損失能夠提高特征的緊湊性,從而增強模型的判別能力。中心損失的計算公式如式(4所示:

        其中, D 表示歐幾里得距離的平方, cyi 是類yi的中心, f 表示模型輸出的特征,對應圖1(a)中TE模塊和全連接層之間的特征。總體損失公式如式(5)所示:

        LTotal=LCE+λLCenter

        其中 LCE,LCenter 分別代表氣體分類任務中的交叉熵損失和中心損失,利用參數(shù) λ 來控制交叉熵損失和中心損失之間的比例,模型最終用 LTotal 作為總損失函數(shù)來訓練模型。

        3 實驗結果與分析

        3.1 數(shù)據(jù)集介紹

        本文使用3個電子鼻數(shù)據(jù)集來驗證所提方法的有效性,每個數(shù)據(jù)集是在不同檢測環(huán)境中使用不同的電子鼻傳感器采集。

        OpenSampling數(shù)據(jù)集是從傳感器陣列模塊中收集,模塊有8個金屬氧化物(MOX)氣體傳感器,其在復雜的環(huán)境條件下檢測和識別潛在危險的化學氣體物質。傳感器陳列模塊的響應信號是從集成傳感器陣列的72個氣體傳感器中,以每個氣體傳感器的有源敏感膜上的電阻形式讀出。每次測量都會產生一個72通道的時間序列,每個通道都由一個260s的時間序列表示,采樣率 100Hz ,反映了評估場景中的所有環(huán)境變化。該數(shù)據(jù)集的代表性樣本如圖6所示。該數(shù)據(jù)集包含10類不同純化學氣體的記錄,包括丙酮、乙醛、氨、丁醇、乙烯、甲烷、甲醇、一氧化碳、苯和甲苯,共18000條樣本。我們以 1Hz 的采樣率對所有信號進行重新采樣,因此每個輸入樣本包含260個時間戳。同時本文還對每個樣本在時間維度上進行標準化,以提高網絡的學習效果。

        圖6Open Sampling數(shù)據(jù)集的代表性樣本 Fig.6Representative sample ofOpen Samplingdataset

        Drift數(shù)據(jù)集是在2007年1月至2011年2月(36個月)期間在加州大學實驗室中收集的,包含來自16個化學傳感器的13910個測量值,這些傳感器模擬了漂移補償,用于對6種不同濃度水平的氣體進行分類任務。傳感器的響應以每個傳感器有源層電阻的形式讀出,因此每次測量都會產生一個16通道的時間序列。此數(shù)據(jù)集包括6種不同純氣態(tài)物質的記錄,即氨、乙醛、丙酮、乙烯、乙醇和甲苯,每種物質的體積分數(shù)范圍為 5×10-6~1×10-3 。原始數(shù)據(jù)被分為10個批次,每個批次包含如表1所示的每個月的測量數(shù)據(jù)。這種數(shù)據(jù)組織方式是為了確保在訓練模型時,每個類和每個月都有足夠的、盡可能均勻分布的數(shù)據(jù)。

        Twin數(shù)據(jù)集包括來自8個傳感器陣列的多次重復記錄。每個陣列包含8個MOX傳感器,并配備定制設計的電子設備,用于控制傳感器的工作溫度和信號采集。所有陣列均采用相同的實驗方案,測試5個雙單元傳感器的反應。每天測試一個不同的單元,每個單元隨機暴露于40種不同的氣體狀態(tài),被測試裝置暴露于10種濃度的乙醇、甲烷、乙烯和一氧化碳中。每次實驗持續(xù) 600s. ,每個傳感器的數(shù)據(jù)以100Hz 的頻率進行采集。

        表1Drift數(shù)據(jù)集的批次和月份ID對應表Table1Mapping table of batch and month ID forDrift dataset

        3.2 實驗設置

        本文使用Pytorch1.13.0框架進行編程,實驗在單張NIVIDIAGeForceRTX3090GPU的硬件平臺上進行。TCN的通道數(shù)分別設置為[4,8,16],膨脹因子分別設置為[1,2,4],TCN中的膨脹因果卷積的卷積核都設置為(1,3),TE模塊的多頭注意力的Head數(shù)量設置為2,損失函數(shù)中中心損失的權重λ為0.02。使用SGD優(yōu)化器優(yōu)化參數(shù),初始學習率設置為0.001,固定步長衰減調整學習率。3個數(shù)據(jù)集都以3:1:1 的比例劃分訓練集、測試集和驗證集。根據(jù)3.1節(jié)中所描述的數(shù)據(jù)集規(guī)模和復雜度,以及在訓練過程中對模型性能變化的觀察,最終確定在OpenSampling數(shù)據(jù)集上訓練100輪,在Drift數(shù)據(jù)集上訓練50輪,在Twin數(shù)據(jù)集上訓練50輪。

        3.3 評估指標

        為了評價所提算法的性能,本文使用準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score作為評價指標。準確率是指模型正確預測的樣本數(shù)占總樣本數(shù)的比例,精確率是指在所有被分類為正例的樣本中真正例的比例,召回率是指在所有實際為正例的樣本中被正確分類為正例的比例,F(xiàn)1-score是精確率和召回率的調和平均值。計算公式分別為:

        其中,TP(TruePositive)表示真正例數(shù),TN(TrueNegative)表示真負例數(shù),F(xiàn)P(FalsePositive)表示假正例數(shù),F(xiàn)N(FalseNegative)表示假負例數(shù)。

        3.4實驗結果

        為了驗證所提方法的性能,在3個電子鼻數(shù)據(jù)集上使用傳統(tǒng)機器學習方法(樸素貝葉斯(Bayes)、支持向量機(SVM)、隨機森林等)、傳統(tǒng)深度學習方法(Resnet18、ViT等)以及氣體識別領域的主流方法(CLSTM[33]、TTCN[34]、MCNA[35]等)進行對比實驗,結果如表2、表3和表4所示,其中黑體表示最優(yōu)結果。

        在OpenSampling數(shù)據(jù)集上,所提方法在各項指標上都取得了最優(yōu)結果,準確率達到了 99.47% 。機器學習方法中,樸素貝葉斯和KNN取得 49.95% 和56.04% 的準確率,SVM、Logisic回歸、DT分別取得86.58% 、 85.63% 、 80.22% 的準確率,XgBoost和RF分別取得 96.62% 和 94.42% 的準確率。傳統(tǒng)深度學習方法中,VGG16和Densenet效果最好,分別達到 96.95% / 96.80% 的準確率。在氣體識別任務的主流方法中,MCNA和Olfactory-Resnet分別達到了97.81% 和 98.80% 的準確率。

        Drift數(shù)據(jù)集分為Batch1\~Batch10共10個子集,每個子集中的樣本數(shù)量有160\~3600條不等,因此以模型在10個子集上的平均準確率作為在Drift數(shù)據(jù)集上的最終結果。機器學習方法中,效果最佳的是RF,達到 98.60% 的準確率。深度學習方法中,Resnet和CAtt-CNN取得了最好效果,分別達到了 99.43% 和 99.51% 的準確率。在Drift數(shù)據(jù)集上,所提出的MTCNA盡管在Batch1、Batch3、Batch8上沒有達到最優(yōu),但與最優(yōu)方法的結果十分接近,且在最終的平均準確率指標上仍取得了最優(yōu)結果,領先于次優(yōu)的CAtt-CNN。

        在Twin數(shù)據(jù)集上,將所提方法與傳統(tǒng)深度學習方法和氣體識別中的主流方法進行了對比,所提方法取得最優(yōu)性能,準確率達到 99.22% 。傳統(tǒng)深度學習方法中,Resnet18和Mobilenet效果最好,分別達到 94.53% 、 93.75% 的準確率。在氣體識別任務的主流方法中,CLSTM和MCNA分別達到了 98.44% 和96.09% 的準確率。

        實驗結果表明,在以上3個數(shù)據(jù)集上本文提出的MTCNA都達到了最優(yōu)性能,這驗證了本文所提方法的識別能力,且有較強的魯棒性。

        3.5 實驗分析

        3.5.1特征可視化t-SNE是一種非線性降維機器學習算法,該方法基于嵌入模型,將高維空間的數(shù)據(jù)映射到低維空間,并保留了數(shù)據(jù)的局部特征。本文使用t-SNE對所提取的特征進行可視化處理,圖中的每一個點表示一個樣本,每一種顏色表示一種類別,結果如圖7所示。圖7(a)為原始特征圖,圖7(b)所示為MTCNA所提取特征的可視化圖。可以看到,原始特征的分布是雜亂無序的,難以直接進行分類,而提取后的特征中,相同類別的樣本聚類效果顯著,不同類別之間有明顯的分界線。這表明時態(tài)卷積網絡與Transformer的結合可以自動提取樣本中氣體類別的有效特征,有助于提高整體分類精度。

        表2Open Sampling數(shù)據(jù)集上分類結果Table2 Classification results on Open Sampling dataset

        3.5.2超參數(shù)實驗通過調整MTCNA的損失函數(shù)中心損失的權重、多尺度數(shù)量k、時態(tài)卷積網絡中TCN塊的數(shù)量 n 均能提高氣體的識別能力。在本文中研究了這幾個框架參數(shù)的影響。使用不同的框架參數(shù)來訓練,OpenSampling數(shù)據(jù)集上的結果如圖8所示。

        表3Drift數(shù)據(jù)集上的分類結果Table3 ClassificationresultsonDriftdataset"
        表4Twin數(shù)據(jù)集上的分類結果Table 4 Classification results on Twin dataset

        如圖8(a)中所示,對于中心損失的權重λ,在λ=0.02 時模型取得最優(yōu)性能,而隨著權重的增加,模型性能逐漸下降。這說明當權重在0.02時,交叉熵損失與中心損失達到平衡;當權重系數(shù)過低時,模型過于依賴交叉熵損失,而忽視了同一類樣本的特征之間的距離,導致性能下降;當權重系數(shù)過高時,模型更加關注樣本的內部結構,而這使得模型對于訓練數(shù)據(jù)的噪聲或特定樣本過度敏感,從而降低了模型的泛化性能。

        如圖8(b)中所示,當多尺度數(shù)量 k 逐漸增大時,MTCNA的性能先升高后下降,在 k=3 時達到最佳性能。隨著多尺度數(shù)量增加,數(shù)據(jù)中的低頻特征變得更加顯著,高頻特征的比例降低。而在氣體識別任務中,低頻信號體現(xiàn)的是長期的響應變化,對模型理解信號與氣體的聯(lián)系更加重要,因此模型識別精度提高。而當數(shù)據(jù)中的低頻特征完全體現(xiàn)后,卷積網絡有足夠的特征來表示信號和氣體之間的關系后,精度保持穩(wěn)定。

        圖7原始特征可視化(a)和模型提取特征可視化(b)Fig.7Original feature visualization (a) and model extraction feature visualization (b)
        圖8網絡中不同參數(shù)下模型的效果對比圖Fig.8Comparison of the effects of modelswith different parameters in the network

        如圖8(c中所示,當TCN塊的數(shù)量 n 增加時,模型的性能會先升高,在 n=3 時達到最高,然后逐漸下降。隨著TCN塊數(shù)量的增加,模型可以提取更多和更復雜的特征。這使得模型在初期階段能夠更好地捕獲數(shù)據(jù)中的模式和結構,從而提高性能。隨著TCN塊數(shù)量的進一步增加,模型可能變得過于復雜,從而導致過擬合。模型對于訓練數(shù)據(jù)中的噪聲或不相關的特征過度擬合,而導致在測試集上的泛化性能下降。

        3.5.3消融實驗為了驗證MTCNA中各模塊的作用,在OpenSampling數(shù)據(jù)集上使用去除各模塊的MTCNA進行了消融實驗,實驗結果見表5。未添加TCN模塊的MTCNA在Open Sampling數(shù)據(jù)集上的平均準確率下降 0.46% ,未添加Centerloss的MTCNA在OpenSampling數(shù)據(jù)集上平均準確率下降了 1.25% 而TCN模塊和Centerloss都未使用的MTCNA準確率下降了 1.66% 。

        表5MTCNA的消融實驗Table5AblationexperimentsofMTCNA

        實驗結果表明,使用時態(tài)卷積神經網絡比使用傳統(tǒng)卷積神經網絡能更好地捕捉序列中的時序模式和動態(tài)變化,使模型更適用于時間序列數(shù)據(jù)。在損失函數(shù)中使用中心損失作為輔助項,能讓模型在學習過程中對特征進行更好地聚類,更關注樣本類間距離,從而增強模型判別能力。通過消融實驗,驗證了所提方法的有效性,這些結果表明,引入時態(tài)卷積網絡和中心損失對于氣體分類任務的性能提升具有積極的影響。

        4結論

        本文提出了一種基于膨脹因果卷積和注意力機制的氣體識別方法,旨在解決CNN感受野有限和不能有效提取全局特征的問題。為了應對這些挑戰(zhàn),設計了融合膨脹因果卷積的TCN模塊,通過擴大網絡的感受野,使模型更好地捕捉數(shù)據(jù)中的長期依賴關系。同時,使用TE模塊提取數(shù)據(jù)中的全局特征,幫助模型關注傳感器之間的潛在聯(lián)系。在3個公開電子鼻數(shù)據(jù)集上對MTCNA模型進行評估,與機器學習方法和現(xiàn)有的氣體識別領域方法進行了對比,均取得了最優(yōu)性能,驗證了本文方法的有效性和適用性。

        參考文獻:

        [1] LINH,CHENH,YIN C,etal.Lightweight residual convolutional neural network for soybean classification combined with electronic nose[J].IEEE Sensors Journal, 2022,22(12):11463-11473.

        [2] SHI Y,YUAN H,ZHANG Q,et al.Lightweight interleaved residual dense network for gas identification ofindustrial polypropylene coupled with an electronic nose[J].Measurement Science and Technology,2023, 34(8): 085109.

        [3] 谷小婧,林昊琪,丁德武,等.基于紅外氣體成像及實例分 割的氣體泄漏檢測方法[J].華東理工大學學報(自然科 學版),2023,49(1):76-86.

        [4] WOJNOWSKIW,DYMERSKIT,GEBICKI J,etal. Electronic noses in medical diagnostics[J]. Current Medicinal Chemistry,2019,26(1):197-215.

        [5] MACRO S,GUTIERREZ-GALVEZ A. Signal and data processing for machine olfaction and chemical sensing:A review[J].IEEE Sensors Jourmal,2012,12(11): 3189-3214.

        [6]DMITRZAK M, JASINSKI P, JASINSKI G. Limited selectivity of amperometric gas sensors operatingin multicomponent gas mixtures and methods of selectivity improvement[J].Bulltin of the Polish Academy of Sciences Technical Sciences,2020, 68(6): 1275-1282.

        [7]YANG J, SUN Z, CHEN Y. Fault detection using the clustering-KNN rule for gas sensor arrays[J]. Sensors,2016, 16(12): 2069.

        [8]NAMAZKHAN M, ALBERS C, STEG L. A decision tree method for explaining household gas consumption: The role of building characteristics, socio-demographic variables, psychological factors and household behaviour[J]. Renewable and Sustainable EnergyReviews,2020,119:109542.

        [9]KELLER C A,EVANS M J. Application of random forest regression to the calculation of gas-phase chemistry within the GEOS-Chem chemistry model v10[J]. Geoscientific Model Development, 2019,12(3): 1209-1225.

        [10]YUAN Z,HAN E,MENG F,et al.Detection and identification of volatile organic compounds based on temperature-modulated ZnO sensors[J]. IEEE Transactions on Instrumentationand Measurement,2019, 69(7): 4533-4544.

        [11]ZHANG W, WANG L, CHEN J, et al. A novel gas recognition and concentration detection algorithm for artificial olfaction[J]. IEEE Transactions on Instrumentation and Measurement,2021,70: 9409770.

        [12]PTUCHA R, SUCH FP, PILLAI S, et al. Intelligent character recognition using fully convolutional neural networks[J].Pattern Recognition,2019,88: 604-613.

        [13]LI H. Deep learning for natural language processing: Advantages and challenges[J]. National Science Review, 2018, 5(1): 24-26.

        [14] GU R, WANG G, SONG T, et al. CA-Net: Comprehensive attention convolutional neural networks for explainable medical image segmentation[J]. IEEE Transactions on Medical Imaging,2020,40(2): 699-711.

        [15]肖飛揚,顧幸生.基于并行LSTM-CNN的化工過程故障 檢測[J].華東理工大學學報(自然科學版),2023,49(3): 382-390.

        [16] WANG T, ZHANG H, WU Y, et al. Target discrimination, concentration prediction, and status judgment of electronic nose system based on large-scale measurement and multitask deep learning[J]. Sensors and Actuators B: Chemical, 2022, 351: 130915.

        [17]BAI S, KOLTER J Z, KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling[EB/OL]. (2018-03-01) [2018-06-01]. https://arXiv preprint arXiv:1803.01271, 2018.

        [18] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems,2017,30: 5998-6008.

        [19]MENG L,LI H, CHEN B C, et al. Adavit: Adaptive vision transformers for efficient image recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: IEEE, 2022: 12309-12318.

        [20]YANG F, YANG H,F(xiàn)U J, et al.Learming texture transformer network for image super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE,2020: 5791-5800.

        [21] WEN Y, ZHANG K, LI Z,et al. A comprehensive study on centerloss for deep face recognition[J].International Journal of ComputerVision, 2019,127: 668-683.

        [22] FENG S,F(xiàn)ARHA F,LI Q, et al. Review on smart gas sensing technology[J]. Sensors,2019,19(17): 3760.

        [23] YANG X, LI M, JI X, et al. Recognition algorithms in E-nose: A Review[J]. IEEE Sensors Journal,2023,20460- 20472.

        [24] GUO J, CHENG Y,LUO D, et al. ODRP: A deep learming framework for odor descriptor rating prediction using electronic nose[J]. IEEE Sensors Journal,2021,21(13):15012- 15021.

        [25]XIONG Y, CHEN Y, CHEN C, et al. An odor recognition algorithm of electronic noses based on convolutional spiking neural network for spoiled food identification[J] Journal of the Electrochemical Society,2021,168(7): 077519.

        [26]MA D, GAO J, ZHANG Z, et al. Gas recognition method based on the deep learming model of sensor array response map[J]. Sensors and Actuators B: Chemical, 2021, 330: 129349.

        [27] LEEJM, CHOI E J,CHUNGJH, et al.A DNA-derived phage nose using machine learning and artificial neural processing for diagnosing lung cancer[J]. Biosensors and Bioelectronics,2021,194: 113567.

        [28] SRINIVAS A,LIN T Y,PARMAR N, et al. Bottleneck transformers for visual recognition[C]//Proceedings of the IEEE/CVF Conference on ComputerVisionand Pattern Recognition. Piscataway,NJ: IEEE,2021: 16519-16529.

        [29] CORDONNIER J B, LOUKAS A, JAGGI M. On the relationship between self-attention and convolutional layers[C]//International Conference on Learning Representations.RedHook,NY,UA: Curran Associates,InC,2020.

        [30]YUAN K, GUO S,LIU Z, et al. Incorporating convolution designs into visual transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE,2021: 579-588.

        [31]XIAO T, SINGH M, MINTUN E, et al. Early convolutions help transformers see better[J].Advances inNeural Information Processing Systems,2021,34: 30392-30400.

        [32] BAIS,KOLTERJZ,KOLTUNV.An empirical evaluationof generic convolutional and recurrent networks for sequence m0deling[EB/OL]. (2018-03-19) [2021-08-25]. https//arXiv preprint arXiv:1803.01271,2018.

        [33] ZHOU K,LIU Y.Early-stage gas identification using convolutional long short-term neural network with sensor arraytime seriesdata[J].Sensors,2021,21(14):4826.

        [34] YANGG, SONGR,WUY,etal.Analgorithmbased on transformer and temporal convolution network for early identification of ternary gasmixture[J]. IEEE Sensors Journal,2023,23:23753-23764.

        [35] PANJ,YANGA,WANGD,etal.Lightweight neural networkfor gas identification based on semiconductor sensor[J].IEEE Transactions on Instrumentationand Measurement,2021,71:1-8.

        [36] ZHANG C, WANG W, PAN Y, et al. Curriculum learningbased approaches for end-to-end gas recognition[J].IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-11

        Gas Recognition Method Based on Dilatation Causal Convolution and Attention Mechanism

        YU Lingwei, YANG Mengping, YANG Hai, WANG Zhe (School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China)

        Abstract: Gas identification is of great significance in the fields of environmental monitoring,industrial safety and medical health,which can efectively detect harmful gas leaks,monitor airqualityand identify disease odor markers.However,the field of gas identification is faced with the problem that the sensor data needs tobe processed manually before it can be used for subsequent analysis.Convolutional neural network (CNN) hasbeen gradually applied in gas recognition scenariosofelectronic nose systems with theirabilityofautomatic feature learing and endto-end modeling.Although CNNperforms wellin this field, there are stillchallengessuchas limited receptive field and insuficient global feature extraction,resulting in limited recognition performance.To solve these problems,a gas recognition method based on expansive causal convolution and attention mechanism is proposed.The algorithm combines the atention mechanism and multi-scale temporal convolution network in Transformer to extract global and local features,extract morerepresentational featuresandobtaina larger receptive field,and capture the instantaneous informationand change trend of gas.Experiments are conducted on three different data sets—Open Sampling,Drift and Twin. The results show that the proposed method achieves accuracy of 99.47% , 99.61% and 99.22% , respectively, which are superior to the existing mainstream methods, thereby confirming its effectiveness.

        Key words:electronic nose system;gas identification; attention mechanism; temporal convolutional networks; time series

        (責任編輯:王曉麗)

        猜你喜歡
        集上尺度損失
        人類世尺度批評視角下《樹語》慢性暴力的多維探析
        兩條守恒定律在解決碰撞模型中的應用
        基于位置掩碼引導的換裝行人重識別模型
        反鐵磁材料電信號實現(xiàn)可讀可控
        科學導報(2025年48期)2025-08-08 00:00:00
        基于多層特征融合與增強的對比圖聚類
        面向說話人日志的多原型驅動圖神經網絡方法
        面向視覺-語言模型的遞進互提示學習
        變暖3℃,每個人都將“失去”早餐
        科學導報(2025年43期)2025-07-28 00:00:00
        自約束多尺度記憶網絡的超聲心動視頻分割算法研究
        多尺度降噪自編碼器的遮擋行人重識別研究與應用
        精品无码人妻一区二区三区| 成人自拍小视频在线看| 老太婆性杂交视频| av潮喷大喷水系列无码| 久久国产精品老女人| 蜜桃一区二区三区在线视频| 亚洲中文字幕av天堂自拍 | 国产午夜亚洲精品午夜鲁丝片| 免费高清日本中文| 亚洲一区二区三区1区2区| 亚洲av无码精品无码麻豆| 美女视频黄的全免费视频网站| 国产丝袜一区二区三区在线不卡 | 国产美女自拍国语对白| 日韩av一区二区不卡| 97午夜理论片影院在线播放| 欧洲色综合| 国产美女主播福利一区| 日韩亚洲中文有码视频| 亚洲av永久无码国产精品久久 | 亚洲va欧美va人人爽夜夜嗨| 国产自拍一区在线视频| 国产做国产爱免费视频| 亚洲国产中文在线二区三区免| 中文字幕人成乱码中文乱码| 日韩人妻中文字幕高清在线| 无码不卡av东京热毛片| 伊人久久一区二区三区无码| 色偷偷亚洲精品一区二区| 亚洲熟女综合色一区二区三区 | 嫩草影院未满十八岁禁止入内| 久久久久亚洲AV无码去区首| 亚洲中文字幕乱码第一页| 色吊丝中文字幕| 国产精品大屁股1区二区三区| 久久开心婷婷综合中文| 国产欧美成人一区二区a片| 麻豆精品久久久久久久99蜜桃| 99久久免费精品色老| 亚洲av无码成人精品国产| 吸咬奶头狂揉60分钟视频|