王百皓, 祝玉華, 李智慧

(河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院,鄭州 450001)

糧食存儲安全問題一直是糧食工作的重點之一,但是由于糧食品種繁多,全國不同省市的自然環(huán)境和儲存環(huán)境不一,很難制定一個統(tǒng)一的標(biāo)準(zhǔn)進行糧情監(jiān)測。因此,如何根據(jù)不同的環(huán)境條件評估糧倉儲存安全狀態(tài),并及時發(fā)現(xiàn)儲存異常問題已經(jīng)成為了糧情監(jiān)測的首要任務(wù)。但是糧情監(jiān)測十分困難,主要表現(xiàn)為幾個方面。首先,糧倉規(guī)模巨大,除表層外的其他位置的糧食狀況很難監(jiān)測。其次,糧倉所處環(huán)境差異明顯,例如位于東北的糧倉和位于江南的糧倉的環(huán)境因素差別巨大,這對糧倉糧情監(jiān)控提出了巨大的挑戰(zhàn)。再次,糧倉儲存的環(huán)境影響條件眾多,有溫度、濕度、水分、含蟲量等,同時各個維度的數(shù)據(jù)間相互影響,加大了監(jiān)測的難度。最后,現(xiàn)有的方法大多是基于推理的異常監(jiān)測,方法的適用性與可遷移能力較低。基于上述問題,設(shè)計一個具有通用性的糧情融合監(jiān)測方法是十分有必要的。

信息融合(informationfusion)最早于1973年由美國國防部提出。隨著硬件設(shè)備的發(fā)展以及傳感器的普及,信息融合進入到了一個飛速發(fā)展的階段。國內(nèi)關(guān)于信息融合領(lǐng)域的研究最早從國防科技大學(xué)開始[1],主要關(guān)注于多元信息的協(xié)調(diào)管理。在糧情監(jiān)測領(lǐng)域,甄彤等[2]進行了信息融合技術(shù)的研究,其提出的基于多參數(shù)、二級信息融合的糧情測控方法能夠有效的分析異質(zhì)數(shù)據(jù),推動了糧情監(jiān)測技術(shù)的發(fā)展。

近年來,糧食安全問題受到國家的高度重視,糧情監(jiān)控問題逐漸成為了學(xué)者研究的重點。早期,馬志等[3]通過簡單神經(jīng)網(wǎng)絡(luò)對糧情監(jiān)測進行研究,針對不確定信息的融合提出了一種BP神經(jīng)網(wǎng)絡(luò)和D-S證據(jù)理論相結(jié)合的信息融合處理方法,是最早將神經(jīng)網(wǎng)絡(luò)應(yīng)用于糧倉安全信息融合領(lǐng)域的工作。張卓然[4]則進一步將神經(jīng)網(wǎng)絡(luò)技術(shù)和自適應(yīng)模糊推理系統(tǒng)進行結(jié)合。但是由于時代的局限性,簡單神經(jīng)網(wǎng)絡(luò)盡管相較于傳統(tǒng)方法能夠更好地進行糧倉安全信息融合,但是仍然存在著一些問題,例如無法廣泛適用于不同的場景,需要大量糧情信息標(biāo)注等。

除了基于神經(jīng)網(wǎng)絡(luò)的糧情信息融合,眾多學(xué)者還基于D-S證據(jù)理論進行了研究。張花軍[5]總結(jié)了D-S算法在糧情監(jiān)控信息融合系統(tǒng)中的應(yīng)用,主要包括對多源數(shù)據(jù)進行特征提取、模式識別、關(guān)聯(lián)和數(shù)據(jù)合成等,但是該方法同樣不具備普適性,即很難應(yīng)用到不同類型的糧倉的糧情監(jiān)測之中。黃琦蘭等[6]對數(shù)據(jù)進行了自適應(yīng)加權(quán),能夠有效地剔除冗余信息,進一步提高了應(yīng)用D-S證據(jù)理論進行信息融合的魯棒性。

傳統(tǒng)的基于證據(jù)理論和簡單神經(jīng)網(wǎng)絡(luò)的信息融合方法都存在著不同的局限性,隨著深度學(xué)習(xí)網(wǎng)絡(luò)技術(shù)的發(fā)展,部分學(xué)者開始對基于深度神經(jīng)網(wǎng)絡(luò)的信息融合技術(shù)進行探索。趙曉平等[7]將傳感器信息和其多域特征進行研究,提出了一種基于信息融合的卷積神經(jīng)網(wǎng)絡(luò),能夠有效的對時域信息進行特征提取,其識別準(zhǔn)確度遠(yuǎn)遠(yuǎn)高于傳統(tǒng)方法。鄭誠等[8]則構(gòu)建了一個GNN網(wǎng)絡(luò)來完成信息任務(wù),其利用注意力機制捕捉到信息源的特征,進行特征提取之后能夠進一步分析數(shù)據(jù)間的依賴關(guān)系,提高信息融合的準(zhǔn)確度。

但是上述基于深度神經(jīng)網(wǎng)絡(luò)的信息融合方法都使用監(jiān)督學(xué)習(xí)模型,因此信息標(biāo)注的準(zhǔn)確性極大的影響了糧情監(jiān)測的準(zhǔn)確度。研究針對糧倉傳感器多維監(jiān)測數(shù)據(jù),提出了一個無監(jiān)督的Transformer模型,能夠快速的發(fā)現(xiàn)糧倉異常情況。同時基于自注意力機制,能夠很好地適用于不同類型、不同環(huán)境的糧倉糧情監(jiān)測。

Transformer能夠在保證訓(xùn)練時間的同時處理具備龐大序列的數(shù)據(jù)[9],適用于糧倉安全信息融合中的高維傳感器數(shù)據(jù)。同時傳感器數(shù)據(jù)天然具備時序特征,Transformer模型能夠很好地處理時序數(shù)據(jù)[10]。將糧倉安全信息融合系統(tǒng)的任務(wù)定義為異常檢測任務(wù),因此需要構(gòu)建一個無監(jiān)督的深度學(xué)習(xí)網(wǎng)絡(luò)來完成自動化的異常檢測,針對于糧倉傳感器數(shù)據(jù),則主要為將異常分?jǐn)?shù)高的時間戳對應(yīng)的糧倉位置標(biāo)記為異常[11]。Transformer[12]模型所具備的編碼器-解碼器的結(jié)構(gòu)往往較少用于傳感器時序數(shù)據(jù)的分析,Tuli等[13]開創(chuàng)性的提出了用于多元時間序列數(shù)據(jù)的異常檢測任務(wù)。但是這些異常監(jiān)測的工作大多應(yīng)用于自然語言處理領(lǐng)域或者圖形圖像領(lǐng)域,對于高維傳感器數(shù)據(jù)的信息融合和異常監(jiān)測尚未有學(xué)者進行研究。此外,賈雪楓等[14]將transformer模型應(yīng)用到風(fēng)險態(tài)勢感知任務(wù)之中,為研究提供了啟發(fā)。

研究基于Transformer設(shè)計了一個能夠自動進行糧倉糧情異常監(jiān)測的模型,該模型能夠快速的識別結(jié)構(gòu)化糧情數(shù)據(jù)中的異常部分,以自注意力機制為切入口,提出了一種基于無監(jiān)督的Transformer的深度學(xué)習(xí)模型來進行糧庫安全信息融合;在編碼解碼網(wǎng)絡(luò)中引入對抗訓(xùn)練模塊,創(chuàng)新性的通過2個獨立的解碼器對時間序列數(shù)據(jù)進行重建;通過2個真實的不同類型的糧倉糧情數(shù)據(jù)對模型的有效性進行驗證,實驗證明研究的方法能夠很好的對糧情進行監(jiān)測。

1 基于Transformer的糧倉安全信息融合

1.1 模型總體框架

傳統(tǒng)的糧情信息融合主要通過對數(shù)據(jù)進行特征提取,將特征向量進行融合以實現(xiàn)決策的目的。這些數(shù)據(jù)融合方法能夠有效地解決部分限制場景的糧情監(jiān)測問題,但是對于不同類型和不同環(huán)境下的糧倉,傳統(tǒng)的數(shù)據(jù)融合方法就有些捉襟見肘。因此,基于自注意力機制,提出了一種能夠適用于不同糧倉環(huán)境的信息融合深度學(xué)習(xí)網(wǎng)絡(luò)模型,具體結(jié)構(gòu)如圖1所示。

圖1 糧情監(jiān)控系統(tǒng)結(jié)構(gòu)圖

模型主要由編碼器和解碼器組成,具體框架如圖2所示。

圖2 Transformer模型結(jié)構(gòu)

數(shù)據(jù)序列在編碼器中會經(jīng)過多次基于注意力的數(shù)據(jù)轉(zhuǎn)換,直到當(dāng)前的數(shù)據(jù)達(dá)到焦點分?jǐn)?shù)。基于自注意力的數(shù)據(jù)轉(zhuǎn)換是一個對焦點分?jǐn)?shù)進行迭代的過程,通過不斷地訓(xùn)練和學(xué)習(xí),能夠更好的對數(shù)據(jù)特征進行提取。此外,在評估部分對自注意力模塊進行了消融實驗。

之后我們使用解碼器對數(shù)據(jù)進行解碼并輸出,其中解碼器輸出結(jié)果Q定義為:

Qi=Sigmoid[FeedForward(I)]

(1)

式中:I為編碼器的輸出。

在模型中每1個自注意力機制都包含1個前饋神經(jīng)網(wǎng)絡(luò)層,自注意力層的輸出(矩陣)作為前饋神經(jīng)網(wǎng)絡(luò)的輸入,前饋神經(jīng)網(wǎng)絡(luò)定義為:

FFFN(x)=max(0,xW1+b1)W2+b2

(2)

式中:max為ReLU激活函數(shù),其通過激活函數(shù)的方式,來強化模型的表達(dá)能力。即數(shù)值較大的部分進行加強,數(shù)值較小的部分進行抑制,從而使得相關(guān)的部分表達(dá)效果更好。

Transformer模型中的訓(xùn)練過程主要分為2個階段。首先在第一階段,模型通過編碼-解碼網(wǎng)絡(luò)預(yù)測了每個輸入的時間序列數(shù)據(jù)的內(nèi)容,為了能夠更好的捕捉到微小的異常狀況,將焦點分?jǐn)?shù)和數(shù)據(jù)序列同時作為輸入,能夠有效的提高自注意力網(wǎng)絡(luò)對時間序列的提取,并將注意力更加集中在偏差較高的數(shù)據(jù)序列之中。

第二階段將重建損失作為焦點分?jǐn)?shù),并將其與給定輸入的偏差作為修改注意力權(quán)重的條件,進而提取短期時間趨勢。這種自我調(diào)節(jié)的方法能夠進一步放大數(shù)據(jù)異常內(nèi)容的偏差程度,提高識別能力。訓(xùn)練過程如下:

首先,初始化編碼器E、解碼器D1和D2的權(quán)重,并設(shè)置超參數(shù)ε和最大迭代N;

之后,以生成和輸入窗口近似的結(jié)構(gòu)為目標(biāo),進行輸入重構(gòu)。使得解碼器的輸出結(jié)果Q1和Q2更加接近于W;

最后,進行迭代訓(xùn)練,通過損失函數(shù)L1和L2更新編碼器E、解碼器D1和D2的權(quán)重。

測試過程如下:

首先,獲取模型編碼器E、解碼器D1和D2的權(quán)重;

之后,引入閾值自動選擇方法,并根據(jù)輸入數(shù)據(jù)計算得分;

最后,輸出數(shù)據(jù)得分和異常標(biāo)記情況。

為了能夠保持訓(xùn)練的穩(wěn)定性,設(shè)計了1個對抗訓(xùn)練模塊,即通過2個獨立解碼器進行時間序列數(shù)據(jù)的重建,其中2個解碼器的定義為:

L1=||Q1-W||2

(3)

L2=||Q2-W||2

(4)

解碼器L2的目的是通過最大化特征差值。這促使解碼器L2在此階段生成與Q2相同的輸出,以匹配解碼器L1的輸入,即目標(biāo)為:

(5)

因此,解碼器L1的目標(biāo)是最小化自調(diào)節(jié)輸出的重建誤差,解碼器L2的目標(biāo)是最大化該誤差。對抗訓(xùn)練模塊可以更好的保證訓(xùn)練的穩(wěn)定性,即大幅度減少過擬合的可能性,同時使得模型能夠適用于不同類型的高維數(shù)據(jù)集。在評估階段對對抗訓(xùn)練模塊進行了消融實驗,實驗表明對抗訓(xùn)練模塊能夠有效的提高模型的準(zhǔn)確性和穩(wěn)定性。

此外,實驗引入了元學(xué)習(xí)模塊用來解決小規(guī)模數(shù)據(jù)集的訓(xùn)練收斂問題,元學(xué)習(xí)模塊主要將算法、模型和特征一起學(xué)習(xí)。例如在數(shù)據(jù)融合過程中,通過多源異構(gòu)數(shù)據(jù)得到一個相對最優(yōu)的算法,再通過這個算法得到最優(yōu)的特征融合結(jié)果。

1.2 基于注意力機制的特征提取

Transformer是較流行的深度學(xué)習(xí)模型之一,被廣泛應(yīng)用于計算機視覺領(lǐng)域,但是在時間序列數(shù)據(jù)的融合和異常檢測之中的相關(guān)工作較少。我們構(gòu)建了一個基于自注意力機制的transformer模型來完成糧倉傳感器監(jiān)測數(shù)據(jù)中的異常檢測任務(wù)。

首先在數(shù)據(jù)融合中需要進行特征提取,transformer屬于encoder-decoder框架,其核心特征提取器是Attention,即利用注意力機制在眾多信息中選擇對當(dāng)前任務(wù)目標(biāo)最為關(guān)鍵的信息。從編碼器輸入的每一個數(shù)據(jù)序列首先經(jīng)過一個自注意力層(Self-Attention),其幫助編碼器關(guān)注當(dāng)前數(shù)據(jù)周圍的相關(guān)數(shù)據(jù),注意力機制具體思想如圖3所示:

圖3 注意力機制

在模型中多元數(shù)據(jù)序列會進行矩陣變換,實驗定義了注意力機制中的3個標(biāo)量,分別是Query(Q)、Key(K)和值Value(V)。注意力Attention定義為:

(6)

自注意力機制是指在內(nèi)部元素之間進行的Attention變換,對于輸入矩陣Q,K和V,首先基于自注意力進行數(shù)據(jù)轉(zhuǎn)換,其中多頭自注意力MultiHead定義為:

MultiHead(Q,K,V)=Concat(H1,…,Hh)

(7)

式中:Hi=Attention(Qi,Ki,Vi),自注意力能夠使得模型在多個位置關(guān)注來自不同空間的信息。同時自注意力機制更容易捕捉到多維序列數(shù)據(jù)中不同維度數(shù)據(jù)間的依賴特征。

MultiHead注意力機制的實現(xiàn)如圖4所示。

圖4 多頭注意力機制

1.3 信息融合

1.3.1 多源異構(gòu)數(shù)據(jù)處理

多源異構(gòu)數(shù)據(jù)的處理一直是信息融合研究的難點之一,傳統(tǒng)的方法需要大量的時間和精力對同類型傳感器數(shù)據(jù)的差異性進行辨別和標(biāo)記。為了減少傳統(tǒng)信息融合方法的復(fù)雜性,提出的基于深度學(xué)習(xí)的方法能夠很好地對數(shù)據(jù)的細(xì)微差異特征進行識別,因此無需過多的考慮同類型傳感器的數(shù)據(jù)的差異性。

工作和傳統(tǒng)信息融合方法最本質(zhì)的差別是方法能夠?qū)崿F(xiàn)無監(jiān)督的學(xué)習(xí),即不需要大量時間進行人工識別和標(biāo)注,只需要通過自注意力機制就能夠很好地對糧情數(shù)據(jù)的特征進行學(xué)習(xí),并對異常情況進行檢測。

在模型中,高維傳感器數(shù)據(jù)無需進行預(yù)處理和標(biāo)記,即多源異構(gòu)數(shù)據(jù)的處理過程極其簡單,只需要對多個異構(gòu)數(shù)據(jù)源進行簡單結(jié)合,生成一個單一的高維傳感器數(shù)據(jù)文件即可。

1.3.2 特征級信息融合

糧倉傳感器數(shù)據(jù)屬于多變量時序數(shù)據(jù),即輸入數(shù)據(jù)是一個帶有時間戳、大小為T的序列:

T={x1,x1,…,xt}

(8)

實驗的任務(wù)是預(yù)測在時間序列T對應(yīng)的數(shù)據(jù)異常時間戳。

為了讓模型更加穩(wěn)定,首先,對多源傳感器數(shù)據(jù)進行歸一化:

(9)

特征級信息融合和以特征Q、K、V作為輸入,通過Concat函數(shù)(圖4)進行融合,多頭注意力機制提供并訓(xùn)練了多個Q、K、V矩陣,這些矩陣將不同維度的數(shù)據(jù)投影到不同的表示子空間。式(6)顯示了每一個注意力模塊對信息處理的過程,本研究的特征級信息融合就是將每一個注意力模塊的輸出結(jié)果進行融合的過程。在模型訓(xùn)練過程中,對多個并行的注意力層進行計算并獲得了多個不同的Z矩陣,這是模型將通過Concat函數(shù)進行拼接,并將拼接結(jié)果輸入到線性模型之中,這樣就完成了特征級的信息融合。即輸入為高維傳感器數(shù)據(jù),輸出為經(jīng)過線性變換之后的矩陣。如式(7)所示,在通過線性變換、注意力計算、特征融合之后的輸出結(jié)果即為特征級信息融合的結(jié)果。

與傳統(tǒng)信息融合方法的特征級信息融合步驟不同,本方法的特征級信息融合更加趨近于整體決策信息融合的一個組成部分,因此在特征級信息融合過程的直觀性較差。這也是基于深度學(xué)習(xí)網(wǎng)絡(luò)的信息融合方法與傳統(tǒng)信息融合方法的主要差異[7,8]。

1.3.3 決策級信息融合

在D-S理論中,決策融合是定義系統(tǒng)中所有可能出現(xiàn)的狀態(tài),并將每一個可能的假設(shè)根據(jù)其特征質(zhì)量賦予一個概率。決策級信息融合屬于對多源語義數(shù)據(jù)進行融合,信息融合本質(zhì)上是一種對糧倉傳感器數(shù)據(jù)的融合機制,具體表現(xiàn)為每個節(jié)點只處理合成的語義信息。

多源決策級語義信息融合通常包含兩部分。首先是將多維傳感器數(shù)據(jù)轉(zhuǎn)換為語義信息,之后通過訓(xùn)練為語義信息提供一個解釋。本文的模型將溫度、濕度等傳感器信息進行融合,而決策級信息融合則將經(jīng)過特征及信息融合之后的結(jié)果進行解碼,進而實現(xiàn)決策級的信息融合。

在本模型中,我們將輸入的高維數(shù)據(jù)經(jīng)過歸一化、線性變換、注意力變換等步驟進行處理和融合,最終輸出一個布爾常量,用來標(biāo)記當(dāng)前輸入數(shù)據(jù)是否為異常數(shù)據(jù)。本方法具備一個明顯優(yōu)勢,具體為不局限于多源異構(gòu)傳感器的數(shù)量和數(shù)據(jù)維度。具體來說,假設(shè)某糧倉具備溫度、濕度、蟲害數(shù)傳感器數(shù)據(jù),后續(xù)有增設(shè)水分、CO2濃度傳感器,傳統(tǒng)方法對于決策及信息融合需要重新進行計算和分析,而本文方法的決策級信息融合只需將增設(shè)的傳感器數(shù)據(jù)輸入到模型之中即可完成決策級信息融合與糧情監(jiān)測。

1.4 糧情異常檢測

測試過程如算法2所示,將異常分?jǐn)?shù)s定義為:

(10)

2 實驗與評估

2.1 數(shù)據(jù)描述

實驗使用了新港6號倉(小麥)和南寧5號倉(玉米)的場景差異較大的傳感器數(shù)據(jù)進行研究,其主要包括節(jié)點溫度、節(jié)點水分、節(jié)點濕度、環(huán)境溫度等數(shù)據(jù)維度。每行數(shù)據(jù)根據(jù)采樣位置不同分為3層,即分別位于糧倉頂部、中部和底部。

其中新港數(shù)據(jù)集共有數(shù)據(jù)41 526行(18組采樣傳感器),南寧數(shù)據(jù)集共有數(shù)據(jù)981行(9組采樣傳感器),我們分別以1∶1和5∶4的比例隨機選擇了訓(xùn)練集和測試集。

模型為無監(jiān)督模型,只需對測試數(shù)據(jù)進行標(biāo)記,標(biāo)記原則如表1所示。將較安全以及安全的糧情狀況標(biāo)記為0,其余狀況標(biāo)記為1。其中表1對糧情安全的評估標(biāo)準(zhǔn)參考了王峰等[18]的研究。

表1 測試數(shù)據(jù)標(biāo)記原則

2.2 評估指標(biāo)

為了驗證模型的有效性,將模型與MERLIN[16]、DAGMM[17]和USAD[11]模型進行比較。研究使用PyTorch-1.7.1訓(xùn)練模型。使用精度(precision)、召回率(recall)、特征曲線和F1分?jǐn)?shù)來評估上述模型的性能。

2.3 實驗結(jié)果分析

圖5顯示了模型的平均訓(xùn)練損失值,可以看出。模型在訓(xùn)練過程中的loss值和val_loss值整體趨勢都是相對穩(wěn)定的,表明了模型在糧倉傳感器數(shù)據(jù)集中的訓(xùn)練穩(wěn)定。

在異常檢測階段還關(guān)注了不同維度數(shù)據(jù)的異常傳遞情況。多頭注意力模式允許模型同時關(guān)注多個維度信息,使其更加適用于檢測多維數(shù)據(jù)的關(guān)聯(lián)異常。表現(xiàn)為某一維度的異?？赡軐?dǎo)致后續(xù)一系列維度的異常產(chǎn)生。本模型能夠精確地檢測并定位這些特定維度的異常內(nèi)容。同時實驗結(jié)果表明能夠極大地改善異常監(jiān)測的效果。

在測試過程中發(fā)現(xiàn)模型對較小異常的識別效果明顯,即對于傳遞性數(shù)值異常的敏感度較高,即模型能夠?qū)W習(xí)到數(shù)據(jù)維度之間的關(guān)系特征,并根據(jù)特征對異常狀態(tài)進行識別。

此外,為了驗證工作的有效性,還進行了不同模型的對比?？梢钥闯瞿Ｐ驮诋惓１O(jiān)測準(zhǔn)確度、特征曲線和F1分?jǐn)?shù)上都有優(yōu)勢。MRTLIN模型可能與本實驗數(shù)據(jù)集不匹配導(dǎo)致效果較差,DAGMM和USAD模型在測試集中有90%以上的準(zhǔn)確度,而模型準(zhǔn)確度能夠達(dá)到94%以上。

同時,模型的F1分?jǐn)?shù)為0.967 971,高于DAGMM模型的0.959 163和USAD模型的0.949 486,證明我們的模型在糧倉糧情異常檢測中與當(dāng)前階段流行的深度學(xué)習(xí)模型相比更加有優(yōu)勢。

實驗結(jié)果表明,方法能夠有效地預(yù)測不同情況下的糧倉異常問題,能夠?qū)⒏呔S傳感器數(shù)據(jù)進行信息融合。同時強大的自注意力模式能夠自動化的學(xué)習(xí)出傳感器數(shù)據(jù)中的異常內(nèi)容。與同類型的異常檢測模型相比,本模型訓(xùn)練時間更短,準(zhǔn)確率更高。

2.4 消融實驗

為了進一步探究模型中不同的模塊對實驗結(jié)果的影響程度,還進行了消融實驗。首先用前饋網(wǎng)絡(luò)替代transformer的編碼器解碼器結(jié)構(gòu)進行實驗;其次,去掉自注意力模塊,即將焦點分?jǐn)?shù)固定;再次,去掉對抗訓(xùn)練模塊,只使用訓(xùn)練階段的重建損失函數(shù);最后,去掉元學(xué)習(xí)(meta-learning)模型進行實驗。具體結(jié)果如表3所示。

表3 消融實驗

前饋網(wǎng)絡(luò)替換transformer網(wǎng)絡(luò):實驗結(jié)果表明,用前饋網(wǎng)絡(luò)替換Transformer網(wǎng)絡(luò)之后,總體模型性能下降明顯,說明了在模型中,Transformer的編碼器/解碼器結(jié)構(gòu)對傳感器數(shù)據(jù)特征的學(xué)習(xí)能力更強。

刪除自注意力模塊:實驗結(jié)果表明,刪除自注意力模塊之后的網(wǎng)絡(luò)性能有小幅度下降。固定焦點分?jǐn)?shù)對模型的識別結(jié)果有一定程度影響,通過自注意力模塊迭代更新焦點分?jǐn)?shù)能夠更好地對異常情況進行檢測。

刪除對抗訓(xùn)練模塊:實驗發(fā)現(xiàn),只是用訓(xùn)練階段的重建損失函數(shù)對于模型性能有較大的影響,異常檢測準(zhǔn)確度下降明顯,說明實驗的對抗訓(xùn)練模塊能夠加強模型對特征的學(xué)習(xí),這也說明了實驗?zāi)Ｐ湍軌虿蹲降捷^微弱的局部特征信息。

刪除元學(xué)習(xí)模型:實驗結(jié)果表明,元學(xué)習(xí)模型對總體模型的性能影響巨大,元學(xué)習(xí)模型能夠使得模型獲取一種學(xué)會學(xué)習(xí)調(diào)參的能力,能夠更好地完成無監(jiān)督的學(xué)習(xí)任務(wù),這也說明了實驗?zāi)Ｐ湍軌蚋玫剡m應(yīng)不同環(huán)境下的糧倉糧情異常情況檢測。

3 結(jié)論

研究提出了一種基于自注意力機制的Transformer模型來完成糧倉糧情信息融合和監(jiān)測任務(wù)?；诰幋a器-解碼器的Transformer模型能夠快速完成大規(guī)模高維傳感器數(shù)據(jù)的訓(xùn)練和異常內(nèi)容檢測,同時具備較高的準(zhǔn)確性和穩(wěn)定性。同時,模型還能有效的識別數(shù)據(jù)趨勢,因此在小規(guī)模數(shù)據(jù)集上同樣有較好的效果。

研究提出的糧倉糧情安全信息融合方法能夠有效地對多種不同類型、不同環(huán)境的糧倉的糧情進行監(jiān)測,同時無監(jiān)督的模型能夠極大的減少人工干預(yù)造成的誤差。研究方法和傳統(tǒng)的基于D-S的信息融合方法相比,適用性更廣,準(zhǔn)確度更高。