亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合多種機(jī)制的交通時(shí)序數(shù)據(jù)異常檢測(cè)模型研究

        2025-08-09 00:00:00張培培劉佳奇
        關(guān)鍵詞:復(fù)雜度注意力卷積

        中圖分類號(hào):TP183 文獻(xiàn)標(biāo)識(shí)碼:A DOI:10.7535/hbkd.2025yx03003

        Research on anomaly detection model for traffic time series data integrating multiple mechanisms

        ZHANG Peipei,LIU Jiaqi

        (SchoolofEconomicsandManagement,NorthChinaUniversityofScienceandTechnology,Tangshan,HebeiO63oo,China)

        Abstract:Toenhancetheanomalyrecognitionabilityof trafictimeseriesdata,ahybrid modelwasconstructed.Firstly,the multi-headatention,residualsandprobabiliticsparseself-atentionwerecombined toformaglobalfeaturerecognition(GFR) module,enhancing theability whilereducingcomputationalcomplexity.Secondly,the dilated convolutionandmulti-scale convolution werecombined to formalocalfeaturerecognition(LFR)module,furtheroptimizing local featureextraction. Thirdly,the FreeRunning training strategy wasused to improve model robustness.Fourthly,the modules and training strategy werecombined withLSTM,whiletheresultof theself-atention mechanismreplaced theLSTM input gate,soas to optimize long sequence memoryabilityand reducecomputing complexity.Finally,a multivariate Gausian distribution probabilityfunction wasused to discriminateanomalies.Theresults show that ading each moduleon the basis of LSTM significantly improvesthemodel'spredictionandanomalydetectionability;Comparedwiththegeneralhybridmodel Transformer-Bi-LSTM,the proposed model hasstronger prediction abilityandlowercomputational complexity.The proposed modelperformsefectivelyinrecognizingboth globalandlocalanomalies in trafictime seriesdata,which provides reference forimproving the operational efficiency and safety of the traffic system.

        Keywords:computer neural networks;long sequence time-series data;anomaly detection; attention mechanism;LSTM

        在交通領(lǐng)域,交通時(shí)序數(shù)據(jù)異常檢測(cè)至關(guān)重要。這類數(shù)據(jù)包括交通流量、速度和占有率等信息,其異常檢測(cè)對(duì)保障交通安全、優(yōu)化資源和提升交通效率意義重大。深度學(xué)習(xí)模型(如RNN、LSTM和Transformer)被廣泛用于異常檢測(cè)[1],通過學(xué)習(xí)數(shù)據(jù)模式和長期依賴關(guān)系,比較預(yù)測(cè)值與實(shí)際值,來判斷異常[2]。然而,交通數(shù)據(jù)動(dòng)態(tài)性強(qiáng)、復(fù)雜度高,受多種因素干擾[3],需識(shí)別全局和局部特征異常[4]。1)全局特征檢測(cè)問題:傳統(tǒng)RNN難以處理長期依賴問題,LSTM雖有改進(jìn),但對(duì)極長序列的處理仍有限制[5],Transformer雖能捕捉遠(yuǎn)距離依賴[6],但計(jì)算復(fù)雜度高,不利于超長序列處理[7]。2)局部特征檢測(cè)問題:卷積層雖能提取局部特征[8],但因卷積核感受野固定,難以捕捉多尺度特征[9]。3)混合模型問題:如 Transformer-Bi-LSTM混合模型雖能提升預(yù)測(cè)能力[10],但在局部特征提取、魯棒性和計(jì)算效率方面仍有不足。針對(duì)上述問題,本文提出一種混合模型,旨在優(yōu)化交通時(shí)序數(shù)據(jù)的異常檢測(cè)能力。

        1 模型設(shè)計(jì)

        交通時(shí)序數(shù)據(jù)的復(fù)雜性使得交通數(shù)據(jù)的預(yù)測(cè)極具挑戰(zhàn)性,單一方法難以滿足高效、精準(zhǔn)的預(yù)測(cè)需求。為此,本文提出的交通時(shí)序數(shù)據(jù)預(yù)測(cè)模型融合了三大核心模塊:1)全局特征識(shí)別(global feature recognition,GFR)模塊,通過集成 Transformer的多頭注意力、殘差和概率稀疏自注意力機(jī)制,在精準(zhǔn)提取全局特征的同時(shí)降低計(jì)算復(fù)雜度;2)局部特征識(shí)別(local feature recognition,LFR)模塊,結(jié)合膨脹卷積和多尺度卷積技術(shù),靈活捕捉交通數(shù)據(jù)中的局部細(xì)節(jié)特征,優(yōu)化局部特征提取效果;3)FreeRunning 訓(xùn)練策略,增強(qiáng)模型訓(xùn)練的魯棒性。將上述特征識(shí)別模塊和訓(xùn)練策略與LSTM相結(jié)合,并將全局特征識(shí)別模塊的輸出作為LSTM的輸入門控,進(jìn)一步降低計(jì)算復(fù)雜度,提升長序列數(shù)據(jù)的記憶與預(yù)測(cè)能力。

        1)GFRGRF是模型的核心部分,用于高效提取交通時(shí)序數(shù)據(jù)的全局特征。自注意力機(jī)制通過對(duì)輸入序列的全局建模捕捉長距離依賴,但其計(jì)算復(fù)雜度隨序列長度增加而呈平方增長,限制了在長序列數(shù)據(jù)中的應(yīng)用[1]。概率稀疏自注意力機(jī)制通過稀疏性度量方法對(duì)注意力得分進(jìn)行概率稀疏采樣,從而降低了計(jì)算復(fù)雜度[7]。然而,采樣后的鍵值對(duì)數(shù)量減少可能導(dǎo)致后續(xù)計(jì)算的缺失。為此,本模塊通過補(bǔ)零操作,結(jié)合卷積、ELU激活和最大池化對(duì)特征降采樣,使其在較短子序列上計(jì)算,降低計(jì)算量并防止過擬合。之后,利用反卷積進(jìn)行上采樣,恢復(fù)到原始序列長度,在減少計(jì)算成本的同時(shí),保持對(duì)序列的有效建模能力。此外,Trans-former的多頭注意力結(jié)構(gòu)能從不同子空間中提取信息,增強(qiáng)模型對(duì)復(fù)雜關(guān)系的捕捉能力,殘差結(jié)構(gòu)能有效解決訓(xùn)練過程中梯度消失問題?;诖?,GFR融合了概率稀疏自注意力、殘差和多頭注意力機(jī)制,能更全面、精準(zhǔn)地捕捉數(shù)據(jù)中的全局特征。如圖1所示,該模塊包含6層編碼器,每層均采用概率稀疏自注意力、殘差和多頭注意力結(jié)構(gòu)。

        初始輸入為 17856×3 的矩陣(17856為時(shí)間點(diǎn)數(shù),3為交通流量、平均速度和平均占用率三方面的數(shù)據(jù))。輸入數(shù)據(jù)首先經(jīng)過位置編碼以獲取序列位置依賴關(guān)系,然后通過多頭概率稀疏自注意力和降采樣獲取自注意力輸出。經(jīng)上采樣后,與位置編碼輸出相加并歸一化,再經(jīng)過前饋網(wǎng)絡(luò)處理,最后進(jìn)行殘差求和與歸一化,得到與輸入形狀一致的編碼器輸出結(jié)果。本模塊采用8頭注意力機(jī)制,具體結(jié)構(gòu)如圖2所示。

        2)LFRLFR是本模型的關(guān)鍵部分,專注于捕捉交通時(shí)序數(shù)據(jù)中的局部細(xì)節(jié)特征,以增強(qiáng)模型對(duì)短時(shí)波動(dòng)和局部模式的感知能力。卷積神經(jīng)網(wǎng)絡(luò)能自動(dòng)從輸人數(shù)據(jù)中提取具有代表性的局部特征,但在處理序列數(shù)據(jù)時(shí),通常需要更深的網(wǎng)絡(luò)結(jié)構(gòu)來獲得較大的感受野,這可能導(dǎo)致梯度消失[12]。而時(shí)空卷積通過卷積輸入的間隔采樣,有效擴(kuò)大了感受野[13」,避免出現(xiàn)梯度消失。但模型還需捕捉不同時(shí)間尺度的特征,多尺度卷積網(wǎng)絡(luò)通過使用不同大小的卷積核來獲取不同尺度的特征[9]。本模塊結(jié)合膨脹卷積和多尺度卷積,使模型對(duì)不同頻率和幅度的變化具有更強(qiáng)的適應(yīng)性。如圖3所示,卷積輸入通道數(shù)為3,輸出通道數(shù)為1,模型共有4個(gè)尺度的卷積核 {2,4,8,16} ,所以卷積核大小分別為 {3×1×2,3×1×4,3×1×8,3×1×16} 。每個(gè)尺度的卷積核又對(duì)應(yīng)著4個(gè)膨脹率,大小分別為 1,2,4,8 。模型共產(chǎn)生 4×4=16 個(gè)卷積結(jié)果。接下來,利用拼接技術(shù)將16個(gè)卷積結(jié)果進(jìn)行拼接,拼接后大小為 17856×16 ,再經(jīng)過前饋網(wǎng)絡(luò),輸出數(shù)據(jù)維度修改為17856×3 。

        圖1全局特征識(shí)別模塊
        Fig.1Global feature recognition module圖2多頭注意力Fig.2Multi-head attention

        3)FreeRunning混合訓(xùn)練策略在時(shí)序數(shù)據(jù)處理中,傳統(tǒng)訓(xùn)練模式常采用TeacherForcing策略,即直接用真實(shí)標(biāo)簽作為下一時(shí)間步的輸人,從而加快模型學(xué)習(xí)輸入與輸出映射關(guān)系的速度[14],如圖4a)所示。然式可能導(dǎo)致模型過度依賴外部輸入,忽視自身預(yù)測(cè)誤差的處理,在面對(duì)新數(shù)據(jù)時(shí)因缺乏糾錯(cuò)能力而無法有效適應(yīng)。FreeRunning 訓(xùn)練模式通過將前一步的輸出作為后一步的輸入(如圖4b)所示),迫使模型基于自身預(yù)測(cè)進(jìn)行訓(xùn)練,增強(qiáng)其對(duì)預(yù)測(cè)誤差的魯棒性和泛化能力,但也會(huì)增加訓(xùn)練的時(shí)間成本。本模型采用 TeacherForcing與FreeRunning混合訓(xùn)練策略,在 400個(gè)訓(xùn)練周期中,前40個(gè)周期用36個(gè)epoch 進(jìn)行TeacherForcing 訓(xùn)練,4個(gè)epoch 進(jìn)行FreeRunning 訓(xùn)練;最后40個(gè)epoch完全采用FreeRunning模式。通過動(dòng)態(tài)調(diào)整2種模式比例(如圖5所示),模型從依賴真實(shí)標(biāo)簽逐步過渡到依賴自身預(yù)測(cè),有效緩解過擬合,兼顧快速收斂與強(qiáng)泛化能力,特別適用于交通預(yù)測(cè)這類復(fù)雜任務(wù)和長序列數(shù)據(jù),顯著提升模型在實(shí)際應(yīng)用中的表現(xiàn)。

        圖3膨脹卷積和多尺度卷積網(wǎng)絡(luò)相結(jié)合的局部特征提取模型"
        圖5兩種訓(xùn)練模式比例動(dòng)態(tài)調(diào)整策略Fig.5Dynamic adjustment strategy for the proportion of the two training modes

        4)整體結(jié)構(gòu)本文模型在LSTM的基礎(chǔ)上,融合了GFR、LFR以及 FreeRunning 混合訓(xùn)練策略:a)GFR經(jīng)過歸一化處理后,獲取輸入樣本的權(quán)重,記為 β ,并將其作為LSTM輸入門的門控,如圖6所示。LSTM的輸入門決定了當(dāng)前輸入信息能保存至細(xì)胞狀態(tài)的數(shù)量,而自注意力機(jī)制的輸出是給輸入的不同部分賦予不同程度的關(guān)注以及權(quán)重,恰好可以作為LSTM輸入門的門控參數(shù)。這種方法不但加快了模型的收斂速度,而且增強(qiáng)了其提取全局特征信息的能力。b)輸入數(shù)據(jù)經(jīng)過LFR模塊,提取出局部特征向量并輸人預(yù)測(cè)模型,進(jìn)而能夠更高效地提取局部特征。c)為了避免預(yù)測(cè)誤差持續(xù)累積,采用了FreeRunning 策略,有效地緩解了過擬合問題,為后續(xù)的異常檢測(cè)打下基礎(chǔ)。

        圖6模型整體結(jié)構(gòu)

        2異常檢測(cè)方法

        在完成預(yù)測(cè)之后,模型使用多元高斯分布概率函數(shù)來識(shí)別異常,如圖7所示。

        圖7基于多元高斯分布概率函數(shù)異常檢測(cè)方法Fig.7Anomaly detection method based on multivariate Gaussian distribution probability function

        獲取時(shí)序數(shù)據(jù)集 XM=[x1,x2,…,xi,…,xM] ,其中, M 代表數(shù)據(jù)集 XM 的大??; i 為正整數(shù); xi 代表時(shí)間 i 的記錄值。使用預(yù)測(cè)模型對(duì)所述數(shù)據(jù)集 XM 進(jìn)行預(yù)測(cè),得到預(yù)測(cè)結(jié)果 ,并計(jì)算 XM 中每個(gè)預(yù)測(cè)值 與真實(shí)數(shù)值 yi 的誤差向量 ei ,如式(1)所示。然后,計(jì)算每個(gè) ei 的高斯分布概率密度 ?Pi,?Pi 通過多元高斯分布模型計(jì)算,參數(shù)包括高斯分布的均值 μ 和協(xié)方差 Σ,μ 和 Σ 的計(jì)算如式(2)、(3)所示。最后,計(jì)算每個(gè)誤差向量 ei 的高斯分布概率密度值,如式(4)所示。當(dāng)概率密度值 ?Pi 小于閾值 τ 時(shí),記錄值 ΨXi 為異常,否則為正常。通過F1最大化的方式來確定區(qū)分異常值和正常值的閾值 τ 。

        3 結(jié)果與討論

        為了全面評(píng)估本文提出的交通時(shí)序數(shù)據(jù)異常檢測(cè)模型的性能,從多個(gè)維度對(duì)模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。

        3.1 實(shí)驗(yàn)準(zhǔn)備

        1)樣本數(shù)據(jù)情況本實(shí)驗(yàn)使用美國加州交通系統(tǒng)的PEMsO8 數(shù)據(jù)集,包含17O 個(gè)探測(cè)器每隔 5min 采集的交通數(shù)據(jù),共62d、17856個(gè)時(shí)間點(diǎn)。每個(gè)探測(cè)器的數(shù)據(jù)有交通平均占有率、交通流量和交通平均速度3個(gè)特征,如圖8所示。隨機(jī)選取136個(gè)探測(cè)器 (80% )作為訓(xùn)練集,34個(gè)探測(cè)器 20% 作為測(cè)試集。

        2)訓(xùn)練環(huán)境和參數(shù)設(shè)置硬件:CentOS7操作系統(tǒng),CPU為 Intel Core i5-8250U,GPU為NVIDIAGeForceMX150。軟件:CUDA9.2,CuDNN7.6,Python3.8,Keras 框架。訓(xùn)練參數(shù):初始學(xué)習(xí)率為 1× 10-4 ,均方誤差損失,Adam優(yōu)化器,迭代400次。GFR參數(shù):編碼器為6層,注意力頭數(shù)為8,dropout為0.2。LFR參數(shù):4個(gè)尺度卷積核大小為 {3×1×2 , 3×1×4 , 3×1×8 , ,膨脹率為 {1, 2, 4, 8} 。LSTM參數(shù):隱含層大小為10,dropout為0.2。

        3.2 訓(xùn)練收斂狀況比較

        通過消融實(shí)驗(yàn),逐一添加模塊并分析影響,如圖9所示。1)添加1個(gè)模塊:收斂效果總體優(yōu)于原始LSTM模型,其中GFR 收斂最快,F(xiàn)reeRunning 次之,LFR 再次之。2)添加2個(gè)模塊:總體優(yōu)于單模塊模型,GFR + FreeRunning表現(xiàn)最佳,GFR + LFR次之,LFR + FreeRunning再次之。3)添加3個(gè)模塊:初始收斂速度不如雙模塊模型,但后期收斂效果最好。總之,3個(gè)模塊都添加的模型最優(yōu),雙模塊優(yōu)于單模塊,且均優(yōu)于原始LSTM模型。

        Fig.9 Comparison of the change curves of the loss function

        3.3 預(yù)測(cè)能力比較

        通過平均絕對(duì)誤差(MAE)和 R2 值(見式(5)—(7))評(píng)估模型性能,結(jié)果如表1所示。1)添加1個(gè)模塊:總體優(yōu)于原始LSTM模型,GFR 表現(xiàn)最好,F(xiàn)reeRunning 次之,LFR 稍弱。2)添加 2個(gè)模塊:總體優(yōu)于單模

        塊模型,其中GFR + FreeRunning表現(xiàn)最佳,GFR+LFR 次之,LFR+FreeRunning稍弱。3)添加3個(gè)模塊:預(yù)測(cè)能力最強(qiáng)??傊?個(gè)模塊都添加時(shí)模型最優(yōu),其次是雙模塊,再次是單模塊。

        表1不同模型預(yù)測(cè)能力與LSTM的對(duì)比Tab.1 Comparison of predictionabilityandLSTMofdifferent models based on ablation experiments

        3.4異常檢測(cè)能力比較

        圖10和圖11分別呈現(xiàn)了長時(shí)和短時(shí)數(shù)據(jù)的異常檢測(cè)結(jié)果,a)圖均為歸一化后的交通流量(藍(lán)色)、交通平均速度(橙色)和交通平均占有率(綠色),b)圖均為基于多元高斯分布概率密度倒數(shù)的異常分值。由圖可知,模型能有效察覺長時(shí)和短時(shí)數(shù)據(jù)的異常情況。實(shí)驗(yàn)數(shù)據(jù)證明了模型的有效性。

        Fig.ll Short term data anomaly detection

        數(shù)據(jù)定義:將62d數(shù)據(jù)定義為長時(shí)數(shù)據(jù),1d數(shù)據(jù)為短時(shí)數(shù)據(jù)。測(cè)試集包含34個(gè)探測(cè)器,共607104個(gè)數(shù)據(jù)點(diǎn),其中長時(shí)異常73個(gè),短時(shí)異常2740個(gè)。

        實(shí)驗(yàn)方法:通過消融實(shí)驗(yàn)對(duì)比各模型的異常檢測(cè)能力,結(jié)果見表2和表3。

        Tab.2Comparison of long-term anomaly detection capabilities表3短時(shí)異常檢測(cè)能力對(duì)比
        表2長時(shí)異常檢測(cè)能力對(duì)比Tab.3 Comparison of short-term anomaly detection capabilities

        評(píng)價(jià)指標(biāo):TP為正常數(shù)據(jù)被正確判定的數(shù)量,TN為異常數(shù)據(jù)被正確判定的數(shù)量,F(xiàn)N為漏檢數(shù)量, P 為精確度,R為召回率(見式(8)一(10))。

        結(jié)果分析:3個(gè)模塊均添加的模型優(yōu)于雙模塊模型,雙模塊模型優(yōu)于單模塊模型,單模塊模型優(yōu)于原始LSTM。長時(shí)異常檢測(cè)中,GFR模塊貢獻(xiàn)最大;短時(shí)異常檢測(cè)中,LFR模塊貢獻(xiàn)最大。FreeRunning混合訓(xùn)練策略對(duì)長時(shí)和短時(shí)異常檢測(cè)均有提升作用。

        3.5 對(duì)比分析

        將模型的預(yù)測(cè)能力和異常檢測(cè)能力做對(duì)比分析。

        1)預(yù)測(cè)能力如表4所示,單模塊總體提升了LSTM的預(yù)測(cè)能力,其中GFR提升效果最佳,F(xiàn)reeRun-ning次之,LFR較小。雙模塊優(yōu)于單模塊,GFR + FreeRunning提升幅度最大,其次是GFR + LFR,LFR + FreeRunning稍遜一籌。3個(gè)模塊均添加的模型預(yù)測(cè)能力提升最為顯著。

        表4預(yù)測(cè)能力提升比較

        2)異常檢測(cè)能力如表5所示,在長時(shí)異常檢測(cè)中,單模塊GFR 優(yōu)化效果最佳,F(xiàn)reeRunning 次之,LFR貢獻(xiàn)不明顯,雙模塊GFR + FreeRunning表現(xiàn)最佳,GFR + LFR其次,LFR + FreeRunning最差,3個(gè)模塊均添加的模型提升效果最佳;在短時(shí)異常檢測(cè)中,單模塊 LFR貢獻(xiàn)最大,F(xiàn)reeRunning 次之,GFR最小,雙模塊GFR + LFR貢獻(xiàn)最大,LFR + FreeRunning其次,GFR + FreeRunning最差,3個(gè)模塊均添加模的型優(yōu)化效果最好。

        表5異常檢測(cè)能力提升比較Tab.5Comparison of model anomaly detection capabilities

        總之,3個(gè)模塊皆有助于提升模型的預(yù)測(cè)能力,長時(shí)異常檢測(cè)中GFR貢獻(xiàn)最大,短時(shí)異常檢測(cè)中LFR貢獻(xiàn)最大,F(xiàn)reeRunning混合訓(xùn)練策略對(duì)長時(shí)和短時(shí)異常檢測(cè)均有貢獻(xiàn)。

        3.6 與Transformer-Bi-LSTM模型比較

        本文模型在PAN等[10]提出的 Transformer-Bi-LSTM模型基礎(chǔ)上進(jìn)行了改進(jìn)。1)對(duì)預(yù)測(cè)能力而言,本文模型與Transformer-Bi-LSTM模型相同,均結(jié)合了多頭自注意力與LSTM,但本模型還通過以下3個(gè)優(yōu)化措施提升了預(yù)測(cè)能力:一是使用LFR模塊增強(qiáng)局部特征提取;二是引人FreeRunning混合訓(xùn)練策略提升模型魯棒性;三是將自注意力機(jī)制的輸出作為LSTM的輸入門控。如表6所示,在單一改進(jìn)中,將 Bi-LSTM替換為FreeRunning混合訓(xùn)練策略的效果最顯著,其次為添加LFR模塊,最后是門控改進(jìn)。在雙重改進(jìn)中,LFR + FreeRunning組合提升最明顯,其次是門控改進(jìn) + FreeRunning組合,最后是LFR + 門控改進(jìn)組合。3處改進(jìn)均實(shí)施時(shí),模型預(yù)測(cè)效果最佳。2)對(duì)計(jì)算復(fù)雜度而言,本文模型在Transformer-Bi-LSTM 模型基礎(chǔ)上,主要通過以下2個(gè)優(yōu)化措施降低計(jì)算復(fù)雜度:一是引入概率稀疏自注意力機(jī)制,將自注意力機(jī)制的復(fù)雜度由 O(N2) 降到了 O(NlogN )(見式(11)—(12))[15];二是把自注意力機(jī)制的結(jié)果作為LSTM輸入門控,進(jìn)一步減少計(jì)算量(見式(13)—(14))[16]。雖然本文模型與 Transformer-Bi-LSTM模型相比多了一個(gè)LFR模塊的計(jì)算(見式(15)—(16)),但該模塊計(jì)算量并不大(見式(17)),具體計(jì)算復(fù)雜度比較如表7所示[17]??傊?,本文模型通過 LFR 模塊、FreRunning 混合訓(xùn)練策略和將自注意力機(jī)制的輸出作為LSTM的輸入門控,顯著提升了模型的預(yù)測(cè)能力,降低了計(jì)算復(fù)雜度,整體性能優(yōu)于Transformer-Bi-LSTM。

        表6本文模型與Transformer-Bi-LSTM的預(yù)測(cè)能力對(duì)比

        FLOPsBi-LSTM=2×N×4×(d×W+W×W),

        FLOPsFreeRuning=2×N×3×(d×W+W×W)

        式中:num_layers為encoder層數(shù); h 為注意力頭數(shù); N 為時(shí)間序列個(gè)數(shù); d 為輸入特征維度; W 為隱含層參數(shù)數(shù)目; Cin 為輸入通道數(shù); Cout 為輸出通道數(shù); M 為不同卷積核種類個(gè)數(shù);size_kernal,為第 i 個(gè)卷積的大??;num_dilation為膨脹卷積個(gè)數(shù)。

        表7本文模型與Transformer-Bi-LSTM的計(jì)算復(fù)雜度對(duì)比Comparison of computational complexity between the model proposed in this paper and Transformer-Bi-l

        4結(jié)語

        提出了一種新型交通時(shí)序數(shù)據(jù)異常檢測(cè)模型,旨在提升交通系統(tǒng)中長時(shí)和短時(shí)異常檢測(cè)的性能:1)通過融合多頭注意力、殘差及概率稀疏自注意力來構(gòu)建GFR,在增強(qiáng)模型對(duì)全局特征識(shí)別能力的同時(shí)還降低了計(jì)算復(fù)雜度;2)將膨脹卷積與多尺度卷積相結(jié)合形成LFR,優(yōu)化局部特征提取,提升模型對(duì)細(xì)節(jié)的捕捉能力;3)運(yùn)用FreeRunning 混合訓(xùn)練策略,提升模型的魯棒性;4)與LSTM相結(jié)合,并將自注意力機(jī)制的結(jié)果替代LSTM輸入門控,在優(yōu)化長序列記憶和預(yù)測(cè)能力的同時(shí)降低計(jì)算復(fù)雜度。該模型在預(yù)測(cè)和異常檢測(cè)方面全面優(yōu)于基礎(chǔ)的LSTM模型,且相比Transformer-Bi-LSTM混合模型展現(xiàn)出更強(qiáng)的實(shí)踐推廣價(jià)值,為滿足交通領(lǐng)域中既要求長時(shí)異常檢測(cè)又要求短時(shí)異常檢測(cè)的復(fù)雜需求提供了一種高效且精準(zhǔn)的解決方案,能夠顯著提升交通系統(tǒng)的運(yùn)行效率與安全性。

        本文交通數(shù)據(jù)異常檢測(cè)主要基于單一模態(tài)數(shù)據(jù)[18],未來擬針對(duì)多模態(tài)數(shù)據(jù)融合研究尚不完善的情況[19],進(jìn)一步探索多模態(tài)數(shù)據(jù)融合技術(shù)以及協(xié)同學(xué)習(xí)機(jī)制,以獲取更全面和準(zhǔn)確的交通信息,從而更精準(zhǔn)地識(shí)別各類交通異常情況,為交通系統(tǒng)的智能化管理提供技術(shù)支持。

        參考文獻(xiàn)/References:

        [1]ZHAOMengmeng,ENGHaipeng,Liiangetal.Multivariatetieserisaomalyetectionbasedspatil-temporaltwokad transformerinindustrial Internetof Things[J].Computers,MaterialsandContinua,2O24,8o(2):2815-2837.

        [2]ULLAH1,MAHMOUDQH.DesignanddevelopmentofRNNanomalydetectionmodelforIoTnetworks[J].IEEEAccessPractical Innovations,Open Solutions,2022,10:62722-62750.

        [3]PAPACHARALAMPOUS G,TYRALIS H,PAPALEXIOU SM,et al. Global-scale masive feature extraction from monthly hydrocli matictimesertaiicalaacterzatiosatialedhdoloicalilityiefeotalEvio. DOI:10.1016/j. scitotenv. 2020.144612.

        [4]HONGYu,WANGZngqing,XIEYongfang,etal.Amultigranularityherarchicalnetworkforlongandshrt-teforecastigon multivariate time series data[J]. Applied Soft Computing,2024. DOI:10.1016/j.asoc.2024.111537.

        [5]ZHNG Wendong,ZHAOPutian,KAIHuang,etal.Understanding thepropertyoflongtermmemoryfortheLSTMwithatention mechanismC]/Proceedingsofthe3thCMInternationalCnferenceonInformationamp;KnowledgeManagement.S.1.]C2 2708-2717.

        [6]YUBaiFAChn,HUAWangetal.TansformersasStatisticiansProvablein-ContextLearingwithi-ContextAlgoritheleco [DB/OL].[2024-10-19].https://arxiv.org/abs/2306.04637.

        [7]ZHOU Haoyi,ZHANGShanghang,PENGJieqi,etalInformer:BeyondEficientTransformerforLongSequenceTimeSeriesForecasting [DB/OL].[2024-10-19].https://arxiv.org/abs/2012.07436.

        [8]LIUChen,ZHENJuntao,SHANWeiTimeseriesclasificationbasedoconvolutionalnetwork withagatedlinearunitskeelngineering Applications of Artificial Inteligence,2023.DOI:10.1016/j.engappai.2023.106296.

        [9]CUIZhicheng,CHENWenli,CHENYixinMulti-ScaleConvolutionalNeuralNetworksforTimeSeriesClassficationDB/O]22- 10-19].https://arxiv.org/abs/1603.06995.

        [10]PAGuangliang,JELi,LMinglei.Multi-Channel Multi-StepSpectrumPrediction UsigTransformerandStacked Bi-LSTMDB/OL]. [2024-10-19].https://arxiv.org/abs/2405.19138.

        [11]VASWAAAZEERNARMARN,etalAtentionisallyounedC//roceedingsofthe31stInternatioalCferecenNeu ral Information Processing Systems. [S.1.]:ACM,2017:60o0-6010.

        [12]WANGYumiaoFENGLuweiSUNWei,etal.AlightweightCNN-transformernetworkforpixel-basedcropmappngusingtieies sentinel-2 imagery[J].Computersand Electronics in Agriculture,2024.DOI:10.1016/j.compag.2024.109370.

        [13]BAI Shaojie,KOLTERJZKOLTUNV.Anempiricalevaluationofgenericconvolutionalandrecurent networksforsequence odeling [DB/OL].[2024-10-19].https://arxiv.org/abs/1803.01271.

        [14]LIShiyang,WANGTongtong,LIGuoyuan,etal.Short-termshiprollmotionpredictionusingtheencoder-decoderBi-LSTMwith teacher forcing[J].Ocean Engineering,2024.DOI:10.1016/j.oceaneng.2024.116917.

        [15]崔欣瑩.基于注意力機(jī)制和 BiLSTM的輿情情感分析[D].哈爾濱:哈爾濱理工大學(xué),2024. CUIXinying.AnalysisofPublicOpinionandEmotionBasedonAtentionMechanismandBiLSTMD].Harbin:HarbinUniversityofScience and Technology,2024.

        [16]吳海,蔣林,李遠(yuǎn)成,等.面向可重構(gòu)結(jié)構(gòu)的LSTM混合壓縮優(yōu)化方法[J/OL].電訊技術(shù)[2025-04-30].htps://doi.org/10.20079/j.isn. 1001-893x.240926004. WU HaiJIANGLin,Yuanceng,etalLSThybridcompressnoptimzationmethodforreonfigurablestructures/OL.eleco munication Engineering[2024-10-19].https://doi.org/10.20079/j.issn.1001-893x.240926004.

        [17]胡潤文,項(xiàng)世軍,李曉龍,等.基于CNN計(jì)算局部復(fù)雜度的可逆信息隱藏算法[J].計(jì)算機(jī)學(xué)報(bào),2024,47(4):776-789. HURunwen,XIANGShijun,LIXiaolong,etal.CNNbasedlocalcomplexityetimationforreversibledatahdingJ].ChineseJoualf Computers,2024,47(4):776-789.

        [18]宮曉蟀,董培信.基于改進(jìn)孤立森林算法的交通流異常數(shù)據(jù)檢測(cè)模型[J].重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2024,43(5):61-69. GONG Xiaoxing,DONGPeixinTraficflowanomalydatadetectionmodelbasedonimprovedisolationforestalgorithmJ].Jouralof Chongqing Jiaotong University(Natural Science),2024,43(5):61-69.

        [19]吳精乙,景峻,賀熠凡,等.基于多模態(tài)大模型的高速公路場(chǎng)景交通異常事件分析方法[J].圖學(xué)學(xué)報(bào),2024,45(6):1266-1276. WUJingyi,JINGJun,HEYifan,etalTraffcanomalyeventanalysis methodforhighwaysenesbasedonmultimodallargelanguage models[J].Journal ofGraphics,2024,45(6):1266-1276.

        猜你喜歡
        復(fù)雜度注意力卷積
        基于車聯(lián)網(wǎng)的中心導(dǎo)航云性能分析模型
        基于ResNet18改進(jìn)模型的玉米葉片病害識(shí)別
        果園復(fù)雜環(huán)境下的酥梨檢測(cè)算法研究
        注意力分配視角下對(duì)大學(xué)生碎片化學(xué)習(xí)注意力失焦現(xiàn)象的積極理解
        我國農(nóng)機(jī)產(chǎn)品出口結(jié)構(gòu)與競(jìng)爭(zhēng)力變遷研究
        基于改進(jìn)MobileNetV2的煙絲種類識(shí)別
        基于時(shí)間圖卷積網(wǎng)絡(luò)的交通流時(shí)空預(yù)測(cè)模型
        基于改進(jìn)Swin-Transformer的果樹病葉分類模型
        基于關(guān)鍵鏈的檔案信息系統(tǒng)項(xiàng)目進(jìn)度管理研究
        一種融合注意力機(jī)制與ED-LSTM模型的核工程虛擬測(cè)量方法
        日本成年少妇人妻中文字幕 | 国产高颜值大学生情侣酒店| 一本色道久久99一综合| 亚洲精品国产福利在线观看| 日本一区二区在线播放视频| 国产成人小视频| 精品久久久久久中文字幕大豆网 | 亚洲av无码国产精品色午夜洪| 91日韩高清在线观看播放| 亚洲av人片在线观看调教| 在线视频色系中文字幕| 屁屁影院ccyy备用地址| 国产精品欧美日韩在线一区| 人妻精品人妻一区二区三区四五| 成年男人裸j照无遮挡无码| 国产精品久久一区二区蜜桃| 亚洲精品98中文字幕| 少妇人妻综合久久中文字幕| 精品无码国产污污污免费网站| 四虎无码精品a∨在线观看 | 性色av成人精品久久| 97中文乱码字幕在线| 亚洲va中文字幕无码一二三区| 伊人久久五月丁香综合中文亚洲 | 国产女主播福利在线观看| 精品国产免费一区二区三区香蕉 | 国产精品一区二区久久乐下载| 精品国产麻豆免费人成网站| 亚洲中国精品精华液| 国产成人vr精品a视频| 欧美亚洲国产精品久久久久| 不卡一区二区三区国产| 无人区一码二码三码四码区| 免费a级毛片在线观看| 91精品啪在线观看国产色| 亚洲av中文无码乱人伦在线视色| 精品国产av 无码一区二区三区| AV无码系列一区二区三区| 色婷婷久久精品一区二区| 欧美天天综合色影久久精品| 成人国产永久福利看片|