摘 要：為提高互聯(lián)網(wǎng)入侵檢測方法的準確率，提出一種卷積神經網(wǎng)絡與注意力機制結合的入侵檢測方法。利用Borderline-SMOTE 過采樣算法和MinMax 歸一化對數(shù)據(jù)進行預處理，有效緩解入侵數(shù)據(jù)量差異較大問題，提升非平衡數(shù)據(jù)檢測性能；使用卷積神經網(wǎng)絡Inception 結構多尺度對數(shù)據(jù)進行特征提取，并配合注意力機制進行維度更新，提高模型處理海量數(shù)據(jù)時特征表達的準確性。研究結果表明：入侵檢測方法的平均準確率為99.57%；相較于SVM 方法、CNN 方法、RNN 方法、BLS-GMM 方法，準確率分別提升了4.48%、1.35%、1.62%和0.04%，召回率分別提高了4.48%、1.36%、1.62%和0.14%。

關鍵詞：入侵檢測；卷積神經網(wǎng)絡；注意力機制；過采樣算法；非平衡數(shù)據(jù)

中圖分類號：TD 824.7 文獻標志碼：A 文章編號：1008-0562（2024）01-0093-08

0 引言

互聯(lián)網(wǎng)存在網(wǎng)絡攻擊、信息泄露等安全問題，網(wǎng)絡安全是目前的研究熱點[1]。入侵檢測系統(tǒng)能有效地檢測出隱藏在網(wǎng)絡上的攻擊，是網(wǎng)絡安全的重要防御手段之一。網(wǎng)絡入侵檢測系統(tǒng)是一種主動防御技術，可以有效檢測出網(wǎng)絡攻擊行為，從而為網(wǎng)絡安全防御提供準確對象[2]。入侵檢測本質是一種分類任務，隨著深度學習算法研究的深入和完善，深度學習算法已經在入侵檢測系統(tǒng)上得到了廣泛的應用[3]。文獻[4]、文獻[5]提出的入侵檢測方法對數(shù)據(jù)集進行過采樣處理后，使用模型方法解決數(shù)據(jù)樣本分布不均勻的問題。但在特征提取方面，卷積神經網(wǎng)絡結構面對海量高維數(shù)據(jù)難以提取準確有效的特征數(shù)據(jù)；文獻[6]、文獻[7]在入侵檢測方法中引入注意力機制檢測惡意行為，側重于特征提取時可以有更好的特征表達，但二者未考慮處理數(shù)據(jù)集的失衡問題；文獻[8]提出一種卷積神經網(wǎng)絡與Inception 網(wǎng)絡結構相結合的入侵檢測模型，并在該模型中增加Drop Block 層以及注意力機制模塊，將一維入侵檢測樣本通過預處理變?yōu)槎S圖像樣本，存在計算量大的問題。

針對入侵檢測數(shù)據(jù)中存在分布不均勻且樣本數(shù)量不平衡，以及特征表達能力不夠準確的問題，提出卷積神經網(wǎng)絡與注意力機制整合的入侵檢測方法。在全局特征提取過程中，采用Inception 結構從多個維度進行特征提取，將最大池化換成平均池化，保留數(shù)據(jù)的整體特性；加入全連接層，提高對小樣本分類性能；加入一定比例的Dropout 正則化，解決過擬合問題，并改善模型泛化能力。通過卷積塊注意力機制（ convolutional block attentionmodule，CBAM）進行維度更新，使其可以有效捕捉全局特征與局部特征之間的關系，減少噪聲的干擾，檢測出數(shù)據(jù)細節(jié)的變化。

1 模型分析

卷積神經網(wǎng)絡與注意力機制整合的入侵檢測方法采用Borderline-SMOTE 算法進行過采樣，引入CNN卷積神經網(wǎng)絡進行特征提取，再通過CBAM注意力機制網(wǎng)絡對數(shù)據(jù)進行加權處理。該方法不僅解決了數(shù)據(jù)不均衡問題，而且還改善了網(wǎng)絡特征表達能力。傳統(tǒng)的入侵檢測方法主要是通過對入侵模式、攻擊特征的分析、抽取、構建規(guī)則庫、模板庫等進行分析、抽取，因此在識別精確率和智能方面存在不足，并造成了大量的人為干預。入侵檢測方法主要由3 部分組成，分別為數(shù)據(jù)預處理、特征提取、維度更新和流量預測分類。方法框架見圖1。

檢測過程分為以下幾個階段。

（1）預處理。對數(shù)據(jù)集進行預處理，解決樣本不均衡的問題并劃分測試集和訓練集。第一步，對數(shù)據(jù)集使用Borderline-SMOTE 算法進行過采樣處理，將不足5 000 條的樣本擴充到5 000 條，緩解數(shù)據(jù)存在的不平衡問題；第二步，由于初始數(shù)據(jù)集中存在空值與無窮值無法直接用于實驗，去空去無窮后得到可用數(shù)據(jù)集，隨后分開特征樣本與標簽樣本；第三步，為了更好地進行計算，通過歸一化處理縮小數(shù)值的取值范圍；最后，將數(shù)據(jù)集以一定比例分為測試集和訓練集。

（2）特征提取和維度更新。首先，利用Inception結構對預處理的數(shù)據(jù)集進行特征提?。黄浯?，使用CBAM 雙注意力機制對提取的特征進行維度更新，加入Dropout 正則化緩解模型出現(xiàn)的過擬合問題，使用Adam 優(yōu)化器對神經網(wǎng)絡模型進行改進，針對神經網(wǎng)絡層數(shù)以及節(jié)點個數(shù)進行設計；最后，對神經網(wǎng)絡模型進行預訓練，微調權值。

（3）流量預測分類。將卷積神經網(wǎng)絡生成的數(shù)據(jù)集輸入softmax 中進行入侵檢測分類。

2 特征提取和維度更新

2.1 特征提取入侵檢測數(shù)據(jù)特征信息位置的巨大差異導致卷積操作選擇合適的卷積核大小較困難。采用卷積神經網(wǎng)絡中Inception 結構對入侵檢測數(shù)據(jù)進行特征提取。單純地疊加大量卷積層會增加計算資源，因此在進行特征提取時，在多個尺度上進行卷積，再進行聚類。全局分布的數(shù)據(jù)使用大卷積核，局部分布的數(shù)據(jù)使用小卷積核，通過把系數(shù)矩陣分解為密集的矩陣運算，加快算法的收斂率。由于在相同級別上運行具有多種大小的過濾器，網(wǎng)絡將變得更寬。Inception 框架見圖2。

首先，加入BN 層，將網(wǎng)絡的特征輸出信息規(guī)范到0～1 內，可有效防止梯度爆炸，也一定程度上較少了參數(shù)個數(shù)，減弱了梯度與參數(shù)初始化的相關性。通過這種方法，可以有效提高訓練效果，加快訓練速度。下一層數(shù)據(jù)無需從上一層數(shù)據(jù)中了解數(shù)據(jù)的變化，可以更好地整合。

其次，大量采用卷積核大小為1 的矩陣放入Inception 結構，主要功能有：降維數(shù)據(jù)；增加非線性，提高泛化能力。同時，在原有模型結構基礎上使用一維卷積替換原有的二維卷積，減少對數(shù)據(jù)集的處理過程，使數(shù)據(jù)盡可能保持原始狀態(tài)。最大池化每次只保留最大值，打斷梯度回傳，因此將最大池化轉為均值池化，以保留整體數(shù)據(jù)特征。此外，在輸出層前加入連接層，將所有上層節(jié)點連接，對所有特征進行整合，有效解決非線性問題。在Inception 結構中加入全連接可以提升模型對小樣本的檢測性能。

最后，由于加入全連接層和使用均值池化，導致網(wǎng)絡結構過深，出現(xiàn)過擬合，使梯度更新傳輸?shù)秸麄€網(wǎng)絡更加困難。因此，在全連接層之后增大隨機刪除率（Dropout），減輕模型中的過擬合。各神經元保持一定概率p 與其他神經元無關。通過校驗，可設定p 為接近神經網(wǎng)絡模型的最優(yōu)值[9]，取0.5。

一維卷積網(wǎng)絡需要對輸入樣本進行卷積運算，而文本數(shù)據(jù)則不能橫向滑動，只需簡單地向下滑動即可，讓N-gram 能夠提取詞和詞間的局部相關性[14]。將不同濾波器應用于不同詞窗，獲得n 個卷積矢量。對每個矢量進行最大池化運算并進行拼接，獲得該特征的特征表達，再利用分類器對特征向量進行分類。一維卷積過程見圖3。

Inception 特征提取的偽代碼如下。

Detection model：

Input：feature vector

Output：normal or abnormal

CNN：

Inp1=Input（shape）

c1=conv1D（filter，kernel_size，stride）（Inp1）

for block=1，2//雙通道，提取不同的特征

if block=1

c2=conv1D（filter，kernel_size，stride=1）

else

c2=conv1D（filter，kernel_size，stride=2）

a1=CBAM（）

p1=GlobalAveragePooling1D（）

f1=Dense（）

d1=Dropout（）

f2=Dense（activation）

2.2 維度更新

CBAM 注意力機制是一種結合空間（spatial）和通道（channel）的注意力機制模塊，對減少數(shù)據(jù)的噪聲具有良好的效果[10]。結合卷積神經網(wǎng)絡，將模塊經過2 個分離路徑的通道意力機制模塊和空間注意力機制模塊，最后獲得一個注意力特征圖。

針對卷積網(wǎng)絡產生的中間層特征圖 F，CBAM推導出一維通道特征圖Mc 和二維空間特征圖Ms，將其與輸入數(shù)據(jù)相乘得到F′，再求出F′的空間注意力特征圖，并將兩數(shù)相乘得F\"。CBAM 模型框架見圖4。

通過分析不同通道的數(shù)據(jù)特性，確定不同通道的特征表達權重，通道注意力特征圖關注輸入數(shù)據(jù)中的有用信息。為提高通道注意力機制的運算效率，利用全局最大池和全局平均池算法對輸入數(shù)據(jù)進行壓縮，獲得2 個不同的空間背景maxFC 和 avqFC 。通過對多層MLP 的共享網(wǎng)絡分析，得出通道注意力特征圖Mc。

空間維度注意力賦予數(shù)據(jù)尺寸空間不同權重，在特征尺寸空間上，并非所有特征都對分類任務有相同作用。這些特征中，通過sigmoid 激活函數(shù)獲取每個通道歸一化后的權重，用以提高識別準確率。為計算空間注意力機制，首先通過最大池化和平均池化方法，分別求出不同的特征圖maxFS 和avcFS ，將這兩個特征圖通過卷積操作結合起來，并通過卷積操作得到空間注意力特征圖Ms（F）。歸一化權重見圖5。

最后，對分類影響大的特征分配大的權重，從而使其特征表達更為準確。

CBAM 維度更新的偽代碼為：

/*channel 維度*/

p1=GlobalAvgPooling（）

p2=GlobalMaxPooling（）

/*spatial 維度*/

p1=Avgpool（）

p2=Maxpool（）

a1=tf.concat（p1，p1）//延深度方向將p1，p2 進行堆疊

3 流量預測分類

檢測過程中測試集樣本與訓練集樣本數(shù)據(jù)維度相同，測試數(shù)據(jù)與標簽輸入訓練好的網(wǎng)絡結構中，通過向前傳播，得到最終分類結果，將分類結果與真實標簽數(shù)據(jù)進行對比得出最終模型的準確率[11]。

入侵檢測優(yōu)化器采用 Adam 算法，發(fā)揮善于處理稀疏梯度的Adagrad 算法[12]與善于處理非平穩(wěn)目標的RMSprop 算法[13]的優(yōu)點，為不同的參數(shù)提供自適應學習率，適用于高維空間和大數(shù)據(jù)集。具體方法如下。

（1）計算參數(shù)的梯度g

由 hn-1 與hn 的損失函數(shù)和數(shù)據(jù)集的小批量m，得出計算參數(shù)的梯度g 為

（2）計算一階矩、二階矩的誤差估計

利用指數(shù)衰減率 β1、β2∈[0，1]，當θt 不收斂時得出修正后矩陣估計mt 與vt 分別為

對一階矩估算和二階矩估算作誤差校正，分別為

進行校正后，梯度g 的矩陣估計得到固定區(qū)間，使得各參數(shù)變得比較平穩(wěn)。

（3）θ 的迭代

當參數(shù)θ 沒有收斂時，循環(huán)迭代更新可表示為

式中，ε 為用于數(shù)值穩(wěn)定的小常數(shù)，防止等號右側第二項在尋找最優(yōu)梯度時分母為0 的現(xiàn)象。

4 實驗分析

4.1 實驗環(huán)境與評估標準

通過對相同的數(shù)據(jù)集進行訓練結果的準確率、精確率和召回率來驗證本文提出的方法的穩(wěn)定性。實驗環(huán)境與評估標準設置如下。

（1）實驗環(huán)境

操作系統(tǒng)：win10_64 統(tǒng)。處理器：Inte（R）Cre（TM） i7-9700F CPU@ 3.00GHz 3GHz。內存（RAM）：48G。編程環(huán)境：Python3.8，Keras2.7，TensorFlow2.7，Sckit-learn 庫。

（2）評估標準

本文使用準確率（Acc）、精確率（PPV）、召回率（TPR）和F1-Score 用于評估模型的性能指標。4 個指標均以混淆矩陣為基礎得出，見表1。

計算結果見式（8）～式（11）。

Acc = （TP + TN） / （TP + TN + FP + FN）， （8）

PPV = TP / （TP + FP）， （9）

TPR = TP / （TP + FN）， （10）

F1 -Score = 2（PPV×TPR ）/（PPV + TPR）。（11）

4.2 數(shù)據(jù)集選擇

在構建入侵檢測模型時，所選擇的數(shù)據(jù)要綜合、真實、有代表性[14]，因此在模型建立和實驗過程中采用了CIC-IDS-2017 數(shù)據(jù)集。

在數(shù)據(jù)集中，每一個特征數(shù)據(jù)具有不同的數(shù)量級，如“Destination Port” 取值可以為 49 188，而“Flow Duration”取值可以為1，導致利用梯度下降和求取最優(yōu)解時的速度降低，并且可能由于收斂速度慢或者無法收斂影響精度[15]，因此需要對數(shù)據(jù)進行歸一化處理。

4.3 數(shù)據(jù)預處理

數(shù)據(jù)集預處理分過程為3 部分。

（1）過采樣

Borderline-SMOTE 過采樣算法只利用邊界上的少類樣品進行合成，提高樣本類別分布[16]。計算邊界樣本點'i p 與少數(shù)樣本P 的k 鄰近，利用抽樣倍率U，選取s 個相鄰的k，并進行線性內插，得到少數(shù)類別抽樣，如式（12）。

式中：dj 為p'i與其s個近鄰的距離； γj為0 到1 之間的隨機數(shù)。

（2）數(shù)據(jù)清洗

數(shù)據(jù)清洗分別對特征和標簽進行不同操作，特征主要進行去空去無窮操作。提取出數(shù)據(jù)集最后一列用作標簽，并把文本型數(shù)據(jù)轉化為數(shù)值型數(shù)據(jù)，最后將標簽變?yōu)橐痪S數(shù)組便于進行實驗結果的對比分析。

（3）歸一化

假設數(shù)據(jù)集中共有 N 個樣本，可將所有樣本的每個特征屬性映射為x=（x1，x2，…，xN）T，使用MinMax歸一化，可表示為

式中，min（x）和max（x）分別為x 可取值的最大值和最小值。

經過預處理得到用于仿真實驗的訓練集和測試集。

4.4 實驗結果分析

（1）模型參數(shù)選擇與分析

目前本文使用的網(wǎng)絡結構還沒有明確的理論支撐，因此需要通過相關文獻以及大量的實驗驗證來確定相對優(yōu)秀的模型結構。在數(shù)據(jù)集中抽取一定比例的數(shù)據(jù)，使用該數(shù)據(jù)在入侵檢測方法中進行對比實驗，分析參數(shù)對模型性能的影響。通過反復實驗的方式，將入侵檢測方法其他參數(shù)設置如下：batch-size 數(shù)量為128（可以根據(jù)樣本的數(shù)量進行調整）；epoch 為50時效果較好，但陷入局部最優(yōu)，準確率開始下降，epoch 迭代次數(shù)為100 次，結果趨于穩(wěn)定達到全局最優(yōu)；數(shù)據(jù)集80%用于訓練集，20%用于測試集，其中訓練集10%作為驗證集進行實驗。

（2）預處理方式選擇

采用無處理、歸一化以及標準化方法對數(shù)據(jù)集進行數(shù)據(jù)清洗，將3 種方式處理后的數(shù)據(jù)導入模型中進行實驗，結果見表2。由表2 可見，未經處理數(shù)據(jù)集的準確率僅為82.27%，經標準化和歸一化處理的數(shù)據(jù)集的準確率均達到99%以上，其中歸一化后的準確率相較于標準化提升0.31%，故最終選擇對數(shù)據(jù)集進行歸一化操作。

（3）Dropout 參數(shù)選擇

確定最佳隨機刪除率 Dropout。將Dropout 設置為0.3～0.6，對不同的Dropout 反復進行多次實驗，結果見表3。由表3 可見，Dropout 設置為0.3 時準確率最高，但出現(xiàn)較嚴重的過擬合；當Dropout 設置為0.4 時，在未出現(xiàn)過擬合的情況下，準確率達到最大值，模型檢測性能達到最佳值，由此可以說明減小Dropout 不一定會增加模型的特征提取能力，反而使模型泛化能力減弱，產生過擬合現(xiàn)象。

（4）優(yōu)化器對比

選取 4 種常用優(yōu)化算法進行比較，分析結果見表4。由表4 可見，選擇Adam 優(yōu)化器時，入侵檢測方法最有效，準確率達到99.57%。

（5）網(wǎng)絡結構選擇與分析

在深度學習中，模型的網(wǎng)絡結構對分類結果影響較大，因此通過設置不同大小的低維特征表達和CBAM 在網(wǎng)絡結構中的放置位置，進行實驗對比。分別從準確率、精確率兩個方面對入侵檢測的最佳模型結構進行討論。

有、無 CBAM 時對不同攻擊類型的分類結果見圖6。由圖6 可知，經過CBAM 維度更新的分類結果比無維度更新的準確率提高了0.92%，個別樣本差距不大，其中對于Web Attack Sql Injection 攻擊類型的檢測精確率提高較大，為18.57%，對于Heartbleed 攻擊類型的檢測精確率提高了13.98%。從實驗可以看出，在CNN 提取特征后使用CBAM進行維度更新可以提高分類的精確率和準確率。

不同結構注意力機制放在特征提取的前、后的精確率對比見圖7。盡管在CNN 特征提取后加入注意力機制部分，對大多數(shù)攻擊樣本的精確率變化較小，但是針對SSH-Patator、FTP-Patator、Bot 和PortScan 不同的攻擊類型，特別是SSH-Patator 攻擊類型，在CNN 特征提取后，通過增加維度更新部分，精確率提高了14.46%。因此，在CNN 的特征抽取后采用CBAM 維度更新，可以得到較好的結果。

（6）不同算法檢測準確率對比

不同算法對不同攻擊類型的分類準確率有所不同，分別對5 種模型的準確率、召回率、F1-Score和精確率進行對比，結果見表5、表6。對比結果驗證了本文方法的可行性。

雖然傳統(tǒng)機器學習對PortScan 和Infiltration 準確率可以達到100%，但是支持向量機對少數(shù)量樣本的檢測精確率明顯不足，如圖7 所示，Bot、WebAttack Sql Injection、Web Attack Sql Injection 和SSHPatator 精確率均為0。相比SVM 分類器，其余算法均為以神經網(wǎng)絡為主體的網(wǎng)絡安全入侵檢測方法。對比普通CNN 與Inception-CBAM的檢測結果，Bot 提升了72.76%，Web Attack Sql Injection 檢測精確率提升了65%，Heartbleed 檢測精確率提升了64.06%。同樣基于RNN 本文方法的精確率提升1.35%，對于部分樣本精確率也有一定提升。與BLS-GMM 對比，本文方法在Heartbleed 和WebAttack Brute Force 兩類標簽樣本上的提升較大，精確率分別提升了48.5%與38.01%。運用卷積神經網(wǎng)絡的分類特性，從通道和空間兩方面進行了數(shù)據(jù)的維度更新，結果表明本文方法的檢測精確率達99.57%，具有一定的有效性和實用性。

（7）不同數(shù)據(jù)集對比

為驗證模型對多種數(shù)據(jù)集的適用性，對3 種不同數(shù)據(jù)集進行實驗，結果見表7。由表7 可以看出，3 種不同數(shù)據(jù)集檢測的準確率均高于90%，其中NSL_KDD 與UNSW_NB15 數(shù)據(jù)集準確率達到96.77%和91.63%。結合各項指標可以說明所提方法有良好的泛化性，可以較好地完成入侵檢測。

5 結論

針對海量高維、不平衡的數(shù)據(jù)，采用卷積神經網(wǎng)絡和注意力機制相結合的方法， 進行CICIDS-2017 數(shù)據(jù)集的訓練和測試，結論如下。

（1）利用Borderline-SMOTE 過采樣算法對小類樣本進行樣本合成，有效提升了小類樣本的檢測率。采用Inception 結構從多維度對數(shù)據(jù)進行特征提取，通過加入CBAM 注意力機制進行維度更新，并引入一定概率的Dropout 算法，有效解決了卷積神經網(wǎng)絡網(wǎng)絡模型過擬合問題。采用Adam 算法優(yōu)化損失函數(shù)，提高了網(wǎng)絡收斂性與檢測性能。

（2）實驗結果表明：與其他方法相比，本文所提方法的準確率、精確率和召回率均有所提高。

（3）雖然所提方法具有較良好的、穩(wěn)定的檢測性能，但依然有改進空間，進一步的研究可針對提升模型異常樣本檢測實時性方面進行。

參考文獻（References）：

[1] 郇文明，林海濤.基于采樣集成算法的入侵檢測系統(tǒng)設計[J].計算機科學，2021，48（S2）：705-712.

HUAN Wenming，LIN Haitao.Design of intrusion detection systembased on sampling integration algorithm[J].Computer Science，2021，48（S2）：705-712.

[2] 劉奇旭，王君楠，尹捷，等.對抗機器學習在網(wǎng)絡入侵檢測領域的應用[J].通信學報，2021，42（11）：1-12.

LIU Qixu，WANG Junnan，YIN Jie，et al.Application of anti-machinelearning in the field of network intrusion detection[J].Journal ofCommunications，2021，42（11）：1-12.

[3] ZHANG J.Distributed network security framework of energy internetbased on internet of things[J].Sustainable Energy Technologies andAssessments，2021，44：101051.

[4] 田桂豐，單志龍，廖祝華，等.基于Faster R-CNN 深度學習的網(wǎng)絡入侵檢測模型[J].南京理工大學學報，2021，45（1）：56-62.

TIAN Guifeng，SHAN Zhilong，LIAO Zhuhua，et al.Network intrusiondetection model based on Faster R-CNN deep learning[J].Journal ofNanjing University of Technology，2021，45（1）：56-62.

[5] 劉全明，李尹楠，郭婷，等.基于Borderline-SMOTE 和雙Attention 的入侵檢測方法[J].計算機科學，2021，48（3）：327-332.

LIU Quanming，LI Yinnan，GUO Ting，et al.Intrusion detection methodbased on Borderline-SMOTE and do。uble Attention[J].ComputerScience，2021，48（3）：327-332.[6] 張全龍，王懷彬.基于膨脹卷積和門控循環(huán)單元組合的入侵檢測模型[J].計算機應用，2021，41（5）：1372-1377.

ZHANG Quanlong，WANG Huaibin.Intrusion detection model based oncombination of expansion convolution and gated loop unit[J].Journal ofComputer Applications，2021，41（5）：1372-1377.

[7] 馬明艷，陳偉，吳禮發(fā).基于CNN-BiLSTM 網(wǎng)絡的入侵檢測方法[J].計算機工程與應用，2022，58（10）：116-124.

MA Mingyan，CHEN Wei，WU Lifa.Intrusion detection method based onCNN-BiLSTM network[J].Computer Engineering and Application，2022，58（10）：116-124.

[8] 謝金鑫，王懷彬.基于卷積神經網(wǎng)絡模型的網(wǎng)絡入侵檢測研究[J].天津理工大學學報，2022，38（3）：32-36.

XIE Jinxin，WANG Huaibin.Research on network intrusion detectionbased on convolution neural network model[J].Journal of TianjinUniversity of Technology，2022，38（3）：32-36.

[9] 陳虹，趙建智，肖成龍，等.改進ADASYN-SDA 的入侵檢測模型研究[J].計算機工程與應用，2020，56（2）：97-105.

CHEN Hong，ZHAO Jianzhi，XIAO Chenglong，et al.Research onimproved ADASYN-SDA intrusion detection model[J].ComputerEngineering and Application，2020，56（2）：97-105.

[10] WOO S，PARK J，LEE J Y，et al.Cbam：convolutional block attentionmodule[C]//Proceedings of the European Conference on ComputerVision （ECCV），2018：3-19.

[11] KIZILOZ H E.Classifier ensemble methods in feature selection[J].Neurocomputing，2021，419：97-107.

[12] LYDIA A，F(xiàn)RANCIS S. Adagrad—an optimizer for stochastic gradientdescent[J].International Journal of Information and Computer Science，2019，6（5）：566-568.

[13] XU D，ZHANG S，ZHANG H，et al.Convergence of the RMSProp deeplearning method with penalty for nonconvex optimization[J].NeuralNetworks，2021，139：17-23.

[14] GU J，WANG Z，KUEN J，et al.Recent advances in convolutional neuralnetworks[J].Pattern Recognition，2018，77：354-377.

[15] DWIVEDI S，VARDHAN M，TRIPATHI S.Defense against distributed DoSattack detection by using intelligent evolutionary algorithm[J].InternationalJournal of Computers and Applications，2022，44（3）：219-229.

[16] 李蒙蒙，劉藝，李庚松，等.不平衡多分類算法綜述[J].計算機應用，2022，42（11）：3307-3321.

LI Mengmeng，LIU Yi，LI Gengsong，et al.Survey on unbalancedmulti-class classification algorithms[J].Journal of ComputerApplications，2022，42（11）：3307-3321.

基金項目：國家自然科學基金項目（62173171）