李星逸 付波 范秀香 權軼

摘要：針對工業(yè)現(xiàn)場條件下和農(nóng)業(yè)機械設備故障數(shù)據(jù)典型樣本不充足導致軸承故障診斷精度低的問題，提出一種基于改進對抗蒸餾的軸承故障分類方法。使用對抗蒸餾方法進行軸承故障分類，讓學生網(wǎng)絡通過對抗學習教師網(wǎng)絡的軟標簽所提供的信息，同時生成器輸出與學生網(wǎng)絡輸出相似的樣本提供給判別器后修改學生網(wǎng)絡參數(shù)。提出退火改進對抗蒸餾方法，在對抗蒸餾中使用動態(tài)溫度進行訓練，增加生成器制作樣本難度，使教師網(wǎng)絡輸出的信息被更好地利用，以提高學生網(wǎng)絡泛化能力和魯棒性。試驗使用美國凱斯西儲大學軸承故障數(shù)據(jù)集驗證方法的有效性，利用所提出的方法訓練出的學生網(wǎng)絡在模擬現(xiàn)場軸承故障診斷分類任務中僅使用214 602個參數(shù)參與計算，準確率可達91.85%，提高故障診斷精度并節(jié)省設備的計算資源。

關鍵詞：軸承；故障診斷；知識蒸餾；對抗學習；模擬退火算法

中圖分類號：TP181

文獻標識碼：A

文章編號：2095-5553 （2024） 06-0178-06

收稿日期：2023年3月2日

修回日期：2023年4月23日

*基金項目：湖北省重點研發(fā)計劃項目（2021BAA193）

第一作者：李星逸，男，1998年生，江蘇徐州人，碩士；研究方向為故障診斷、深度學習。E-mail： lixingyigu@163.com

通訊作者：范秀香，女，1974年生，江西臨川人，高級實驗師；研究方向為信號處理。E-mail： fubofanxx@hbut.edu.cn

Bearing fault classification method based on improved countermeasures distillation

Li Xingyi， Fu Bo， Fan Xiuxiang， Quan Yi

（School of Electrical and Electronic Engineering， Hubei University of Technology， Wuhan， 430068， China）

Abstract： Aiming at the problem of low accuracy in bearing fault diagnosis caused by insufficient typical samples of fault data in the industrial domain and agricultural machinery， a bearing fault classification method based on improved adversarial distillation is proposed. The adversarial knowledge distillation method is used to classify the bearing faults. Based on the soft labels of the teacher network， the student network produces samples similar to those output by the student network. The modification of the parameters of the student network proceeds as the discriminator evaluates the samples. In this paper， an annealed modified adversarial distillation method is proposed to improve the robustness and generalization ability of the student network. With dynamic temperature training in adversarial distillation， the difficulty of generating samples is increased for more efficient utilization of information from the teacher network. The effectiveness of the method is verified through experiments based on the bearing fault dataset from Case Western Reserve University in the United States. The student network trained with the proposed method achieves an accuracy of 91.85% in the simulation of on-site bearing fault diagnosis classification task， with only 214602 parameters involved in the computation， which not only improves the accuracy of fault diagnosis but also saves computing resources of the equipment.

Keywords： bearing； fault diagnosis； knowledge distillation; adversarial learning; simulated annealing algorithm

0 引言

在各種大型裝備的旋轉機械、農(nóng)機設備和傳動系統(tǒng)中，滾動軸承是系統(tǒng)的關鍵組件之一。其運行狀態(tài)對于設備的正常運行和安全性至關重要，對其進行故障診斷可以有效預防重大事故的發(fā)生^[1]。研究表明，電機故障中有40％～50％是由軸承故障引起的，而農(nóng)機的故障中80%是由軸承故障引起的。隨著機器學習領域的迅速發(fā)展，利用機械設備運行數(shù)據(jù)特征訓練分類模型已經(jīng)在該領域取得了巨大成功。深度神經(jīng)網(wǎng)絡^[2]、卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）^[3]、自編碼器^[4]、支持向量機^[5]等在故障診斷領域發(fā)揮了重要的作用。本文將對故障數(shù)據(jù)進行特征提取和分類，并利用模型進行識別，以實現(xiàn)故障診斷的目的。

在實際農(nóng)機使用、工業(yè)應用中，由于采集故障樣本的困難，往往無法滿足神經(jīng)網(wǎng)絡模型的訓練需求，這會導致訓練網(wǎng)絡模型時出現(xiàn)過擬合或者擬合誤差較大的情況，從而無法應對該條件下的故障診斷。Zhu等^[6]將特征以分層的方式調(diào)整，將CNN的參數(shù)正則化，通過多個高斯核的線性組合計算采集過程中數(shù)據(jù)的損耗，提高了網(wǎng)絡自適應能力，成功應用于少標簽樣本條件下的軸承故障診斷。Vu等^[7]采用自我知識蒸餾方法，在無預訓練教師網(wǎng)絡的情況下，直接訓練學生網(wǎng)絡，提取學生網(wǎng)絡自身的知識，利用最優(yōu)先前模型進行自我更新，逐步培訓學生網(wǎng)絡。邢曉松等^[8]提出了一種改進的半監(jiān)督生成對抗網(wǎng)絡，利用對抗學習來強化網(wǎng)絡的分類能力使用了增強特征匹配算法，加速網(wǎng)絡的收斂速度。黃仲浩等^[9]將整個訓練過程分為多個階段的老師模型指導學生模型，采用逐層貪婪策略并在知識蒸餾框架中引入生成對抗結構，促使學生模型在不斷提升。

為了克服故障樣本不足導致的網(wǎng)絡泛化能力不足和學生網(wǎng)絡分類準確度低的問題，采用對抗知識蒸餾方法，讓學生網(wǎng)絡通過學習教師網(wǎng)絡提供的軟標簽來獲取有價值的信息。同時，生成器被用于輸出隨機對抗樣本，并將類似于教師網(wǎng)絡輸出的樣本提供給判別器以修改學生網(wǎng)絡權重，以使其模仿教師網(wǎng)絡的行為。之后，模擬退火算法被引入對抗蒸餾的過程中，以提高學生網(wǎng)絡的泛化能力和魯棒性，并更加平滑地學習到教師網(wǎng)絡的知識^[10]。

本文提出一種基于改進對抗蒸餾的學習軸承故障分類方法。使用知識蒸餾方法進行軸承故障分類模型訓練，并在試驗中對模型進行驗證。

1 改進對抗蒸餾

1.1 知識蒸餾

知識蒸餾的主要思想是以教師網(wǎng)絡預測結果的概率分布（即logits）為回歸目標訓練一個學生網(wǎng)絡模型，通過損失函數(shù)最小化的形式教師網(wǎng)絡把知識傳授給學生網(wǎng)絡模型。Hinton等^[11]提出知識蒸餾的概念，并對softmax功能進行改進，如式（1）所示。

式中：T——溫度參數(shù)；

z_i——前一級第i個神經(jīng)元的輸出值；

z_j——前一級第j個神經(jīng)元的輸出值；

P_i——第i個神經(jīng)元輸出值的指數(shù)與所有神經(jīng)元輸出值指數(shù)和的比值。

損失函數(shù)以教師網(wǎng)絡輸出的軟標簽為回歸目標，這個損失函數(shù)叫做蒸餾損失。在計算蒸餾損失時，添加原始數(shù)據(jù)標簽（即T=1時的真實標簽），采用軟標簽計算散度損失函數(shù)與硬標法計算標準損失（T=1）的加權和。這種損失被稱為“學生網(wǎng)絡損失”，如式（2）所示。

L=αL_CE（P_t，P_s）+（1－α）L_KD（Q_s，y_ture）（2）

式中：α——兩種損失函數(shù)的權重系數(shù)，根據(jù)不同數(shù)據(jù)樣本設定；

P_t——教師網(wǎng)絡在訓練中輸出的軟標簽；

P_s——學生網(wǎng)絡在訓練中輸出的軟標簽；

Q_s——學生網(wǎng)絡輸出的硬標簽；

y_true——正確的數(shù)據(jù)標簽；

L_CE——計算兩種網(wǎng)絡軟標簽的散度損失函數(shù)；

L_KD——計算Q_s與y_true距離的交叉熵損失函數(shù)。

知識蒸餾定義了一個雙目標損失函數(shù)，即式（2）中的L_KD和L_CE項，來最小化學生網(wǎng)絡的預測與軟標簽、硬標簽加權后的差值。在知識蒸餾訓練中，學生網(wǎng)絡在學習時會同時參考教師網(wǎng)絡的軟標簽和數(shù)據(jù)的偽標簽。

1.2 對抗蒸餾

對抗蒸餾（Adversarial Knowledge Distillation，AKD）是對于知識蒸餾的改進，它的目標也是在學生網(wǎng)絡中捕捉教師網(wǎng)絡中的知識，不同之處在于，它主動生成了一些對抗性樣本，這些樣本被用于在學生網(wǎng)絡中生成對抗性擾動。具體地說，對于每個訓練樣本，教師網(wǎng)絡會生成一個“軟標簽”作為學生網(wǎng)絡的參考，同時學生網(wǎng)絡會生成一個對抗性擾動來干擾原始樣本。學生網(wǎng)絡會嘗試最小化溫度縮放的KL散度以匹配教師網(wǎng)絡的軟目標，并在對抗性樣本上提高其預測的準確性^[12]。

對抗蒸餾采用的是GAN架構，生成器是學生網(wǎng)絡；判別器包含在損失函數(shù)直接對學生網(wǎng)絡進行訓練；教師網(wǎng)絡使用真實樣本作為訓練集；學生網(wǎng)絡用于生成所對應教師網(wǎng)絡中的知識作為生成樣本；生成器用于生成網(wǎng)絡softmax層所輸出的結果；判別器用于判定輸入的樣本是否為真實樣本的概率；在訓練的過程中，判別器的損失函數(shù)如式（3）～式（5）所示。

E_T=E_{FT（x）～PT（x）}[log（D（F_T（X）））]（3）

E_S=E_{FS（x）～PS（x）}[log（1－D（F_S（x）））]（4）

maxL_DD=E_T+E_S（5）

式中：E_T——教師網(wǎng)絡的分類損失；

E_S——學生網(wǎng)絡的分類損失；

F_T——教師網(wǎng)絡logits層前的特征圖；

F_S——學生網(wǎng)絡logits層前的特征圖；

P_T——教師網(wǎng)絡輸出的概率分布；

P_S——學生網(wǎng)絡輸出的概率分布；

L_D——分類器判別輸入樣本來自真實樣本的概率。

而生成器目標是需要通過不斷優(yōu)化，盡可能使自己的輸出分布與教師網(wǎng)絡的輸出分布相似，達到讓判別器無法分辨程度。

在訓練過程中，生成器的損失函數(shù)如式（6）所示。

minL_FsFs=E_{Fs（x）～Ps（x）}[log（1－D（F_T（X）））]（6）

根據(jù)式（6）、式（7）就可以構造一組對抗學習的任務，優(yōu)化對抗學習的損失函數(shù)會迫使學生網(wǎng)絡盡可能擬合教師網(wǎng)絡的輸出，從而盡可能地避免模型精度損失過多^[13]。學生網(wǎng)絡在訓練時，判別器會輸出結果并嘗試最小化其輸出后的教師網(wǎng)絡輸出之間的KL（Kullback-Leibler）散度損失，如式（7）所示。

L_KL=∑iP_ilogP_iQ_i（7）

式中：P_i——教師網(wǎng)絡在訓練中輸出的軟標簽；

Q_i——學生網(wǎng)絡在訓練中輸出的軟標簽。

以此通過最小化結果來對學生網(wǎng)絡進行參數(shù)調(diào)整。

1.3 退火蒸餾

退火算法（Simulated Annealing）是一種全局優(yōu)化算法，其基本思路是：從一個隨機的初始解開始，逐步降低溫度直到停止搜索。在退火的過程中，概率接受更差解的概率會隨著溫度的降低而逐漸減小。知識蒸餾在其損失函數(shù)中存在溫度相關的參數(shù)，因此退火算法與知識蒸餾的邏輯契合度非常高。在本文所提出的方法中，退火算法的目標將會變?yōu)槿绾芜x擇合適的溫度策略，以便在搜索過程中合理控制教師網(wǎng)絡的logits層結果分布改變步長，以及逐步降低溫度達到變溫蒸餾的效果^[14]。溫度策略應該能夠平衡探索和利用的關系，以便在迭代訓練中解決傳統(tǒng)知識蒸餾中教師網(wǎng)絡和學生網(wǎng)絡結構差距越大訓練越困難的問題^[12]。

1.3.1 退火思想改進損失函數(shù)

退火思想改進的損失函數(shù)，如式（8）所示。

L_A=L_AKD（i）階段Ⅰ：1≤T_i≤T_max

L_CE階段Ⅱ：T=1（8）

式中：i——訓練過程中的當前訓練輪數(shù)；

T_i——溫度值在第i次訓練輪數(shù)時的溫度。

在每個訓練輪次中L_A（i）定義為

L_A（i）=||z_s（x）－z_t（x）×Γ（T_i）||²₂（9）

Γ（T）=T_max×1－T－1T_max1≤T≤T_max（10）

式中：Г（T）——退火函數(shù)；

Z_s——學生網(wǎng)絡的神經(jīng)元的輸出值；

Z_t——教師網(wǎng)絡的神經(jīng)元的輸出值。

退火算法的引入能夠在不同溫度下通過教師生成的軟標簽的逐步過渡，平穩(wěn)地將教師的知識轉移到學生網(wǎng)絡中。

1.3.2 退火改進對抗蒸餾訓練過程

退火知識蒸餾將訓練分為兩個階段：第一階段，使用退火知識蒸餾損失函數(shù)L_A逐步訓練學生網(wǎng)絡模仿教師網(wǎng)絡的預測概率分布；第二階段，只使用L_CE硬標簽（即α=1， T=1）對學生網(wǎng)絡進行微調(diào)^[15]。

在階段Ⅰ開始時，設T₁=T_max使教師網(wǎng)絡以最“溫和”的方式指導學生網(wǎng)絡訓練，并在每輪訓練時隨著訓練輪數(shù)i的變化逐漸減小溫度T。此時的損失函數(shù)如式（11）所示。

L_AKD=βT∑iP_ilogP_iQ_i+（1－β）L_A（11）

式中：β——兩種損失函數(shù)的權重系數(shù)，根據(jù)不同數(shù)據(jù)樣本設定。

將KL散度用溫度縮放后與退火損失加權和。根據(jù)試驗的結果，可以發(fā)現(xiàn)增加溫度通常會使得對抗樣本制作更加困難，但此溫度下對于訓練具有提高魯棒性的作用^[12]。當訓練輪數(shù)i到達階段Ⅰ所設的訓練輪數(shù)最大值時，進入階段Ⅱ，此時Г（T）=1，教師網(wǎng)絡使用原始的logits指導學生網(wǎng)絡訓練。在不變且較低的溫度下，對抗樣本制作的成功率將會更高，此時學生網(wǎng)絡將進行微調(diào)并結束網(wǎng)絡的訓練。

退火知識蒸餾方法在動態(tài)溫度參數(shù)的控制下通過一個逐步過渡的軟標簽平穩(wěn)地把教師網(wǎng)絡的知識傳授給學生網(wǎng)絡。降溫過程的邏輯單元和軟標簽變化示意圖如圖1所示。

邏輯單元值為迭代運算時所可能出現(xiàn)的演示結果。從圖1可以看到，當T增大時，softmax函數(shù)輸出的概率分布的差值會減小，被忽略邏輯單元的概率信息將會放大，但當溫度升高到一定程度時分布差距將趨于飽和，此時每個概率將趨近于1/N，其中N是類別數(shù)。在本文的試驗中，將預測集放入預訓練的教師網(wǎng)絡輸出的平均最大概率來確認的近似飽和溫度：經(jīng)過計算在T=1時約為0.81，在T=30時約為0.16，在T =45時約為0.11。因此，T=45處對應于接近1/N=0.1的概率。

1.4 改進對抗蒸餾

訓練框架如圖2所示，首先利用軸承故障訓練集訓練教師網(wǎng)絡，設計退火函數(shù)、優(yōu)化網(wǎng)絡參數(shù)。進行對抗蒸餾，利用教師網(wǎng)絡指導學生網(wǎng)絡學習軸承故障數(shù)據(jù)。最后通過損失函數(shù)不斷修正學生網(wǎng)絡^[16]。

2 試驗與結果分析

通過使用西儲大學軸承故障數(shù)據(jù)集進行對比試驗。試驗臺由一個1.5 kW的電動機、一個扭矩傳感器、一個功率測試計和電子控制器所組成。試驗對象為SKF6205驅(qū)動端軸承，采樣頻率為12 kHz和48 kHz，試驗數(shù)據(jù)采用48 kHz下的信號源^[17]。

2.1 試驗條件

模型使用Google的Tensorflow2.0和keras工具箱搭建，試驗平臺為python3.8+anaconda，所用的PC配置為AMD5800H，顯卡采用6 G NVIDIA GTX1660Ti。

2.2 模型參數(shù)

文中使用的知識蒸餾中教師網(wǎng)絡與學生網(wǎng)絡均為卷積神經(jīng)網(wǎng)絡，其模型參數(shù)如表1所示。

表1 網(wǎng)絡模型參數(shù)

Tab. 1 Network model parameter參數(shù)數(shù)值教師網(wǎng)絡卷積層數(shù)2教師網(wǎng)絡池化層數(shù)2學生網(wǎng)絡卷積層數(shù)1學生網(wǎng)絡池化層數(shù)1卷積核大小40×1卷積核數(shù)目4池化尺寸10×1優(yōu)化器SDG優(yōu)化器學習率0.01Dropout比率/%30

2.3 數(shù)據(jù)集介紹

試驗平臺模擬的軸承故障為內(nèi)圈故障、外圈故障和滾動體故障，另外使用正常軸承的信號數(shù)據(jù)作為比對，每個樣本包含800個數(shù)據(jù)采集點，選取三種不同故障直徑下的故障樣本組成訓練集。在農(nóng)工業(yè)現(xiàn)場中，典型標簽樣本在許多情況下不能滿足網(wǎng)絡訓練需要，并且這些數(shù)據(jù)還可能存在標簽分類極不均衡的情況，例如帶某種標簽的監(jiān)督數(shù)據(jù)只有極少數(shù)或故障樣本間數(shù)量差異巨大。基于此類情況，將使用正常數(shù)據(jù)400個，第1～3類故障數(shù)據(jù)為故障直徑0.177 8 mm下的內(nèi)圈故障、外圈故障和滾動體故障，每類100個，第4～6類為故障直徑0.355 6 mm下的組合故障，每類80個，第7類為故障直徑0.533 4 mm的內(nèi)圈故障每類30個，第8類為故障直徑0.533 4 mm下的外圈故障20個，第9類故障直徑0.533 4 mm下的滾動體故障數(shù)據(jù)10個，總計1000個標簽樣本數(shù)據(jù)以6∶2∶2的比例分為訓練集、測試集和驗證集作為模擬真實現(xiàn)場情況的數(shù)據(jù)集。其目的為測試在故障樣本數(shù)量不同時，網(wǎng)絡對于故障識別分類的能力。

2.4 試驗過程及結果分析

本文基于知識蒸餾與對抗學習的理論結合，提出了一種軸承故障診斷方法，以確保學生網(wǎng)絡的軸承故障診斷分類的準確度。使用西儲大學軸承故障數(shù)據(jù)集進行三種消融試驗來驗證本文所提出的方法有效性。

2.4.1 不同網(wǎng)絡或不同訓練方法結果對比

通過6組試驗來驗證此方法的有效性：第一組是直接訓練與學生網(wǎng)絡相同結構的卷積網(wǎng)絡；第二組是直接使用ResNet18網(wǎng)絡進行訓練；第三組是通過使用MobileNet網(wǎng)絡進行訓練；第四組是利用傳統(tǒng)知識蒸餾的方式使教師網(wǎng)絡指導學生網(wǎng)絡訓練，溫度設定為8（T=8）；第五組是利用對抗知識蒸餾的方式訓練學生網(wǎng)絡，溫度設定為8（T=8）；第六組是教師網(wǎng)絡通過改進知識蒸餾的方式引導學生網(wǎng)絡訓練。

采用少量數(shù)據(jù)預訓練，對比目前對于不同輕量級網(wǎng)絡或不同訓練方法所得的分類準確率，表2為不同網(wǎng)絡或訓練方法的訓練結果，試驗中設置網(wǎng)絡最大迭代次數(shù)為300，使用隨機梯度下降方法。

從表2中可以看出：小型的卷積神經(jīng)網(wǎng)絡在進行直接數(shù)據(jù)訓練時容易過擬合導致訓練效果不佳；知識蒸餾所訓練出的學生網(wǎng)絡與目前常用的ResNet和MobileNet差距不大，但參數(shù)量卻小很多，僅為214 602，約為MobileNet的十分之一；本文所提出的改進知識蒸餾的分類準確率明顯高于另外兩種深度網(wǎng)絡?？傮w而言，改進對抗蒸餾的方式在六組試驗中具有更高的診斷準確性。

2.4.2 不同溫度下的對抗蒸餾對比

在溫度較高時訓練的教師網(wǎng)絡輸出的結果信息將會被放大，這些信息中包含著對于非對映標簽樣本對于此標簽的特征相似度；而當溫度較低時，這些特征相似信息將被忽略。在高溫下模型雖然可以接收到此類信息但由于教師網(wǎng)絡輸出結果差異較小，往往會誤導學生網(wǎng)絡，導致學生網(wǎng)絡故障分類準確率低。所以最為理想的情況便是在訓練開始使用高溫，而在訓練后期使用低溫。接下來的試驗測量了溫度對對抗樣本生成的影響，在知識蒸餾中不同的溫度設置會影響softmax層輸出的概率分布，即溫度只在訓練時起作用。這里的目標是確定“最佳”的訓練溫度，從而實現(xiàn)對于學生網(wǎng)絡和數(shù)據(jù)集的對抗樣本的魯棒性。測量了在2，5，10，20，50，100和本文退火思想優(yōu)化后的蒸餾溫度T對學生網(wǎng)絡的診斷準確度。表3為蒸餾溫度對對抗蒸餾的對于故障分類準確率的比較。根據(jù)上文所提到的溫度飽和度計算，當初始溫度T=45時，各個結果之間輸出結果較小，效果不佳，經(jīng)過多次試驗比較選擇T=30為初始溫度。

根據(jù)試驗可以看出對抗知識蒸餾的溫度對于訓練結果有一定的影響，本文提出的退火溫度對比溫度不變的訓練，在一定程度上有著不錯的效果。

2.4.3 不同訓練方法下的各類故障分類準確率

在2.4.1節(jié)已經(jīng)探討了對10分類標簽樣本的分類準確率，而本試驗將會通過不同數(shù)量的標簽樣本通過對學生網(wǎng)絡在不同方法的訓練下的故障分類準確性。以內(nèi)圈故障為例，將數(shù)據(jù)集重新創(chuàng)建為每組樣本數(shù)為600的四分類數(shù)據(jù)集5組進行試驗，分別為內(nèi)圈故障樣本150、100、75、50、25個，其余部分將使用正常數(shù)據(jù)、外圈故障和滾動體故障以相同的數(shù)量進行填充。內(nèi)圈試驗完成后以相同的邏輯重新為外圈故障和滾動體故障制作數(shù)據(jù)集。如圖3所示，其結果為多次訓練的平均值，表明本文提出的基于改進對抗蒸餾軸承故障分類方法的有效性。在樣本數(shù)量不足的情況下讓與學生網(wǎng)絡結構相同的卷積神經(jīng)網(wǎng)絡直接進行訓練^[18]，其故障識別分類的準確率會有著明顯降低，而采用知識蒸餾方法利用教師網(wǎng)絡指導學生網(wǎng)絡訓練即使樣本數(shù)量很少，也保持著較高的準確率。對抗蒸餾通過學生網(wǎng)絡不斷生成對抗樣本的方式進行類似半監(jiān)督訓練，無論樣本數(shù)量是否充足，都對于故障有著較高的分類準確率?；诟倪M對抗蒸餾軸承故障分類方法都在此數(shù)據(jù)集中得到了有效驗證。由于樣本數(shù)據(jù)的不同，分類準確率會有著不同程度的改變，例如外圈故障的故障分類準確率低于內(nèi)圈故障和滾動體故障，但總體趨勢并未改變，本文提出的方法依然存在著優(yōu)勢。

由此可見，本文提出的基于改進對抗蒸餾軸承故障分類方法不僅提升學生網(wǎng)絡對于軸承故障診斷分類能力，還可節(jié)省農(nóng)機、工業(yè)現(xiàn)場所使用智能設備的計算資源。

3 結論

1） 本文提出一種改進對抗蒸餾方法，旨在解決農(nóng)業(yè)機械、工業(yè)現(xiàn)場軸承故障樣本數(shù)量不足、故障樣本數(shù)量分布不均衡等問題，以提高軸承故障診斷分類的準確性。

2） 為了使學生網(wǎng)絡能夠準確地判斷出復雜的現(xiàn)場情況，本文提出了不斷進行對抗方法，保證了學生網(wǎng)絡對于不同環(huán)境下軸承故障診斷分類的性能。在迭代過程中逐步過渡溫度，使得學生網(wǎng)絡以循序漸進的方式跟隨訓練輪次的訓練學生網(wǎng)絡。為了模擬典型標簽樣本較少的場景，試驗中使用差異化故障樣本數(shù)量，驗證了訓練的學生網(wǎng)絡對軸承故障診斷分類相較于傳統(tǒng)方法的有效性和準確率增長。

3） 利用改進對抗蒸餾方法訓練出的學生網(wǎng)絡進行模擬現(xiàn)場軸承故障診斷分類任務，僅使用214602個參數(shù)參與計算，準確率可達91.85%。

4） 此方法在農(nóng)機、工業(yè)使用的軸承故障檢測的應用中具有更好的優(yōu)勢和實際的應用價值。

參 考 文 獻

[1]Wang Jing， Zhao Bo， Zhou Hua. Rolling bear fault recognition based on improved sparse decomposition [J]. 2018 37th Chinese Control Conference（CCC）， 2018： 676-680.

[2]Abbasion S， Rafsanjani A， Farshidianfar A， et al. Rolling element bearings multi-fault classification based on the wavelet denoising and support vector machine [J]. Mechanical Systems and Signal Processing， 2007， 21（7）： 2933-2945.

[3]Han J H， Choi D J， Hong S K， et al. Motor fault diagnosis using CNN based deep learning algorithm considering motor rotating speed [C]. 2019 IEEE 6th International Conference on Industrial Engineering and Applications （ICIEA）. IEEE， 2019， 68（3）： 440-445.

[4]Zhong Xu， Mo Wenxiong， Wang Yong， et al. Transformer fault diagnosis based on deep brief sparse autoencoder [C]. 中國自動化學會控制理論專業(yè)委員會， 中國自動化學會， 中國系統(tǒng)工程學會. 第三十八屆中國控制會議論文集（5）.上海系統(tǒng)科學出版社， 2019： 1087-1090.

[5]Lu P， Xu D P， Liu Y B. Study of fault diagnosis model based on multi-class wavelet support vector machines [C]. International Conference on Machine Learning & Cybernetics. IEEE， 2005， 7： 4319-4321.

[6]Zhu Jun， Chen Nan， Shen Changqing. A new deep transfer learning method for bearing fault diagnosis under different working conditions [J]. IEEE Sensors Journal， 2020， 20（15）： 8394-8402.

[7]Vu D Q， Le N， Wang J C. Teaching yourself： A self-knowledge distillation approach to action recognition [J]. IEEE Access， 2021（9）： 105711-105723.

[8]邢曉松， 郭偉. 基于改進半監(jiān)督生成對抗網(wǎng)絡的少量標簽軸承智能診斷方法[J]. 振動與沖擊， 2022， 41（22）： 184-192.

Xing Xiaosong， Guo Wei. Intelligent diagnosis method for bearings with few labelled samples based on an improved semi-supervised learning-based generative adversarial network [J]. Journal of Vibration and Shock， 2022， 41（22）： 184-192.

[9]黃仲浩， 楊興耀， 于炯， 等. 基于多階段多生成對抗網(wǎng)絡的互學習知識蒸餾方法[J]. 計算機科學， 2022， 49（10）： 169-175.

Huang Zhonghao， Yang Xingyao， Yu Jiong， et al. Mutual learning knowledge distillation based on multi-stage multi-generative adversarial network [J]. Computer Science， 2022， 49（10）： 169-175.

[10]Heo B， Lee M， Yun S， et al. Knowledge distillation with adversarial samples supporting decision boundary [C]. AAAI Conference on Artificial Intelligence. Honolulu， USA： AAAI， 2019： 3771-3778.

[11]Hinton G， Vinyals O， Dean J. Distilling the knowledge in a neural network [J]. Computer Science， 2015， 14（7）： 38-39， 9.

[12]Papernot N， Mcdaniel P， Wu X， et al. Distillation as a Defense to adversarial perturbations against deep neural networks [C]. 2016 IEEE Symposium on Security and Privacy （SP）. IEEE， 2016.

[13]Jafari A， Rezagholizadeh M， Sharma P. Annealing knowledge distillation [J]. Association for Computational Linguistics， 2021： 2493-2504.

[14]費霞. 基于對抗蒸餾與自動機器學習的神經(jīng)網(wǎng)絡壓縮研究[D]. 西安：西安電子科技大學， 2021.

Fei Xia. Research on deep neural network compression based on knowledge distillation with adversarial learning and automated machine learning [D]. Xian： Xidian University， 2021

[15]陶啟生. 基于CNN和遷移學習的軸承故障診斷方法研究[D]. 株洲： 湖南工業(yè)大學， 2021.

Tao Qisheng. Research on bearing fault diagnosis method based on CNN and transfer learning [D]. Zhuzhou： Hunan University of Technology， 2021.

[16]趙振兵， 金超熊， 戚銀城， 等. 基于動態(tài)監(jiān)督知識蒸餾的輸電線路螺栓缺陷圖像分類[J]. 高電壓技術， 2021， 47（2）： 406-414.

Zhao Zhenbing， Jin Chaoxiong， Qi Yincheng， et al. Image classification of transmission line bolt defects based on dynamic supervision knowledge distillation [J]. High Voltage Engineering， 2021， 47（2）： 406-414.

[17]Xu D， Xiao J， Zhao Z， et al. Self-supervised spatiotemporal learning via video clip order prediction [C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2019： 10326-10335.

[18]Papernot N， Mcdaniel P， Goodfellow I， et al. Practical black-box attacks against machine learning [J]. In： Proc. of the 2017 ACM on Asia Conf. on Computer and Communications Security， 2017： 506-519.