謝由生，張軍

（安徽理工大學(xué) 人工智能學(xué)院，安徽淮南 232001）

在現(xiàn)代生產(chǎn)中，高效的智能設(shè)備故障診斷方法可以減少人力和物力的投入。因此，對智能設(shè)備的故障診斷需求正在快速的增長[1]。近年來，隨著機器學(xué)習(xí)的發(fā)展，大量學(xué)者將機器學(xué)習(xí)算法應(yīng)用在智能設(shè)備的故障診斷中。文獻[2]提出一種處理多通道信息的加權(quán)卷積神經(jīng)網(wǎng)絡(luò)用于齒輪箱故障特征提?。晃墨I[3]采用改進的解卷積算法識別軸承的復(fù)合故障；文獻[4]提出了一種基于Lenet-5 的新卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks CNN），用于故障診斷；文獻[5]提出了一種具有壓縮感應(yīng)（CS）的改進卷積深信念網(wǎng)絡(luò)（CDBN）的新型方法，用于滾動軸承的特征學(xué)習(xí)和故障診斷；文獻[6]提出了一種基于混合注意力改進殘差網(wǎng)絡(luò)（HA-Res-Net）的方法來診斷風(fēng)力渦輪機齒輪箱的故障。但是這些方法前提是有一個樣本充足且平衡的數(shù)據(jù)集。然而，在實際生產(chǎn)活動中，很難采集到足夠的故障樣本。在訓(xùn)練樣本不足的情況下，基于人工智能算法的故障診斷性能可能會很差。為提高小樣本故障檢測的性能，通常的方法是對樣本進行數(shù)據(jù)增強。

Goodfellow 等在 2014 年提出的生成式對抗網(wǎng)絡(luò)（GAN）[7]能夠模擬數(shù)據(jù)的分布，在圖像生成方面有顯著的能力。因此，生成對抗網(wǎng)絡(luò)被引入故障診斷領(lǐng)域解決機械設(shè)備故障數(shù)據(jù)樣本少，數(shù)據(jù)不平衡等問題。如文獻[8]提出了一種結(jié)合條件生成網(wǎng)絡(luò)（CGAN）和深度卷積生成網(wǎng)絡(luò)（DCGAN）的模型，有效的處理了故障數(shù)據(jù)不平衡問題，提高了故障診斷的準(zhǔn)確率和泛化能力;文獻[9]提出了一種基于輔助分類器生成對抗網(wǎng)絡(luò)（ACGAN）的模型，在小樣本故障數(shù)據(jù)集中取得了很好的效果。雖然上述提出的模型在生成故障樣本方面有一定的參考意義，但是這些方法都是基于一維信號，不能充分發(fā)揮 GAN 在圖像生成上的能力。

本文提出了一種基于條件生成網(wǎng)絡(luò)的改進模型（CGAN-GP）。將原始的一維信號轉(zhuǎn)換為二維灰度圖，通過對二維灰度圖進行數(shù)據(jù)增強，增加故障樣本的數(shù)量，并且使用梯度懲罰策略來優(yōu)化模型的訓(xùn)練和生成圖像的質(zhì)量，最后利用軸承數(shù)據(jù)對上述模型進行對比，分析模型的效果。

1 GAN、CGAN

生成對抗網(wǎng)絡(luò)（GAN）是 Goodfellow 等在 2014年提出的一種基于博弈論的深度學(xué)習(xí)模型。該模型框架中包含兩個模塊：生成模型（Generative model，G）和判別模型（Discriminative model，D）。兩個模型相互博弈，不斷優(yōu)化自身的能力，最終達到納什均衡狀態(tài)，在這種狀態(tài)下任何一方無論怎么優(yōu)化都不能改善模型的能力。GAN 模型結(jié)構(gòu)如圖1a）所示，生成模型 G 構(gòu)成的映射函數(shù)G(z,θg)將噪聲z，從原始分布Pz映射到與真實樣本x的分布Pdata相似的分布Pg中。判別模型需要判斷輸入樣本是來自真實樣本分布Pdata還 是來自生成樣本分布Pg，最終找到使兩個模型代價最小的位置，即納什平衡點。

圖1 GAN 和CGAN 模型結(jié)構(gòu)Fig.1 GAN and CGAN model structures

兩個模型的代價函數(shù)為

式中：E(·)為 對應(yīng)分布的期望；G(·)為生成模型生成的數(shù)據(jù)；D(·)為判別模型的輸出。

原始 GAN 無法生成指定的目標(biāo)數(shù)據(jù)，Mehdi Mirza 等提出了一種條件生成對抗網(wǎng)絡(luò)（CGAN）[10]，通過在原始 GAN 的生成模型和判別模型輸入中添加輔助的信息y，如數(shù)據(jù)的類型標(biāo)簽，來實現(xiàn)生成指定的目標(biāo)數(shù)據(jù)。模型結(jié)構(gòu)如圖1b）所示，CGAN 的代價函數(shù)為

2 模型描述

2.1 損失函數(shù)

GAN 采用JS 散度或KL 散度來衡量兩個分布Pg和Pdata之間的距離時，在訓(xùn)練中要把握好生成器和判別器的訓(xùn)練程度，否則會導(dǎo)致模型效果變差、并且訓(xùn)練中無法通過生成器和判別器的損失獲知模型的訓(xùn)練效果和模型崩壞等問題。為解決上述的問題，本文采用文獻[11]中提到的Wasserstein 距離來描述模型中兩個分布的距離，即

式中： Π (Pdata,Pg)為Pdata和Pg所有可能的聯(lián)合分布的集合； inf為下確界；x為真實樣本；y為生成樣本；|x-y|為兩個樣本的距離。

由于Wasserstein 距離無法直接求解，式（3）可轉(zhuǎn)換為

式中：K為常數(shù)；sup 為上界； |f|L為f(x)的Lipschitz常數(shù)，|f|L≤K。

為了讓f(x)滿 足 |f|L≤K，文獻[11]中的模型WGAN 采用權(quán)值剪裁策略，將權(quán)值的范圍限制在[-c,c]。模型權(quán)值更新時，在范圍外的權(quán)值將被剪裁為-c或者c。文獻[12]發(fā)現(xiàn)WGAN 在處理Lipschitz限制條件采用的權(quán)值剪裁策略，容易造成模型的梯度消失或者梯度爆炸，導(dǎo)致模型訓(xùn)練困難、收斂速度慢等問題。因此本文采用文獻[12]中的梯度懲罰策略來滿足Wasserstein 距離的Lipschitz 限制條件，生成器和判別器的損失函數(shù)LG和LD分別為：

式中：z=εxdata+(1-ε)xg,ε ～U(0,1)；λ 為梯度懲罰項。

2.2 模型結(jié)構(gòu)

本文提出的CGAN-GP 模型通過對真實樣本的分布特征學(xué)習(xí)，生成高質(zhì)量的樣本，用于數(shù)據(jù)增強，填補樣本量小的數(shù)據(jù)集，用于進一步的故障診斷。模型主要有兩部分組成：生成器和判別器。生成器用于生成虛假的樣本，判別器負(fù)責(zé)對樣本進行評估，指引生成器生成更高質(zhì)量的樣本。

在生成器和判別器的輸入中添加標(biāo)簽信息，引導(dǎo)模型學(xué)習(xí)故障類別的特征，進而可以根據(jù)相應(yīng)的標(biāo)簽生成指定的故障樣本。在生成器中，輸入由從標(biāo)準(zhǔn)高斯分布中隨機采樣的100 維噪聲z和隨機標(biāo)簽label 組成，先通過全連接層對輸入數(shù)據(jù)進行擴展，再對數(shù)據(jù)的維度進行重塑、然后經(jīng)過幾個特征學(xué)習(xí)塊的處理，充分學(xué)習(xí)故障樣本的特征，最終生成虛假樣本。特征學(xué)習(xí)塊主要由上采樣層和卷積層構(gòu)成，在特征學(xué)習(xí)塊中加入BatchNorm 層對數(shù)據(jù)進行歸一化，防止模型發(fā)生過擬合。為加快模型的訓(xùn)練和克服反向傳播中梯度消失等問題，在歸一化層后使用ReLU 作為激活函數(shù)。輸出層則使用tanh 作為激活函數(shù)。

判別器由多個卷積層構(gòu)成，每個卷積層后采用LeakyReLU 作為激活函數(shù)。在計算損失時，由于采用梯度懲罰策略來滿足Wasserstein 距離的Lipschitz限制條件，其中梯度懲罰是對每個樣本單獨進行，而BatchNorm 歸一化層會引入不同樣本的相互依賴關(guān)系，所以判別模型中沒有使用BatchNorm 層。CGAN-GP 具體參數(shù)如表1 所示。

表1 CGAN-GP 具體參數(shù)Tab.1 Specific parameters of CGAN-GP

2.3 樣本生成流程

基于上述損失函數(shù)式（5）和式（6），訓(xùn)練模型，更新模型參數(shù)。生成器和判別器均采用Adam 優(yōu)化器[13]，學(xué)習(xí)率均為0.000 1。 CGAN-GP 模型訓(xùn)練流程可分為3 個步驟，如圖2 所示。

圖2 CGAN-GP 模型訓(xùn)練流程Fig.2 CGAN-GP model training process

1） 原始數(shù)據(jù)預(yù)處理。CGAN-GP 模型是針對二維圖像數(shù)據(jù)構(gòu)建的，所以訓(xùn)練模型前需要對原始的一維數(shù)據(jù)進行處理，把原始數(shù)據(jù)轉(zhuǎn)換為二維圖像數(shù)據(jù)。具體做法詳見第3 節(jié)。

2） 更新判別器參數(shù)。帶有標(biāo)簽label 的隨機噪聲z經(jīng)過生成器的計算，生成虛假樣本。然后將經(jīng)過編碼的標(biāo)簽信息與生成樣本或真實樣本組合傳入判別器中，通過損失函數(shù)式（5）計算損失值，并更新判別器的參數(shù)。

3） 更新生成器參數(shù)。訓(xùn)練完判別器后，固定判別器的參數(shù)。根據(jù)式（6）計算的損失值更新生成器的參數(shù)。

2.4 模型診斷流程

將CGAN-GP 應(yīng)用到進行故障診斷時，如圖3所示，可分為兩個步驟：

圖3 故障診斷流程Fig.3 Fault diagnosis process

1） 生成虛假樣本。在CGAN-GP 訓(xùn)練后，用更新好參數(shù)的生成器生成指定故障的樣本，混合到小樣本數(shù)據(jù)集中，得到數(shù)量充足且平衡的故障樣本。

2） 故障診斷。利用混合后的樣本數(shù)據(jù)訓(xùn)練故障分類模型，將訓(xùn)練好的分類模型用于故障診斷。

3 實驗與分析

本實驗在Windows10 下進行，計算機的CPU 為AMD Ryzen 7 5800H@3.2 GHz，運行內(nèi)存為16 G，GPU 為內(nèi)存6 G 的NVIDIA GeForce RTX 3060。模型使用Python 語言，基于深度學(xué)習(xí)框架 Pythorch1.9搭建。

3.1 數(shù)據(jù)集

本文使用的是美國凱斯西儲大學(xué)（Case western reserve university，CWRU）的軸承數(shù)據(jù)集。軸承的故障通過電火花在軸承內(nèi)圈、外圈和滾動體上分別加工單點損傷，形成軸承的各種故障，損傷直徑有0.177 8 mm、0.355 6 mm、0.533 4 mm。在電動機風(fēng)扇端和驅(qū)動端的軸承座上方各放置一個加速度傳感器，分別以12 kHz、48 kHz 采樣頻率采集故障軸承在不同電機載荷下的振動加速度信號[14]。實驗平臺如圖4 所示。

圖4 CWRU 軸承實驗平臺[14]Fig.4 CWRU bearing experimental platform

3.2 數(shù)據(jù)預(yù)處理

本文的模型（CGAN-GP）是通過對二維圖像進行數(shù)據(jù)增強，因此在訓(xùn)練模型前，需要對原始的一維時序信號預(yù)處理，將一維信號轉(zhuǎn)換為二維灰度圖。本文采用文獻[4]中的方法，即

式中：P(i,j) 為 轉(zhuǎn)換后二維圖中的第i行 ，第j列的值；N為二維圖的長和寬；L為從一維時序信號采樣的值，一次采樣數(shù)量為N2;L(i)為L中 的第i個采樣點的值；函數(shù) round(x)將計算后的值進行取整，保證轉(zhuǎn)換后的取值是[0,255]的整數(shù)。

本實驗使用12 kHz 采樣頻率下，電機風(fēng)扇端的軸承數(shù)據(jù)，包含正常軸承共10 種類型樣本。原始信號樣本連續(xù)采集1 024 個數(shù)據(jù)點作為一個樣本，數(shù)據(jù)預(yù)處理后轉(zhuǎn)換為一個64×64 的二維灰度圖樣本。從轉(zhuǎn)換后的灰度圖數(shù)據(jù)集中選取6 000 張作為CGAN-GP模型的訓(xùn)練集，具體如表2 所示。每種類型的灰度圖如圖5 所示。

表2 故障類別及對應(yīng)標(biāo)簽Tab.2 Fault categories and corresponding labels

圖5 真實樣本轉(zhuǎn)換后的灰度圖Fig.5 Gray scale image after real sample conversion

3.3 損失函數(shù)圖像

在訓(xùn)練CGAN-GP 模型過程中，為加快模型的訓(xùn)練，每更新5 次判別模型參數(shù)，更新一次生成模型參數(shù)。模型每批次處理32 個樣本，共訓(xùn)練模型850 次，即epoch 為850，梯度懲罰系數(shù)λ=10。圖6為生成模型訓(xùn)練過程中的損失，由圖6 可以看出，生成模型的損失開始大幅度增加，說明模型處于學(xué)習(xí)階段，沒有很好的擬合軸承數(shù)據(jù)。然后損失開始振蕩減小，此時模型開始慢慢學(xué)習(xí)軸承數(shù)據(jù)的分布特征。在經(jīng)過800 次迭代后，損失小幅度振蕩并趨于穩(wěn)定，說明模型已經(jīng)得到很好的訓(xùn)練，能夠較好的擬合軸承數(shù)據(jù)，生成的樣本與真實樣本具有很高的相似性。

圖6 CGAN-GP 中生成模型的訓(xùn)練損失Fig.6 Training loss of the model generated in CGAN-GP

3.4 生成樣本分析

本文以標(biāo)簽為0、2、4、6、8 的故障為例，采用定性和定量兩種方式分析生成樣本，并且與CGAN 模型生成的樣本進行對比。CGAN 模型與CGAN-GP 模型具有相同的結(jié)構(gòu)，采用相同的超參數(shù)訓(xùn)練相同次數(shù)。

通過對比生成樣本和真實樣本，定性的分析生成樣本的質(zhì)量。如圖7 所示，分別展示了對應(yīng)故障樣本的真實樣本振動信號、灰度圖、CGAN-GP 模型的生成樣本和CGAN 模型的生成樣本。并且采用T-sne（T-distributed stochastic neighbor embedding）[15]工具把樣本的特征降到二維，通過可視化樣本的分布，評估生成樣本和真實樣本的相似性，結(jié)果如圖8所示。從圖7 和圖8 中可知，CGAN-GP 模型生成樣本的灰度圖與真實樣本的灰度圖高度相似但是又不完全一樣，并且兩者特征分布有大量的重合區(qū)域,說明CGAN-GP 模型能夠有效擬合故障樣本的特征，且保證生成樣本的多樣性。CGAN 模型生成的樣本與真實樣本，無論是灰度圖還是特征分布都有著明顯的區(qū)別，說明CGAN 模型在學(xué)習(xí)故障樣本特征時存在一定缺陷，無法生成高質(zhì)量的樣本。

圖7 真實樣本與生成樣本對比Fig.7 Comparison between real samples and generated samples

圖8 t-sne 可視化生成樣本和真實樣本Fig.8 t-sne visualization-generated samples and real samples

通過歐式距離（Euclidean distance, ED）和余弦距離（Cosine distance, CD）兩個指標(biāo)定量的描述生成樣本和真實樣本的相似度。各選取10 張CGAN模型和CGAN-GP 模型生成的樣本與真實樣本計算ED 和CD，并取平均值，結(jié)果如表3 所示。可以看到，CGAN-GP 模型生成的樣本整體上優(yōu)于CGAN模型，與真實樣本的相似度更高。

表3 不同方法的生成樣本對比Tab.3 Comparison of generated samples using different methods

綜合上述結(jié)果，CGAN-GP 模型可以生成高質(zhì)量的樣本，相比于CGAN 模型生成的樣本，CGANGP 模型生成的樣本與真實樣本具有更高的相似度，數(shù)據(jù)增強的效果更好。

3.5 生成樣本在小樣本故障診斷中的應(yīng)用

為了驗證生成樣本在故障診斷中的有效性，本文設(shè)計了一組對比實驗，利用上述預(yù)處理后的CWRU軸承數(shù)據(jù)模擬以往小樣本數(shù)據(jù)集添加CGAN-GP 模型生成的樣本對故障檢測的影響，具體如表4 所示（其中驗證集和測試集均為400）。

表4 故障診斷模型實驗分組Tab.4 Experimental grouping of fault diagnosis model

實驗利用真實樣本和生成樣本按不同的比例混合組成訓(xùn)練集，表中的數(shù)據(jù)為每一類樣本數(shù)量。利用這些數(shù)據(jù)，使用相同的超參數(shù)設(shè)置，訓(xùn)練一個由卷積層和全連接層組成的分類模型。訓(xùn)練中各模型在訓(xùn)練中的損失及在驗證集上的表現(xiàn)如圖9 所示。從圖中的結(jié)果看，隨著訓(xùn)練集樣本數(shù)量的增加，模型的分類準(zhǔn)確率更高，并且具有更快的收斂速度。訓(xùn)練集中采用混合數(shù)據(jù)，即有真實樣本和生成樣本，比只含有生成樣本，模型有更好的分類效果。

圖9 故障診斷模型在各訓(xùn)練集的損失及在驗證集上的準(zhǔn)確率Fig.9 Loss of the fault diagnosis model in each training set and its accuracy on accuracy validation set

為了模擬各個模型在真實故障診斷下的表現(xiàn)，選取各實驗在驗證集上表現(xiàn)最優(yōu)的模型，測試各最優(yōu)模型在測試集上的分類效果，如圖10 所示。

圖10 各故障診斷模型在測試集上的準(zhǔn)確率Fig.10 Accuracy of each fault diagnosis model on the test set

從圖10 中發(fā)現(xiàn)混合數(shù)據(jù)訓(xùn)練的模型整體上比只用生成數(shù)據(jù)訓(xùn)練的模型分類準(zhǔn)確率更高，并且相比于只含有真實樣本訓(xùn)練的模型，混合數(shù)據(jù)訓(xùn)練的模型的分類準(zhǔn)確率提升明顯，說明CGAN-GP 模型生成樣本在填充小樣本數(shù)據(jù)集后，可以有效的提高故障診斷精度。但是并不是隨著添加生成樣本越多，模型的分類準(zhǔn)確率越高，混合了每類故障50 個真實樣本、600 個生成樣本數(shù)據(jù)和混合了每類故障50 個真實樣本、800 個生成樣本數(shù)據(jù)訓(xùn)練的模型r50_g600、r50_g800 的分類準(zhǔn)確率比r100_g400 訓(xùn)練模型的分類精度稍低，說明CGAN-GP 生成的樣本含有真實樣本特征的其他信息，導(dǎo)致分類模型的分類錯誤。

為了解分類模型對各個故障的識別效果，繪制了各模型在測試集上分類結(jié)果的混淆矩陣，如圖11所示。從圖中可以知道，模型在故障0、故障1 和故障2 的分類上存在一定缺陷，特別是只含有真實樣本訓(xùn)練的模型r50 尤為明顯。但是在真實樣本中添加了生成樣本訓(xùn)練的模型，該情況得到明顯的改善。

圖11 各故障診斷模型在測試集上診斷結(jié)果的混淆矩陣Fig.11 Confusion matrix of diagnostic results for each fault diagnosis model on the test set

綜合以上的結(jié)果，本文CGAN-GP 模型生成的樣本與真實樣本具有很高的相似性，能夠有效的擴充小樣本的故障數(shù)據(jù)，在提高小樣本故障診斷精度上有一定的效果。

4 結(jié)論

通過分析現(xiàn)有智能設(shè)備故障診斷面臨的問題，提出CGAN-GP 模型用于數(shù)據(jù)增強，提高小樣本故障診斷模型的分類精度。得出結(jié)論如下：

1） 通過將故障樣本的標(biāo)簽信息添加到模型的輸入中，使模型可以根據(jù)指令生成特定的故障樣本，提高了生成樣本的效率。

2） 在生成樣本的質(zhì)量上，相比于CGAN 模型，CGAN-GP 模型生成樣本的質(zhì)量更優(yōu)，與真實樣本的相似度更高。

3） 實驗表明：通過向小樣本軸承數(shù)據(jù)集中添加CGAN-GP 模型生成的樣本，獲得充足的訓(xùn)練樣本，可以有效的提高故障診斷率。