李俊卿，張承志，胡曉東，何玉靈

（1.華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003；2.華北電力大學(xué) 能源動(dòng)力與機(jī)械工程學(xué)院，河北 保定 071003）

0 引言

旋轉(zhuǎn)機(jī)械廣泛應(yīng)用于多類(lèi)領(lǐng)域。軸承作為旋轉(zhuǎn)機(jī)械的重要部件之一，其可靠性對(duì)旋轉(zhuǎn)機(jī)械的性能及穩(wěn)定運(yùn)行起到至關(guān)重要的作用，因此滾動(dòng)軸承故障的及時(shí)診斷具有重要意義。

軸承的智能診斷方法主要包括特征提取和故障分類(lèi)2個(gè)步驟。文獻(xiàn)[1]運(yùn)用小波包分解與傅里葉分解進(jìn)行軸承故障信號(hào)處理。文獻(xiàn)[2]利用傳感器獲取監(jiān)測(cè)樣本數(shù)據(jù)，以機(jī)器學(xué)習(xí)積累訓(xùn)練經(jīng)驗(yàn)作為主要技術(shù)手段，實(shí)現(xiàn)了滾動(dòng)軸承的故障診斷。文獻(xiàn)[3]使用簇間距離優(yōu)化的 SVM 進(jìn)行滾動(dòng)軸承故障診斷。

近年來(lái)，深度學(xué)習(xí)[4]被應(yīng)用于軸承故障診斷領(lǐng)域。文獻(xiàn)[5]利用經(jīng)驗(yàn)?zāi)B(tài)分解將1維信號(hào)轉(zhuǎn)化為二維的特征圖，然后運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）進(jìn)行故障診斷。文獻(xiàn)[6]對(duì)AlexNet結(jié)構(gòu)進(jìn)行改進(jìn)，使用了1維CNN網(wǎng)絡(luò)對(duì)一維時(shí)域信號(hào)進(jìn)行故障診斷。由于軸承通常運(yùn)行在大型旋轉(zhuǎn)機(jī)械中，受環(huán)境噪聲和載荷變化的影響，所采集到的振動(dòng)信號(hào)在多個(gè)時(shí)間尺度上的特征頻率變化較大，具有高度復(fù)雜性、耦合性和不確定性的特點(diǎn)。上述相關(guān)文獻(xiàn)的研究中并未考慮該問(wèn)題。

為此，有學(xué)者將長(zhǎng)短期記憶網(wǎng)絡(luò)（Long-short term memory，LSTM）運(yùn)用于滾動(dòng)軸承故障診斷中。文獻(xiàn)[7]將LSTM網(wǎng)絡(luò)與Softmax分類(lèi)器相結(jié)合，將采集的振動(dòng)信號(hào)進(jìn)行歸一化后，利用長(zhǎng)短期記憶網(wǎng)絡(luò)處理數(shù)據(jù)、提取特征。文獻(xiàn)[8]將LSTM與CNN相結(jié)合：用CNN進(jìn)行特征提取，然后使用雙向LSTM網(wǎng)絡(luò)進(jìn)行故障分類(lèi)處理。

LSTM 能夠?qū)r(shí)間序列進(jìn)行處理，得益于其長(zhǎng)短時(shí)記憶結(jié)構(gòu)和循環(huán)處理結(jié)構(gòu)；但是，這也導(dǎo)致其無(wú)法并行計(jì)算，在對(duì)大型數(shù)據(jù)進(jìn)行運(yùn)算時(shí)效果不能盡如人意。為了解決并行計(jì)算的問(wèn)題，Transformer結(jié)構(gòu)應(yīng)運(yùn)而生。與傳統(tǒng)CNN與LSTM結(jié)構(gòu)相比，Transformer使用了大量的自注意力機(jī)制，使得其能夠解決時(shí)間序列的特征獲取與時(shí)間序列順序性的問(wèn)題；同時(shí)，自注意力機(jī)制的使用使得 Transformer能夠?qū)崿F(xiàn)并行計(jì)算，相較于LSTM極大地提升了運(yùn)算速度。

目前，Transformer在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域的應(yīng)用取得了重要突破，但是利用Transformer進(jìn)行滾動(dòng)軸承故障診斷的研究并不多。文獻(xiàn)[9]利用Transformer神經(jīng)網(wǎng)絡(luò)對(duì)滾動(dòng)軸承剩余壽命進(jìn)行了預(yù)測(cè)。

在Transformer結(jié)構(gòu)不斷發(fā)展的過(guò)程中，視覺(jué)Transformer（Vision transformer，ViT）模型被提出并用于圖像分類(lèi)領(lǐng)域。與傳統(tǒng)CNN模型相比，ViT模型在淺層與深層獲得的表征具有更多相似性，并且可以獲得更多的空間位置信息[10]。目前，ViT模型在醫(yī)學(xué)圖像識(shí)別領(lǐng)域有較多應(yīng)用[11,12]，但尚未應(yīng)用于滾動(dòng)軸承的故障診斷。雖然ViT模型在視覺(jué)分類(lèi)領(lǐng)域應(yīng)用取得了成功，但是其本身也存在一定的問(wèn)題，例如訓(xùn)練時(shí)穩(wěn)定性不高等。

基于此，本文選擇CNN-ViT神經(jīng)網(wǎng)絡(luò)進(jìn)行滾動(dòng)軸承故障識(shí)別，核心思想是：針對(duì)用軸承故障的一維時(shí)域信號(hào)難以挖取數(shù)據(jù)特征，以及一維時(shí)域信號(hào)與ViT結(jié)構(gòu)位置編碼不匹配的問(wèn)題，將軸承的1維時(shí)域信號(hào)轉(zhuǎn)化為二維灰度圖，并在ViT模型前加入CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行上采樣以獲得2維灰度圖中更多的數(shù)據(jù)特征，并且加入CNN以提升ViT模型訓(xùn)練時(shí)的穩(wěn)定性。將卷積神經(jīng)網(wǎng)絡(luò)提取特征信息后的二維灰度圖作為輸入量，進(jìn)行故障診斷。

1 卷積神經(jīng)網(wǎng)絡(luò)

CNN卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心層。卷積層主要由一些卷積核組成，其中卷積核的公式為：

在連續(xù)的卷積層之間周期性地插入1個(gè)池化層，其作用是逐漸降低數(shù)據(jù)體的空間尺寸，以減少網(wǎng)絡(luò)中參數(shù)的數(shù)量、節(jié)省計(jì)算資源、有效控制過(guò)擬合。

在對(duì)輸入數(shù)據(jù)進(jìn)行一系列的卷積、池化運(yùn)算后，將所抽取的特征壓縮成1維的特征量，并將其送入全連接層進(jìn)行分類(lèi)。

2 ViT神經(jīng)網(wǎng)絡(luò)

ViT結(jié)構(gòu)如圖1所示[13]。圖1中的“*”，表示類(lèi)別向量class token。

圖1 ViT總體結(jié)構(gòu)Fig. 1 ViT overall structure

2.1 圖像劃分及位置編碼

首先，將2維圖片切割成同等大小的圖片塊（patch）；然后進(jìn)入Embedding層，將patch轉(zhuǎn)換成2維矩陣；最后，通過(guò)線(xiàn)性映射將其轉(zhuǎn)換成1維量。在實(shí)際操作中，該步驟可以用卷積層以及全連接層來(lái)實(shí)現(xiàn)。此外，還需要添加1個(gè)類(lèi)別向量class token。這個(gè)類(lèi)別向量與上述的1維量長(zhǎng)度相等。

將輸入圖片記為X，X?H×W×C，其中H和W分別為圖片的高和寬，C為通道數(shù)。用N×N大小的圖片塊去分割整個(gè)圖片，可以得到M個(gè)圖片塊。

將每個(gè)圖片塊轉(zhuǎn)化為向量，得到N2C維向量。將M個(gè)圖片塊進(jìn)行連接，便得到了 1個(gè)M×N2C的2維矩陣。最后，將該矩陣用線(xiàn)性映射轉(zhuǎn)化為1維量。因此，1個(gè)H×W×C維的圖片轉(zhuǎn)化為了M個(gè)1維的量。然后，再添加1個(gè)可學(xué)習(xí)的分類(lèi)向量xcls，用于表示圖片經(jīng)過(guò)編碼后的全局特征。最后，加入包含空間信息的位置編碼P，作為編碼器層的輸入。

式中：z0為編碼器的輸入。

2.2 Transformer編碼器層

Transformer編碼器層的結(jié)構(gòu)如圖2所示。

圖2 Transformer編碼器層結(jié)構(gòu)Fig. 2 Transformer encoder layer structure

從圖2中可以看到，該結(jié)構(gòu)中主要的部分就是以殘差形式連接的相加&層歸一化、多頭自注意力機(jī)制以及多層感知機(jī)（Multilayer perceptron，MLP）。該結(jié)構(gòu)使用殘差連接是為了防止神經(jīng)網(wǎng)絡(luò)退化。對(duì)數(shù)據(jù)進(jìn)行層歸一化有2個(gè)目的：加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度；提高訓(xùn)練過(guò)程的穩(wěn)定性。

多頭自注意力機(jī)制是把1個(gè)查詢(xún)和1套鍵–值對(duì)映射到1個(gè)輸出；輸出是1個(gè)數(shù)值的加權(quán)和集合。在該集合中，通過(guò)利用1個(gè)鍵值的查詢(xún)來(lái)計(jì)算指定的權(quán)重。多個(gè)注意力機(jī)制可以使模型在不同的位置上，對(duì)來(lái)自不同子域的信息進(jìn)行集中。多頭自注意力機(jī)制的公式如下：

式中：Q為查詢(xún)矩陣；K為鍵矩陣；V為數(shù)值矩陣；分別為矩陣Q、K、V在第i注意力頭的權(quán)重矩陣；n為多頭自注意力中頭的數(shù)量；dk為查詢(xún)值或者鍵值的尺寸。

在計(jì)算過(guò)程中，將同時(shí)對(duì)同一組進(jìn)行注意力函數(shù)的計(jì)算，然后送入矩陣Q中；鍵和值也分別送入矩陣K和V。A函數(shù)的作用是進(jìn)行注意力計(jì)算的輸出，s函數(shù)作用是將輸入進(jìn)行權(quán)重比較，hi函數(shù)的作用是進(jìn)行第i個(gè)注意力頭的計(jì)算，M函數(shù)的作用是進(jìn)行多頭自注意力的計(jì)算。C函數(shù)是折疊函數(shù)。

MLP的結(jié)構(gòu)較為簡(jiǎn)單，主要由全連接層及激活函數(shù)組成。MLP接受到多頭自注意力機(jī)制的輸出權(quán)重并且進(jìn)行比較，將故障類(lèi)型識(shí)別出來(lái)。

3 基于CNN-ViT的軸承故障診斷方法

如圖3所示，基于CNN-ViT模型的軸承故障診斷方法分為數(shù)據(jù)預(yù)處理、特征提取和故障分類(lèi)3部分。具體診斷過(guò)程如下。

圖3 故障識(shí)別流程Fig. 3 Fault identification process

（1）獲取軸承的振動(dòng)信號(hào)。

（2）利用信號(hào)轉(zhuǎn)為圖像的方法，將1維振動(dòng)信號(hào)轉(zhuǎn)化為2維灰度圖，并劃分訓(xùn)練集和測(cè)試集。

（3）將2維灰度圖片輸入到CNN中進(jìn)行特征提取。

（4）將CNN提取的特征圖片送入ViT模型中進(jìn)行歸一化位置編碼，然后送入編碼器層進(jìn)行計(jì)算，并輸出訓(xùn)練結(jié)果。

（5）訓(xùn)練完畢后，用訓(xùn)練好的模型進(jìn)行故障分類(lèi)。

4 實(shí)例分析

軸承工作數(shù)據(jù)集采用CWRU數(shù)據(jù)集[14]。實(shí)驗(yàn)平臺(tái)如圖4所示。對(duì)46205-2RS JEM SKF深溝球軸承的振動(dòng)信號(hào)進(jìn)行了采樣，采樣頻率為12 kHz。實(shí)驗(yàn)選用軸承單點(diǎn)直徑損傷分別為 0.007 mm、0.014 mm、0.021 mm。此外，根據(jù)損傷部位的不同，軸承故障分為滾動(dòng)體、內(nèi)圈、外圈故障，具體如表1所示。實(shí)驗(yàn)分析的軟硬件平臺(tái)數(shù)據(jù)如表2所示。

圖4 軸承加速壽命試驗(yàn)平臺(tái)Fig. 4 Bearing accelerated life test platform

表1 滾動(dòng)軸承故障類(lèi)型Tab. 1 Fault types of rolling bearing

表2 軟硬件實(shí)驗(yàn)平臺(tái)Tab. 2 Hardware and software experimental platform

圖5為抽取的部分正常及不同故障狀態(tài)的樣本振動(dòng)信號(hào)。

圖5 抽取的不同故障類(lèi)型振動(dòng)信號(hào)Fig. 5 Extracted vibration signals for different fault types

4.1 特征圖像的生成

CWRU數(shù)據(jù)集含有驅(qū)動(dòng)端加速度數(shù)據(jù)、風(fēng)扇端加速度數(shù)據(jù)。本文使用驅(qū)動(dòng)端加速度數(shù)據(jù)信號(hào)進(jìn)行實(shí)驗(yàn)。

4.1.1 數(shù)據(jù)增強(qiáng)

在已有的數(shù)據(jù)樣本數(shù)目有限的條件下，使用數(shù)據(jù)增強(qiáng)技術(shù)來(lái)增加樣本數(shù)目，以提高樣本多樣性、避免過(guò)擬合。本文采用重疊采樣的方式將振動(dòng)數(shù)據(jù)的波形圖進(jìn)行分割并進(jìn)行數(shù)據(jù)增強(qiáng)，如圖6所示。圖6中，每4 096個(gè)數(shù)據(jù)點(diǎn)組成1個(gè)樣本，其中實(shí)線(xiàn)框內(nèi)整個(gè)信號(hào)表示原始信號(hào)，每個(gè)虛線(xiàn)框內(nèi)的信號(hào)即為樣本信號(hào)。

圖6 重疊采樣數(shù)據(jù)增強(qiáng)示意圖Fig. 6 Schematic diagram of overlay sampling data enhancement

4.1.2 CNN上采樣

將1維信號(hào)轉(zhuǎn)化為2維灰度圖；用每次獲取的樣本產(chǎn)生1個(gè)64×64的灰度圖表。該方法能最大限度地保持1維振動(dòng)數(shù)據(jù)的2維特性，無(wú)需預(yù)處理參數(shù)，降低了對(duì)技術(shù)人員的依賴(lài)性[15]。然后，使用CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行上采樣。CNN卷積網(wǎng)絡(luò)的參數(shù)配置如表3所示。按照7:3的比例劃分訓(xùn)練集與測(cè)試集。通過(guò)CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行上采樣，能夠有效排除原始1維時(shí)域振動(dòng)數(shù)據(jù)的干擾因素，獲得2維灰度圖中更多的特征信息。經(jīng)過(guò)CNN上采樣處理之后的2維灰度圖如圖7所示。

表3 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Tab. 3 Convolutional neural network architecture

圖7 軸承故障2維灰度圖Fig. 7 Two-dimensional grayscale diagram of bearing faults

4.2 ViT模型故障識(shí)別

將處理之后的灰度圖送入ViT網(wǎng)絡(luò)進(jìn)行故障識(shí)別。ViT網(wǎng)絡(luò)的參數(shù)配置如表4所示。

表4 ViT參數(shù)配置Tab. 4 ViT parameters configuration

訓(xùn)練過(guò)程：進(jìn)行訓(xùn)練200輪；運(yùn)用隨機(jī)梯度下降法進(jìn)行梯度更新；學(xué)習(xí)率設(shè)置為0.001；使用分類(lèi)交叉熵作為損失函數(shù)，其表達(dá)式如式（7）所示；經(jīng)過(guò)訓(xùn)練后的效果如圖8所示。

圖8 ViT網(wǎng)絡(luò)訓(xùn)練過(guò)程損失值和準(zhǔn)確率的變化曲線(xiàn)Fig. 8 Variation curves of loss value and accuracy during ViT network training process

式中：M為類(lèi)別數(shù)量；yic為符號(hào)函數(shù)（0或1），在樣本i的真實(shí)類(lèi)別等于c時(shí)取1，否則取 0；pic為樣本i屬于類(lèi)別c的預(yù)測(cè)概率。

為了展示模型對(duì)不同類(lèi)型故障的識(shí)別效果，采用混淆矩陣來(lái)表示分類(lèi)結(jié)果，如圖9所示。

圖9 診斷結(jié)果混淆矩陣Fig. 9 Diagnostic result confusion matrix

從圖9可以看出，經(jīng)過(guò)多輪訓(xùn)練后，該模型的準(zhǔn)確率達(dá)到了 99.4%。這說(shuō)明，該模型不僅能分辨出故障類(lèi)型，同時(shí)對(duì)滾動(dòng)軸承的不同故障程度的分辨準(zhǔn)確率也相當(dāng)高。

4.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文所提方法的先進(jìn)性，選取CNN模型、LSTM模型以及ViT模型進(jìn)行對(duì)比分析，對(duì)比結(jié)果如表5所示。模型輸入均為經(jīng)過(guò)上采樣后的灰度圖。CNN模型中的參數(shù)配置與特征提取采用了表2的架構(gòu)，并添加了2個(gè)池化層以及4個(gè)全連接層。池化層采用最大值池化。ViT模型的參數(shù)與表3相同。LSTM模型由2個(gè)LSTM層組成，每層的LSTM神經(jīng)元有128個(gè)。

表5 不同方法的識(shí)別效果對(duì)比Tab. 5 Comparison of identification effect of different methods

從表5可以看到，本文方法與表中所列的其他深度學(xué)習(xí)模型相比，準(zhǔn)確度最高。LSTM 模型的準(zhǔn)確率為91.9%；CNN模型的準(zhǔn)確率為94.6%；ViT模型的準(zhǔn)確率為93.6%。本文方法準(zhǔn)確率達(dá)到了 99.4%，比上述模型正確率分別高了 7.5%、4.8%、5.8%。

結(jié)果分析：與LSTM模型相比，CNN模型中的卷積操作對(duì)于圖像的識(shí)別更有優(yōu)勢(shì)。ViT模型與CNN模型相比正確率僅降低了1%。ViT模型里面沒(méi)有卷積操作，是完全基于注意力機(jī)制建立起來(lái)的，由此驗(yàn)證了基于純注意力機(jī)制完成故障識(shí)別的也是可行的。本文所提模型比ViT模型準(zhǔn)確率高，分析其原因?yàn)椋河捎谝痪S時(shí)域振動(dòng)信號(hào)包含有較多的信號(hào)干擾，因此通過(guò)上采樣進(jìn)行特征信息提取能減少干擾，提高識(shí)別性能以及訓(xùn)練的穩(wěn)定性。

本文所提模型的準(zhǔn)確率雖然比上述模型要高，但是也存在著計(jì)算量大的問(wèn)題。不過(guò)在實(shí)際應(yīng)用中，該問(wèn)題所帶來(lái)的影響很小，可以忽略不計(jì)。

總之，盡管以上方法都能取得很好的識(shí)別效果，但是CNN-ViT方法具有更高的識(shí)別能力。與其他模型比較，所提模型更好地實(shí)現(xiàn)了對(duì)滾動(dòng)軸承的故障分類(lèi)。

5 結(jié)論

本文提出了一種基于 CNN-ViT的滾動(dòng)軸承故障類(lèi)型識(shí)別模型。該方法的特點(diǎn)在于：將收集到的1維時(shí)域振動(dòng)信號(hào)轉(zhuǎn)為2維灰度圖，然后通過(guò)CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行上采樣提取故障特征；將獲得的數(shù)據(jù)輸入ViT模型中進(jìn)行故障識(shí)別。

實(shí)驗(yàn)結(jié)果表明，本文所提模型在軸承故障識(shí)別中的準(zhǔn)確率為99.4%。該結(jié)果驗(yàn)證了模型的有效性。相較于其他智能在線(xiàn)診斷方法，本文所提模型準(zhǔn)確率最高，這進(jìn)一步驗(yàn)證了本文模型的優(yōu)越性。

展望：目前本文研究主要針對(duì)的是滾動(dòng)軸承的單一故障，未來(lái)將結(jié)合滾動(dòng)軸承的不同運(yùn)行工況進(jìn)行研究。