游達(dá)章，陶加濤，許文俊，張業(yè)鵬

(1.湖北工業(yè)大學(xué)機(jī)械工程學(xué)院，湖北武漢 430068；2.湖北省現(xiàn)代制造質(zhì)量工程重點(diǎn)實(shí)驗(yàn)室，湖北武漢 430068)

0 前言

嵌入式數(shù)控系統(tǒng)一般由幾個(gè)模塊組成，如主任務(wù)模塊、譯碼模塊、加減速模塊等，如圖1所示。這些模塊在數(shù)控系統(tǒng)運(yùn)行過程中產(chǎn)生大量的數(shù)據(jù)，如各軸運(yùn)動(dòng)的步數(shù)、位置、速度、加減速等。這些數(shù)據(jù)反映了控制系統(tǒng)的實(shí)時(shí)性能，通過這些數(shù)據(jù)的異?？膳袛嘞到y(tǒng)功能模塊是否發(fā)生故障。通過統(tǒng)計(jì)分析這些模塊故障，對(duì)數(shù)控系統(tǒng)進(jìn)行優(yōu)化與改進(jìn)，對(duì)其可靠性增長(zhǎng)有重要意義。

圖1 嵌入式數(shù)控系統(tǒng)功能模塊調(diào)用

國(guó)內(nèi)外學(xué)者對(duì)數(shù)控系統(tǒng)的故障診斷與預(yù)測(cè)做了大量的研究工作。陳同興等通過收集加工中心的各類警報(bào)信息，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)理論對(duì)數(shù)控加工中心的故障預(yù)測(cè)進(jìn)行了研究。房啟成等在進(jìn)行機(jī)床故障診斷研究時(shí)，提出了一種基于多源信息融合與高斯隨機(jī)映射的數(shù)控機(jī)床故障診斷方法。李海等人采用壓縮算法對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行了優(yōu)化，提出了一種利用時(shí)間序列相關(guān)性來(lái)預(yù)測(cè)機(jī)床性能的方法，并建立了Petri網(wǎng)模型，對(duì)五軸機(jī)床故障診斷進(jìn)行了研究。

以上方法對(duì)數(shù)控機(jī)床不同方面的故障診斷取得了較好的效果，但是對(duì)于數(shù)控系統(tǒng)模塊的故障診斷缺乏有效方法。近年來(lái)，對(duì)于數(shù)據(jù)的處理，以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)在這方面得到了廣泛的應(yīng)用。因此，本文作者提出了一種CNN-RF集成學(xué)習(xí)的故障診斷方法，采用Stacking集成策略將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)和隨機(jī)森林(Random Forest，RF)融合。為驗(yàn)證模型的有效性，用嵌入式數(shù)控系統(tǒng)采集到的模塊數(shù)據(jù)進(jìn)行驗(yàn)證。

1 基本原理介紹

1.1 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它憑借著自帶特征提取和權(quán)值共享的優(yōu)勢(shì)在許多領(lǐng)域被應(yīng)用。它一般包括卷積層、池化層和全連接層。

1.1.1 卷積層

卷積層利用可調(diào)參數(shù)組成的卷積核與輸入數(shù)據(jù)進(jìn)行卷積操作，得到輸出。卷積操作的數(shù)學(xué)表達(dá)式為

(1)

采用ReLU函數(shù)衍生出的ELU激活函數(shù)，其數(shù)學(xué)表達(dá)式為

(2)

1.1.2 池化層

池化層(pooling)的作用主要是降低維度，通過對(duì)卷積后的結(jié)果進(jìn)行降采樣來(lái)降低維度，分為最大池化和平均池化兩類。文中采用最大值池化，其數(shù)學(xué)表達(dá)式為

=[()+]

(3)

式中：為輸出；(·)為激活函數(shù)；為乘性偏置；()為降采樣函數(shù)；為偏置項(xiàng)。

1.1.3 全連接層

全連接層在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中處于最后，它是利用卷積和池化層得到的數(shù)據(jù)特征向量對(duì)數(shù)據(jù)進(jìn)行分類。最后的分類器通常采用Softmax分類器。假設(shè)對(duì)于類的分類問題，Softmax分類器的數(shù)學(xué)表達(dá)式為

(4)

式中：(1≤≤)為模型的參數(shù)；()為模型的輸出。

1.2 隨機(jī)森林原理

隨機(jī)森林是由BREIMAN提出的一種機(jī)器學(xué)習(xí)方法，是一個(gè)包含許多決策樹的集成分類器。

隨機(jī)森林有著更快的訓(xùn)練速度、更高的預(yù)測(cè)和更強(qiáng)的魯棒性。它基于打包思想在隨機(jī)選擇的特征子集中選擇最佳分割模式。通過使用boostrap獲得個(gè)樣本，并通過多數(shù)票獲得最終結(jié)果。

RF包含個(gè)決策樹{(),=1,2…,}，其中={,,…,}。是信號(hào)的維特征向量。最終輸出=(),其中：=1,2…,，為個(gè)樹的最終決策。

在隨機(jī)森林算法中，有2個(gè)參數(shù)非常重要：一個(gè)是決策樹的數(shù)量，另一個(gè)是每個(gè)節(jié)點(diǎn)的隨機(jī)子集。2個(gè)變量的設(shè)置要根據(jù)特征總數(shù)以及分類的準(zhǔn)確性和訓(xùn)練時(shí)間決定。

1.3 Stacking集成模型

Stacking模型通過組合多種不同機(jī)器學(xué)習(xí)算法提升分類器的泛化性能。在Stacking中，將被組合的機(jī)器學(xué)習(xí)模型稱為基學(xué)習(xí)器，而組合基學(xué)習(xí)器的稱為元學(xué)習(xí)器。Stacking模型結(jié)構(gòu)如圖2所示。

圖2 Stacking模型示意

Stacking模型在訓(xùn)練過程中，為了防止訓(xùn)練出的模型產(chǎn)生過擬合，在模型建立前對(duì)模型進(jìn)行交叉驗(yàn)證。其中，折交叉驗(yàn)證應(yīng)用最為廣泛。

2 基于CNN與RF組合的故障診斷

2.1 故障診斷模型的建立

文中所用的數(shù)據(jù)集，由于是數(shù)控模塊產(chǎn)生的數(shù)據(jù)，其正常數(shù)據(jù)量大，錯(cuò)誤數(shù)據(jù)量小，導(dǎo)致數(shù)據(jù)不平衡。因此提出CNN與RF集成學(xué)習(xí)模型進(jìn)行故障識(shí)別，其診斷流程如圖3所示。

圖3 CNN-RF集成模型診斷流程框圖

在模型結(jié)構(gòu)中，CNN和RF模型當(dāng)作基學(xué)習(xí)器，而元學(xué)習(xí)器采用Logistic Regression(LR)算法。LR算法是一個(gè)穩(wěn)定性好、分類速度快且能涵蓋全部特征的算法。

由圖3可以看出：CNN-RF集成模型一共分為兩層，在訓(xùn)練CNN與RF單獨(dú)模型時(shí)，將訓(xùn)練集5折，其中4折分別用于第一層中的CNN和RF中，然后用第一層訓(xùn)練好的模型預(yù)測(cè)被留下的1折訓(xùn)練集，得到綜合診斷結(jié)果，再通過概率輸出的形式將診斷結(jié)果組合成新數(shù)據(jù)集，作為元學(xué)習(xí)器的輸入，訓(xùn)練完元學(xué)習(xí)器LR模型后，得到最終的預(yù)測(cè)結(jié)果。其單模型的5折交叉驗(yàn)證過程如圖4所示。

為使元學(xué)習(xí)器更加高效、分類性能更好，對(duì)LR算法的超參數(shù)進(jìn)行設(shè)定。其中，優(yōu)化算法參數(shù)(solver)選用sag優(yōu)化方法；分類方式選擇參數(shù)(mult_class)選用many-vs-many(MvM)分類方式；類型權(quán)重參數(shù)(class_weight)選用balanced。其分類計(jì)算過程如下：

在第1.3節(jié)中個(gè)基學(xué)習(xí)器輸出組成的新數(shù)據(jù)集為

(5)

其中第個(gè)樣本：

(6)

其多項(xiàng)邏輯斯蒂回歸模型為

(7)

(8)

式中：為權(quán)重值。

圖4 單模型5折交叉法示意

2.2 模型評(píng)價(jià)指標(biāo)

由于文中研究的嵌入式數(shù)控系統(tǒng)故障診斷屬于分類問題，為更好地評(píng)價(jià)預(yù)測(cè)值與實(shí)測(cè)值之間的差異，采用準(zhǔn)確值、精確值、召回率、分?jǐn)?shù)以及混淆矩陣進(jìn)行評(píng)價(jià)。其值均為0～1。計(jì)算公式分別為

(9)

(10)

(11)

(12)

其中：為被模型預(yù)測(cè)為正的正樣本；為被模型預(yù)測(cè)為正的負(fù)樣本；為被模型預(yù)測(cè)為負(fù)的正樣本；為被模型預(yù)測(cè)為負(fù)的負(fù)樣本。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)的來(lái)源與選取

該實(shí)驗(yàn)的數(shù)據(jù)來(lái)源于課題組自主研發(fā)的嵌入式數(shù)控實(shí)驗(yàn)臺(tái)，如圖5所示，主要由伺服電機(jī)、直線滑臺(tái)、伺服驅(qū)動(dòng)器等組成。

圖5 實(shí)驗(yàn)臺(tái)

在數(shù)控機(jī)床的運(yùn)行過程中，系統(tǒng)內(nèi)部各個(gè)模塊輸出的數(shù)據(jù)，通過在數(shù)控系統(tǒng)中用“插樁”的形式，可以快速提取其中的大量時(shí)序數(shù)據(jù)作為試驗(yàn)訓(xùn)練數(shù)據(jù)。通過實(shí)驗(yàn)臺(tái)采集，得到如表1所示的數(shù)據(jù)集。經(jīng)過預(yù)處理后給它們貼上標(biāo)簽，以便后續(xù)進(jìn)行模型訓(xùn)練。

表1 實(shí)驗(yàn)樣本數(shù)據(jù)集

3.2 基學(xué)習(xí)器模型訓(xùn)練

在CNN模型訓(xùn)練過程中，訓(xùn)練集與驗(yàn)證集最優(yōu)模型的損失值及診斷準(zhǔn)確率隨迭代步數(shù)的變動(dòng)如圖6所示?？梢姡寒?dāng)?shù)螖?shù)達(dá)到40次后，模型呈現(xiàn)收斂趨勢(shì)。其網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。

圖6 準(zhǔn)確率和損失值變化曲線

表2 CNN模型的超參數(shù)設(shè)置

為使RF模型達(dá)到良好的訓(xùn)練效果，需要調(diào)整決策樹的數(shù)目，如圖7所示?？芍寒?dāng)=60時(shí)，其袋外樣本數(shù)(oob_score)趨于收斂，模型的泛化能力達(dá)到最大，模型達(dá)到最優(yōu)。因此，文中RF模型算法的超參數(shù)為葉子節(jié)點(diǎn)最小樣本數(shù)量為1、節(jié)點(diǎn)劃分最小樣本數(shù)量為2、樹的數(shù)目為150。

圖7 oob_score隨決策樹個(gè)數(shù)變化曲線

3.3 CNN-RF集成模型性能驗(yàn)證

為驗(yàn)證CNN-RF集成模型對(duì)嵌入式數(shù)控故障的診斷效果，用混淆矩陣可視化地展示診斷模型對(duì)各個(gè)故障類型的判別結(jié)果，如圖8—圖10所示?？梢钥闯觯嚎赡苁怯捎跇颖敬嬖诓痪庑?，導(dǎo)致了少量故障判別錯(cuò)誤，但相較于RF模型和CNN模型，CNN-RF集成模型對(duì)故障的診斷準(zhǔn)確率較高。由表3可看出：CNN-RF集成模型在整體診斷準(zhǔn)確率上也優(yōu)于兩個(gè)單一模型。各模型中各故障類別的分類性能比較如表4所示?？梢钥闯觯篊NN-RF模型中各個(gè)類型故障在精確率、召回率和指標(biāo)中均優(yōu)于RF和CNN模型。

圖8 RF模型的混淆矩陣

圖9 CNN模型的混淆矩陣

圖10 CNN-RF模型的混淆矩陣

表3 RF、CNN和CNN-RF模型診斷結(jié)果

表4 RF、CNN和CNN-RF模型性能比較

可見：CNN模型和RF模型在經(jīng)過Stacking集成融合后，充分利用了卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取數(shù)據(jù)特征和隨機(jī)森林分類性能優(yōu)越的優(yōu)勢(shì)，對(duì)嵌入式數(shù)控系統(tǒng)模塊的故障診斷性能有一定的提升效果。

3.4 不同故障診斷模型性能比較

為進(jìn)一步驗(yàn)證CNN-RF集成模型的診斷效果，將它與其他機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比。對(duì)比實(shí)驗(yàn)分為兩類，第一類是與其他單一機(jī)器學(xué)習(xí)對(duì)比，包括支持向量機(jī)(SVM)、梯度提升樹(GBR)和多層感知機(jī)神經(jīng)網(wǎng)絡(luò)(MLP)；第二類是將這3個(gè)單一模型分別與CNN進(jìn)行集成融合后進(jìn)行對(duì)比。為使模型性能達(dá)到最優(yōu)，3個(gè)模型的超參數(shù)設(shè)定如表5所示。經(jīng)過實(shí)驗(yàn)驗(yàn)證，不同診斷模型性能比較如圖11所示。

表5 各模型的超參數(shù)

圖11 不同診斷模型性能比較

由圖11可知，在第一類實(shí)驗(yàn)中，CNN模型的故障診斷準(zhǔn)確率相比于RF、SVM、MLP、GBR模型分別高出3.64%、19.84%、8.68%、6.96%，表明CNN模型對(duì)于該故障的診斷準(zhǔn)確度最好。雖然RF、GBR和MLP模型也有著較高的診斷效果，但相比于CNN還是有差距。其中SVM模型的整體分類效果最差，評(píng)價(jià)指標(biāo)較低，這是因?yàn)樗鼘?duì)數(shù)據(jù)集存在的不均衡問題比較敏感，影響了整體的診斷效果。在第二類實(shí)驗(yàn)中， CNN-RF性能相比其他模型性能提升最大，故障診斷準(zhǔn)確率提高了2.74%。CNN-GBR集成模型相比CNN是負(fù)提升；CNN-SVM和CNN-MLP模型相比CNN模型的準(zhǔn)確率提升不大。由此可以看出，CNN-RF集成模型的診斷分類性能最佳。

4 總結(jié)

針對(duì)嵌入式數(shù)控系統(tǒng)模塊故障診斷的研究，本文作者采用深度學(xué)習(xí)方法，通過實(shí)驗(yàn)結(jié)果得到以下結(jié)論：

(1)卷積神經(jīng)網(wǎng)絡(luò)憑借自身自適應(yīng)提取特征的優(yōu)勢(shì)，在嵌入式數(shù)控系統(tǒng)模塊故障診斷中取得了良好的效果。其故障診斷準(zhǔn)確率相比傳統(tǒng)機(jī)器學(xué)習(xí)的RF、SVM、MLP和GBR模型分別高出3.64%、19.84%、8.68%、6.96%，證明了深度學(xué)習(xí)網(wǎng)絡(luò)在嵌入式數(shù)控系統(tǒng)模塊故障診斷以及分類方面的可行性；

(2)通過Stacking集成方法將CNN模型與其他模型集成融合，通過指標(biāo)評(píng)估對(duì)比，發(fā)現(xiàn)集成后的模型效果更優(yōu)，其中 CNN-RF集成模型在數(shù)控系統(tǒng)故障方面的診斷性能最佳；CNN-RF集成模型同時(shí)利用了卷積神經(jīng)網(wǎng)絡(luò)特征提取能力強(qiáng)的優(yōu)勢(shì)和隨機(jī)森林分類性能好、能提供平衡數(shù)據(jù)集誤差方法的優(yōu)勢(shì)，進(jìn)一步提高了對(duì)故障的診斷性能，其故障診斷準(zhǔn)確率提升了2.74%。因此采用Stacking集成方法融合CNN和RF模型是一種有效的嵌入式數(shù)控機(jī)床系統(tǒng)模塊故障診斷模型，為嵌入式數(shù)控機(jī)床系統(tǒng)模塊及其他故障診斷提供了一種新思路。