吳 雙，石宇強(qiáng)

（西南科技大學(xué) 制造科學(xué)與工程學(xué)院，綿陽 621010）

0 引言

隨著全球智能制造浪潮興起，智能工廠成為企業(yè)信息化、自動(dòng)化以后進(jìn)入智能制造的關(guān)鍵環(huán)節(jié)[1]，其中質(zhì)量控制作為制造業(yè)生命線，受到越來越多的關(guān)注[2]。在智能工廠中，高度信息化帶來的海量多源數(shù)據(jù)里包含了幾十或幾百道工序，工序特征多且存在數(shù)據(jù)異常等的情況[3]，使得控制模型需具備足夠的穩(wěn)定性和精確性。此外，工業(yè)生產(chǎn)通常在排除不期望因素的相似環(huán)境下進(jìn)行，數(shù)據(jù)相似性高，造成有直接意義的樣本比例極少[4]。這就形成了智能工廠工業(yè)大數(shù)據(jù)的特點(diǎn)：雖然存在海量產(chǎn)品質(zhì)量數(shù)據(jù)，但樣本量少而特征多。

在制造過程質(zhì)量控制方法研究中，主要分為：抽樣檢驗(yàn)法、統(tǒng)計(jì)過程控制法、智能控制法[5,6]。雖然前兩種方法可在質(zhì)量控制中取得較好效果，但在制造完成后才能實(shí)施，不能及時(shí)改變現(xiàn)有質(zhì)量狀況；而智能控制法可通過建立準(zhǔn)確合理的預(yù)測(cè)模型，滿足智能工廠提前預(yù)測(cè)質(zhì)量問題的需求。在智能控制法中，朱慧明[7]提出用Gibbs抽樣的MCMC法，構(gòu)建自相關(guān)過程貝葉斯質(zhì)量控制模型，解決工序質(zhì)量中自相關(guān)過程的質(zhì)量控制問題。蔣晉文[8]等基于設(shè)備加工參數(shù)，建立XGBoost產(chǎn)品質(zhì)量預(yù)測(cè)模型，并與gc Forest、隨機(jī)森林算法對(duì)比，驗(yàn)證了XGBoost具有更高準(zhǔn)確性。張蕾[9]為解決質(zhì)量控制延時(shí)性問題，采用BP神經(jīng)網(wǎng)絡(luò)建立預(yù)測(cè)控制模型，實(shí)現(xiàn)了機(jī)床加工誤差實(shí)時(shí)預(yù)測(cè)與反饋調(diào)節(jié)。

上述研究均促進(jìn)了產(chǎn)品質(zhì)量控制發(fā)展，但研究針對(duì)少量特定特征參數(shù)，未考慮智能工廠中多工序盲特征的海量質(zhì)量數(shù)據(jù)，且通常采用單一智能算法，極易造成預(yù)測(cè)值局部最優(yōu)或過擬合等問題，影響質(zhì)量控制精度。在反饋調(diào)節(jié)研究中，較少同時(shí)考慮高度信息化帶來的大量數(shù)據(jù)處理對(duì)預(yù)測(cè)精確性與控制實(shí)時(shí)性的影響[10]。

基于此，針對(duì)智能工廠中多特征少樣本的海量質(zhì)量數(shù)據(jù)與實(shí)時(shí)控制要求，首先設(shè)計(jì)了產(chǎn)品質(zhì)量智能預(yù)測(cè)控制的集成結(jié)構(gòu)；隨后綜合考慮BP網(wǎng)絡(luò)在海量數(shù)據(jù)處理中較好的時(shí)效性，和XGBoost在多特征少樣本數(shù)據(jù)中較好的靈活性和準(zhǔn)確性，提出一種BP-XGBoost混合模型的產(chǎn)品質(zhì)量預(yù)測(cè)控制模型。

1 質(zhì)量預(yù)測(cè)控制方法

在智能工廠大數(shù)據(jù)、云計(jì)算等提供的數(shù)據(jù)高速處理環(huán)境中，結(jié)合智能算法，提出產(chǎn)品質(zhì)量智能預(yù)測(cè)控制集成結(jié)構(gòu)，同時(shí)實(shí)現(xiàn)制造過程的質(zhì)量預(yù)測(cè)控制實(shí)時(shí)調(diào)整和預(yù)測(cè)模型精度提升。具體流程如圖1所示。

圖1 質(zhì)量預(yù)測(cè)控制集成結(jié)構(gòu)

通過傳感器采集數(shù)據(jù)信息，將采集到的運(yùn)行數(shù)據(jù)（分別為工序數(shù)和特征數(shù)）進(jìn)行清洗篩選等處理，利用相關(guān)分析提取特征工程，實(shí)現(xiàn)數(shù)據(jù)降維，再用BPXGBoost模型預(yù)測(cè)產(chǎn)品質(zhì)量均方誤差，沒有超過閾值的即質(zhì)量合格，超過閾值數(shù)據(jù)將繼續(xù)預(yù)測(cè)質(zhì)量問題特性值，診斷質(zhì)量問題類別，再反饋到設(shè)備中，利用智能算法實(shí)現(xiàn)加工過程的實(shí)時(shí)監(jiān)控和預(yù)警（如圖2所示）。預(yù)先發(fā)現(xiàn)工序問題，防止流入后道工序中，降低生產(chǎn)成本，優(yōu)化產(chǎn)品良率，且能實(shí)現(xiàn)加工過程的自動(dòng)調(diào)整，提高工廠運(yùn)行的智能化。

2 質(zhì)量預(yù)測(cè)控制模型構(gòu)建及數(shù)據(jù)處理

在智能工廠MES系統(tǒng)質(zhì)量控制中，設(shè)備信息化運(yùn)行過程中獲取大量工業(yè)數(shù)據(jù)，其挖掘和分析結(jié)果在質(zhì)量體系中可應(yīng)用于包括產(chǎn)品質(zhì)量預(yù)測(cè)、產(chǎn)品質(zhì)量控制和工業(yè)綠色發(fā)展在內(nèi)各個(gè)環(huán)節(jié)。控制層的實(shí)時(shí)感知與智能算法結(jié)合實(shí)現(xiàn)產(chǎn)品質(zhì)量問題預(yù)測(cè)，同時(shí)調(diào)節(jié)控制相關(guān)設(shè)備，保障產(chǎn)品質(zhì)量控制的實(shí)時(shí)準(zhǔn)確。

2.1 問題描述

智能工廠制造過程工業(yè)數(shù)據(jù)里可包含幾百道以上工序，每道工序特征不唯一，且數(shù)據(jù)由儀器采集可能存在異常。由于工業(yè)數(shù)據(jù)通常在既定常態(tài)運(yùn)行模式下獲取，對(duì)干擾因素會(huì)進(jìn)行相應(yīng)壓制，在相似環(huán)境下獲取的大量數(shù)據(jù)相似度極高，造成樣本獲取不均衡，樣本量低而特征維度多。尤其對(duì)于工業(yè)領(lǐng)域預(yù)測(cè)控制實(shí)驗(yàn)（如產(chǎn)線機(jī)器故障、有害物體泄露等）成本或風(fēng)險(xiǎn)太高[3]，實(shí)際上要提供足夠的異常情況樣本也是不現(xiàn)實(shí)的。

2.2 質(zhì)量預(yù)測(cè)控制模型

基于上述情況，采用單一的智能算法直接進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練預(yù)測(cè)模型，極易造成預(yù)測(cè)值局部最優(yōu)或過擬合等問題，無法真正有效學(xué)到訓(xùn)練集中的分布。因此要將其海量數(shù)據(jù)進(jìn)行預(yù)處理后降維，提取核心特征，對(duì)質(zhì)量問題進(jìn)行二分類。再根據(jù)預(yù)測(cè)值將問題工序質(zhì)量數(shù)據(jù)導(dǎo)入適應(yīng)于多特征少樣本的模型判斷其問題類別，并進(jìn)行反饋。

神經(jīng)網(wǎng)絡(luò)利用時(shí)空位置建?？梢暂^好的捕捉圖像或語音等大單位數(shù)據(jù)。但當(dāng)沒有足夠的訓(xùn)練數(shù)據(jù)來匹配特征維度，并且網(wǎng)絡(luò)深度過高模型復(fù)雜時(shí)，支持線性分類器的XGBoost就顯現(xiàn)出了優(yōu)勢(shì)[11]：

1）XGBoost可每次提升過程迭代時(shí)運(yùn)行交叉驗(yàn)證，易在一次運(yùn)行中獲得精確的最佳提升迭代次數(shù)；

2）防止過擬合：損失函數(shù)中加入正則項(xiàng)，使模型簡(jiǎn)單化，column_subsampling即特征抽樣，也可防止過擬合并有利于并行化處理；

3）自動(dòng)學(xué)習(xí)分裂缺失值節(jié)點(diǎn)方向，填補(bǔ)缺失值；

4）XGBoost允許自定義優(yōu)化目標(biāo)和評(píng)估標(biāo)準(zhǔn)。增加模型可解釋度，且shrinkage縮減為每層樹模型增加權(quán)重參數(shù)，提供模型優(yōu)化空間；

5）XGBoost支持并行，提高計(jì)算速度。

在智能工廠運(yùn)行的工業(yè)數(shù)據(jù)質(zhì)量控制中，綜合考慮BP神經(jīng)網(wǎng)絡(luò)處理海量數(shù)據(jù)的高效，及XGBoost算法處理多特征少樣本大維度數(shù)據(jù)的準(zhǔn)確性、靈活性及模型可解釋性，提出基于BP-XGBoost混合模型實(shí)現(xiàn)產(chǎn)品質(zhì)量預(yù)測(cè)控制（如圖2所示），簡(jiǎn)化模型參數(shù)的同時(shí)提高模型穩(wěn)定性、精確性和運(yùn)行效率。

圖2 BP-XGBoost產(chǎn)品預(yù)測(cè)控制模型流程

1）數(shù)據(jù)預(yù)處理

在智能工廠運(yùn)行狀態(tài)下，對(duì)初始數(shù)據(jù)Xij（i、j分別為工序數(shù)和特征數(shù)）進(jìn)行數(shù)據(jù)清洗，剔除丟失超過50%的列、重復(fù)列、時(shí)間序列等相關(guān)性小的特征維度。并通過one—hot對(duì)設(shè)備型號(hào)Object進(jìn)行數(shù)字編碼，即創(chuàng)建二進(jìn)制向量表達(dá)機(jī)器型號(hào)。用中位數(shù)填補(bǔ)剩余缺失值，并通過式(1)對(duì)Xij進(jìn)行歸一化處理，將原始數(shù)據(jù)線性變換后映射到[0，1]之間，方便之后計(jì)算。

其中Xmin為最小樣本值，Xmax為最大樣本值。

2）特征工程提取

在多工序多維度的盲特征條件下，需要進(jìn)行不相關(guān)或冗余特征的剔除，減少有效特征個(gè)數(shù)，提高模型精度和運(yùn)行效率。用pearson相關(guān)系數(shù)計(jì)算變量間的線性關(guān)系，由式(2)求得pearson相關(guān)系數(shù)r：

中相關(guān)系數(shù)值r∈[-1，1]，+1表示正相關(guān)，-1表示負(fù)相關(guān)，是數(shù)據(jù)集Xij的平均數(shù)，Y是數(shù)據(jù)集Y的平均數(shù)，SX、SY分別為數(shù)據(jù)集Xij、Y的標(biāo)準(zhǔn)差，N是樣本數(shù)。

3）構(gòu)建訓(xùn)練集與測(cè)試集

將實(shí)例數(shù)據(jù)劃分測(cè)試集和訓(xùn)練集，導(dǎo)入提取后的特征工程Xn（特征數(shù)n=1，2，…，N*）到BP網(wǎng)絡(luò)，如圖3所示。

圖3 BP網(wǎng)絡(luò)結(jié)構(gòu)圖

將特征工程Xn輸入BP網(wǎng)絡(luò)，通過式(3)得到第一層網(wǎng)絡(luò)計(jì)算參數(shù)Z1n（其中W1是隱藏層權(quán)值，b1n是Xn偏向量），A1n是Z1n的雙曲正切函數(shù)（tanh），A1n∈[-1，1]。同理式(4)得第二層網(wǎng)絡(luò)計(jì)算參數(shù)Z2n，激活為A2n。求得損失函數(shù)Cost，如式(5)所示（其中N*是特征提取數(shù)，Yn是實(shí)際值），損失函數(shù)越小，準(zhǔn)確率越高。

4）進(jìn)行質(zhì)量預(yù)測(cè)

當(dāng)損失函數(shù)足夠小時(shí)，進(jìn)行模型驗(yàn)證，由式(6)計(jì)算預(yù)測(cè)值Ypre，并對(duì)Ypre進(jìn)行問題產(chǎn)品和合格產(chǎn)品二分類，其中y0是判斷閾值，當(dāng)A2n＞y0時(shí)，產(chǎn)品為問題質(zhì)量；當(dāng)A2n≤y0時(shí)，產(chǎn)品合格。

對(duì)樣本問題工序預(yù)測(cè)值A(chǔ)2n（A2n＞y0）的工序加權(quán)缺陷數(shù)進(jìn)行排列，如表1所示，其中a＜b＜c，ki、Di（i=1，2，3，4，5）為常數(shù)。

表1 預(yù)測(cè)值工序加權(quán)缺陷數(shù)

根據(jù)預(yù)測(cè)值取Ypre=1的問題數(shù)據(jù)導(dǎo)入XGBoost模型，并將該預(yù)測(cè)值區(qū)間的工序加權(quán)缺陷數(shù)從大到小排列，優(yōu)先導(dǎo)入最大可能缺陷工序，判斷是否合格，如合格則進(jìn)行該預(yù)測(cè)區(qū)間加權(quán)缺陷排序第二大工序的質(zhì)量問題判斷，以此列推，找到問題工序，導(dǎo)入XGBoost模型（如圖4所示），其中Xij（i為工序數(shù)字，j為特征數(shù)字），δ1、δ2分別為工序i的Xi1、Xi2特征閾值，W為樹模型葉子權(quán)重。

圖4 XGBoost工序i的質(zhì)量預(yù)測(cè)

用XGBoost建立多個(gè)并行分布式預(yù)測(cè)樹，對(duì)于第i個(gè)工序的j個(gè)特征，導(dǎo)入數(shù)據(jù)集Di=（Xi1，h1），（Xi2，h2），…，（Xij，hj），判斷問題工序的問題特征。每個(gè)樣本的質(zhì)量預(yù)測(cè)結(jié)果yipre是每棵樹預(yù)測(cè)分?jǐn)?shù)和，如式(7)所示，其中是 Γ伽馬函數(shù)。

XGBoost分裂節(jié)點(diǎn)損失函數(shù)是誤差函數(shù)和正則化向之和，如式(8)所示。表示i工序第j個(gè)樣本的預(yù)測(cè)誤差?！苆Ω(fj)表示樹的復(fù)雜度函數(shù)，具體如式(9)所示，誤差函數(shù)越小，模型預(yù)測(cè)越準(zhǔn)確。

其中T表示葉子節(jié)點(diǎn)個(gè)數(shù)，ω表示節(jié)點(diǎn)數(shù)量。

5）質(zhì)量控制

提取問題工序不合格特征設(shè)備編碼，進(jìn)行反饋預(yù)警，并分析問題質(zhì)量特征值大/小，使相應(yīng)設(shè)備上升/下降最小單位參數(shù)（如0.01），等待進(jìn)一步反饋信息，繼續(xù)調(diào)節(jié)/停止調(diào)節(jié)。

3 仿真驗(yàn)證

為驗(yàn)證模型性能，對(duì)比BP網(wǎng)絡(luò)和XGBoost算法性能與其混合模型的精確性和穩(wěn)定性，以信息化程度高的半導(dǎo)體產(chǎn)業(yè)數(shù)據(jù)為例，基于中國(guó)天池?cái)?shù)據(jù)實(shí)驗(yàn)室TFT-LCD（薄膜晶體管液晶顯示器）反應(yīng)機(jī)臺(tái)的溫度，氣體，液體流量，功率，制成時(shí)間等因子數(shù)據(jù)，對(duì)三種方法進(jìn)行驗(yàn)證比較。

該仿真數(shù)據(jù)訓(xùn)練樣本少（500例），而特征維度多（每例數(shù)據(jù)包含8029列字段）：包含幾百道以上的工序，不同工序用字段名字區(qū)分，例如 210X1，210X2。300X1，300X2。字段中的TOOL_ID為每道工序使用的機(jī)臺(tái)，數(shù)據(jù)中存在缺失值。借助python3.6平臺(tái)實(shí)現(xiàn)對(duì)TFT-LCD產(chǎn)品質(zhì)量預(yù)測(cè)控制模型的仿真實(shí)驗(yàn)，通過前期數(shù)據(jù)預(yù)處理，仍余6851維數(shù)據(jù)，求得pearson系數(shù)按相關(guān)性排序如圖5所示。

圖5 部分?jǐn)?shù)據(jù)pearson相關(guān)性系數(shù)熱圖

為方便觀察，按相關(guān)性由大到小輸出pearson相關(guān)系數(shù)的兩兩相關(guān)，部分系數(shù)如表2所示。

分析數(shù)據(jù)，選取不同相關(guān)性特征進(jìn)行相關(guān)性查看，如圖6所示，發(fā)現(xiàn)特征值存在階段性，為保證每個(gè)階段都有取值，實(shí)例數(shù)據(jù)特征選取相關(guān)性強(qiáng)的前100維數(shù)據(jù)。

表2 pearson系數(shù)由大到小排列

為對(duì)比算法性能，將特征工程導(dǎo)入BP、XGBoost模型中，并以公式(10)的均方誤差作為訓(xùn)練收斂評(píng)估標(biāo)準(zhǔn)，BP網(wǎng)絡(luò)和XGBoost模型誤差收斂如圖7所示。

圖6 質(zhì)量特征兩兩相關(guān)數(shù)據(jù)圖

由圖7可以看出XGBoost在200次迭代后已開始收斂，模型穩(wěn)定。輸出訓(xùn)練集準(zhǔn)確率0.960，測(cè)試集準(zhǔn)確率0.720。BP網(wǎng)絡(luò)訓(xùn)練收斂較慢，輸出訓(xùn)練集準(zhǔn)確率0.931，測(cè)試集準(zhǔn)確率0.691。與BP神經(jīng)網(wǎng)絡(luò)相比，在多特征少樣本的訓(xùn)練數(shù)據(jù)下，XGBoost模型訓(xùn)練收斂速度更快。

圖7 三層BP神經(jīng)網(wǎng)絡(luò)、XGBoost均方誤差曲線圖

采用基于BP-XGBoost混合模型建立的產(chǎn)品質(zhì)量預(yù)測(cè)控制模型，先用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行質(zhì)量問題的二分類，分為合格產(chǎn)品和不合格產(chǎn)品（如圖8所示），將不合格質(zhì)量集導(dǎo)入XGBoost模型中，重復(fù)XGBoost單模型調(diào)參，輸出訓(xùn)練集準(zhǔn)確率0.980，測(cè)試集準(zhǔn)確率0.813。

圖8 質(zhì)量預(yù)測(cè)值二分類

在智能工廠高維海量數(shù)據(jù)的背景下，為更直觀對(duì)比三種方法，將對(duì)各模型進(jìn)行匯總比較，如表3所示。

表3 模型評(píng)估

對(duì)BP-XGBoost來說，在三個(gè)模型中效果是最佳的，不管是訓(xùn)練集還是測(cè)試集表現(xiàn)都較優(yōu)，其中測(cè)試集Y值達(dá)到了0.813，三個(gè)質(zhì)量預(yù)測(cè)值和真實(shí)值的曲線圖如圖9所示，表明在分類的精準(zhǔn)度上還是穩(wěn)定程度都要略優(yōu)于其他兩個(gè)單模型模型。

圖9 三個(gè)模型預(yù)測(cè)值（黑）和真實(shí)值（灰）曲線圖

從樣本空間來說，BP神經(jīng)網(wǎng)絡(luò)處理大量數(shù)據(jù)的用時(shí)更短，XGBoost對(duì)位于正負(fù)樣本邊界的數(shù)據(jù)分類更精準(zhǔn)。XGBoost的梯度提升可以有效降低預(yù)測(cè)值的偏差，在迭代過程中能夠持續(xù)擬合上一次的殘差，而BP神經(jīng)網(wǎng)絡(luò)當(dāng)樣本噪聲干擾大時(shí)很容易就過擬合了，與BP神經(jīng)網(wǎng)絡(luò)和XGBoost單模型相比，BP-XGBoost混合模型經(jīng)過了二次分類的效果更穩(wěn)健，且對(duì)應(yīng)合適的算法其處理速度更快更準(zhǔn)確。

4 結(jié)語

本文針對(duì)智能工廠多特征少樣本與海量數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)了適應(yīng)智能工廠的質(zhì)量預(yù)測(cè)控制集成架構(gòu)，并依托該構(gòu)架，構(gòu)建基于BP-XGBoost的產(chǎn)品質(zhì)量預(yù)測(cè)控制模型，該模型通過相關(guān)系數(shù)、BP神經(jīng)網(wǎng)絡(luò)、XGboost等方法，進(jìn)行數(shù)據(jù)預(yù)處理、數(shù)據(jù)降維、分類和質(zhì)量問題分析反饋，最終達(dá)到有效控制產(chǎn)品質(zhì)量的目的，為智能工廠的數(shù)據(jù)處理、加工過程優(yōu)化、生產(chǎn)成本降低、企業(yè)競(jìng)爭(zhēng)力提升提供了較為可靠的參考依據(jù)。