楊 靜，董寶力

（浙江理工大學(xué)機(jī)械與自動(dòng)控制學(xué)院，浙江杭州 310018）

0 引言

傳統(tǒng)產(chǎn)品過(guò)程質(zhì)量管控以抽樣檢查和統(tǒng)計(jì)方法為主，存在管控滯后問(wèn)題，無(wú)法根據(jù)監(jiān)測(cè)到的過(guò)程質(zhì)量數(shù)據(jù)及時(shí)反饋產(chǎn)品信息［1］。隨著產(chǎn)品復(fù)雜度提高，過(guò)程質(zhì)量數(shù)據(jù)急劇增多且存在噪聲數(shù)據(jù)［2］。針對(duì)多工序生產(chǎn)過(guò)程質(zhì)量數(shù)據(jù)的多特征、多噪聲特性［3］，建立產(chǎn)品質(zhì)量預(yù)測(cè)模型，可以更好地利用產(chǎn)品過(guò)程質(zhì)量數(shù)據(jù)對(duì)生產(chǎn)過(guò)程進(jìn)行實(shí)時(shí)監(jiān)控與分析，對(duì)保證產(chǎn)品生產(chǎn)質(zhì)量具有重要意義。

多工序質(zhì)量預(yù)測(cè)研究較多，梳理出以下研究?jī)?nèi)容：針對(duì)加工樣本數(shù)據(jù)不足和加工誤差難監(jiān)測(cè)等問(wèn)題，研究賦值型誤差傳遞網(wǎng)絡(luò)多工序加工質(zhì)量預(yù)測(cè)方法［4］；采用PSO 算法優(yōu)化支持向量機(jī)參數(shù)，用于質(zhì)量預(yù)測(cè)模型的尋優(yōu)［5］，但該方法未考慮數(shù)據(jù)本身對(duì)模型性能的影響；在多工序質(zhì)量預(yù)測(cè)中采用尺寸關(guān)聯(lián)和偏最小二乘算法提取關(guān)鍵特征［6］，但未考慮數(shù)據(jù)噪聲和小樣本問(wèn)題；針對(duì)數(shù)據(jù)特征復(fù)雜、高維、多噪聲和異常值等問(wèn)題，采用PCA 與改進(jìn)的RNN 構(gòu)建產(chǎn)品質(zhì)量預(yù)測(cè)模型［7］；考慮數(shù)據(jù)類型的不同，在質(zhì)量預(yù)測(cè)模型訓(xùn)練階段采用半監(jiān)督堆疊自編碼器（SS-SAE），自適應(yīng)調(diào)整訓(xùn)練策略［8］。多工序質(zhì)量預(yù)測(cè)需要綜合考慮過(guò)程質(zhì)量數(shù)據(jù)，但針對(duì)多特征、多噪聲的研究較少。

深度學(xué)習(xí)是產(chǎn)品質(zhì)量預(yù)測(cè)的一種機(jī)器學(xué)習(xí)方法，利用深度置信網(wǎng)絡(luò)（DBN）進(jìn)行無(wú)監(jiān)督特征學(xué)習(xí)，將學(xué)習(xí)到的特征輸入質(zhì)量預(yù)測(cè)模型［9］；采用DFAEs 進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，完成軸承故障模式識(shí)別［10］；采用Autoencoder-BLSTM 混合模型，對(duì)航空發(fā)動(dòng)機(jī)壽命進(jìn)行預(yù)測(cè)［11］。以上研究中未考慮數(shù)據(jù)噪聲問(wèn)題，不適于多工序過(guò)程質(zhì)量預(yù)測(cè)。

本文以多工序制造為研究對(duì)象，針對(duì)多工序制造過(guò)程質(zhì)量數(shù)據(jù)多特征、多噪聲特性，提出一種基于收縮自編碼器—深度神經(jīng)網(wǎng)絡(luò)CAE-DNN 的質(zhì)量預(yù)測(cè)模型。通過(guò)訓(xùn)練CAE 特征提取原始數(shù)據(jù)中存在的噪聲，提升DNN 預(yù)測(cè)模型的魯棒性，增加BN 層、Dropout 和L2 正則化。以天池TFTLCD（薄膜晶體管液晶顯示器）的生產(chǎn)過(guò)程質(zhì)量數(shù)據(jù)為例，研究建立多工序質(zhì)量預(yù)測(cè)模型。TFT-LCD 生產(chǎn)及工序復(fù)雜，產(chǎn)品關(guān)鍵工序影響因素眾多。同時(shí)，由于過(guò)程質(zhì)量數(shù)據(jù)測(cè)量、采集精度、設(shè)備工況漂移等因素，不可避免地產(chǎn)生大量噪聲數(shù)據(jù)。由于生產(chǎn)過(guò)程相對(duì)穩(wěn)定，采集到的過(guò)程質(zhì)量數(shù)據(jù)較為相似，有效樣本少。因此，在多工序的過(guò)程質(zhì)量預(yù)測(cè)研究中，需要重點(diǎn)研究過(guò)程質(zhì)量數(shù)據(jù)的多特征、多噪聲等問(wèn)題。

1 收縮自編碼器

自編碼器［12］是一種基于無(wú)監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，可將高維數(shù)據(jù)映射為低維數(shù)據(jù)，相關(guān)研究表明自編碼器亦可用于數(shù)據(jù)降噪［13-14］。自編碼器主要由編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)構(gòu)成，層級(jí)結(jié)構(gòu)包括輸入層、隱藏層和輸出層，隱藏層輸出即為壓縮后的特征，其拓?fù)浣Y(jié)構(gòu)如圖1 所示。

Fig.1 Autoencoder network structure圖1 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

編碼網(wǎng)絡(luò)對(duì)輸入的過(guò)程質(zhì)量數(shù)據(jù)X進(jìn)行編碼，得到編碼特征h，解碼網(wǎng)絡(luò)將h解碼為X'，期望重構(gòu)出原始輸入X，公式如下：

其中：f 和g 為激活函數(shù)。

收縮自編碼器（CAE）由Rifai 等［15］提出，它在普通自編碼器的損失函數(shù)上添加了一個(gè)正則懲罰項(xiàng)。相較于其它類型的自編碼器［16-17］，CAE 不僅可以很好地重建輸入信息，而且對(duì)一定程度下的擾動(dòng)具有不變性［18］，即能夠減少模型對(duì)噪聲數(shù)據(jù)的敏感性，使得模型具有更強(qiáng)的魯棒性。CAE 主要是通過(guò)懲罰隱藏層表達(dá)式的Jacobian 矩陣的F 范數(shù)來(lái)達(dá)到抑制數(shù)據(jù)噪聲的目的，公式如下：

收縮自編碼器目標(biāo)函數(shù)如下：

其中：L為均方差損失函數(shù)，λ為控制懲罰力度的超參數(shù)。

2 CAE-DNN 混合質(zhì)量預(yù)測(cè)模型

CAE 的預(yù)訓(xùn)練是一個(gè)不斷學(xué)習(xí)數(shù)據(jù)特征、進(jìn)行特征提取的過(guò)程，同時(shí)也為DNN 提供合理的初始參數(shù)。如圖2 所示，在CAE 完成預(yù)訓(xùn)練后，對(duì)CAE 的權(quán)重和偏置初始化，最后一層網(wǎng)絡(luò)參數(shù)隨機(jī)初始化，利用特征提取層提取的特征完成過(guò)程質(zhì)量預(yù)測(cè)。在過(guò)程質(zhì)量預(yù)測(cè)模型訓(xùn)練中采用反向傳播算法微調(diào)網(wǎng)絡(luò)參數(shù)，提高預(yù)測(cè)模型性能。本文在預(yù)測(cè)模型訓(xùn)練階段對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，加快網(wǎng)絡(luò)訓(xùn)練速度，避免只對(duì)最后一層網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整而陷入局部最優(yōu)解。

Fig.2 CAE-DNN hybrid model structure圖2 CAE-DNN 混合模型結(jié)構(gòu)

由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜性以及數(shù)據(jù)集中存在噪聲數(shù)據(jù)，在訓(xùn)練過(guò)程中經(jīng)常會(huì)發(fā)生過(guò)擬合現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)模型在訓(xùn)練集上的精度遠(yuǎn)遠(yuǎn)高于測(cè)試集，且網(wǎng)絡(luò)模型越復(fù)雜越容易發(fā)生過(guò)擬合現(xiàn)象。為降低DNN 的復(fù)雜度，改善DNN 的過(guò)擬合現(xiàn)象，本文加入BN（Batch Normalization）層、Dropout 和L2 正則化。

（1）BN 層也是網(wǎng)絡(luò)中的一層，能夠?qū)㈦[藏層輸出分布強(qiáng)制轉(zhuǎn)換為均值為0、方差為1 的標(biāo)準(zhǔn)正態(tài)分布，使得非線性激活函數(shù)的輸出值處于輸入比較敏感的區(qū)域，從而避免發(fā)生梯度消失問(wèn)題［19］。

（2）Dropout 在深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，將神經(jīng)網(wǎng)絡(luò)的神經(jīng)元按照一定概率從網(wǎng)絡(luò)中丟失［20-21］。Dropout 一方面簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，減少訓(xùn)練時(shí)間，另一方面每個(gè)神經(jīng)元都以一定的概率出現(xiàn)，使兩個(gè)相同的神經(jīng)元不能保證同時(shí)出現(xiàn)，權(quán)值更新不再依賴于固定神經(jīng)元的共同作用，改善了DNN 的過(guò)擬合現(xiàn)象。

（3）L2 正則化是在原始損失函數(shù)基礎(chǔ)上添加一個(gè)正則項(xiàng)，即各層權(quán)重Wj的平方和，使顯著減少目標(biāo)值方向上的參數(shù)相對(duì)保留完好，對(duì)無(wú)助于目標(biāo)值方向上的參數(shù)在訓(xùn)練過(guò)程中因正則項(xiàng)而衰減。

由于特征參數(shù)的量綱各不相同，為了消除不同量綱對(duì)模型性能的影響，在數(shù)據(jù)輸入模型前要對(duì)數(shù)據(jù)作歸一化處理，將數(shù)據(jù)映射到0～1 之間，公式如下：

其中，xi，j為第i個(gè)輸入樣本的第j個(gè)特征值分別為樣本數(shù)據(jù)中第j個(gè)特征的最大值和最小值，xnorm為歸一化后的特征。

3 實(shí)例分析

3.1 數(shù)據(jù)集說(shuō)明

本文選取天池工業(yè)AI 大賽—智能制造質(zhì)量預(yù)測(cè)中關(guān)于TFT-LCD 的過(guò)程質(zhì)量數(shù)據(jù)。數(shù)據(jù)包含各工序的機(jī)臺(tái)溫度、氣體、液體流量、功率、制成時(shí)間等因子。過(guò)程質(zhì)量數(shù)據(jù)總共500 樣本，合計(jì)8 029 個(gè)字段，表1 是其中部分質(zhì)量預(yù)測(cè)數(shù)據(jù)。第1 個(gè)字段為ID 號(hào)碼，TOOL_ID 字段表示使用的機(jī)臺(tái)種類，剩余字段的名字用于區(qū)分不同工序，字母X 前的數(shù)字表示工序編號(hào)，X 后的數(shù)字表示該工序中的參數(shù)編號(hào)，如210X1 表示210 工序中的第1 個(gè)參數(shù)。

Table 1 Example of experimental data表1 實(shí)驗(yàn)數(shù)據(jù)示例

3.2 數(shù)據(jù)集處理

數(shù)據(jù)處理使用Python3.7、Sklearn 和TensorFlow2.2 等工具。對(duì)樣本數(shù)據(jù)整理發(fā)現(xiàn)，過(guò)程質(zhì)量數(shù)據(jù)集存在大量的重復(fù)數(shù)據(jù)、單一值以及大量缺失值，需對(duì)數(shù)據(jù)進(jìn)行一定的預(yù)處理。

在Python3.7 環(huán)境下，借助Pandas 模塊處理異常值、去除重復(fù)字段、單一值字段和缺失值字段。如對(duì)數(shù)據(jù)中存在突然增大和較小的值采用均值進(jìn)行填充和替換，如圖3（a）所示，處理后的數(shù)據(jù)分布如圖3（b）所示。此外，用來(lái)表示機(jī)臺(tái)的字段采用One-hot 編碼數(shù)值化。上述預(yù)處理后的有效特征變量為3 353 個(gè)。

Fig.3 Feature data distribution圖3 特征數(shù)據(jù)分布

3.3 參數(shù)設(shè)置

經(jīng)預(yù)處理后的有效特征為3 353，隨機(jī)選取400 條數(shù)據(jù)作為訓(xùn)練集，剩余數(shù)據(jù)作為測(cè)試集。對(duì)劃分后的數(shù)據(jù)集進(jìn)行反復(fù)試驗(yàn)，最終選擇CAE 網(wǎng)絡(luò)結(jié)構(gòu)為｛3 353，1 600，500，64，500，1 600，3 353｝，學(xué)習(xí)率lr=1×10-4，懲罰力度參數(shù)λ為0.05，批尺寸bach_size=50，迭代次數(shù)epochs=5 000，DNN 的網(wǎng)絡(luò)結(jié)構(gòu)為｛3 353，1 600，500，64，16，1｝，學(xué)習(xí)率lr=1×10-4，Droptout 數(shù)據(jù)特征保留率keep_prob=0.9，批尺寸bach_size=50，迭代次數(shù)5 000。本文采用激活函數(shù)Relu，評(píng)價(jià)指標(biāo)采用均方誤差（Mean Square Error，MSE），公式如下：

未添加BN 層和全局平均池化層的預(yù)測(cè)模型為FCAE-DNN，圖4 為本文所用模型與CAE-DNN 模型在相同參數(shù)條件下的訓(xùn)練過(guò)程。實(shí)線為訓(xùn)練過(guò)程曲線，虛線為測(cè)試過(guò)程曲線。根據(jù)收斂速度，F(xiàn)-CAE-DNN 更具優(yōu)勢(shì)，但隨著訓(xùn)練次數(shù)的增加，F(xiàn)-CAE-DNN 在測(cè)試集上的誤差有緩慢增加趨勢(shì)，而CAE-DNN 則趨向于一個(gè)穩(wěn)定值；根據(jù)模型的泛化性能指標(biāo)，CAE-DNN 在訓(xùn)練集與測(cè)試集上的MSE值分別為0.015 5 和0.018 3，F(xiàn)-CAE-DNN 的MSE 值分別為0.014 9 和0.027 8，CAE-DNN 在測(cè)試 集上的MSE 值小于后者，具有更好的泛化性能。

Fig.4 Training process comparison圖4 訓(xùn)練過(guò)程比較

預(yù)測(cè)模型訓(xùn)練完成后，將測(cè)試數(shù)據(jù)集輸入模型進(jìn)行驗(yàn)證。預(yù)測(cè)結(jié)果如圖5 所示，其中實(shí)線表示測(cè)試樣本的實(shí)際值，虛線表示測(cè)試樣本的預(yù)測(cè)值，從圖中可以看出預(yù)測(cè)值與實(shí)際值非常接近，模型預(yù)測(cè)精度較高。

3.4 結(jié)果比較

為了定量分析模型性能，本文采用均方誤差（MSE）和每百個(gè)樣本的預(yù)測(cè)速度（每百個(gè)樣本預(yù)測(cè)耗時(shí)）進(jìn)行模型對(duì)比。將上述實(shí)驗(yàn)結(jié)果分別與自編碼器—深度神經(jīng)網(wǎng)絡(luò)（AE-DNN）、深度神經(jīng)網(wǎng)絡(luò)（DNN）、PCA-BP 神經(jīng)網(wǎng)絡(luò)、PCA-SVR 進(jìn)行比較驗(yàn)證。

Fig.5 Comparison of CAE-DNN quality prediction results圖5 CAE-DNN 質(zhì)量預(yù)測(cè)結(jié)果比較

（1）在AE-DNN 中，AE 的損失函數(shù)中無(wú)正則懲罰項(xiàng)，其它層與CAE 對(duì)應(yīng)層相同，隱藏層采用Relu 作為激活函數(shù)。

（2）在DNN 中，無(wú)預(yù)訓(xùn)練，隱藏層采用Relu 作為激活函數(shù)。

（3）在PCA-BP 中，降維后的數(shù)據(jù)維度設(shè)置為64，BP 網(wǎng)絡(luò)全連接層數(shù)設(shè)置為3 隱層，激活函數(shù)使用Relu，各層節(jié)點(diǎn)數(shù)為｛64，16，1｝。

（4）PCA-SVR 中，降維后的數(shù)據(jù)維度設(shè)置為64，選用高斯核函數(shù)，采用網(wǎng)格搜索尋找最優(yōu)參數(shù)并使用5 折交叉驗(yàn)證，超參數(shù)設(shè)置為｛C=0.1，gamma=1｝。

不同模型預(yù)測(cè)結(jié)果分別如圖6—圖9 所示，不同實(shí)驗(yàn)方法結(jié)果對(duì)比如表2 所示。

從圖6—圖9 可知，與其它4 種預(yù)測(cè)模型相比，CAEDNN 的樣本實(shí)際值（實(shí)線）與預(yù)測(cè)值（虛線）擬合程度最好，表明其預(yù)測(cè)精度最高，PCA-SVR 實(shí)際值與預(yù)測(cè)值偏差最大；由于噪聲數(shù)據(jù)影響，與CAE-DNN 對(duì)比的4 種模型存在部分實(shí)際值與預(yù)測(cè)值有較大誤差情況，而CAE-DNN 每個(gè)樣本預(yù)測(cè)結(jié)果都比較精確，抗噪聲能力較強(qiáng)。表2 的模型預(yù)測(cè)性能評(píng)價(jià)指標(biāo)反映出CAE-DNN 與其它4 種模型對(duì)比具有較好的預(yù)測(cè)精度。

Fig.6 Comparison of AE-DNN quality prediction results圖6 AE-DNN 實(shí)際值與預(yù)測(cè)值對(duì)比

Fig.7 Comparison of DNN quality prediction results圖7 DNN 實(shí)際值與預(yù)測(cè)值對(duì)比

Fig.8 Comparison of PCA-BP quality prediction results圖8 PCA-BP 實(shí)際值與預(yù)測(cè)值對(duì)比

Fig.9 Comparison of PCA-SVR quality prediction results圖9 PCA-SVR 實(shí)際值與預(yù)測(cè)值對(duì)比

Table 2 Comparison of results of different experimental methods表2 不同實(shí)驗(yàn)方法結(jié)果比較

通過(guò)比較實(shí)驗(yàn)得出本文的M1DC-CAE 模型具有以下優(yōu)點(diǎn)：

（1）CAE-DNN 與AE-DNN 相比，加入正則懲罰項(xiàng)使模型對(duì)輸入數(shù)據(jù)在一定程度下的擾動(dòng)具有不變性，可以減少模型對(duì)噪聲數(shù)據(jù)的敏感性，使預(yù)測(cè)精度提升27.68%。

（2）AE-DNN 與DNN 相比，通過(guò)AE 的預(yù)訓(xùn)練可以為DNN 提供一個(gè)較為合理的初始參數(shù)，從而提升預(yù)測(cè)精度。

（3）與F-CAE-DNN 相比，BN 層、Dropout 和L2 正則化的加入共同改善了CAE-DNN 的過(guò)擬合問(wèn)題，提高了模型的泛化能力。

（4）與PCA-BP 和PCA-SVR 相比，CAE-DNN 特征提取和邏輯推理能力強(qiáng)，更適合處理多工序生產(chǎn)過(guò)程質(zhì)量數(shù)據(jù)。

結(jié)論：本文實(shí)驗(yàn)所涉及的質(zhì)量預(yù)測(cè)模型中，CAE-DNN的預(yù)測(cè)精度和性能相對(duì)最好，擬合復(fù)雜工序過(guò)程質(zhì)量數(shù)據(jù)非線性程度最高。

4 結(jié)語(yǔ)

針對(duì)多工序制造數(shù)據(jù)多特征、多噪聲特性，本文提出一種基于CAE-DNN 的多工序產(chǎn)品質(zhì)量預(yù)測(cè)方法，并在天池智能制造數(shù)據(jù)上展開(kāi)實(shí)驗(yàn)。CAE 的預(yù)訓(xùn)練為DNN 提供了一個(gè)合理的初始化參數(shù)，同時(shí)抑制了噪聲數(shù)據(jù)，提高了預(yù)測(cè)精度。經(jīng)算例驗(yàn)證，相比AE-DNN、DNN、PCA-BP、PCA-SVR 等方法，本文的質(zhì)量預(yù)測(cè)模型具有更好的預(yù)測(cè)精度，對(duì)實(shí)現(xiàn)生產(chǎn)過(guò)程質(zhì)量的實(shí)時(shí)預(yù)測(cè)具有重要意義。但本文方法效率不佳，不適用于實(shí)時(shí)性要求很高的場(chǎng)合。后續(xù)將繼續(xù)優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提高神經(jīng)網(wǎng)絡(luò)計(jì)算效率。