閆 靜，張雪英，李鳳蓮，陳桂軍，黃麗霞

（太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，太原 030024）

0 概述

回歸分析是一種確定兩種或兩種以上變量間相互依賴(lài)的定量關(guān)系的統(tǒng)計(jì)分析方法，根據(jù)已知過(guò)程變量與目標(biāo)變量間的相關(guān)性，建立基于歷史過(guò)程數(shù)據(jù)的回歸預(yù)測(cè)模型。由于目標(biāo)變量總是受一個(gè)或多個(gè)過(guò)程變量的影響，且每個(gè)過(guò)程變量對(duì)目標(biāo)變量的影響不同，因此根據(jù)過(guò)程變量對(duì)目標(biāo)變量的精準(zhǔn)預(yù)測(cè)可以為過(guò)程監(jiān)控、優(yōu)化和控制提供重要的實(shí)時(shí)信息。回歸預(yù)測(cè)模型多數(shù)采用不同的非線性結(jié)構(gòu)來(lái)提取數(shù)據(jù)中包含的信息，常用模型包括主成分回歸（Principal Component Regression，PCR）［1］、偏最小二乘回歸（Partial Least Squares Regression，PLSR）［2］、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）［3］和支持向量回歸（Support Vector Regression，SVR）［4］。但對(duì)于大量高維、強(qiáng)相關(guān)性及高冗余的數(shù)據(jù)，這些模型的魯棒性差、預(yù)測(cè)性能低，而提取輸入數(shù)據(jù)的有效特征表示是建立回歸預(yù)測(cè)模型的關(guān)鍵步驟。多層深度網(wǎng)絡(luò)能夠提取復(fù)雜數(shù)據(jù)的特征，但由于梯度消失和爆炸問(wèn)題，深度網(wǎng)絡(luò)并沒(méi)有比淺層模型表現(xiàn)得更好，直到文獻(xiàn)［5］提出通過(guò)無(wú)監(jiān)督的逐層預(yù)訓(xùn)練和有監(jiān)督的微調(diào)來(lái)學(xué)習(xí)深度網(wǎng)絡(luò)模型，使得棧式自編碼器（Stacked Auto-Encoder，SAE）成為廣泛應(yīng)用于數(shù)據(jù)分析［6］、圖像處理［7］、語(yǔ)音識(shí)別［8］、模式識(shí)別［9］等領(lǐng)域的深度學(xué)習(xí)［10］模型。

深度學(xué)習(xí)可以通過(guò)學(xué)習(xí)深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)，并利用特征的逐層變換完成最終的預(yù)測(cè)和識(shí)別［11］。文獻(xiàn)［12］將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）相結(jié)合，提出CNN2ELM 模型，用于人臉圖像的年齡預(yù)測(cè)，提高了預(yù)測(cè)魯棒性。文獻(xiàn)［13］將棧式降噪稀疏自編碼器（sDSAE）與ELM 相結(jié)合，提出sDSAE-ELM 算法，利用sDSAE 產(chǎn)生ELM 的輸入權(quán)重和隱含層偏置，降低噪聲干擾，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)［14］將SAE 與以小波函數(shù)為激活函數(shù)的ELM 結(jié)合，提出SAEWELM 模型并將其用于工業(yè)鋁生產(chǎn)過(guò)程中的過(guò)度熱預(yù)測(cè)，具有良好的魯棒性和泛化能力。

針對(duì)回歸預(yù)測(cè)問(wèn)題，對(duì)SAE 和ELM 兩部分進(jìn)行改進(jìn)再級(jí)聯(lián)是改善回歸預(yù)測(cè)效果的有效方法。文獻(xiàn)［13-15］采用SAE 進(jìn)行特征降維或特征提取，取得了較好的效果，但它們未考慮到數(shù)據(jù)間的相關(guān)性，不能反映出目標(biāo)變量與其他過(guò)程變量之間的關(guān)系。目前，關(guān)于結(jié)合改進(jìn)的SAE 和ELM 進(jìn)行回歸預(yù)測(cè)的研究也取得了一定成果，隨機(jī)確定輸入權(quán)值和隱含層偏置雖然能夠提升網(wǎng)絡(luò)速度［16］，但不能根據(jù)輸入數(shù)據(jù)與輸出數(shù)據(jù)間的相關(guān)性大小進(jìn)行合理賦值。本文構(gòu)建一種基于棧式監(jiān)督自編碼器（Stack Supervised Auto-Encoder，SSupAE）與可變加權(quán)極限學(xué)習(xí)機(jī)（variable weighted Extreme Learning Machine，vwELM）的回歸預(yù)測(cè)模型。利用棧式監(jiān)督自編碼器使SAE 以有監(jiān)督的方式進(jìn)行逐層預(yù)訓(xùn)練，提取與目標(biāo)輸出變量相關(guān)的高級(jí)特征，挖掘數(shù)據(jù)間的深層關(guān)聯(lián)信息。采用可變權(quán)值的方式確定ELM 的輸入權(quán)值和隱含層偏置，以提升算法的魯棒性和泛化能力。在多個(gè)公共數(shù)據(jù)集及實(shí)際工業(yè)生產(chǎn)的多晶硅鑄錠數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)以驗(yàn)證SSupAE-vwELM模型性能。

1 棧式監(jiān)督自編碼器設(shè)計(jì)

1.1 棧式自編碼器

自編碼器（Auto-Encoder，AE）包括編碼和解碼兩個(gè)過(guò)程，編碼過(guò)程將輸入x通過(guò)非線性激活函數(shù)映射到隱含層，解碼過(guò)程將隱含層數(shù)據(jù)h轉(zhuǎn)化為輸出值z(mì)，再重構(gòu)輸入［17］。AE 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。編碼過(guò)程、解碼過(guò)程、損失函數(shù)的表達(dá)式如式（1）～式（3）所示：

圖1 AE 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 AE network structure

SAE 是通過(guò)多層無(wú)監(jiān)督訓(xùn)練的AE 逐層堆疊而構(gòu)造的一種深度網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練過(guò)程分為無(wú)監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)兩個(gè)階段［18］，如圖2 所示。SAE采用無(wú)監(jiān)督的方式逐層預(yù)訓(xùn)練來(lái)初始化網(wǎng)絡(luò)參數(shù)，在最后一層隱含層后加入BP 回歸網(wǎng)絡(luò)進(jìn)行回歸預(yù)測(cè)，使用目標(biāo)變量數(shù)據(jù)y對(duì)權(quán)重和偏置進(jìn)行整體微調(diào)，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 SAE 訓(xùn)練過(guò)程Fig.2 SAE training process

1.2 棧式監(jiān)督自編碼器

棧式自編碼器的預(yù)訓(xùn)練可以逐層學(xué)習(xí)到輸入數(shù)據(jù)的高級(jí)抽象特征，但在實(shí)際應(yīng)用中，SAE 的無(wú)監(jiān)督預(yù)處理方式未考慮過(guò)程變量與目標(biāo)輸出間的相關(guān)性，所學(xué)習(xí)到的特征可能包含與目標(biāo)輸出無(wú)關(guān)的信息。針對(duì)這一問(wèn)題，提出一種以有監(jiān)督方式訓(xùn)練的監(jiān)督自編碼器（Supervised Auto-Encoder，SupAE），即在AE 編碼與解碼的基礎(chǔ)上添加一層回歸網(wǎng)絡(luò)，AE在解碼的同時(shí)通過(guò)回歸網(wǎng)絡(luò)進(jìn)行回歸預(yù)測(cè)，使得構(gòu)成棧式監(jiān)督自編碼器（SSupAE）的每層SupAE 都以有監(jiān)督的方式完成預(yù)訓(xùn)練，并使該深層網(wǎng)絡(luò)在學(xué)習(xí)重構(gòu)特征的同時(shí)將與目標(biāo)輸出變量相關(guān)的信息編碼到該網(wǎng)絡(luò)中，挖掘數(shù)據(jù)的深層特征。

SupAE 由編碼器、解碼器和預(yù)測(cè)目標(biāo)輸出的回歸網(wǎng)絡(luò)三部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。SupAE的編解碼過(guò)程與AE 相同，其中回歸網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)輸出值的計(jì)算公式如式（4）所示：

圖3 SupAE 結(jié)構(gòu)Fig.3 SupAE structure

其中：本文使用的回歸網(wǎng)絡(luò)為BP 回歸網(wǎng)絡(luò)；Wr和br分別為BP 網(wǎng)絡(luò)的權(quán)值矩陣和偏置向量為對(duì)目標(biāo)變量真實(shí)值y的預(yù)測(cè)值。

在訓(xùn)練過(guò)程中，為了能夠?qū)獯a重構(gòu)輸入與回歸預(yù)測(cè)輸出同時(shí)優(yōu)化，使SupAE 獲得更好的表示，SupAE的損失函數(shù)由重構(gòu)誤差、目標(biāo)變量的真實(shí)值與預(yù)測(cè)值間的誤差兩部分組成，通過(guò)最小化這兩部分的線性組合函數(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的深層挖掘。假設(shè)訓(xùn)練集有N個(gè)樣本{x,y}={(xi,yi)|xi?,yi?R,i=1,2,…,N}，其中dx表示輸入數(shù)據(jù)的維數(shù)，則SupAE 的整體代價(jià)函數(shù)如下：

其中：L(x,z)為重構(gòu)損失函數(shù)為目標(biāo)變量的真實(shí)值和預(yù)測(cè)值間的誤差損失函數(shù)，本文均使用交叉熵?fù)p失函數(shù)；C為0～1的常數(shù)，用來(lái)平衡L(x,z)與間的比例。通過(guò)平衡重構(gòu)損失與回歸預(yù)測(cè)值和真實(shí)值間的損失來(lái)提取輸入數(shù)據(jù)的潛在特征，在一定程度上相當(dāng)于一種隱式的數(shù)據(jù)增強(qiáng)，在代價(jià)函數(shù)中引入可以將目標(biāo)變量值編碼到隱含層中，同時(shí)將無(wú)監(jiān)督學(xué)習(xí)的AE 轉(zhuǎn)化為有監(jiān)督學(xué)習(xí)的AE，使隱含層中包含更多數(shù)據(jù)的信息，提高模型的泛化能力。

利用反向傳播算法結(jié)合梯度下降法，更新連接權(quán)值W和偏差b，求出使得式（5）達(dá)到最小值時(shí)的Wij和bi。更新公式具體如下：

其中：α為學(xué)習(xí)率。通過(guò)這種更新權(quán)值的方式，獲得最優(yōu)的W和b，使得SupAE 隱層學(xué)習(xí)比較好的隱層表達(dá)。

SSupAE 是由SupAE 通過(guò)逐層堆疊構(gòu)造的一種深度網(wǎng)絡(luò)結(jié)構(gòu)，如圖4 所示，其輸入是由每個(gè)樣本對(duì)應(yīng)的過(guò)程變量與目標(biāo)變量值組成，在SupAE 進(jìn)行逐層有監(jiān)督預(yù)訓(xùn)練后，舍棄每層的回歸網(wǎng)絡(luò)和解碼器（見(jiàn)圖4 中點(diǎn)線矩形框部分），以前一個(gè)隱含層的輸出作為后一個(gè)隱含層的輸入，通過(guò)最小化聯(lián)合損失函數(shù)（見(jiàn)圖4 中點(diǎn)劃線部分），并逐層堆疊以提取包含目標(biāo)變量信息的高級(jí)特征。在最后一個(gè)隱含層后添加ELM 回歸網(wǎng)絡(luò)，使整個(gè)網(wǎng)絡(luò)再次以有監(jiān)督的方式進(jìn)行微調(diào)，更新各層的權(quán)值和偏置，使該網(wǎng)絡(luò)達(dá)到全局最優(yōu)。

圖4 SSupAE 結(jié)構(gòu)Fig.4 SSupAE structure

2 棧式監(jiān)督自編碼器與可變加權(quán)極限學(xué)習(xí)機(jī)

2.1 極限學(xué)習(xí)機(jī)

ELM 是一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)［19］，ELM 的網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。假設(shè)訓(xùn)練集有N個(gè)樣本則ELM網(wǎng)絡(luò)模型可以表示如下：

圖5 ELM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 ELM network structure

其中：W是輸入層到隱含層的權(quán)值向量；b為偏置向量；g（·）是激活函數(shù)；β是隱含層到輸出層的輸出權(quán)值。ELM 的矩陣表達(dá)式如式（11）所示。ELM 網(wǎng)絡(luò)的訓(xùn)練過(guò)程就是求解式（11）的最小二乘解β，如式（12）所示。輸出權(quán)值矩陣β可由Moore-Penrose 廣義逆公式求解得到，如式（13）所示。

其中：H表示隱含層的輸出矩陣；Y表示樣本目標(biāo)輸出的真實(shí)值矩陣；H?是H的廣義逆，H?=(HTH)-1HT［20］。

2.2 可變加權(quán)極限學(xué)習(xí)機(jī)

ELM 網(wǎng)絡(luò)隨機(jī)確定初始輸入權(quán)值和偏置，能夠提高網(wǎng)絡(luò)的學(xué)習(xí)速度，但是在隱含層節(jié)點(diǎn)個(gè)數(shù)一定的情況下，預(yù)測(cè)精度會(huì)受隨機(jī)性影響［21］，因此對(duì)權(quán)值和偏置進(jìn)行合理賦值能夠提升網(wǎng)絡(luò)的預(yù)測(cè)性能。本文將輸入變量與目標(biāo)輸出間的相關(guān)性融入ELM 網(wǎng)絡(luò)，提出一種根據(jù)相關(guān)性確定權(quán)值與偏置的可變權(quán)值極限學(xué)習(xí)機(jī)。

針對(duì)回歸預(yù)測(cè)問(wèn)題，不同的輸入變量對(duì)目標(biāo)輸出變量的影響不同，對(duì)不同變量賦予不同的權(quán)值，不僅可以提高ELM 訓(xùn)練的精度，而且可以有效提高模型的魯棒性。對(duì)于有N個(gè)樣本的訓(xùn)練數(shù)據(jù)集{x,y}={(xi,yi)|xi?,yi?R,i=1,2,…,N}，樣本中第j(j?dh)個(gè)變量與目標(biāo)變量值的相關(guān)系數(shù)計(jì)算公式如下：

其中：x(j)為訓(xùn)練集第j個(gè)變量的集合集，即x(j)={x1(j),x2(j),…,xN(j)}。協(xié)方差和方差的計(jì)算公式如下：

其中：λ(j)表示第j維變量的可變權(quán)值。

在對(duì)ELM 的輸入權(quán)值和偏置進(jìn)行初始化時(shí)，用可變權(quán)值λ(j)分別對(duì)相應(yīng)的輸入變量進(jìn)行加權(quán)，則vwELM 網(wǎng)絡(luò)模型表示如下：

綜上，vwELM 算法的訓(xùn)練過(guò)程如下：

1）計(jì)算輸入層輸入變量與目標(biāo)輸出變量的相關(guān)系數(shù)，根據(jù)相關(guān)系數(shù)求得每個(gè)變量的可變權(quán)值。

2）確定隱含層神經(jīng)元個(gè)數(shù)，對(duì)輸入層和隱含層之間的連接權(quán)重W和偏置b進(jìn)行加權(quán)初始化。

3）選擇一個(gè)無(wú)限可微的函數(shù)作為隱含層神經(jīng)元的激活函數(shù)，計(jì)算隱含層的輸出矩陣H。

4）根據(jù)式（11）計(jì)算輸出層權(quán)值β。

2.3 基于SSupAE-vwELM 的回歸預(yù)測(cè)模型

理論上，SSupAE-vwELM 算法能比ELM 算法實(shí)現(xiàn)更精準(zhǔn)的預(yù)測(cè)。一方面，利用SSupAE 網(wǎng)絡(luò)對(duì)原始輸入數(shù)據(jù)進(jìn)行特征提取，所提取的特征包含了目標(biāo)輸出的相關(guān)信息。另一方面，vwELM 算法通過(guò)相關(guān)性分析對(duì)ELM 的權(quán)值和偏置加權(quán)，既克服了ELM因參數(shù)隨機(jī)賦值產(chǎn)生冗余節(jié)點(diǎn)［22］，又使其包含了目標(biāo)輸出的相關(guān)信息，有利于實(shí)現(xiàn)更加精準(zhǔn)的預(yù)測(cè)。

SSupAE-vwELM 網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示，將訓(xùn)練好的n層SupAE 進(jìn)行堆疊形成SSupAE，以SSupAE的頂層作為vwELM 網(wǎng)絡(luò)的輸入進(jìn)行回歸預(yù)測(cè)。

圖6 SSupAE-vwELM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 SSupAE-vwELM network structure

1）特征提取。首先針對(duì)不同特征維數(shù)的數(shù)據(jù)集{xi,yi}，將原始數(shù)據(jù)xi輸入到SSupAE網(wǎng)絡(luò)中，對(duì)SSupAE 網(wǎng)絡(luò)的每個(gè)隱含層節(jié)點(diǎn)數(shù)設(shè)置合適的值，并對(duì)每層的SupAE 權(quán)重和偏置初始化，分別設(shè)置學(xué)習(xí)率、正則化參數(shù)和學(xué)習(xí)率、丟棄率。在訓(xùn)練中引入目標(biāo)變量值yi使SSupAE 以有監(jiān)督的方式完成訓(xùn)練，提取輸入數(shù)據(jù)的深層相關(guān)特征。

2）回歸預(yù)測(cè)。以SSupAE 所提取的特征作為vwELM 的輸入，根據(jù)輸入變量與目標(biāo)變量yi值間的相關(guān)性計(jì)算對(duì)應(yīng)的可變權(quán)值，對(duì)vwELM 的輸入權(quán)值進(jìn)行加權(quán)，訓(xùn)練vwELM 網(wǎng)絡(luò)，得到輸出權(quán)值。

SSupAE-vwELM網(wǎng)絡(luò)訓(xùn)練與測(cè)試過(guò)程如圖7所示。

圖7 SSupAE-vwELM 網(wǎng)絡(luò)訓(xùn)練與測(cè)試過(guò)程Fig.7 Training and testing process of SSupAE-vwELM

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

應(yīng)用MATLAB R2014b 進(jìn)行實(shí)驗(yàn)仿真，操作系統(tǒng)為Windows10，處理器為Intel Xeon E3-1535M，內(nèi)存為32 GB。采用均方根誤差（Root Mean Square Error，RMSE）、決定系數(shù)（R2）和程序運(yùn)行時(shí)間3 個(gè)指標(biāo)對(duì)模型回歸性能進(jìn)行評(píng)價(jià)，RMSE 和R2的計(jì)算公式如式（20）和式（21）所示：

其中：Nt為測(cè)試結(jié)果個(gè)數(shù)；yn和分別為真實(shí)值和預(yù)測(cè)值為測(cè)試集真實(shí)值的平均數(shù)。在回歸預(yù)測(cè)中，RMSE 值越小，R2值越接近于1，預(yù)測(cè)越精確，本文通過(guò)RMSE 和R2對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行綜合對(duì)比，驗(yàn)證模型的預(yù)測(cè)準(zhǔn)確性。

3.2 公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

3.2.1 數(shù)據(jù)集介紹

為驗(yàn)證本文所提SSupAE-vwELM 模型的有效性，選用10 個(gè)樣本大小和屬性維度不同的公共數(shù)據(jù)集，具體信息如表1 所示，其中，Abalone 數(shù)據(jù)集通過(guò)物理測(cè)量變量預(yù)測(cè)鮑魚(yú)年齡，Air Quality 數(shù)據(jù)集是對(duì)意大利某嚴(yán)重污染區(qū)域的空氣質(zhì)量進(jìn)行預(yù)測(cè)，Boston Housing 數(shù)據(jù)集通過(guò)影響房?jī)r(jià)的變量預(yù)測(cè)房?jī)r(jià)，Concrete 數(shù)據(jù)集通過(guò)混凝土成分預(yù)測(cè)混凝土的抗壓強(qiáng)度，Stocks 數(shù)據(jù)集是預(yù)測(cè)10 家航天公司的股票價(jià)格，Bank 數(shù)據(jù)集是預(yù)測(cè)客戶(hù)選擇銀行的概率，Computer Activity 數(shù)據(jù)集是預(yù)測(cè)電腦CPU 的運(yùn)行時(shí)間，Kinematics 數(shù)據(jù)集是預(yù)測(cè)人體的運(yùn)動(dòng)數(shù)據(jù)，Wine Quality 數(shù)據(jù)集是預(yù)測(cè)葡萄牙北部葡萄酒的質(zhì)量，Yacht Hydrodynamics 數(shù)據(jù)集是對(duì)帆船水力性能的預(yù)測(cè)。為了解決數(shù)據(jù)特征屬性間數(shù)值量綱差異導(dǎo)致的計(jì)算問(wèn)題，本文將所有數(shù)據(jù)歸一化為［0，1］，并將每個(gè)數(shù)據(jù)集按8∶2 的比例劃分訓(xùn)練集和測(cè)試集。

表1 公共數(shù)據(jù)集信息設(shè)置Table 1 Setting of public dataset information

3.2.2 參數(shù)設(shè)置

為分析SSupAE-vwELM 模型中不同網(wǎng)絡(luò)參數(shù)對(duì)整體回歸預(yù)測(cè)性能的影響，以Concrete 數(shù)據(jù)集為例，對(duì)比不同網(wǎng)絡(luò)層數(shù)的SSupAE 以及不同隱含層節(jié)點(diǎn)數(shù)的vwELM 對(duì)整體回歸預(yù)測(cè)準(zhǔn)確性的影響。SSupAE 的輸入層節(jié)點(diǎn)數(shù)與歸一化處理后的輸入數(shù)據(jù)特征數(shù)保持一致，設(shè)置為8，預(yù)訓(xùn)練的batchsize 設(shè)置為80，epoch 設(shè)置為100；微調(diào)的batchsize 設(shè)置為8，epoch 設(shè)置為1 000。通過(guò)SSupAE 網(wǎng)絡(luò)層數(shù)對(duì)比實(shí)驗(yàn)來(lái)確定網(wǎng)絡(luò)結(jié)構(gòu)，選取RMSE 及R2作為評(píng)價(jià)指標(biāo)，將網(wǎng)絡(luò)層數(shù)從3 變化到8，如圖8 所示，可以看出5 層網(wǎng)絡(luò)結(jié)構(gòu)的RMSE 最小，真實(shí)值與預(yù)測(cè)值的擬合度最好，其中每層的隱含層節(jié)點(diǎn)數(shù)通過(guò)試錯(cuò)法確定，分別為40、30、20、10、5。

圖8 不同網(wǎng)絡(luò)層數(shù)的SSupAE 回歸預(yù)測(cè)性能Fig.8 Regression prediction performance of SSupAE at different number of network layers

通過(guò)vwELM 網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的對(duì)比實(shí)驗(yàn)確定隱含層節(jié)點(diǎn)數(shù)，同樣選取RMSE 及R2作為評(píng)價(jià)指標(biāo)，如圖9 所示，將隱含層節(jié)點(diǎn)數(shù)從1 變化到50，可以看出隱含層節(jié)點(diǎn)數(shù)設(shè)置為35 時(shí)RMSE 最小，真實(shí)值與預(yù)測(cè)值的擬合度最好。

圖9 不同隱含層節(jié)點(diǎn)數(shù)的vwELM 回歸預(yù)測(cè)性能Fig.9 Regression prediction performance of vwELM at different number of hidden layer nodes

3.2.3 結(jié)果分析

為驗(yàn)證SSupAE-vwELM 模型的回歸預(yù)測(cè)性能，將ELM、SAE-ELM、SAE-vwELM、SSupAE-ELM 及SSupAE-vwELM 模型的實(shí)驗(yàn)結(jié)果在10 個(gè)公共數(shù)據(jù)集上進(jìn)行對(duì)比，其中，ELM 為未進(jìn)行特征提取的回歸預(yù)測(cè)模型，SAE-ELM 為使用SAE 進(jìn)行特征提取后使用ELM進(jìn)行回歸預(yù)測(cè)的基礎(chǔ)模型，SAE-vwELM為在SAEELM 模型基礎(chǔ)上改進(jìn)ELM 后的模型，SSupAE-ELM 為在SAE-ELM 基礎(chǔ)上改進(jìn)SAE 后的模型。采用五折交叉方式驗(yàn)證模型的預(yù)測(cè)效果，最終對(duì)5 次預(yù)測(cè)結(jié)果取平均值。實(shí)驗(yàn)結(jié)果如表2所示，其中最優(yōu)結(jié)果加粗表示。

表2 公共數(shù)據(jù)集上的回歸預(yù)測(cè)結(jié)果對(duì)比Table 2 Comparison of regression prediction results on public dataset

從表2 可知，在10 個(gè)公共數(shù)據(jù)集上SSupAEvwELM 模型相比其他模型的回歸預(yù)測(cè)性能都有所提升。SSupAE-vwELM 模型的運(yùn)行時(shí)間長(zhǎng)于ELM及SAE-ELM 模型的主要原因在于SSupAE 的深層網(wǎng)絡(luò)不僅能夠重構(gòu)原始數(shù)據(jù)，而且還將目標(biāo)輸出變量的信息編碼到網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)層數(shù)的增加，其深層非線性網(wǎng)絡(luò)將原始數(shù)據(jù)一層一層抽象，所提取的特征更能描述對(duì)象本質(zhì)且提高預(yù)測(cè)精度，并且通過(guò)結(jié)合vwELM 回歸網(wǎng)絡(luò)進(jìn)一步優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，提高了網(wǎng)絡(luò)的魯棒性和回歸預(yù)測(cè)能力。由此可見(jiàn)，SSupAE-vwELM 模型運(yùn)行時(shí)間長(zhǎng)說(shuō)明其相比于ELM 及SAE-ELM 模型提取的特征更加符合樣本本質(zhì)，魯棒性更好。以Concrete 數(shù)據(jù)集為例，測(cè)試集上部分樣本的預(yù)測(cè)值與真實(shí)值的對(duì)比結(jié)果如圖10 所示，可以看出除第3 個(gè)和第9 個(gè)測(cè)試樣本外，其余樣本的真實(shí)值與預(yù)測(cè)值間的誤差很小，可見(jiàn)本文模型的回歸預(yù)測(cè)性能較好。

圖10 測(cè)試集上的預(yù)測(cè)值與真實(shí)值的對(duì)比Fig.10 Comparison between predicted values and actual values on the test set

3.3 多晶硅鑄錠數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

為驗(yàn)證SSupAE-vwELM 模型的實(shí)用性，將其在工業(yè)多晶硅鑄錠數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。多晶硅作為最主要的光伏產(chǎn)業(yè)材料之一，配料數(shù)據(jù)對(duì)多晶硅鑄錠的電學(xué)性能和生產(chǎn)成本有著重要的影響，但由于每次生產(chǎn)所用配料的批次或重量的差異，會(huì)對(duì)質(zhì)量產(chǎn)生影響，因此準(zhǔn)確的配料分析和預(yù)測(cè)模型的建立至關(guān)重要［23］。少子壽命值即硅錠中少數(shù)載流子存活時(shí)間，通常被用作評(píng)價(jià)多晶硅鑄錠的質(zhì)量，根據(jù)配料對(duì)少子壽命值的準(zhǔn)確預(yù)測(cè)可以有效地指導(dǎo)實(shí)際生產(chǎn)。工業(yè)上通常用工藝試驗(yàn)來(lái)預(yù)測(cè)產(chǎn)品質(zhì)量，實(shí)現(xiàn)的成本高且難度大。因此，采用深度學(xué)習(xí)方法對(duì)多晶硅鑄錠過(guò)程中的少子壽命值進(jìn)行精準(zhǔn)預(yù)測(cè)對(duì)提高產(chǎn)品質(zhì)量具有重要意義。

本文使用的多晶硅鑄錠數(shù)據(jù)集來(lái)源于山西某新能源技術(shù)有限公司的實(shí)際生產(chǎn)數(shù)據(jù)，該數(shù)據(jù)集包括G6 和G7 兩種產(chǎn)品，每種產(chǎn)品包含非免洗原生多晶塊料、碎多晶鋪底、碎片、中料、提純錠芯自產(chǎn)、提純錠芯外購(gòu)、循環(huán)料等7 個(gè)配料類(lèi)別，通過(guò)屬性值評(píng)價(jià)各種配料的質(zhì)量，最終所需預(yù)測(cè)的目標(biāo)變量為多晶硅的少子壽命值。本文所用到的數(shù)據(jù)集中G6 產(chǎn)品有500 個(gè)樣本，G7 產(chǎn)品有391 個(gè)樣本。表3 為部分G6 數(shù)據(jù)的示例。

表3 部分G6 數(shù)據(jù)示例Table 3 Partial G6 data examples

將多晶硅配料數(shù)據(jù)按8∶2 分為訓(xùn)練集與測(cè)試集，同樣將ELM、SAE-ELM、SAE-vwELM、SSupAE-ELM及SSupAE-vwELM 模型的實(shí)驗(yàn)結(jié)果在G6 和G7 產(chǎn)品數(shù)據(jù)集上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表4 所示。

表4 多晶硅鑄錠數(shù)據(jù)集上的回歸預(yù)測(cè)結(jié)果對(duì)比Table 4 Comparison of regression prediction results on polycrystalline silicon ingot dataset

從表4 可以看出，與ELM、SAE-ELM 模型相比，SSupAE-vwELM 模型雖然運(yùn)行時(shí)間增加，但回歸性能在多晶硅鑄錠的G6 產(chǎn)品數(shù)據(jù)集中RMSE 降低了0.056 7、0.011 2，R2提升了0.489 3、0.290 3；在G7 產(chǎn)品數(shù)據(jù)集中RMSE 降低了0.010 8、0.006 3，R2提升了0.297 2、0.190 6。比較表2 和表4 中5 種模型的預(yù)測(cè)結(jié)果，在多晶硅鑄錠數(shù)據(jù)集上的回歸預(yù)測(cè)結(jié)果整體比公共數(shù)據(jù)集差，主要原因?yàn)樵趯?shí)際鑄錠生產(chǎn)過(guò)程中，記錄的不規(guī)范和缺失，導(dǎo)致數(shù)據(jù)中出現(xiàn)異常數(shù)據(jù)和缺失數(shù)據(jù)，且每次生產(chǎn)所用的配料的批次或成分的差異，使用同樣質(zhì)量的配料會(huì)出現(xiàn)不同少子壽命值的情況，導(dǎo)致最終的預(yù)測(cè)值與真實(shí)值的決定系數(shù)較低，但是表2 和表4 中SSupAE-vwELM 模型的預(yù)測(cè)結(jié)果優(yōu)于其他模型結(jié)果的趨勢(shì)是一致的。

4 結(jié)束語(yǔ)

為了學(xué)習(xí)輸入數(shù)據(jù)的顯著表征，實(shí)現(xiàn)對(duì)輸出變量的精準(zhǔn)預(yù)測(cè)，本文提出基于SSupAE-vwELM 的回歸預(yù)測(cè)模型。利用SSupAE 提取與目標(biāo)輸出變量相關(guān)的高級(jí)特征，將所提取的特征作為vwELM 的輸入數(shù)據(jù)，并根據(jù)原始數(shù)據(jù)的特征表示與輸出數(shù)據(jù)間的相關(guān)性大小對(duì)ELM 的權(quán)值和偏置進(jìn)行加權(quán)，解決了回歸預(yù)測(cè)任務(wù)中目標(biāo)特征提取不準(zhǔn)確、預(yù)測(cè)精度低等問(wèn)題。在多個(gè)公共數(shù)據(jù)集及實(shí)際工業(yè)生產(chǎn)的多晶硅鑄錠數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與ELM及SAE-ELM模型相比，SSupAEvwELM 模型具有較強(qiáng)的魯棒性和泛化性能。由于在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)SSupAE 網(wǎng)絡(luò)隱含層層數(shù)、節(jié)點(diǎn)數(shù)以及vwELM 網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的設(shè)置對(duì)實(shí)驗(yàn)結(jié)果影響較大，因此后續(xù)將繼續(xù)研究如何合理準(zhǔn)確地設(shè)置網(wǎng)絡(luò)參數(shù)，進(jìn)一步提升SSupAE-vwELM 模型的回歸性能，使其適用于實(shí)際工業(yè)生產(chǎn)。