趙彥濤，何永強(qiáng)，賈利穎，楊黎明，郝曉辰

(燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004)

1 引 言

水泥熟料游離鈣(free calcium oxide， fCaO)含量是新型干法水泥生產(chǎn)中衡量熟料質(zhì)量的一個(gè)重要指標(biāo)[1,2]。熟料fCaO的含量不僅影響水泥的安定性和熟料強(qiáng)度，還直接關(guān)系著水泥燒成能耗。目前水泥熟料fCaO含量很難在線監(jiān)測，主要依靠人工采樣化驗(yàn)測得，離線測量結(jié)果對水泥燒成過程的指導(dǎo)具有明顯的滯后性，很難實(shí)現(xiàn)水泥燒成過程的實(shí)時(shí)控制和優(yōu)化。

近年來，實(shí)際生產(chǎn)過程中，對于一些無法建立準(zhǔn)確機(jī)理模型且難以在線測量的變量，可采用軟測量技術(shù)實(shí)現(xiàn)測量。研究人員在現(xiàn)有建模方法的基礎(chǔ)上，提出了許多改進(jìn)的軟測量建模方法。Yang等[3]提出了一種新的基于高斯過程回歸的軟測量方法，用于測得橡膠混合過程變量(如穆尼粘度)；Jin等[4]提出了一種新的多模型自適應(yīng)軟測量建模方法，說明其優(yōu)于傳統(tǒng)自適應(yīng)軟傳感器的有效性；Yuan等[5]提出加權(quán)概率主成分分析法，可以適當(dāng)?shù)靥崛》蔷€性特征進(jìn)行回歸建模；Yu等[6]建立了一個(gè)基于混合核偏最小二乘算法的溫度軟測量模型，通過收集爐壁溫度來估算實(shí)際鍛造溫度，采用局部加權(quán)算法來確定訓(xùn)練樣本權(quán)重提高模型精度；趙彥濤等[7]提出一種基于互信息和最小二乘支持向量機(jī)的軟測量建模方法，實(shí)現(xiàn)水泥生料細(xì)度的實(shí)時(shí)監(jiān)測。文獻(xiàn)[3～7]的實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的軟測量建模方法明顯優(yōu)于傳統(tǒng)的軟測量建模方法。

軟測量技術(shù)不僅能夠?qū)崿F(xiàn)待測變量的實(shí)時(shí)監(jiān)測，而且可以通過歷史時(shí)刻數(shù)據(jù)預(yù)測目標(biāo)值的未來變化情況。如He等[8]提出了一種基于Pearson相關(guān)系數(shù)的獨(dú)立子網(wǎng)雙平行極限學(xué)習(xí)機(jī)，在復(fù)雜的化學(xué)過程建模中有更小的預(yù)測誤差；Fernandezd等[9]基于神經(jīng)網(wǎng)絡(luò)的軟傳感器主要用于在線預(yù)測污水處理廠ASP中難以測量的變量；Shang等[10]把時(shí)間平滑作為一種新的動(dòng)態(tài)軟測量建模機(jī)制，并通過實(shí)際的預(yù)測任務(wù)說明了該方法的可行性；Lv等[11]提出一種自適應(yīng)LSSVM，將該方法應(yīng)用于燃煤鍋爐NOx排放量的預(yù)測；Ahmed等[12]建立一個(gè)用于NOx的實(shí)時(shí)預(yù)測的LSSVM模型。

鑒于軟測量技術(shù)在其它領(lǐng)域中的成功應(yīng)用，一些學(xué)者也提出多種關(guān)于水泥熟料fCaO的軟測量建模方法。趙朋程等[13]選用5個(gè)與水泥熟料燒成的相關(guān)變量，建立多核LSSVM水泥熟料fCaO預(yù)測模型；王秀蓮等[14]通過比較各變量與熟料fCaO之間的關(guān)聯(lián)度選取4個(gè)變量，并提出一種基于局部粒子群優(yōu)化LSSVM的水泥熟料fCaO軟測量方法；蔣妍妍等[15]提出基于改進(jìn)粒子群優(yōu)化LSSVM的水泥熟料fCaO軟測量模型；趙朋程[16]采用一種改進(jìn)的優(yōu)化算法，構(gòu)建基于ELM的水泥熟料fCaO軟測量模型；Li等[17]采用壓縮特征向量的數(shù)據(jù)，利用改進(jìn)的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了熟料fCaO軟測量。上述文獻(xiàn)中不同的軟測量方法都有著良好的預(yù)測結(jié)果，但是文獻(xiàn)[13～16]利用某時(shí)刻的各參量數(shù)據(jù)實(shí)現(xiàn)熟料fCaO的預(yù)測，不符合水泥燒成過程大慣性、大時(shí)滯的特性；而文獻(xiàn)[17]中的方法雖然考慮了1 h內(nèi)的變量信息，但是從每個(gè)變量1 h內(nèi)的數(shù)據(jù)中只提取了一個(gè)特征值作為模型輸入，這很大程度上減少了影響fCaO的特征信息。

隨著深度學(xué)習(xí)的發(fā)展，深層神經(jīng)網(wǎng)絡(luò)被廣泛用于構(gòu)建軟測量模型。Shang等[18]使用深度學(xué)習(xí)技術(shù)估計(jì)粗柴油蒸餾裝置的重柴油95%切割點(diǎn)；Liu等[19]提出一種多層DBN軟測量系統(tǒng)在線預(yù)測燃燒系統(tǒng)出口氧量；Yan等[20]提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的新型軟測量建模方法，用于估算1 000 MW超超臨界機(jī)組煙氣中的氧含量；Qiu等[21]提出一種用于污水處理廠深層神經(jīng)網(wǎng)絡(luò)軟測量模型。

廣泛應(yīng)用的深層卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[22～24]，能夠從大量數(shù)據(jù)中提取最優(yōu)化特征，并有很強(qiáng)的容錯(cuò)性和自主學(xué)習(xí)能力[25]。相比其它深層網(wǎng)絡(luò)，CNN的結(jié)構(gòu)復(fù)雜度低，網(wǎng)絡(luò)參數(shù)少，訓(xùn)練耗時(shí)短，現(xiàn)已被成功應(yīng)用在人臉檢測[26]、文檔分析[27]、語音識別[28]等各個(gè)方面。張浩等[29]首先確定關(guān)聯(lián)變量時(shí)間窗的大小，然后建立CNN模型對蒸餾塔液位進(jìn)行預(yù)測；段友祥等[30]將地質(zhì)儲(chǔ)層參數(shù)模擬成圖片的像素點(diǎn)形式，提出了一種應(yīng)用CNN對地質(zhì)儲(chǔ)層參數(shù)進(jìn)行預(yù)測的方法。文獻(xiàn)[29，30]中都是將采集的數(shù)據(jù)轉(zhuǎn)化為圖像格式數(shù)據(jù)，完全按照圖像處理的形式設(shè)計(jì)CNN結(jié)構(gòu)，沒有根據(jù)數(shù)據(jù)特征調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)。

圖像數(shù)據(jù)和流程工業(yè)數(shù)據(jù)的特征有很大差異：在圖像數(shù)據(jù)中，相鄰像素點(diǎn)(上、下、左、右)的數(shù)據(jù)相似性很高；對于流程工業(yè)數(shù)據(jù)，雖然同一變量相鄰時(shí)刻具有較高的相似性，但同一時(shí)刻、不同變量的數(shù)據(jù)不具有近似性。水泥熟料燒成過程具有大慣性、大時(shí)滯、多耦合等特性，熟料fCaO含量和相關(guān)過程變量中一段時(shí)間內(nèi)的數(shù)據(jù)有關(guān)?？紤]到不同過程變量同一時(shí)刻的關(guān)聯(lián)性不大、不同過程變量與熟料fCaO之間時(shí)延難以確定、單一時(shí)刻的過程變量很難反應(yīng)整個(gè)水泥熟料燒成過程等問題，本文通過對水泥工藝的綜合分析，選取與熟料fCaO相關(guān)的多個(gè)過程變量，將各過程變量在一定時(shí)間段內(nèi)的數(shù)據(jù)序列作為軟測量模型的輸入，并結(jié)合時(shí)間序列的特點(diǎn)，提出了一種基于時(shí)間序列單維卷積神經(jīng)網(wǎng)絡(luò)(time series single dimensional convolution neural network,TS-CNN)的水泥熟料游離鈣軟測量建模方法。該方法不用計(jì)算過程變量間的時(shí)延，節(jié)省了時(shí)序匹配相關(guān)的工作量，最后通過實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性。

2 水泥工藝描述與多源數(shù)據(jù)建模方法

2.1 水泥工藝描述

水泥燒成是生料經(jīng)過預(yù)熱、分解和煅燒之后轉(zhuǎn)化為熟料的工藝過程，期間經(jīng)過一系列物理化學(xué)反應(yīng)生成符合要求的水泥熟料。水泥燒成部分的工藝流程如圖1，分解爐和回轉(zhuǎn)窯產(chǎn)生的煙氣從預(yù)熱器底端(C5)旋流而上，同時(shí)生料在重力作用下從預(yù)熱器頂端(C1)下落，與預(yù)熱器內(nèi)的熱氣充分接觸并完成熱交換。預(yù)熱之后的生料進(jìn)入分解爐內(nèi)，此時(shí)生料的分解率達(dá)到85%以上，未完成分解的生料將會(huì)在回轉(zhuǎn)窯內(nèi)繼續(xù)分解，經(jīng)過窯內(nèi)高溫煅燒之后的熟料由窯頭送入篦冷機(jī)冷卻。為了提高能量利用率，熟料冷卻過程中產(chǎn)生熱二次風(fēng)以及熱三次風(fēng)分別進(jìn)入回轉(zhuǎn)窯和分解爐再次加熱。熟料冷卻之后完成取樣，并通過實(shí)驗(yàn)測得熟料fCaO的含量。

圖1 水泥燒成工藝及各過程變量示意圖Fig.1 Cement production process and various variables

由水泥工藝學(xué)可知[31]，水泥生料經(jīng)回轉(zhuǎn)窯燒成帶高溫煅燒，發(fā)生燒結(jié)反應(yīng)，最后經(jīng)冷卻獲得的固體顆粒物料稱為水泥熟料，凝固體中含有少量未化合的氧化鈣稱為游離鈣(fCaO)。游離鈣含量過高會(huì)使水泥的安定性下降，過低導(dǎo)致水泥燒成能耗增加，因此fCaO需要控制在合理的范圍之內(nèi)。其中影響水泥熟料fCaO含量的主要生產(chǎn)過程為：(1)生料預(yù)熱分解。生料中主要成分是CaCO3，當(dāng)溫度達(dá)到600 ℃時(shí)，CaCO3開始緩慢分解生成CaO；當(dāng)溫度達(dá)到850 ℃；時(shí)，生料的分解率增加，物料中便出現(xiàn)性質(zhì)活潑的游離鈣，它與生料中的SiO2、Al2O3、Fe2O3等進(jìn)行固相反應(yīng)，形成熟料礦物[32]。(2)窯內(nèi)煅燒。物料溫度繼續(xù)升高達(dá)1 300 ℃時(shí)，液態(tài)的鐵鋁酸四鈣(C4AF)、鋁酸三鈣(C3A)和硅酸二鈣(C2S)會(huì)吸收部分游離氧化鈣生成新的化合物，未被吸收的氧化鈣為熟料fCaO。(3)熟料冷卻。此過程主要在篦冷機(jī)內(nèi)，熟料冷卻時(shí)需要急速冷卻，防止硅酸三鈣(C3S)等化合物在1 250 ℃分解出現(xiàn)二次游離鈣。

復(fù)雜多變的水泥燒成過程中各過程變量與熟料fCaO之間的時(shí)間延遲都不相同，并且每個(gè)過程變量的時(shí)間延遲會(huì)隨著工況變化而變化。例如高溫風(fēng)機(jī)轉(zhuǎn)速和窯電流等參數(shù)，會(huì)影響物料在分解爐和回轉(zhuǎn)窯內(nèi)的受熱時(shí)間，導(dǎo)致分解爐溫度和回轉(zhuǎn)窯溫度等過程變量與熟料fCaO之間的時(shí)間延遲發(fā)生變化，這使得各過程變量與熟料fCaO之間的時(shí)間延遲很難確定。因此，本文選取與相關(guān)過程變量在采樣前的1 h內(nèi)的時(shí)間序列作為軟測量模型的輸入。

2.2 變量選取及軟測量方案闡述

經(jīng)上述工藝描述分析，選取如圖1中與熟料fCaO含量密切相關(guān)的10個(gè)過程變量，作為熟料fCaO軟測量建模的輔助變量。表1給出了該10個(gè)過程變量以及相應(yīng)的數(shù)值范圍及單位。

熟料fCaO軟測量方案如圖2所示：首先，據(jù)水泥燒成工藝描述及熟料fCaO產(chǎn)生的機(jī)理分析，選取熟料fCaO軟測量建模的輔助變量；其次，為了提高模型訓(xùn)練收斂速度和迭代求解精度，依次對每一個(gè)過程變量的原始數(shù)據(jù)進(jìn)行歸一化處理，使結(jié)果值映射到[0,1]之間；最后，將數(shù)據(jù)樣本分為訓(xùn)練集和預(yù)測集，模型經(jīng)訓(xùn)練集訓(xùn)練學(xué)習(xí)之后，用測試集驗(yàn)證模型的泛化能力。

表1 選取的輔助變量Tab.1 Selected auxiliary variables

圖2 熟料fCaO的軟測量方案Fig.2 Soft sensor schemes of fCaO

3 TS-CNN軟測量模型

選取10個(gè)過程變量在一段時(shí)間內(nèi)包含特征信息的時(shí)間序列作為模型的輸入，采用深層網(wǎng)絡(luò)提取時(shí)間序列的特征信息，可避免各過程變量與熟料fCaO之間時(shí)延不確定對軟測量結(jié)果的影響。單維卷積池化只是對輸入數(shù)組中的某一個(gè)過程變量特征提取，由于水泥燒成過程中同一時(shí)刻不同過程變量之間的關(guān)聯(lián)度不大，且各個(gè)過程變量對熟料fCaO的影響程度不同，因此采用單維卷積池化的方式提取單變量特征。

本文構(gòu)建的基于TS-CNN熟料fCaO軟測量模型如圖3所示。

采用包含10個(gè)過程變量特征信息的時(shí)間序列作為輸入數(shù)據(jù)，經(jīng)單維卷積池化提取特征后，接全連接層綜合所有的特征信息并輸出。TS-CNN的主要結(jié)構(gòu)包括10過程變量時(shí)間序列輸入層、提取數(shù)據(jù)特征的多個(gè)單維卷積池化層、全連接層以及輸出層。

圖3 基于TS-CNN的fCaO軟測量模型Fig.3 Soft sensor model of fCaO based on TS-CNN

3.1 TS-CNN前向訓(xùn)練算法

在TS-CNN中，各變量經(jīng)輸入層輸入后，通過單維卷積池化提取特征，隨后接全連接層整合提取的局部特征，最后由輸出層輸出。

(1)TS-CNN輸入層 設(shè)x為TS-CNN的輸入，其包含所選10個(gè)過程變量的時(shí)間序列，可表示為：

x=(x1,x2,…,x10)

(1)

每個(gè)過程變量時(shí)間序列包含t個(gè)采樣點(diǎn)：

xi=(xi(1),…,xi(2),xi(t))

(2)

式中：xi(i=1,2,…,10)為第i個(gè)過程變量的時(shí)間序列。

(2)TS-CNN卷積層 TS-CNN的卷積層采用單維卷積的方式提取特征。如圖3中用n個(gè)單維卷積核對該層輸入進(jìn)行卷積計(jì)算，則會(huì)得到n個(gè)不同的特征向量，卷積過程中權(quán)值共享。

圖4 TS-CNN卷積過程Fig.4 Convolution process of TS-CNN

圖4為圖3中卷積過程的詳細(xì)描述，若第l層為卷積層，則該層輸出神經(jīng)元的輸入zl和卷積層的輸出xl表達(dá)式分別為式(3)和式(4)。

zl=xl-1*wl+bl

(3)

式中：xl-1代表卷積層輸入的特征向量；wl表示一維卷積核；bl表示輸出特征向量對應(yīng)的偏置。

xl=f(zl)

(4)

式中：f(·)為激活函數(shù)。

為了提高TS-CNN模型的非線性能力，采用ReLU函數(shù)作為激活函數(shù)，其表達(dá)式如式(5)。

f(x)=max(0,x)

(5)

(3)TS-CNN池化層 為了減少特征數(shù)據(jù),簡化網(wǎng)絡(luò)計(jì)算復(fù)雜度，在TS-CNN中增加池化層實(shí)現(xiàn)特征壓縮。由于水泥數(shù)據(jù)每個(gè)過程變量內(nèi)相鄰的數(shù)據(jù)之間有很強(qiáng)的相關(guān)性(相鄰數(shù)據(jù)近似相等)，因此平均池化能使該模型有更好的學(xué)習(xí)能力。由于池化層不含有激活函數(shù)，因此池化層輸出神經(jīng)元的輸入al+1與池化層輸出pl+1相等。第l+1層池化層輸入pl與輸出pl+1之間的關(guān)系表示為：

(6)

(4)TS-CNN全連接層 如圖3中k-1層為全連接層，該層的輸入為卷積池化得到的所有特征值，經(jīng)過全連接整合所有的特征信息，該層的輸入xk-1與輸出yk-1之間的關(guān)系如式(7)。

yk-1=f(wk-1*xk-1+bk-1)

(7)

式中：wk-1、bk-1分別為全連接層的權(quán)值和偏置。

(5)TS-CNN輸出層 為了避免過擬合，在該網(wǎng)絡(luò)模型輸出層前采用正則化方法—丟失數(shù)據(jù)(Dropout)技術(shù)[33]，提升網(wǎng)絡(luò)模型的泛化能力，訓(xùn)練過程中的Dropout率設(shè)置為0.5。TS-CNN輸出層如圖3中第k層所示，采用線性加權(quán)求和直接計(jì)算水泥熟料fCaO值。設(shè)該層權(quán)值和偏置分別為wk和bk，則輸入xk與輸出熟料fCaO值y′之間的計(jì)算公式為：

y′=wkxk+bk

(8)

3.2 TS-CNN反向訓(xùn)練算法

TS-CNN采用反向微調(diào)的方法實(shí)現(xiàn)參數(shù)更新。在該模型中，選擇均方誤差MSE(mean squared error)為損失函數(shù)J，其中損失函數(shù)J如式(9)所示。

(9)

TS-CNN參數(shù)反向微調(diào)過程中，首先按照反向傳播算法求得各層的誤差靈敏度δ，然后根據(jù)誤差靈敏度實(shí)現(xiàn)參數(shù)更新。輸出層、全連接層、與全連接層相連的卷積層池化層誤差靈敏度均可由BP算法得到。下面給出卷積層與池化層相連時(shí)的反向傳播算法。

(1)卷積層到池化層的反向傳播 當(dāng)?shù)趌層為池化層，后接卷積層l+1層時(shí)，池化層的誤差靈敏度δl計(jì)算如式(10)，其中池化層輸出神經(jīng)元的輸入al和輸出pl相等。

(10)

式中

zl+1=pl*wl+1+bl+1

(11)

式中：δl+1表示l+1層的誤差靈敏度；zl+1表示卷積層輸出神經(jīng)元的輸入； rot 180(·)表示將“·”旋轉(zhuǎn)180°。

(2)池化層到卷積層的反向傳播 當(dāng)卷積層l-1后面跟池化層l時(shí)，由鏈?zhǔn)椒▌t可知，卷積層誤差靈敏度δl-1計(jì)算如式(12)。

=up(δl)f′(zl-1)

(12)

式中

(13)

式中：zl-1為卷積層輸出神經(jīng)元的輸入；xl-1為卷積層的輸出，同為池化層的輸入；al表示池化運(yùn)算結(jié)果；up(·)完成了池化誤差數(shù)組放大與誤差重新分配，其數(shù)組大小與卷積之后的大小保持一致；f′(·)為激活函數(shù)導(dǎo)數(shù)。

由式(12)得到卷積層的誤差靈敏度δl-1后，卷積核梯度Δwl-1和偏置梯度Δbl-1計(jì)算過程如式(14)和式(15)。

=δl-1*rot180(xl-2)

(14)

(15)

式中：xl-2是卷積過程中與卷積核wl-1做卷積運(yùn)算的特征值； rot180(·)表示將“·”旋轉(zhuǎn)180°。

由于池化層不含有權(quán)值和偏置，因此池化層不涉及權(quán)值和偏置的更新。卷積層卷積核w和偏置b的更新，計(jì)算式為：

wl-1=wl-1-η*Δwl-1

(16)

bl-1=bl-1-η*Δbl-1

(17)

式中：η表示網(wǎng)絡(luò)的學(xué)習(xí)率。

3.3 TS-CNN訓(xùn)練實(shí)現(xiàn)

TS-CNN經(jīng)過前向訓(xùn)練提取特征，根據(jù)梯度下降法反向訓(xùn)練修正權(quán)值和偏置，降低訓(xùn)練誤差，優(yōu)化網(wǎng)絡(luò)模型。TS-CNN的訓(xùn)練過程算法描述如下。

輸入：10個(gè)過程變量的時(shí)間序列。

輸出：熟料fCaO值。

a)初始化各隱層、全連接層以及輸出層的權(quán)值w和偏置b為隨機(jī)值，TS-CNN的卷積層數(shù)l1和池化層數(shù)l2，最大迭代次數(shù)L，迭代停止閾值ε，學(xué)習(xí)率η，卷積核大小P及個(gè)數(shù)N，卷積步幅S，池化核大小m，全連接層輸出神經(jīng)元個(gè)數(shù)r；

b)根據(jù)式(1)、式(2)，確定10個(gè)過程變量時(shí)間序列組成的數(shù)組，作為TS-CNN的輸入；

c)根據(jù)式(3)～式(5)，用多個(gè)單維卷積核w對輸入特征量卷積運(yùn)算，經(jīng)過激活函數(shù)輸出；

d)根據(jù)式(6)對池化層輸入完成單維池化運(yùn)算；

e)依據(jù)卷積層數(shù)l1和池化層數(shù)l2，循環(huán)執(zhí)行第c)步l1次、第d)步l2次；

f)根據(jù)式(7)、式(8)，經(jīng)全連接層整合所有特征信息，最后由輸出層輸出訓(xùn)練值y′；

g)根據(jù)式(9)計(jì)算網(wǎng)絡(luò)訓(xùn)練輸出值與真實(shí)值之間的誤差J，若誤差值J<ε或者達(dá)到最大迭代次數(shù)L，算法終止迭代，否則執(zhí)行第h)步；

h)輸出層、全連接層以及與全連接層相接隱層的誤差靈敏度由BP反向微調(diào)算法求出，并完成該層權(quán)值和偏置更新；

i)根據(jù)式(10)～式(17)求得池化層誤差靈敏度δl和卷積層誤差靈敏度δl-1，完成卷積層權(quán)值wl-1和偏置bl-1更新。反向誤差傳播完成后，轉(zhuǎn)至第a)步開始正向訓(xùn)練。

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)使用某水泥廠40天的生產(chǎn)現(xiàn)場數(shù)據(jù)，本實(shí)驗(yàn)中選取10個(gè)過程變量1 h內(nèi)的時(shí)間序列作為模型的輸入，現(xiàn)場數(shù)據(jù)每分鐘采樣1次，即輸入為[60,10]的數(shù)組。共有實(shí)際數(shù)據(jù)822組，隨機(jī)選取712組作為訓(xùn)練集，剩余的110組作為測試集。為了提升網(wǎng)絡(luò)的訓(xùn)練效率，訓(xùn)練過程中每次抽取80組數(shù)據(jù)樣本進(jìn)行訓(xùn)練。整個(gè)實(shí)驗(yàn)包括兩部分，首先選擇最優(yōu)的TS-CNN參數(shù)，確定模型結(jié)構(gòu)；其次，與其它不同的軟測量方法進(jìn)行對比分析，說明本文所提方法的有效性。

整個(gè)實(shí)驗(yàn)過程采用均方誤差MSE、平均相對誤差MRE和平均絕對誤差MAE這3個(gè)指標(biāo)作為衡量模型預(yù)測精準(zhǔn)度的標(biāo)準(zhǔn)。其中MRE和MAE的表達(dá)式分別為式(18)和式(19)：

(18)

(19)

4.1 TS-CNN參數(shù)擇優(yōu)

TS-CNN中學(xué)習(xí)率、網(wǎng)絡(luò)層數(shù)以及各網(wǎng)絡(luò)層參數(shù)對網(wǎng)絡(luò)性能有重要的影響，這些參數(shù)直接影響了TS-CNN的收斂速度、訓(xùn)練效果和泛化能力。學(xué)習(xí)率決定了網(wǎng)絡(luò)的訓(xùn)練誤差能否快速收斂，因此應(yīng)優(yōu)先選擇適當(dāng)?shù)膶W(xué)習(xí)率。網(wǎng)絡(luò)在不同學(xué)習(xí)率下訓(xùn)練誤差以及預(yù)測誤差如表2，其中TS-CNN有兩個(gè)卷積層和兩個(gè)池化層，兩個(gè)卷積層分別含有16和32個(gè)大小為[11,1]和[12,1]的卷積核，池化層的池化核大小為[2,1]。

由表2可知，學(xué)習(xí)率由0.01減小至0.000 01時(shí)，訓(xùn)練誤差和預(yù)測誤差先減小后增大，學(xué)習(xí)率0.001時(shí)，訓(xùn)練誤差和預(yù)測誤差均為最小。學(xué)習(xí)率過大，權(quán)值參數(shù)因?yàn)樘荻认陆档牟介L過大而錯(cuò)過最優(yōu)值；學(xué)習(xí)率設(shè)置太小，易陷入局部最優(yōu)，而且耗時(shí)增多。因此選擇TS-CNN的學(xué)習(xí)率最優(yōu)值為0.001。

表2 不同學(xué)習(xí)率下TS-CNN誤差對比Tab.2 Comparison of TS-CNN errors with different learning rates

通過實(shí)驗(yàn)對比不同的TS-CNN結(jié)構(gòu)參數(shù)對軟測量精度的影響，確定最優(yōu)模型。實(shí)驗(yàn)涉及的4種網(wǎng)絡(luò)結(jié)構(gòu)如表3所示，包括不同的卷積層數(shù)和池化層數(shù)(Layers)、卷積核個(gè)數(shù)(Filters)以及卷積核與池化核的大小(Kernel_size)。其中model 1到model 4對應(yīng)的卷積核依次增大，model 1對應(yīng)的卷積層和池化層最多。

4種網(wǎng)絡(luò)模型的預(yù)測誤差如圖5所示。

表3 不同網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.3 Parameters of different network structures

圖5 不同網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測誤差對比Fig.5 Comparison prediction errors of networks with different structures

從圖5中可以看出，model 3，model 4，model 2和model 1對應(yīng)的預(yù)測誤差依次增大。其中model 3的預(yù)測誤差最小，該網(wǎng)絡(luò)含有2個(gè)池化層和2個(gè)卷積層；model 1預(yù)測誤差最大，對應(yīng)的網(wǎng)絡(luò)層數(shù)最多，卷積核最小。這說明了TS-CNN的層數(shù)過多、卷積核過大或者過小，都會(huì)使網(wǎng)絡(luò)的預(yù)測能力下降。由于水泥數(shù)據(jù)短時(shí)間范圍內(nèi)的變化不是很明顯，卷積核過小網(wǎng)絡(luò)層數(shù)增多，提取的特征沒有足夠的代表性，導(dǎo)致網(wǎng)絡(luò)的泛化能力變差；網(wǎng)絡(luò)層數(shù)越多，包含的參數(shù)，有可能過擬合而且訓(xùn)練耗時(shí)增多；卷積核過大可能導(dǎo)致特征遺漏，網(wǎng)絡(luò)預(yù)測能力下降。因此選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)對于提高預(yù)測精度很重要。

由圖5可見，本文提出的TS-CNN結(jié)構(gòu)參數(shù)符合model 3時(shí)，模型的預(yù)測精度最高，其卷積池化過程參數(shù)如圖6所示。第一個(gè)卷積層含有16個(gè)大小為[13,1]的單維卷積核，卷積之后得到16個(gè)大小為[48,10]的特征圖，隨后利用[2,1]池化核特征縮減；同樣第二個(gè)卷積層含有32個(gè)大小為[13,1]的卷積核，經(jīng)過第二個(gè)池化層最終得到32*6*10個(gè)神經(jīng)元，作為全連接層的輸入。

圖6 TS-CNN卷積池化過程參數(shù)Fig.6 The parameters of TS-CNN convolution layers and pooling layers

4.2 實(shí)驗(yàn)結(jié)果對比

為證明本文所提出TS-CNN方法的有效性，與二維CNN、DBN以及連續(xù)型深度信念網(wǎng)絡(luò)(CDBN)[34]的訓(xùn)練預(yù)測速度以及結(jié)果進(jìn)行對比。其中二維CNN內(nèi)有兩個(gè)卷積層和兩個(gè)池化層，卷積層分別含有16個(gè)[11,2]和32個(gè)[10,2]的二維卷積核，池化層池化核分別為[2,1]和[2,2]。DBN兩個(gè)隱層的神經(jīng)元分別是130和18，學(xué)習(xí)率為0.001，訓(xùn)練次數(shù)為100 000。CDBN兩個(gè)隱層的神經(jīng)元分別是125和20，學(xué)習(xí)率為0.001，訓(xùn)練次數(shù)為100 000。

圖7～圖10分別為4種網(wǎng)絡(luò)模型的訓(xùn)練和預(yù)測結(jié)果，表4展示4種不同方法的訓(xùn)練預(yù)測時(shí)間、訓(xùn)練預(yù)測誤差。

圖7～圖10給出了DBN、CDBN、二維CNN以及TS-CNN這4種不同軟測量方法的訓(xùn)練結(jié)果和預(yù)測結(jié)果。從圖中可以看出，4種方法都有良好的訓(xùn)練結(jié)果，但是TS-CNN的預(yù)測結(jié)果更接近于真實(shí)值。

由表4的訓(xùn)練時(shí)間和預(yù)測時(shí)間可知，DBN的耗時(shí)最多，TS-CNN的耗時(shí)最少，這是因?yàn)镈BN、CDBN內(nèi)部相鄰層之間全連接，而二維CNN以及TS-CNN的卷積層中權(quán)值共享，其需要確定的網(wǎng)絡(luò)參數(shù)遠(yuǎn)遠(yuǎn)小于DBN和CDBN中的參數(shù)。其中DBN相比CDBN隱層神經(jīng)元個(gè)數(shù)更多，因此DBN的訓(xùn)練耗時(shí)和預(yù)測耗時(shí)最長。TS-CNN和二維CNN中卷積核的數(shù)量和大小都會(huì)影響網(wǎng)絡(luò)的訓(xùn)練時(shí)間和預(yù)測時(shí)間，雖然本文中TS-CNN和二維CNN的卷積核個(gè)數(shù)相同，但是卷積核大小不同，其中TS-CNN卷積核為[13,1]，二維CNN的卷積核為[11,2]，兩種網(wǎng)絡(luò)卷積過程中需要確定參數(shù)比為13:22，由此可見，相比二維CNN模型，TS-CNN模型卷積過程中參數(shù)更少，訓(xùn)練速度和預(yù)測速度更快。

圖7 DBN訓(xùn)練結(jié)果和預(yù)測結(jié)果Fig.7 Training results and prediction results of DBN

圖8 CDBN訓(xùn)練結(jié)果和預(yù)測結(jié)果Fig.8 Training results and prediction results of CDBN

圖9 二維CNN訓(xùn)練結(jié)果和預(yù)測結(jié)果Fig.9 Training results and prediction results of two dimension CNN

圖10 TS-CNN訓(xùn)練結(jié)果和預(yù)測結(jié)果Fig.10 Training results and prediction results of TS-CNN

表4 不同模型的訓(xùn)練誤差和預(yù)測誤差Tab.4 Training error and prediction error of different soft sensors

由表4的訓(xùn)練誤差和預(yù)測誤差可見，基于TS-CNN的水泥熟料fCaO軟測量模型的訓(xùn)練誤差和預(yù)測誤差最小，其次是二維CNN和CDBN，DBN的訓(xùn)練誤差和預(yù)測誤差最大。4種軟測量方法采用了相同的時(shí)間序列作為輸入，由于模型結(jié)構(gòu)的差異，不同模型對應(yīng)的時(shí)間序列輸入形式和提取特征的方式不同：TS-CNN和二維CNN是將數(shù)據(jù)變換成有時(shí)間和空間特征的二維數(shù)組作為輸入，然后對輸入數(shù)組的局部卷積池化提取特征；而DBN和CDBN只是簡單的將10個(gè)變量的時(shí)間序列排成一維向量作為輸入，對輸入的整體同時(shí)提取特征。其中TS-CNN采用符合水泥時(shí)間序列的單維卷積池化方式提取各過程變量特征，而二維CNN中提取相鄰兩過程變量中的顯著特征，被卷積池化的兩個(gè)相鄰過程變量數(shù)據(jù)之間可能存在著較大的差異，而且每個(gè)過程變量對熟料fCaO的影響程度不同，有可能使得兩個(gè)過程變量中對熟料fCaO影響較小的特征丟失。由此可見，本文提出的基于TS-CNN水泥熟料fCaO含量的軟測量模型結(jié)構(gòu)簡單、預(yù)測精度更高、泛化能力更強(qiáng)。

5 結(jié) 論

本文建立基于TS-CNN水泥熟料fCaO的軟測量模型，首先通過水泥生產(chǎn)工藝分析確定了熟料fCaO軟測量建模的10個(gè)輔助變量，然后針對水泥燒成過程的大時(shí)滯特性，選取這10個(gè)過程變量1 h的時(shí)間序列作為輸入；最后根據(jù)所選過程變量時(shí)間序列數(shù)據(jù)的特點(diǎn)，采用一維卷積池化的訓(xùn)練過程提取特征。通過比較不同參數(shù)對網(wǎng)絡(luò)的影響，選取最優(yōu)的TS-CNN模型。實(shí)驗(yàn)表明，相比二維CNN、CDBN以及DBN軟測量方法，本文提出的基于TS-CNN的水泥熟料fCaO的軟測量模型，其訓(xùn)練速度更快、泛化能力更好，預(yù)測精度更高。