劉仲博

(寧夏職業(yè)技術(shù)學(xué)院，寧夏 銀川 750022)

0 引 言

受到我國能源結(jié)構(gòu)的影響以及火力發(fā)電技術(shù)的發(fā)展，煤炭廣泛應(yīng)用于火力發(fā)電中。煤炭在使用過程中由于燃燒不充分會產(chǎn)生粉體污染物，該污染物排放在一定時(shí)期內(nèi)存在監(jiān)管不到位的現(xiàn)象，產(chǎn)生了嚴(yán)重的環(huán)境問題[1]。同時(shí)，由于粉煤灰具有特殊的物理化學(xué)性質(zhì)，可以廣泛應(yīng)用于工業(yè)和農(nóng)業(yè)生產(chǎn)中，因此開展粉煤灰的回收再利用具有一定的環(huán)境意義和經(jīng)濟(jì)價(jià)值。粉煤灰中未燃燒完全的有機(jī)物影響粉煤灰的物理化學(xué)性能，如含量過高就會導(dǎo)致具有較強(qiáng)的吸水性，強(qiáng)度不夠大，燒失量衡量粉煤灰中未進(jìn)行充分燃燒的有機(jī)物含量，用來表征煤炭的燃燒效率，在進(jìn)行粉煤灰重復(fù)利用之前需要對燒失量進(jìn)行檢測。檢測的步驟一般包括人工取樣、灼燒和稱重幾個(gè)部分，受到現(xiàn)場工期以及檢測成本的限制，檢測的樣本數(shù)量常常不能滿足現(xiàn)場要求。利用圖像識別開展粉煤灰燒失量研究，能夠縮短檢測周期，降低檢測成本，對粉煤灰燒失量的預(yù)測具有重要意義。近年來機(jī)器學(xué)習(xí)技術(shù)不斷發(fā)展，廣泛應(yīng)用于工程與科學(xué)研究方面[2]。周波等[3]在實(shí)驗(yàn)基礎(chǔ)上建立了遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)抗壓強(qiáng)度預(yù)測模型，預(yù)測了高強(qiáng)高摻粉煤灰實(shí)現(xiàn)高強(qiáng)度目標(biāo)的實(shí)驗(yàn)條件。李章建等[4]建立了BP神經(jīng)元網(wǎng)絡(luò)預(yù)測模型對偏高嶺土高性能混凝土的抗壓強(qiáng)度進(jìn)行了預(yù)測，并與多元線性回歸模型預(yù)測結(jié)果進(jìn)行了對比，研究認(rèn)為BP神經(jīng)網(wǎng)絡(luò)的預(yù)測精度高，結(jié)果可靠。胡明玉等[5]在研究粉煤灰抑制AAR問題時(shí)引入了模糊神經(jīng)網(wǎng)絡(luò)，利用該模型分析了粉煤灰抑制AAR的整體規(guī)律，指出水泥堿量和粉煤灰堿量與AAR膨脹成正比，粉煤灰摻量與AAR膨脹成反比。方崇[6]為了全面對粉煤灰產(chǎn)品品質(zhì)性能進(jìn)行評價(jià)，利用投影尋蹤聚類分析模型對粉煤灰進(jìn)行分類，研究結(jié)果相對準(zhǔn)確、客觀。陳師杰等[7]利用工業(yè)攝像頭抓拍了粉煤灰圖片，獲取了多個(gè)特征參數(shù)，利用BP神經(jīng)網(wǎng)絡(luò)、SVM神經(jīng)網(wǎng)絡(luò)、ELM神經(jīng)網(wǎng)絡(luò)對粉煤灰燒失量進(jìn)行了訓(xùn)練和學(xué)習(xí)，對比了不同模型的預(yù)測效果，最終認(rèn)為ELM神經(jīng)網(wǎng)絡(luò)預(yù)測精度相對較高。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型雖然表現(xiàn)出一定的智能特性，但在自主學(xué)習(xí)上表現(xiàn)較差。近年來隨著深度學(xué)習(xí)的發(fā)展，自主性學(xué)習(xí)功能受到越來越多的關(guān)注，卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上和語音分析上取得了一些成果，然而在粉煤灰燒失量方面研究較少。為了準(zhǔn)確的預(yù)測粉煤灰燒失量，挖掘出數(shù)據(jù)內(nèi)部的深層關(guān)聯(lián)和規(guī)律，本文采用了卷積神經(jīng)網(wǎng)絡(luò)對粉煤灰燒失量進(jìn)行預(yù)測，卷積神經(jīng)網(wǎng)絡(luò)是近年興起的圖片高效識別方法，其獨(dú)特的特征映射層使其在圖片分析和識別方面具有明顯優(yōu)勢。為彌補(bǔ)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不能自主提取特征信息的特點(diǎn)，本文利用了卷積神經(jīng)網(wǎng)絡(luò)權(quán)值共享和自主特征學(xué)習(xí)能力的優(yōu)勢開展粉煤灰燒失量預(yù)測，對卷積神經(jīng)網(wǎng)絡(luò)的原理進(jìn)行介紹，利用粉煤灰燒失量圖片資料建立預(yù)測模型，對卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化調(diào)節(jié)，對比不同模型的預(yù)測精度。

1 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化和改進(jìn)

多層神經(jīng)網(wǎng)絡(luò)經(jīng)過多年的進(jìn)化和發(fā)展形成卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層5個(gè)部分，其中卷積層和池化層是其具有的兩個(gè)獨(dú)特單元,卷積層用于連接前層并獲取特征數(shù)據(jù)，池化層用于在保持?jǐn)?shù)據(jù)內(nèi)部特征的條件下對特征數(shù)據(jù)進(jìn)行降維。通過相鄰節(jié)點(diǎn)局部連接的形式對空間數(shù)據(jù)局部特征信息進(jìn)行挖掘，在圖像處理時(shí)效果顯著，具有預(yù)處理簡單、網(wǎng)絡(luò)優(yōu)化參數(shù)少以及網(wǎng)絡(luò)復(fù)雜度小的特點(diǎn)[8-10]。

1.1 卷積與池化層

卷積層又名特征提取層，該層計(jì)算時(shí)首先確定卷積核，將卷積核與前層特征圖輸入?yún)?shù)利用非線性激活函數(shù)進(jìn)行卷積處理，其他特征的位置由局部特征的提取獲得。 卷積層特征值輸出的表達(dá)式見式(1)。

(1)

池化層是對卷積層特征圖進(jìn)行降維處理，因此又稱為采樣層，用于減少和優(yōu)化網(wǎng)格參數(shù)，從而提高數(shù)據(jù)特征的魯棒性，隨機(jī)池化和最大池化是常用的池化方法，卷積層的計(jì)算表達(dá)式見式(2)。

(2)

式(1)和式(2)中的激活函數(shù)通過引入權(quán)重使得神經(jīng)網(wǎng)絡(luò)具有非線性的表達(dá)能力，ReLu分段函數(shù)是常用的激活函數(shù)，其數(shù)學(xué)表達(dá)式見式(3)。

ReLU=max(0,x)

(3)

該函數(shù)將x<0神經(jīng)元輸出為0，提高了網(wǎng)絡(luò)的運(yùn)行速度和收斂性，對解決過擬合問題具有較好的效果。

1.2 Adam優(yōu)化算法

通過在神經(jīng)網(wǎng)絡(luò)中引入優(yōu)化算法可以減少網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)，提高了優(yōu)化速度的同時(shí)加速了網(wǎng)絡(luò)收斂。Adam優(yōu)化算法充分結(jié)合了AdaGrad算法和RMSprop算法的優(yōu)勢，在處理稀疏梯度和非平穩(wěn)目標(biāo)時(shí)表現(xiàn)出了良好的性能，確保了梯度下降過程中參數(shù)更新的準(zhǔn)確性和平穩(wěn)性，其梯度計(jì)算的表達(dá)式見式(4)。

(4)

式中，φ為梯度值，包含權(quán)重項(xiàng)和偏置項(xiàng)兩部分。

1) 首先估算梯度值和梯度平方值的均值，采用方法為指數(shù)加權(quán)平均法，見式(5)和式(6)。

Vφ=ρ1Vφ+(1-ρ1)φ

(5)

Sφ=ρ2Sφ+(1-ρ2)φ2

(6)

式中：Vφ和Sφ為加權(quán)平均值；ρ1和ρ2為偏差修正的指數(shù)衰減率。

2) 給定時(shí)間步長，對加權(quán)平均值進(jìn)行偏差修正，其表達(dá)式見式(7)和式(8)。

(7)

(8)

3) 利用梯度的修正值對權(quán)重和偏置進(jìn)行，其表達(dá)式見式(9)。

(9)

式中：α為學(xué)習(xí)率；δ為常數(shù)。

1.3 dropout技術(shù)

通過文獻(xiàn)調(diào)研發(fā)現(xiàn)，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，預(yù)測精度并不是逐漸增加的，這是因?yàn)榫W(wǎng)絡(luò)訓(xùn)練參數(shù)與網(wǎng)絡(luò)層數(shù)呈指數(shù)關(guān)系，模型的累計(jì)誤差大大增加。粉煤灰燒失量預(yù)測模型的輸入?yún)?shù)相對較少，特征提取時(shí)多樣性較差，容易產(chǎn)生過擬合的現(xiàn)象，為了提高模型的預(yù)測精度，本文在建立卷積神經(jīng)網(wǎng)絡(luò)時(shí)引入了dropout技術(shù)，該技術(shù)在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)首先設(shè)定神經(jīng)元從網(wǎng)絡(luò)中丟棄概率，部分神經(jīng)元的活性保留，而另一部分神經(jīng)元的輸入和輸出設(shè)置為0。該方法通過隨機(jī)挑選神經(jīng)元參與網(wǎng)絡(luò)訓(xùn)練，弱化了部分神經(jīng)元節(jié)點(diǎn)之間的連接，使得整個(gè)網(wǎng)絡(luò)的泛化能力得到增強(qiáng)，有效地降低了模型迭代過程中的過擬合現(xiàn)象。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)來源及數(shù)據(jù)處理

在獲取不同燒失量粉煤灰時(shí)，首先從不同地區(qū)的電廠采集高低燒失量的兩種粉煤灰，按照質(zhì)量配比的原則獲取2 000份不同燒失量粉煤灰樣品，利用粉碎機(jī)將樣品粒徑粉碎至70 μm以下，隨后進(jìn)行脫水處理。將所有樣品放入暗室中進(jìn)行拍攝，暗室中配備有光源，利用計(jì)算機(jī)程序?qū)I(yè)攝像頭進(jìn)行控制，每個(gè)樣品連續(xù)拍攝照片3次，選取最好的一組。在獲得2 000份不同燒失量圖片和燒失量后，利用圖像灰度的特征參數(shù)進(jìn)行燒失量研究。本文在進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)預(yù)測時(shí)不同于常規(guī)圖像處理問題，運(yùn)用有監(jiān)督訓(xùn)練的方式，采用圖像的特征參數(shù)模擬像素點(diǎn)。

灰度照片的特征參數(shù)分別為灰度均值、灰度方差、能量和熵值，在獲取4個(gè)特征參數(shù)值之前首先建立灰度直方圖，其數(shù)學(xué)表達(dá)式見式(10)。

(10)

式中：K為某樣品采樣點(diǎn)數(shù)量；ki為第i個(gè)灰度級像素點(diǎn)的個(gè)數(shù)。

直方圖建立后對直方圖的四個(gè)特征參數(shù)進(jìn)行表征，數(shù)學(xué)表達(dá)式分別見式(11)～式(14)。

(11)

(12)

(13)

(14)

式中：m為灰度均值；σ2為灰度方差；U為圖像能量；e為圖像熵值；L為歸一化后直方圖的灰度級；ai為第i個(gè)灰度級；p(ai)為概率直方圖中第i個(gè)灰度級的分布概率。

隨機(jī)選取80%作為卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，其余20%作為卷積神經(jīng)網(wǎng)絡(luò)的測試集進(jìn)行研究。考慮到不同特征參數(shù)評價(jià)指標(biāo)的差異性，為減少量綱以及量級對數(shù)據(jù)的影響，提高梯度下降算法的收斂速度，提高模型的計(jì)算準(zhǔn)確度，在對各參數(shù)進(jìn)行使用時(shí)首先進(jìn)行歸一化處理。

2.2 模型精度評估方法

模型精度進(jìn)行評估時(shí)采用Pearson相關(guān)系數(shù)(R)和均方差函數(shù)(RMSE)來評判。其中R的取值范圍在-1～1之間，用于衡量兩個(gè)變量之間相關(guān)程度，該值越大代表精度越高；RMSE則用來反映目標(biāo)值與預(yù)測結(jié)果之間的誤差最大值，該值越小代表精度越高，兩者的數(shù)學(xué)表達(dá)式見式(15)和式(16)。

(15)

(16)

式中：Y和P分別為參數(shù)的實(shí)際值和預(yù)測值；D為方差；Cov(Y，P)為協(xié)方差；yi和pi為某樣品的燒失量實(shí)際值和預(yù)測值；N為樣本數(shù)量。

3 結(jié)果分析

首先對2 000個(gè)樣本的圖片數(shù)據(jù)進(jìn)行預(yù)處理建立卷積神經(jīng)網(wǎng)絡(luò)模型，根據(jù)經(jīng)驗(yàn)設(shè)置卷積核為3×3權(quán)值矩陣，本文使用單層卷積神經(jīng)網(wǎng)絡(luò)，設(shè)置8個(gè)濾波器在卷積層中，迭代次數(shù)選值為500，每迭代5次輸出一個(gè)結(jié)果。圖1和圖2展示了不同學(xué)習(xí)率下卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練值相關(guān)性以及訓(xùn)練精度。 從圖1中可以看出，學(xué)習(xí)率為0.001、0.003、0.005、0.010、0.030和0.050時(shí)訓(xùn)練的相關(guān)性分別為0.904 3、0.948 0、0.911 9、0.948 0、0.929 9和0.920 9，學(xué)習(xí)率為0.003和0.010相關(guān)性較高；從圖2中可以看出，不同時(shí)訓(xùn)練的模型訓(xùn)練精度相差不大，均在0.080左右，從學(xué)習(xí)率0.003和0.010的預(yù)測偏差曲線對比來看，學(xué)習(xí)率為0.010時(shí)的模型精度收斂速率較快，綜合考慮相關(guān)性和模型訓(xùn)練精度，選取學(xué)習(xí)率為0.010時(shí)的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型。

圖1 不同學(xué)習(xí)率下的相關(guān)系數(shù)對比Fig.1 Comparison of correlation coefficients under different learning rates

圖2 不同學(xué)習(xí)率下的精度對比Fig.2 Accuracy comparison under different learning rates

為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)預(yù)測效果與網(wǎng)絡(luò)深度之間的關(guān)系，開展了網(wǎng)絡(luò)深度與敏感性實(shí)驗(yàn)，與此同時(shí)引入dropout技術(shù)對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，對比了引入和不引入dropout技術(shù)時(shí)的精度預(yù)測曲線。從圖3和圖4可以看出，在不引入dropout技術(shù)時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)層數(shù)為3，此時(shí)的預(yù)測效果最佳，數(shù)值相關(guān)性為0.975 0，訓(xùn)練精度為0.090 7，當(dāng)網(wǎng)絡(luò)深度超過3層后，過擬合現(xiàn)象出現(xiàn)，當(dāng)達(dá)到6層時(shí)，數(shù)值偏差小于單層網(wǎng)絡(luò)，這是由于網(wǎng)絡(luò)加深過多后，內(nèi)部參數(shù)增加量過快造成的。 引入dropout技術(shù)后，使得復(fù)雜的網(wǎng)絡(luò)變得稀疏，在一定程度上避免了過擬合現(xiàn)象，隨著層數(shù)的增加，預(yù)測精度不斷遞增。

圖3 相關(guān)系數(shù)與網(wǎng)絡(luò)深度關(guān)系Fig.3 Relationship between correlation coefficient and network depth

圖4 預(yù)測偏差與網(wǎng)絡(luò)深度關(guān)系Fig.4 Relationship between prediction bias and network depth

隨后，為了進(jìn)一步檢驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)模型在粉煤灰燒失量預(yù)測中的應(yīng)用效果，對比了不同模型的預(yù)測精度，見表1。對比的模型分別為深度神經(jīng)網(wǎng)絡(luò)(DNN)、長短期記憶網(wǎng)絡(luò)(LSTM)、和BP神經(jīng)網(wǎng)絡(luò)(BPNN)，從數(shù)值預(yù)測偏差和相關(guān)性上看，卷積神經(jīng)網(wǎng)絡(luò)(CNN)的預(yù)測性能最佳，表明卷積神經(jīng)網(wǎng)絡(luò)對粉煤灰圖像具有較好的數(shù)據(jù)特征提取能力。

表1 不同模型的燒失量預(yù)測結(jié)果對比Table 1 Comparison of loss on ignition prediction results of different models

4 結(jié) 論

1) 針對目前粉煤灰燒失量實(shí)驗(yàn)成本高，樣本點(diǎn)少的問題，本文提出利用多層卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型，運(yùn)用深度學(xué)習(xí)技術(shù)開展粉煤灰燒失量預(yù)測，采用灰度照片的特征參數(shù)分別為灰度均值、灰度方差、能量和熵值對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。網(wǎng)絡(luò)在構(gòu)建時(shí)，設(shè)有相同層數(shù)的特征捕捉器提高預(yù)測精度，深度挖掘具有不確定性的輸入數(shù)據(jù)，同時(shí)引入dropout技術(shù)降低網(wǎng)絡(luò)的過擬合問題。

2) 以已有實(shí)驗(yàn)數(shù)據(jù)為基礎(chǔ)開展預(yù)測模型研究，并于類似深度學(xué)習(xí)模型DNN、LSTM、BPNN等進(jìn)行預(yù)測精度對比，對比結(jié)果表明本文的卷積神經(jīng)網(wǎng)絡(luò)模型具有相對較高的魯棒性，與實(shí)際實(shí)驗(yàn)數(shù)據(jù)數(shù)值偏差為0.090 7，預(yù)測的數(shù)值相關(guān)性為0.975 0，預(yù)測的誤差相對較小。

3) 運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行粉煤灰燒失量預(yù)測時(shí)，需要對模型的相應(yīng)參數(shù)進(jìn)行適當(dāng)調(diào)整，不需改變模型整體結(jié)構(gòu)，訓(xùn)練好的模型具有較好的時(shí)效性和泛化性能，卷積神經(jīng)網(wǎng)絡(luò)不僅在圖片識別上具有獨(dú)特優(yōu)勢，還可以應(yīng)用于特征提取上，在粉煤灰燒失量預(yù)測上具有廣泛的應(yīng)用前景。