謝輝煌, 金 毅, 張忠杰, 尹 君, 宋春芳

(江南大學機械工程學院;江蘇省食品先進制造裝備技術(shù)重點實驗室1,無錫 214122)

(國家糧食和物資儲備局科學研究院;糧食儲運國家工程研究中心2,北京 100037)

糧食干燥是一個復雜的非線性、時滯性以及多變量耦合的過程,且具有大批量、及時性的干燥需求,使得對干燥設(shè)備的工業(yè)化性能要求較高[1],國內(nèi)糧食干燥設(shè)備自動化程度低,控制存在遲滯性,糧食干燥機出機水分無法精準預測是最為主要的問題之一[2]。把控出機糧食水分是糧食干燥最基本的要求,水分過高會導致糧食水分無法滿足儲藏條件,過低則會造成能源浪費以及品質(zhì)劣變等問題,因此精準預測出機糧食水分對干燥機的調(diào)控具有至關(guān)重要的指導作用[3]。

較早的有關(guān)水分預測的方法主要是基于干燥經(jīng)驗以理論模型所建立的[4-9],這些模型存在建模復雜,求解困難,或是存在模型建立后假設(shè)過于理想化,對現(xiàn)實因素的考量并不充分等問題,其作為預測模型的局限性也越來越明顯[10]。

近些年來,神經(jīng)網(wǎng)絡(luò)依靠其較強的自適應(yīng),自學習能力以及十分優(yōu)越的逼近效果,被認為是一種處理復雜、非線性模型問題的有效方法,國內(nèi)外也已經(jīng)有一些將其應(yīng)用于糧食干燥過程水分預測的分析,其中BP神經(jīng)網(wǎng)絡(luò)作為最常用的一類神經(jīng)網(wǎng)絡(luò)已有許多報道[11-13],而傳統(tǒng)BP是一種靜態(tài)的神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)的預測輸出僅依賴于當前時刻的輸入,比較適合輸入較為平穩(wěn)時,實際某一時間的糧食出機水分是受過去一段時間糧食干燥機狀況的影響,采用依據(jù)序列的預測會更加合理且可以對數(shù)據(jù)突變有更好的抗干擾性能以及穩(wěn)定性。

長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)作為一種動態(tài)神經(jīng)網(wǎng)絡(luò)將時間序列的概念引入到神經(jīng)網(wǎng)絡(luò)的輸入中,且可以挖掘長序列數(shù)據(jù)之間前后的信息關(guān)聯(lián),目前已經(jīng)在翻譯[14]、語音識別[15]、股票[16, 17]、天氣[18]、剩余壽命[19]及軌跡[20]預測等多個領(lǐng)域得到了應(yīng)用。研究基于LSTM算法建立稻谷干燥出機水分預測模型,進行了相關(guān)性分析,優(yōu)化模型參數(shù)并與以往的預測算法模型進行對比,嘗試得到預測性能更好的模型,以用于干燥機稻谷出機水分預測。

1 材料與方法

1.1 實驗設(shè)備及方案

為方便實驗,研究選用小型連續(xù)式谷物干燥機作為實驗設(shè)備,以糧庫的大型干燥塔為原型進行設(shè)計,以保證其結(jié)果的可靠性與真實性,采用順流干燥,混流冷卻的干燥工藝。

系統(tǒng)工作流程簡圖如圖1所示,系統(tǒng)主要組成為儲糧倉、糧食烘干機、送料裝置。核心部分烘干機分為原糧段、干燥段、冷卻段以及排糧段,由冷風機、加熱裝置以及熱風機組組成。系統(tǒng)工作時,濕糧通過送料裝置從儲糧倉運輸?shù)胶娓蓹C,并通過上下位置開關(guān)控制進料過程,谷物從干燥機頂部落入后堆疊在烘干機內(nèi)進行干燥作業(yè),干燥后底部冷風器對谷物進行冷卻,最后通過底部的閉風器以一定速率排出。

圖1 系統(tǒng)工作流程簡圖

實驗所選稻谷為當季采購的早秈稻美香占2號(廣東廣州),實驗于2021年夏季在國家糧食和物資儲備局科學研究院昌平中試基地進行連續(xù)實驗。干燥期間系統(tǒng)連續(xù)運行進行數(shù)據(jù)采集,通過實驗過程中不斷改變各項干燥機參數(shù)及初始水分,獲取多樣性數(shù)據(jù)樣本,以用于后期神經(jīng)網(wǎng)絡(luò)模型訓練。

1.2 數(shù)據(jù)收集

糧食干燥過程中其出機水分會受多種因素的影響,環(huán)境狀況會致使稻谷初始水分和溫度的波動,而在干燥時干燥機的干燥作業(yè)條件,諸如干燥段溫度、風速以及排潮管狀況等都會直接影響糧食出機水分[21]。實驗結(jié)合干燥中對出機水分影響較為主要的因素,以及設(shè)備本身所采集到的數(shù)據(jù)類別,使用PT100溫度傳感器采集各糧段溫度(Td),RST0JWSH-5傳感器采集各段排潮口溫濕度(To,Ho),FST100-2001D傳感器采集環(huán)境溫濕度(Ten,Hen),PT2703水分檢測儀采集稻谷進出口含水率(Min,Mout)采集間隔為1 min。干燥機內(nèi)所采集的部分原始數(shù)據(jù)見表1,共計14項數(shù)據(jù),并確定以稻谷出機水分作為網(wǎng)絡(luò)模型的輸出,剩余因素作為網(wǎng)絡(luò)的輸入項。

表1 糧食干燥機部分實驗數(shù)據(jù)樣本

1.3 數(shù)據(jù)處理

考慮到實驗開始時的初始誤差以及干燥過程產(chǎn)生的隨機誤差,共篩選出2 438組實驗數(shù)據(jù),由于采集數(shù)據(jù)量級不同且數(shù)據(jù)類別較多,為了降低訓練難度,提高模型預測精度需要對數(shù)據(jù)按式(1)～式(3)進行標準化處理:

(1)

(2)

(3)

2 LSTM模型開發(fā)

2.1 模型描述

長短期記憶神經(jīng)網(wǎng)絡(luò)是一種改進的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),由Hochreiter等[22]提出,不同于傳統(tǒng)的RNN,為了在長序列問題上有更好的表現(xiàn),LSTM通過引入門的機制,有效解決了長序列數(shù)據(jù)訓練時梯度消失和梯度爆炸的問題。LSTM在傳統(tǒng)的RNN基礎(chǔ)上,增加了記憶單元,包括有遺忘門、輸入門和輸出門3個模塊來控制內(nèi)部信息的流入與流出,其記憶單元如圖2所示,以序列的第t步為例。

圖2 LSTM記憶單元

2.1.1 遺忘門

遺忘門負責對上一時刻長期記憶單元進行篩選丟棄,它是依據(jù)網(wǎng)絡(luò)輸入節(jié)點的Xt和Ht-1去決定如何修改刪除記錄,相關(guān)計算公式見式(4):

ft=σ(Wf·[Ht-1,Xt]+bf)

(4)

式中:ft為遺忘門;σ為sigmod激活函數(shù);Xt為t時刻的輸入;Ht-1為t-1時刻的短時記憶輸出;Wf為遺忘門權(quán)重;bf為遺忘門偏置。

2.1.2 輸入門

輸入門根據(jù)網(wǎng)絡(luò)輸入節(jié)點的Xt和Ht-1來決定需要添加到記憶中的新內(nèi)容,相關(guān)計算公式見式(5)～式(7):

ii=σ(Wi·[Ht-1,Xt]+bi)

(5)

(6)

(7)

2.1.3 輸出門

根據(jù)長期記憶單元Ct以及輸入節(jié)點Xt和Ht-1的狀態(tài),輸出輸出值Ht,相關(guān)計算公式為:

ot=σ(Wo·[Ht-1,Xt]+bo)

(8)

Ht=ot×tanh(Ct)

(9)

式中:ot為輸出門;Wo為輸出門權(quán)重;bo為輸出門偏置項;Ht為t時間點模型的所有輸出。

2.2 稻谷出機水分LSTM預測模型構(gòu)建

稻谷干燥是一個連續(xù)且復雜的過程,容易受稻谷自身因素、環(huán)境因素、干燥介質(zhì)狀況等不確定因素影響,需要考慮多項因素,但對于神經(jīng)網(wǎng)絡(luò)輸入對象越多網(wǎng)絡(luò)越復雜,過多的數(shù)據(jù)也會導致數(shù)據(jù)本身的精確度有所下降,研究輸入與輸出根據(jù)1.2節(jié)所述設(shè)定。LSTM預測模型結(jié)構(gòu)如圖3所示,由輸入層、雙LSTM層、dropout層、全連接層、輸出層組成。輸入層是具有序列性質(zhì)的多特征輸入,采用多層LSTM較單層有著更好特征表達能力,能夠提高模型精度[23],dropout正則化可以使模型在訓練時隨機丟棄一些神經(jīng)元從而減少局部特征的依賴性降低過擬合[24]。模型在LSTM隱藏層對特征進行提取后,依靠全連接層輸出稻谷出機水分預測值。

圖3 LSTM預測模型結(jié)構(gòu)

2.3 模型訓練

訓練模型前需要對所采集的2 438條數(shù)據(jù)進行樣本劃分,考慮到LSTM的輸入是三維張量(輸入樣本數(shù),時間步長,輸入特征維度),需要對輸入數(shù)據(jù)進行重組,假定初始步長為100,一組輸入即為100×13的矩陣,2 438條數(shù)據(jù)共計重組成2 339組輸入,再按9∶1的比例劃分訓練集和測試集。模型的訓練流程如圖4所示,訓練環(huán)境為win10操作系統(tǒng),處理器型號Intel Core i5-4210M雙核處理器,內(nèi)存16GB,編程語言采用Matlab。

圖4 基于LSTM的稻谷出機水分預測模型流程圖

2.4 性能評估

將預處理后的數(shù)據(jù)用于模型的訓練與測試,并采用均方根誤差(RMSE)、平均絕對誤差(MAE)和決定系數(shù)(R2)對模型的預測性能進行評估[25],其中RMSE,MAE越小表明精確度越高,而R2越接近1則說明預測與實際的差異越小。所有模型均重復訓練10次并取平均值作為最終結(jié)果以減小算法帶來的隨機性誤差。

(10)

(11)

(12)

3 結(jié)果與分析

3.1 影響因素相關(guān)性分析

由圖5的相關(guān)系數(shù)分析可知,出機水分Mout與所選因素Min、To2、To3、Td1、Td2、Td3相關(guān)性十分顯著,相關(guān)系數(shù)均大于>0.5,排潮口濕度與出機水分的相關(guān)性較弱,而在距離出糧口越近階段采集的因素相關(guān)系數(shù)更大,影響程度更明顯。

圖5 出機水分與各因素的相關(guān)系數(shù)

3.2 模型超參數(shù)優(yōu)化分析

采用Adam算法對模型進行優(yōu)化,由于LSTM中的各項參數(shù)會對模型結(jié)果的精度,訓練時間等有一定影響,需要對不同的模型參數(shù)進行優(yōu)化分析,根據(jù)文獻可得[26 , 27],LSTM模型參數(shù)主要包括有訓練時的學習率,迭代次數(shù)epoch,批尺寸batchsize,以及網(wǎng)絡(luò)框架中所涉及的輸入時間步長,隱含層神經(jīng)元數(shù)等。在訓練過程中,使用RMSE作為損失函數(shù)來計算誤差,損失loss代表訓練過程中訓練樣本預測值和真實值的差異程度。在訓練初期隨著訓練次數(shù)增加誤差急劇下降,隨后誤差變化逐漸減小,繼續(xù)訓練達到一定次數(shù)后,誤差基本穩(wěn)定,因此無需過多的增加訓練次數(shù)。

模型訓練過程中,學習率決定了每次權(quán)重更新的步長,批尺寸數(shù)決定了權(quán)重更新的頻率,迭代次數(shù)會影響模型訓練精度以及時長。對不同的學習率(0.010、0.001)、批尺寸(50、100、150)和迭代數(shù)(50、100、200)訓練下的模型進行測試,得到如表2所示的LSTM訓練結(jié)果,批尺寸50,學習率0.001,迭代次數(shù)50次時,模型擁有較佳的訓練效果及性能,此時模型迭代1 600次后誤差基本平穩(wěn),訓練時長為2∶10。

表2 不同訓練參數(shù)下LSTM網(wǎng)絡(luò)模型性能

同時為了探究網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)(輸入時間步長,LSTM層神經(jīng)元數(shù))對模型的影響,設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)中輸入時間步長10、40、70、100,以及LSTM層神經(jīng)元數(shù)50、100、150、200,通過比較不同參數(shù)組合的RMSE、MAE、R2挑選最優(yōu)結(jié)構(gòu)參數(shù),從表3中可以得到時間步長為40,隱藏層節(jié)點數(shù)為100×100時,RMSE、MAE和R2是最優(yōu)的,分別是0.19%、0.23%和0.87。且可以發(fā)現(xiàn)當時間步長較短時,網(wǎng)絡(luò)精度隨著隱藏層神經(jīng)元數(shù)的增加而提升,而當時間步長增加時,增大神經(jīng)元數(shù)并不能使網(wǎng)絡(luò)精度不斷提升,復雜的隱藏層結(jié)構(gòu)會導致過擬合的產(chǎn)生使得網(wǎng)絡(luò)精度下降。綜合得到整個網(wǎng)絡(luò)的最優(yōu)參數(shù)設(shè)置如表4所示。

表3 不同LSTM網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)下的性能評估

表4 LSTM模型參數(shù)優(yōu)化結(jié)果

3.3 不同訓練數(shù)據(jù)量模型性能分析

在最優(yōu)訓練參數(shù)下,對比分析不同訓練數(shù)據(jù)量條件下的模型性能。結(jié)果如表5所示,可以看到隨著訓練數(shù)據(jù)量的增加,預測精度得到了提升,降低了模型的過擬合。在數(shù)據(jù)量較大時,模型預測性能提升效果下降。

表5 LSTM模型參數(shù)優(yōu)化結(jié)果

3.4 水分預測模型對比分析

為了驗證研究所確立的LSTM模型優(yōu)越性,將其與其他3種不同的算法進行對比(BP、ELMAN、NARX),由于這三類算法模型的參數(shù)較少,采用網(wǎng)格搜索的方法確立其最佳參數(shù)。此外,還對比了單隱藏層LSTM以及無dropout化的LSTM的預測效果。按照2.3節(jié)中劃分的數(shù)據(jù),選取測試數(shù)據(jù)229組作為測試樣本,在相同的環(huán)境下進行運算且均采用效果最佳的網(wǎng)絡(luò)模型進行測試,得到預測結(jié)果(圖6)。由圖6a可得,在所有算法中,所采用的LSTM相較于其他算法模型,預測結(jié)果更貼近于實際值,變化趨勢也與真實值更為一致,表明LSTM在處理時間序列問題的效果更好。且針對數(shù)據(jù)突變,也做出了較為及時的判斷變化,表明其較優(yōu)的響應(yīng)性能。此外可以看出,NARX由于同樣具有記憶功能以及考慮了序列因素問題,在預測效果上次優(yōu)于LSTM。而BP以及ELMAN不僅預測精度低,且其預測結(jié)果是依據(jù)一點數(shù)據(jù),因此導致曲線噪點多且不平滑。為了使LSTM預測模型具有更好的預測效果以及防止過擬合,加入dropout并使用雙隱藏層的網(wǎng)絡(luò)結(jié)構(gòu),從圖6b中可以看出結(jié)構(gòu)優(yōu)化后的LSTM預測性能得到了提升。

圖6 各模型測試集預測曲線

從誤差曲線圖7中可以得到,采用的LSTM模型誤差隨樣本序號變化波動幅度最小,而其他模型均在不同位置有著較大波動,證明該LSTM模型具有較強的計算力以及網(wǎng)絡(luò)穩(wěn)定性。

圖7 各模型測試集誤差曲線

由表6可知,LSTM模型的各項誤差均為最低,MAE為0.12%,RMSE為0.20%且擬合度R2最高為0.94。相較于BP、ELMAN和NRAX,R2分別提升了20.51%、16.05%、11.90%,而較一般的LSTM,在優(yōu)化結(jié)構(gòu)后,相較于無dropout層和單隱藏層也均提升了8.82%、9.20%。這表明,使用該LSTM網(wǎng)絡(luò)相較于其他模型可以更精確地預測稻谷出機水分,一定程度提高了預測效果。

表6 各預測模型性能指標

研究所提出的優(yōu)化LSTM模型明顯優(yōu)于其他算法模型,且相較于一般結(jié)構(gòu)的LSTM,也有著更好的預測性能?；贚STM算法,提取長時間序列特征對稻谷出口水分預測時,可以更好地逼近真實結(jié)果,模型預測結(jié)果平滑且精度和泛化能力更優(yōu)。

4 結(jié)論

通過提取小型連續(xù)式谷物干燥機的多項時間序列特征,構(gòu)建了基于優(yōu)化LSTM的稻谷出口水分預測模型,分析了所選因素與出機水分相關(guān)性以及訓練參數(shù)、結(jié)構(gòu)參數(shù)、數(shù)據(jù)量對LSTM模型預測效果的影響,發(fā)現(xiàn)出機水分Mout與Min、To2、To3、Td1、Td2、Td3相關(guān)性顯著且越靠近出糧口階段的因素影響越顯著,確立了最優(yōu)參數(shù)設(shè)置為批尺寸50,學習率0.001,迭代次數(shù)50,時間步長40,神經(jīng)元個數(shù)100×100,且有效增大數(shù)據(jù)量可以降低模型的過擬合。將優(yōu)化的LSTM與BP、ELMAN、NARX等算法以及一般LSTM網(wǎng)絡(luò)(無dropout,單隱藏層)進行對比,通過分析預測效果曲線以及性能評價指標,發(fā)現(xiàn)該優(yōu)化的LSTM網(wǎng)絡(luò)預測效果最佳,預測結(jié)果穩(wěn)定且泛化性強,模型MAE、RMSE和R2分別為0.12%、0.20%和0.94,證明了該LSTM模型對于連續(xù)式干燥機的稻谷出機水分預測具有良好的實用性。