李潔瓊, 劉 振

（1.西安職業(yè)技術(shù)學(xué)院基礎(chǔ)課教學(xué)部, 西安 710077；2.西安文理學(xué)院化學(xué)工程學(xué)院, 西安 710065）

中國是農(nóng)業(yè)大國, 確保農(nóng)產(chǎn)品價格穩(wěn)定一直是政府關(guān)注的重點, 也是宏觀調(diào)控的難點。由于農(nóng)產(chǎn)品銷售周期不同, 價格波動較大[1］。物價波動不僅影響人們的生活質(zhì)量和農(nóng)民收入, 還會引發(fā)社會性問題。隨著大數(shù)據(jù)、人工智能等技術(shù)快速發(fā)展, 農(nóng)產(chǎn)品價格預(yù)測成為可能[2］。如何準確、實時地預(yù)測農(nóng)產(chǎn)品的短期價格, 是數(shù)學(xué)建模長期以來不斷探索的研究領(lǐng)域。因此, 對農(nóng)產(chǎn)品價格預(yù)測模型進行研究具有重要的現(xiàn)實意義。

目前, 許多國內(nèi)外學(xué)者對農(nóng)產(chǎn)品價格預(yù)測模型進行了大量研究, 并取得了一些優(yōu)異的成果。張順利等[3］將長短期記憶神經(jīng)網(wǎng)絡(luò)用于蘋果價格預(yù)測模型, 比傳統(tǒng)預(yù)測模型能更好地預(yù)測均值絕對誤差、均方誤差和均方根誤差。范俊明等[4］提出了一種基于LSTM 深度學(xué)習(xí)的大豆期貨價格預(yù)測模型, 比傳統(tǒng)模型具有更高的預(yù)測精度, 為大豆期貨價格預(yù)測提供了新思路。王會娟等[5］提出了一種基于TEI@I 方法的玉米期貨價格預(yù)測模型, 相比于傳統(tǒng)預(yù)測模型, 該方法可以有效地進行玉米期貨價格預(yù)測, 與實際值較為接近。劉斌等[6］將分布式神經(jīng)網(wǎng)絡(luò)用于蘋果價格預(yù)測。結(jié)果表明, 該方法可以有效反映蘋果價格波動情況, 為蘋果市場穩(wěn)定發(fā)展提供一定的參考。但上述研究在實際使用中存在準確率低和效率低等問題, 適應(yīng)性有待進一步提高。

本研究提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network, CNN）和門控循環(huán)單元（Gated recurrent unit, GRU）的農(nóng)產(chǎn)品價格預(yù)測模型。通過CNN 獲取局部特征, 通過GRU 獲取數(shù)據(jù)的時序依賴, 然后將CNN 和GRU 獲得的特征連接起來, 通過解碼器獲得預(yù)測輸出。通過試驗與傳統(tǒng)模型進行對比分析, 驗證了模型的優(yōu)越性。

1 理論概述

1.1 卷積神經(jīng)網(wǎng)絡(luò)

全連接神經(jīng)網(wǎng)絡(luò)由于參數(shù)較多, 導(dǎo)致計算速度慢和過擬合等問題[7］。因此, 需要一種新的網(wǎng)絡(luò)結(jié)構(gòu), 而卷積神經(jīng)網(wǎng)絡(luò)可以做到。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的典型算法之一, 它由多個卷積層、頂部的全連接層以及相關(guān)的權(quán)重和池化層組成[8］。這種結(jié)構(gòu)允許卷積神經(jīng)網(wǎng)絡(luò)使用圖像處理中常用的二維輸入數(shù)據(jù)結(jié)構(gòu), 而時間序列展開類似于圖像（圖1）。卷積層的作用是提取輸入數(shù)據(jù)的特征。池化層是進行特征選擇和信息過濾。全連接層是卷積神經(jīng)網(wǎng)絡(luò)的全連接層, 相當于常規(guī)前饋神經(jīng)網(wǎng)絡(luò)的隱藏層。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2 門控神經(jīng)網(wǎng)絡(luò)

GRU 是在2014 年提出的遞歸神經(jīng)網(wǎng)絡(luò)的門控機制[9］。GRU 與長短期記憶網(wǎng)絡(luò)相比去掉了一個遺忘門。與循環(huán)神經(jīng)網(wǎng)絡(luò)相比, GRU 做了以下改進。

1）重置門和更新門如公式（1）和公式（2）所示[10］：

式中,rt和zt分別為重置門和更新門；W為權(quán)重；b為偏置參數(shù)；ht為t時刻隱藏狀態(tài)；it為t時刻的輸入；σ為sigmoid 函數(shù)。

2）候選隱藏狀態(tài)如公式（3）所示[11］：

GRU 通過重置門和更新門來確定剩余的隱藏信息, 作為下一時刻的預(yù)測輸入。

2 模型建立

2.1 評價指標

由于農(nóng)產(chǎn)品價格預(yù)測的高度隨機性和不確定性, 存在預(yù)測誤差在所難免。這些誤差可以幫助人們更好地了解預(yù)測模型并不斷優(yōu)化預(yù)測方法。常用的指標包括均方根誤差（RMSE）、平均相對誤差（MAE）、平均絕對百分比誤差（MAPE）和R2決定系數(shù)。

1）均方根誤差如公式（5）所示。如果預(yù)測值等于實際值, 則均方根誤差為0。均方根誤差越大, 值越大[13］。

2）平均相對誤差如公式（6）所示, 平均相對誤差能較好地反映預(yù)測值誤差的實際情況。當預(yù)測值與真實值完全相等時平均相對誤差等于0, 平均相對誤差越大, 值越大。

3）平均絕對百分比誤差如等公式（7）所示。值越接近0, 模型的預(yù)測值越接近實際值, 平均絕對百分比誤差越接近1, 模型與實際值的偏差越大[14］。

4）R2決定系數(shù)如公式（8）所示。值越接近1, 模型的預(yù)測值越接近實際值, 反映預(yù)評估的符合程度[15］。

式中,On和分別為n時刻的實際值和預(yù)測值；M為預(yù)測樣本總數(shù)；O～為實際值的平均值。

2.2 模型的整體結(jié)構(gòu)

農(nóng)產(chǎn)品價格波動與時間相關(guān), 因此, 需要一個獲取時間序列潛在規(guī)律的神經(jīng)網(wǎng)絡(luò)。GRU 可以有效捕捉數(shù)據(jù)的時間依賴性, CNN 可以從全局的角度找到數(shù)據(jù)規(guī)律。為此, 本研究提出了一種結(jié)合CNN 和GRU 的混合模型, 利用CNN 獲取局部特征, 使用GRU 獲取數(shù)據(jù)的時序依賴, 然后將二者獲取的特征進行拼接, 通過解碼器得到預(yù)測值輸出。模型的整體預(yù)測結(jié)構(gòu)如圖2 所示。

圖2 模型的整體預(yù)測結(jié)構(gòu)

數(shù)據(jù)集中的每組數(shù)據(jù)都有時序性, 這與GRU 模型的工作方式是一致的, 因此模型使用GRU 來捕獲每個時間序列的依賴關(guān)系。以滑動窗口中得到的數(shù)據(jù)為輸入, 定義第n個窗口中的數(shù)據(jù)為xn, 對GRU 第n個窗口的隱藏狀態(tài)進行更新, 如公式（9）所示[16］。

式中,fe為GRU 更新函數(shù)。

將xn輸入到模型中時, 通過重置門和更新門進行處理, 如公式（10）所示：

式中, 輸入xn經(jīng)過線性變換, 即乘以權(quán)矩陣Wir, 上一刻的ht-1與對應(yīng)權(quán)重Whr相乘；Sigmoid 函數(shù)將這兩部分結(jié)合起來, 壓縮到[0, 1］；獲取hn決定信息,rn遺忘信息。

更新門與重置門類似, 只是將權(quán)重改為Wiz和Whz, 兩部分通過sigmoid 函數(shù)合并, 壓縮到[0, 1］, 獲取hn和rn用于更新。

然后通過公式（12）計算當前記憶內(nèi)容。

這個過程使用之前獲得的更新門輸出, 將輸出乘以前一時刻的記憶內(nèi)容, 得到前一時刻的信息并發(fā)送到當前時刻。此外, 更新門的輸出處理后乘以當前兩部分的疊加就是最終的輸出內(nèi)容。

解碼過程將卷積網(wǎng)絡(luò)提取的特征cn與編碼得到的隱藏層狀態(tài)hn拼接, 作為解碼器的初始狀態(tài)。

式中,fd為編碼器的GRU 更新函數(shù)。

解碼器的初始狀態(tài)是將GRU 狀態(tài)和CNN 提取的特征拼接起來, 使用前一時刻的實際目標變量數(shù)據(jù)作為初始輸入y1n, 將輸出循環(huán)輸入GRU。

通過GRU 獲取數(shù)據(jù)的時序依賴, 但無法獲取不同維度和時間的特征關(guān)系, 因此需要加入卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)通過卷積運算得到一系列特征, 使用卷積核對時間窗口中的矩陣數(shù)據(jù)進行卷積, 卷積是在h×h的窗口中進行卷積, 如公式（15）所示：

卷積核處理是通過設(shè)置好的卷積核對數(shù)據(jù)進行點乘校驗, 得到相應(yīng)的結(jié)果。但是, 數(shù)據(jù)在一次卷積操作中往往無法處理完全, 需要滑動到下一個位置進行處理, 按照設(shè)置的步長滑動。

經(jīng)過卷積運算, 提取出特征向量cn。卷積過程中使用ReLU 激活函數(shù)提高網(wǎng)絡(luò)的稀疏性, 使提取的特征代表性越強, 泛化能力越強, 求導(dǎo)速度越快。ReLU 函數(shù)可以作為卷積層的激活函數(shù)。函數(shù)的定義如公式（16）所示[17］：

在該模型中, 特征向量經(jīng)過池化層得到局部最優(yōu)特征, 如公式（17）所示：

步驟1：對價格歷史數(shù)據(jù)進行預(yù)處理。

步驟2：通過CNN 獲取局部特征, 通過GRU 獲取數(shù)據(jù)的時序依賴, 作為解碼器的輸入。

步驟3：優(yōu)化集成學(xué)習(xí)模型。采用COCOB 優(yōu)化器, 將正則化因子引入全連接層, 添加Dropout 層實現(xiàn)模型優(yōu)化, 防止過擬合。

步驟4：以處理后的數(shù)據(jù)為輸入, 訓(xùn)練模型, 不斷調(diào)整參數(shù)直到最優(yōu)。

3 結(jié)果與分析

3.1 試驗參數(shù)

通過試驗與傳統(tǒng)模型進行對比分析, 驗證模型的優(yōu)越性和合理性。農(nóng)業(yè)數(shù)據(jù)來自中國蔬菜網(wǎng), 數(shù)據(jù)在剪裁后輸入模型中。試驗環(huán)境為聯(lián)想PC, 操作系統(tǒng)為Ubuntu 18.04.1 64 位, Intel i5 82050u CPU, 1.6 GHz×8 主頻, 8 GB 內(nèi)存[18］。

模型參數(shù)：輸入窗口為30 px×9 px, 時間長度為30 min, 卷積核為3 px×3 px, GRU 隱藏層維度為30維, 編碼器GRU 數(shù)為2 個, 解碼 器GRU 數(shù)為1 個。數(shù)據(jù)集按7:3 的比例劃分為訓(xùn)練集和測試集, 通過訓(xùn)練集對模型進行訓(xùn)練。

3.2 試驗分析

為驗證模型的優(yōu)越性和有效性, 將學(xué)習(xí)率設(shè)為0.001, 迭代次數(shù)設(shè)為10 000 次, 以白菜價格近10 年的數(shù)據(jù)為輸入數(shù)據(jù), 建立模型, 通過訓(xùn)練集對模型進行訓(xùn)練。在Tensorboard 中獲得訓(xùn)練集損失函數(shù)圖。從圖3 可知, 隨著迭代次數(shù)的不斷增加, 訓(xùn)練集損失值逐漸降低。訓(xùn)練集損失值在迭代達3 000 次左右時開始趨于平穩(wěn), 達到預(yù)期效果, 再增加迭代, 訓(xùn)練集損失值也非常平穩(wěn)。

圖3 訓(xùn)練集損失變化

為了驗證模型的有效性, 將本研究構(gòu)建的模型與LSTM 模型、GRU 模型進行了比較, 并預(yù)測未來某一天數(shù)據(jù)。從表1 可知, 本研究構(gòu)建的預(yù)測模型表現(xiàn)較好,RMSE為10.04%,MAE為6.31%,MAPE為3.001 2%,R2為0.960 8。對比模型中, GRU 模型性能較好, 各項指標均優(yōu)于LSTM 模型。

表1 評價指標結(jié)果

為了測試本研究構(gòu)建模型的優(yōu)越性, 使用訓(xùn)練好的模型對測試集進行了預(yù)測, 共1 095 d。不同模型測試數(shù)據(jù)集的預(yù)測結(jié)果如圖4 所示。與其他模型相比, 本研究構(gòu)建的模型預(yù)測值與實際值基本一致。LSTM 模型和GRU 模型的預(yù)測與實際值有一定的偏差, 其效果比本研究構(gòu)建的模型差很多, 這表明本研究構(gòu)建的模型表現(xiàn)良好。

不同模型預(yù)測前7 天數(shù)據(jù)RMSE對比如表2 所示。隨著預(yù)測天數(shù)的增加, 本研究構(gòu)建的模型、LSTM 模型和GRU 模型的預(yù)測性能變差。但與LSTM 模型、GRU 模型相比, 本研究構(gòu)建模型的RMSE波動較小, 性能下降的速度最慢, 表明本研究構(gòu)建的模型在測試集上的效果最優(yōu)。

表2 RMSE 對比

在預(yù)測多天數(shù)據(jù)時, 隨著預(yù)測天數(shù)增多, 訓(xùn)練所需的時間不斷延長, 第8 天的預(yù)測時間相比于第7 天增加明顯, 但預(yù)測性能不斷下降。因此, 預(yù)期天數(shù)的最佳賦值為7 d。這是因為本研究構(gòu)建的模型可以使用歷史數(shù)據(jù)對農(nóng)產(chǎn)品價格進行預(yù)測, 但隨著預(yù)測時間的增加, 數(shù)據(jù)包含的有效信息不斷減少, 導(dǎo)致誤差不斷增加, 直到信息被完成挖掘?？偟膩碚f, 通過農(nóng)產(chǎn)品歷史數(shù)據(jù), 本研究構(gòu)建的模型可以有效地進行短期預(yù)測, 誤差也滿足要求。

4 小結(jié)

本研究提出了一種結(jié)合CNN 和GRU 的農(nóng)產(chǎn)品價格預(yù)測模型。通過CNN 獲取局部特征, 通過GRU獲得數(shù)據(jù)的時序依賴, 然后將CNN 和GRU 獲得的特征連接起來, 由解碼器獲得預(yù)測輸出。研究結(jié)果表明, 本研究構(gòu)建的模型預(yù)測性能優(yōu)于LSTM 模型和GRU 模型, 可以有效地進行短期預(yù)測。如果預(yù)測時間超過7 d, 預(yù)測時間會明顯增加, 性能也會逐漸下降。從目前的試驗設(shè)備和數(shù)據(jù)規(guī)模來看, 該研究尚處于起步階段, 模型僅具有較高的短期預(yù)測性能?；诖? 逐步增加更多的價格影響因素, 不斷完善和優(yōu)化模型將是下一步工作的重點。