蘭孝文 趙曉陽(yáng) 張曉琳

摘? 要：影響一個(gè)模型預(yù)測(cè)效果的并不一定是所用的方法和所確定的參數(shù)，還有可能是在訓(xùn)練損失的過程中所選擇的優(yōu)化算法，它是預(yù)測(cè)模型搭建過程中所不能忽視的重要因素。在TensorFlow中提供了不同種類的優(yōu)化器編程接口。文章以包頭市空氣污染物濃度預(yù)測(cè)為研究對(duì)象，在優(yōu)化過程中通過綜合對(duì)比不同優(yōu)化算法在以LSTM神經(jīng)網(wǎng)絡(luò)搭建的預(yù)測(cè)問題上的誤差，從中選取最合適模型的優(yōu)化方法。

關(guān)鍵詞：優(yōu)化算法;預(yù)測(cè)模型;預(yù)測(cè)誤差;LSTM

中圖分類號(hào)：O212.1? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）22-0018-02

Abstract： The prediction effect of a model is not necessarily affected by the methods and parameters determined， but also by the optimization algorithm selected in the process of training loss， which is an important factor that can not be ignored in the process of building a prediction model. Different kinds of optimizer programming interfaces are provided in TensorFlow. This paper takes the prediction of air pollutant concentration in Baotou as the research object， comprehensively compares the errors of different optimization algorithms in the prediction problem based on LSTM neural network， and selects the optimization method of the most suitable model.

Keywords： optimization algorithm; prediction model; prediction error; LSTM

引言

不同的優(yōu)化算法，對(duì)最后模型的預(yù)測(cè)效果會(huì)產(chǎn)生不同的效果。Adam雖說已經(jīng)簡(jiǎn)化了調(diào)參，但是沒有一種算法能一勞永逸地解決問題。最近就有研究表明Adam的訓(xùn)練時(shí)的收斂速度雖然比SGD要快，但最終收斂的結(jié)果并沒有SGD好[1]?？傊惴ü倘幻篮?，但數(shù)據(jù)才是根基。只有在充分理解數(shù)據(jù)的基礎(chǔ)上，根據(jù)訓(xùn)練樣本的數(shù)據(jù)特性和算法特性進(jìn)行一些必要的調(diào)參實(shí)驗(yàn)，從而才能找到模型的最優(yōu)解。

1 優(yōu)化算法介紹

1.1 Momentum

SGD算法的核心問題在于梯度指向的方向并非指向我們真正函數(shù)的最低點(diǎn)。為了規(guī)避這類問題呢？Hinton在提出了在SGD優(yōu)化算法中加入Momentum。

Momentum在中文是動(dòng)量的意思，它最先出現(xiàn)于物理學(xué)上。算法的核心思想是讓一顆小球在一個(gè)坡里面施加一個(gè)外力，小球就可以在坡里面進(jìn)行自由滾動(dòng)，累積的動(dòng)量越多，小球在其中就跑得越快，若小球的方向發(fā)生變化，動(dòng)量也會(huì)隨之衰減[2]。相關(guān)數(shù)學(xué)公式如下：

Wn+1=Wn-Vn+1 （公式2）

公式中，W相當(dāng)于是路程，？墜參數(shù)等價(jià)于一個(gè)摩擦阻力系數(shù)，它指的就是使小球停下來(lái)的阻力系數(shù)，公式中要用？墜來(lái)近似衡量這種減弱。？濁■表示的是小球在梯度在梯度方向因受到外力的作用而產(chǎn)生的加速度，t代表的是單位時(shí)間。

1.2 Nesterov accelerated gradient

該優(yōu)化算法也叫梯度加速法，在剛才引入Momentum的假設(shè)里，我們讓小球在坡頂自由滾動(dòng)， Nesterov就是相當(dāng)于有個(gè)駕駛員在為我們指路，會(huì)對(duì)下一步要走的路進(jìn)行預(yù)測(cè)。通過提前預(yù)測(cè)決定下一步該怎么走。Nesterov涉及到的公式如下[3]：

Wn+1=Wn-Vn+1 （公式5）

相對(duì)于Momentum，Nesterov不考慮梯度對(duì)速度的改變，以當(dāng)前速度和位置，近似預(yù)計(jì)下一次要移動(dòng)到的位置，根據(jù)下一步預(yù)測(cè)的近似位置，在此位置上求梯度，并對(duì)現(xiàn)在位置進(jìn)行更新，最后用上一步得到的Vt來(lái)對(duì)位置進(jìn)行真正的選擇。

1.3 Adam

Adam中文全稱為自適應(yīng)性矩估計(jì)方法，它是一種自適應(yīng)學(xué)習(xí)率的算法，該方法利用梯度的一階和二階矩對(duì)不同的系數(shù)計(jì)算不同的自適應(yīng)學(xué)習(xí)率[4]。Momentum和NAG都是以相同的學(xué)習(xí)率更新模型參數(shù)的各個(gè)分量，但是在深度模型中，數(shù)據(jù)的維度越多，需要更新的參數(shù)的量也越大，而且參數(shù)的更新也有差異。在計(jì)算一二階動(dòng)量時(shí)就不會(huì)累計(jì)全部的歷史梯度，而是只關(guān)注與它最近的時(shí)間窗口的梯度。這樣設(shè)計(jì)的目的可以使每一個(gè)迭代的學(xué)習(xí)率都有一個(gè)固定的變化范圍，可以讓參數(shù)變化得更加平穩(wěn)，該算法涉及的主要公式如下：

2 實(shí)驗(yàn)?zāi)Ｐ痛罱?/p>

本次實(shí)驗(yàn)所需要的數(shù)據(jù)來(lái)源于中國(guó)空氣質(zhì)量在線檢測(cè)分析平臺(tái)，里面收錄的數(shù)據(jù)包含PM2.5、AQI、PM10、SO2、NO2、O3_8h、CO等一些常見的監(jiān)測(cè)指標(biāo)，數(shù)據(jù)每小時(shí)自動(dòng)更新一次，如果遇到某一天的數(shù)據(jù)有缺失的情況，我們用該天所在月的平均值來(lái)進(jìn)行代替[5]。接下來(lái)，我們將實(shí)驗(yàn)數(shù)據(jù)除PM2.5濃度數(shù)據(jù)外所有數(shù)據(jù)作為模型的輸入特征進(jìn)行實(shí)驗(yàn)。迭代的次數(shù)epoch參數(shù)也是可以改變的，次數(shù)越大效果越精確，但是需要的時(shí)間也越長(zhǎng)[6]。實(shí)驗(yàn)中發(fā)現(xiàn)把迭代次數(shù)設(shè)定為200，一方面能加快訓(xùn)練，另一方面也能減少預(yù)測(cè)誤差。實(shí)驗(yàn)中還發(fā)現(xiàn)LSTM單元數(shù)越大，模型訓(xùn)練效果越不好。原因可能是由于忘記偏置參數(shù)設(shè)置得過大。因此，設(shè)置不同的忘記偏置參數(shù)的值，發(fā)現(xiàn)當(dāng)減小忘記偏置的參數(shù)值，即適當(dāng)忘記部分消息，網(wǎng)絡(luò)的訓(xùn)練效果有些許提高，預(yù)測(cè)效果也越好;同時(shí)在LSTM單元數(shù)較大的情況下，應(yīng)選取比較小的忘記偏置參數(shù)，以免記憶太多無(wú)關(guān)的信息。