于明洋,魏霖靜
(甘肅農業(yè)大學理學院,蘭州 730070)
由于工業(yè)技術的不斷進步以及人類城市建設步伐的加快,人類的活動對于全球生態(tài)系統(tǒng)所造成的影響正日益增強,也隨即導致了全球氣候變暖、極端氣象災害頻繁發(fā)生和海平面有所升高等一系列問題。 作為人們生存和發(fā)展所依賴的系統(tǒng),對氣候變化這一大背景下的陸地生態(tài)系統(tǒng)變化進行研究已逐漸成為關注熱點。 植被是陸地生態(tài)系統(tǒng)的主要組成部分,在全球氣候變化中起著非常重要作用。 植被作為氣候變化和人類活動最重要的影響要素之一,是人類生存離不開的物質和環(huán)境主體之一,也是鏈接土壤和承載水系的重要節(jié)點,因此關于植被如何響應全球氣候變化也是需要研究的核心問題。
植被生產力對人類自身的日常生活和經濟發(fā)展產生著重要影響,同時也是各種人類活動中至關重要的基礎資源。 凈初級總產量(Net Primary Productivity,NPP) 是指從總產銷量減去植物呼吸的需求量后剩下來的總量;也指特定時間內,經植株的組織形式或貯存產物的形態(tài)所表達而蓄積出來的有機物的總量。NPP是指示植被環(huán)境運動的重要因素,體現(xiàn)了生態(tài)穩(wěn)定CO2的功能。NPP與異養(yǎng)循環(huán)速度的均衡(即凈生態(tài)系統(tǒng)生產,NEP)則確定了是否有微生物環(huán)境中對過量大氣CO2的積累,是大氣環(huán)境中CO2含量季節(jié)變動的主要因素。 通過正確地計量NPP,可以認識全球碳循環(huán)的基本過程。 另外,NPP也是對陸地生態(tài)系統(tǒng)中營養(yǎng)物質和能源平衡運轉研究的重要基礎。 除供應了水生植物本身之外,還為整個有機體生活提供了能源和物質基礎,因此對陸地NPP的研究也為人們合理開采、使用資源提供了依據(jù)。
植物不斷進行的光合作用為生態(tài)系統(tǒng)的運行提供了大量的能量,對于地球上的大多數(shù)生命來說這都是不可缺少的一部分。 至今人們對于研究陸地植被凈初級生產力的變化已經有很長的時間,但是大規(guī)模的工作則于20 世紀60年代開始[1]。 上世紀七十年代中,Lieth[2]在計算時逐步構建了首個覆蓋全球范圍的NPP 回歸模型,并在此基礎上模擬世界NPP 的地理分布,從而給出了首張全球NPP 的分布圖,同時又通過大量研究證明了植被世界NPP 是每年降雨量與年平均氣溫一致的地區(qū)函數(shù)[3]。
植被凈初級生產力是植物生態(tài)過程調控的關鍵指標,在碳平衡與全球變化過程中起著關鍵性的影響作用[4]。 根據(jù)植被凈初級生產力來確定生態(tài)系統(tǒng)的安全與否[5],Rashid 等[6]指出,植被NPP并不只是對地區(qū)生態(tài)演變進行評價的主要指標體系,還在研究碳循環(huán)過程中貢獻了關鍵的組成模塊,同時也與研究陸地生態(tài)系統(tǒng)固定碳能力有關的強弱有著關系。 研究植被凈初級生產力已經成為研究氣候因素和人為因素對陸地生態(tài)系統(tǒng)的影響中必不可少的一項內容[7-8]。 近年來的研究表明,中國國內的專家反演出對幾十種NPP 的模式。 例如,孫政國等學者[9]利用BIOME-BGC 模型對中國南方不同草地類型的NPP進行了評估,發(fā)現(xiàn)位于南部區(qū)域的低山丘陵草地、常見草山草坡以及高山草甸的NPP與凈生態(tài)系統(tǒng)生產力(NEP)的變化有著差異。 Li 等學者[10]研究了內蒙古草原植被生產力與SPEI 指數(shù)之間的相關關系,發(fā)現(xiàn)水分對內蒙古草原生產力的變化起主要作用。 國內研究者也通過各種手段對全國及地方的凈初級生產力水平展開了深入研究,涉及Theil-SenMedian 趨勢分析、多重共線性檢驗、多元回歸分析、殘差研究和偏自相關分析等傳統(tǒng)統(tǒng)計研究方法[11]。 目前研發(fā)了CASA 模型[12]、RBF 神經網絡[13]、Biome -BGC 模型[14]、C -Fix 模型[15]、MIAMI 模型[16]等,這些模式都可以較為精確而詳盡地說明植物發(fā)育的歷程,對NPP的評價也具有很大的可信度。 然而,這些模型無法很好地把握NPP隨時間的變化特征,缺少對于其時間維度方面的分析。因此,需要一種捕捉其序列特征的方法來改進目前的算法,以利于更好地對NPP 進行預測。
近年來,反傳播式(Back Propagation,BP)神經網絡算法和長短期記憶神經網絡(Long Short Memory,LSTM)已經被應用于很多領域來解決分類和預測等問題,也有很多研究者把LSTM 應用于時間序列數(shù)據(jù)的預測,并且得到相比之前方法更高的準確率[17-19]。 所以,可以采用LSTM 和BP 的神經網絡模式,通過氣溫、 雨量、 歸一化植被指數(shù)(Normalized Difference Vegetation Index,NDVI)作為影響因素對NPP進行預測。
BP 神經網絡算法[20]是一個采用誤差反傳播方法進行的多層前饋網絡系統(tǒng),是目前使用最普遍的一種神經網絡模式。 BP 網絡能夠用于了解并保存大規(guī)模的投入與輸出模式的反映關聯(lián),并且不要求學校預先公開關于這種反映關聯(lián)的數(shù)學教育過程。其基本方法是選擇最陡峭的下降法,并采用反向方法來調控網絡的權重值和閾值,從而獲得最低誤差平方和。 BP 神經網絡方法已經應用在非線性建模、參數(shù)逼近、系統(tǒng)辨識等領域,且有眾多研究者對其進行了改進[21-23]。
在實際問題中,BP 神經網絡模型結構需由實驗確定,無規(guī)律可循。 一般情況下的神經網絡都先期設置好了上網的層數(shù),而BP 網絡系統(tǒng)也可能具有各種各樣的隱層。 理論上也已證實,在不影響隱含節(jié)點數(shù)量的情形下,對2 層以上(僅有某個隱層)的BP 網絡,能夠進行隨機本構非線性映射。 在模擬樣本相比較少的情形下,較少的隱層節(jié)點也能夠進行模擬樣本空間的超平面分析。
一個通用的BP 神經網絡架構如圖1 所示。 這里,輸入數(shù)據(jù)可以描述為X=(x1,x2,…,xn)T;進入輸入層后,將其和權重向量W1=(w1,w2,…,wn)T進行位置乘積后,再通過激活函數(shù)就可以獲得下一級的輸入向量;隱藏層的層數(shù)t確定后,每層的輸入和輸出都與輸入層的操作一致,但隱藏層的每一級神經元數(shù)量卻可能和輸入層有所不同;因此,最終將隱藏層的輸出視為輸出層的輸入,經過權重向量的乘積后可以得到輸出數(shù)據(jù)Y =(y1,y2,…,ym)T。 整體流程可以表示為:
圖1 BP 神經網絡結構圖Fig. 1 Neural network structure diagram
(1)輸出層
(2)隱藏層
長短期記憶(LSTM)[24]是一款已應用在人工智能和深度學習領域的人工神經網絡。 和標準的前饋神經網絡有所不同,LSTM 有反饋接口。 這樣一來,循環(huán)神經網絡(RNN)不但能夠管理一個數(shù)據(jù)點(如圖片),還能夠管理一個數(shù)據(jù)序列(如話音或錄像)。也因此,LSTM 已廣泛應用在非分割、連接的手寫辨識、語音識別、機械翻譯、機器人操控、視頻游戲、和醫(yī)療保健等任務中[25-29],現(xiàn)已成為20 世紀被引用最多的神經網絡。
LSTM 的名字是指一個標準的RNN 同時具有“長期記憶”和“短期記憶”的比喻。 網絡中的連接權重和偏差在每級訓練中改變一次,類似于突觸強度的生理變化如何存儲長期記憶;網絡中的激活模式在每個時間步中改變一次,類似于大腦中電擊模式的瞬間變化如何存儲短期記憶。 LSTM 架構旨在為RNN 提供一個可以持續(xù)數(shù)千時間步的短期記憶,因此是“長短期記憶”[30]。
一個LSTM 單元由一個單元、一個輸入門、一個輸出門,以及一個遺忘門所構成。 單元可以在任意的時鐘間隔內的數(shù)值,通過3 個門調節(jié)一個進出單位的數(shù)量。 LSTM 的基本結構如圖2 所顯示,其整體流程可以表示為:
圖2 LSTM 結構圖Fig. 2 LSTM structure diagram
其中,Wq、Uq表示輸入門與遞歸連接的權重,q可以是輸入門i、輸出門o、遺忘門f或記憶單元c。
LSTM 系統(tǒng)適用于基于時間序列信息的分析、管理與估計,但在時間序列中的關鍵事件之間可能具有未知的滯后時間。 原始的RNN 系統(tǒng)在訓練時,由于訓練長度的增加和網絡層數(shù)的增多,會產生梯度彌散爆炸或局部梯度消失的現(xiàn)象,使得系統(tǒng)無法處理更長序列信號,也因此無法得到更長距離數(shù)據(jù)的信號。 針對這一狀況,提出了后續(xù)的改進方案、即LSTM 神經網絡。 LSTM 神經網絡在深入學習后可以更好地處理序列化數(shù)據(jù)分析問題,其對于發(fā)電負載、流量等預測都有著不錯的預知效果。 LSTM 用于了解時間的中短期相關數(shù)據(jù),因為神經網絡中含有時鐘記憶模塊,所以適合于分析和檢測時鐘序列中的間隔和延遲事件[31]。
激活函數(shù)的引入主要是為了提高神經網絡模型的不確定性,因為沒有激活函數(shù)時每層就等于矩陣的相乘。 任何一級輸入/輸出都是最上層的系統(tǒng)的線性函數(shù),所以不論在神經網絡哪一層,輸入與輸出都是系統(tǒng)的線性組合,也都是最本原的感知機。 通過加入激活函數(shù),為神經元導入非線性參數(shù),神經網絡就能夠逼近一個非線性函數(shù),而這種神經網絡也能夠運用在多種非線性模型上。 本文采用的激活函數(shù)有3 種:ReLU、Sigmoid(σ) 以及tanh。
1.3.1ReLU
在人工神經網絡的背景下,ReLU(Rectified Linear Unit)激活函數(shù)是一個定義為其參數(shù)的正部分的激活函數(shù)。ReLU函數(shù)的定義公式為:
其中,x是神經元的輸入。 這又被稱作斜率函數(shù),類似于電氣工程中的半波整流。
該激活函數(shù)從20 世紀60年代末開始出現(xiàn)在分層神經網絡的視覺特征提取中,并有專家認為該函數(shù)有著很強的生物學動機和數(shù)學理由。 本文分析后發(fā)現(xiàn),與在2011年以前普遍采用的激活函數(shù)比較,該激活函數(shù)可以更好地使用在更深的系統(tǒng),包括logistic sigmoid(受概率論啟發(fā),見logistic 回歸)以及要比logistic sigmoid 更實際的對應函數(shù)方法、即雙曲正切中。 研究可知,該激活函數(shù)主要具有以下3 個優(yōu)點:
(1)稀疏的激活。 在一個隨機初始化的系統(tǒng)中,有大概50%的隱藏單元被觸發(fā)(有一個非零輸出)。
(2)更好的梯度傳遞。 與雙向飽和的正弦波激活函數(shù)一樣,更少出現(xiàn)梯度消失問題[7]。
(3)高效的計算。 只有比較、加法和乘法。
1.3.2Sigmoid
Sigmoid函數(shù)是一個具有"S "形特征曲線的邏輯函數(shù),其定義為:
在某些領域,特別是在人工神經網絡方面,“Sigmoid 函數(shù)”一詞被用作logistic 函數(shù)的別名。
Sigmoid函數(shù)的其他情形,包括Gompertz 曲線和Ogee 曲線Sigmoid函數(shù)的值域也為實數(shù),返回值(響應)通常是單調增長的,但也可能是下降的。Sigmoid函數(shù)最常顯示的返回值(y軸)在0 到1 的范圍內。 另一個常用的范圍是-1 到1。
1.3.3tanh
在幾何上,雙曲函數(shù)也是普通三角函數(shù)的近似物,但用雙曲線并沒有相應的基本概念。 即如點(cost,sint) 構成單位半徑的圓一樣,點(cosht,sinht) 構成單位雙曲線的右半部分。 另外,與sin(t) 和cos(t)的導數(shù)分別為cos(t)和-sin(t)相似,sinh(t) 和cosh(t) 的導數(shù)分別為cosh(t) 和+sinh(t)。
雙曲函數(shù)出現(xiàn)在雙曲幾何的角度和距離的計算中。 同時也出現(xiàn)在許多線性微分方程、三次方程和直角坐標的拉普拉斯方程的求解中。 拉普拉斯方程在物理學的許多領域都很重要,包括電磁理論、熱傳遞、流體動力學和狹義相對論。
tanh 是由基礎的sinh 與cosh 計算得來,其定義式為:
文中選取的4 個數(shù)據(jù)、即3 個相關因子:氣溫、降水、NDVI,以及所要預報的NPP值。 氣溫和降水數(shù)據(jù)均采用了蘭州市氣象局資料,NDVI采用的是MOD13C2,而NPP則采用的是北緯18°以北的土地生態(tài)系統(tǒng),逐年凈初級生產力1 km 的柵格數(shù)據(jù)集(1985-2015)[32]。 選取的時間為2001年1月1日到2015年12月1日。
在開展試驗前,必須對樣本進行預處理。 此次試驗,把數(shù)據(jù)集中按照8:2 的標準分類成了訓練集和測試集。 將數(shù)據(jù)集中輸入后,先對數(shù)值進行歸一化處理,并測試是否出現(xiàn)了異常數(shù)值和缺失數(shù)據(jù),上述步驟完成后才能進入下一步。 本研究的樣本集經檢測均未產生異常值和缺失值,故不要求對其做幅值歸一性處理。 信息的歸一化能夠使各種信息的計量單位一致,而且能夠增加模型的準確性。 進行歸一化分析的方法見式(5):
其中,xi為第i個變量;為xi的均值;max(x),min(x) 分別表示xi的最大值和最小值。
本文選取SSE、MSE、RMSE、MAE、MAPE、SMAPE作為2 種神經網絡預測模型性能的評價指標。 其中,SSE、MSE、RMSE、MAE、MAPE、SMAPE的數(shù)學定義及表述詳見如下。
(1)和方差SSE(the Sum of Squares Due to Error)。 是觀測值(Observed Values) 與預測值(Predicted Values)的誤差的平方和,定義公式為:
(2)均方誤差MSE(Mean Squared Error)。 是觀測值(Observed Values)與預測值(Predicted Values)的差值的平方和的平均數(shù),即SSE/n。MSE是誤差的二次矩,是估計量的方差(Variance)及其偏差(Bias),是衡量估計量質量的指標,定義公式為:
(3)均方根誤差RMSE(Root Mean Squared Error),也稱作RMSD(Root Mean Square Deviation),是MSE的算數(shù)平方根。 由于每個誤差(Each Error)對RMSD的影響與誤差的平方(Squared Error)成正比,因此較大的誤差會對RMSE影響過大,RMSE對異常值很敏感。 其公式為:
(4) 平均絕對值誤差MAE(Mean Absolute Error)。 是時間序列分析中預測誤差常用的指標,由于MAE使用的是與被測數(shù)據(jù)相同的尺度(Scale),因此不能用于比較2 個不同尺度的序列。MAE又被稱為L1 范數(shù)損失函數(shù)(就是可以作為損失函數(shù)),是真實數(shù)據(jù)與預測數(shù)據(jù)之差的絕對值的均值。 定義公式為:
(5) 平均絕對值百分比誤差MAPE(Mean Absolute Percentage Error),也被稱為MAPD(Mean Absolute Percentage Deviation)。 是一種衡量預測方法的預測準確性的指標。 MAPE 在解釋相對誤差(Relative Error) 方面非常直觀,在評價模型時MAPE通常用作回歸(Regression)問題的損失函數(shù)(Loss Function)。 從定義中可以看出,在計算MAPE時如果出現(xiàn)一系列特別小的分母,可能會出現(xiàn)一些問題。 比如分母為0 的奇異點、較小的誤差引起結果發(fā)生非常大的變化等。 解決這個問題的替代方案是,可以將公式中的實際值,替換為該序列的所有實際值的平均值。 這種方案等效于求絕對差的總和除以實際值的總和,也被稱為加權絕對百分比誤差(WAPE),或者wMAPE(Weighted Mean Absolute Percentage Error)。 定義公式為:
(6) 對稱平均絕對百分比誤差SMAPE(Symmetric Mean Absolute Percentage Error)。 實際值與預測值差值的絕對值除以實際值與預測值絕對值之和的一半。 定義公式為:
本文采用BP 神經網絡與LSTM 對于NPP數(shù)據(jù)進行預測。 模型統(tǒng)一輸入48 天的數(shù)據(jù)作為歷史信息,預測未來1 天的NPP值。 對于BP 神經網絡,模型設計為輸入層為48 個神經元;隱藏層為1 層,共計4 個神經元;輸出層為1 個神經元。 BP 神經網絡采用ReLU激活函數(shù)。 對于LSTM 網絡,模型設計為48 個神經元;LSTM 層選擇1 層,輸出層采用48 到1的線性映射,并采用sigmoid激活函數(shù)。 LSTM 層中采用ReLU與tanh激活函數(shù)。
考慮到深度學習模型可以無限制地迭代,就會希望在即將過擬合時,或訓練效果微乎其微時停止訓練,因此研究采用早停(Early Stop)策略防止模型過擬合。 LSTM 和BP 神經網絡損失函數(shù)如圖3 所示。通過圖3 可以看出,LSTM 神經網絡模型和BP 神經網絡模型的損失函數(shù)在迭代20 次后達到最小值。
圖3 LSTM 和BP 神經網絡損失函數(shù)Fig. 3 Loss functions of LSTM and BP neural network
LSTM 和BP 神經網絡在測試集上的預測值如圖4 所示。 由圖4 可以發(fā)現(xiàn),BP、LSTM 等神經網絡預測模型的預測結果與NPP的實際走向情況大體相符,誤差也較??;而且很明顯地,BP 神經網絡的擬合能力更佳。 由圖4 還會發(fā)現(xiàn)BP 神經網絡預測模型的預測值與NPP實際數(shù)值最為符合的,而且預測值與NPP實際數(shù)值之間的偏差也很小。
圖4 LSTM 和BP 神經網絡在測試集上的預測值Fig. 4 Predicted values of LSTM and BP neural networks on the test set
BP 神經網絡和LSTM 神經網絡評價指標結果值見表1。 由表1 可以看出,BP 神經網絡模型所預測的SSE、MSE、RMSE、MAE、MAPE、SMAPE等的數(shù)據(jù),顯然都要比LSTM 的神經網絡模型的小,大小依次836.058、24.59、4.958 83、2.755 98、0.218 6、0.152 19,說明了BP 神經網絡的預測結果比較精確,并由此再次表明了BP 神經網絡對該數(shù)據(jù)的檢測結果,相比于LSTM 神經網絡要更佳。
表1 BP 神經網絡和LSTM 神經網絡評價指標Tab. 1 Evaluation metrics of BP neural network and LSTM neural network
全球氣候變化逐漸影響到生態(tài)系統(tǒng)的平和穩(wěn)定,這一現(xiàn)象已日漸成為各學科進行學術研究的重要背景。 通過研究溫度、降水、NDVI來預測蘭州市NPP,能為全球氣候變化及環(huán)境保護提供重要依據(jù)。 本文采用BP 算法和LSTM 算法,對NPP 進行預測。 通過對歷史數(shù)據(jù)進行歸一化處理后,再比較5 種數(shù)據(jù)的預期結果,從預測結果圖的前5 種預測指標來看,BP 神經網絡的預期結果相比于LSTM 神經網絡更為出色,其SSE能夠達到836 左右。 未來相關研究可以考慮將基于統(tǒng)計學的時間序列預測方法與深度學習方法相結合,從而更好地提取NPP 序列數(shù)據(jù)中的相關特征,并對其進行預測。