鄭志學(xué)

（河南工業(yè)和信息化職業(yè)學(xué)院信息工程系，河南焦作454000）

面向企業(yè)供應(yīng)的茶葉生產(chǎn)基地的茶葉產(chǎn)量一直以來(lái)都是茶葉生產(chǎn)企業(yè)關(guān)注的重點(diǎn)，茶葉基地的產(chǎn)茶量影響著茶葉企業(yè)當(dāng)年的許多生產(chǎn)與銷(xiāo)售策略，如茶葉相關(guān)產(chǎn)品的定價(jià)、茶葉運(yùn)輸?shù)姆绞健⒉枞~產(chǎn)品儲(chǔ)存的時(shí)間、茶葉產(chǎn)品定位以及茶葉從業(yè)人員的工資定位等方面[1]。因此通過(guò)一定的技術(shù)手段較為精確的預(yù)測(cè)當(dāng)年產(chǎn)茶基地的茶葉總產(chǎn)量，一方面能夠夠幫助企業(yè)合理進(jìn)行茶葉生產(chǎn)資源的準(zhǔn)確調(diào)度，另一方面能夠使企業(yè)為相關(guān)茶葉產(chǎn)品擬定合適的銷(xiāo)售價(jià)格，讓企業(yè)能夠?qū)崿F(xiàn)生產(chǎn)資料的運(yùn)用最優(yōu)化和銷(xiāo)售利潤(rùn)的最大化，故茶葉產(chǎn)量的精確預(yù)測(cè)一直是茶業(yè)生產(chǎn)企業(yè)關(guān)注的重點(diǎn)[2]。較為經(jīng)典的預(yù)測(cè)算法有2014 年Gupta 提出一種基于時(shí)間序列向量回歸模型與數(shù)據(jù)挖掘技術(shù)相結(jié)合的預(yù)測(cè)方式也能較為準(zhǔn)確的預(yù)測(cè)產(chǎn)量結(jié)果。2017年Martin等使用兩步機(jī)器學(xué)習(xí)的方式通過(guò)對(duì)數(shù)據(jù)進(jìn)行自動(dòng)化的驅(qū)動(dòng)來(lái)對(duì)產(chǎn)量進(jìn)行預(yù)測(cè)[3]。2019 年Noshi 等人對(duì)基于向量回歸、梯度增強(qiáng)樹(shù)的機(jī)器學(xué)習(xí)算法在生產(chǎn)資料產(chǎn)量預(yù)測(cè)等方面的可適用性進(jìn)行了研究。

然而茶葉生產(chǎn)基地的產(chǎn)茶時(shí)間較長(zhǎng)，與茶葉生產(chǎn)相關(guān)的氣候數(shù)據(jù)較為復(fù)雜并且不同的生產(chǎn)基地在不同時(shí)刻的環(huán)境也不盡相同，因此建立對(duì)復(fù)雜茶葉生長(zhǎng)環(huán)境的精準(zhǔn)預(yù)測(cè)方式稱(chēng)為當(dāng)前研究的重點(diǎn)[4]。本文提出一種基于大數(shù)據(jù)的極限學(xué)習(xí)機(jī)預(yù)測(cè)方式，通過(guò)大數(shù)據(jù)MapReduce 框架對(duì)采集的巨量數(shù)據(jù)進(jìn)行高效處理之后在通過(guò)極限學(xué)習(xí)機(jī)算法進(jìn)行產(chǎn)量的預(yù)測(cè)。最后通過(guò)搭建Hadoop 大數(shù)據(jù)平臺(tái)進(jìn)行相關(guān)的數(shù)據(jù)模擬與測(cè)試，最終驗(yàn)證該方式的可行性。

1 大數(shù)據(jù)

1.1 大數(shù)據(jù)定義

大數(shù)據(jù)是一種數(shù)據(jù)量巨大，對(duì)速度增長(zhǎng)極快以及數(shù)據(jù)資源非常豐富的信息資源，通過(guò)對(duì)采集的大數(shù)據(jù)進(jìn)行合理與創(chuàng)新的處理從而獲得數(shù)據(jù)表面所無(wú)法獲得的預(yù)測(cè)資源。因此從這些表述來(lái)看，我們很明顯會(huì)發(fā)現(xiàn)大數(shù)據(jù)具備以下幾個(gè)特征：

（1）數(shù)據(jù)量非常巨大。雖然有人認(rèn)為數(shù)據(jù)量的大小并不是大數(shù)據(jù)技術(shù)的本質(zhì)特征，但是只要提到大數(shù)據(jù)那么這些數(shù)據(jù)的總和基本能夠達(dá)PetaBytes 或者ExaBytes 的級(jí)別，因此但從數(shù)據(jù)的存儲(chǔ)空間來(lái)看，大數(shù)據(jù)所占據(jù)的空間就即為龐大。

（2）速度增長(zhǎng)極快。從目前統(tǒng)計(jì)的數(shù)據(jù)來(lái)看，每天都會(huì)有大概3EB 的信息數(shù)據(jù)產(chǎn)生，當(dāng)前世界上90%的信息都是過(guò)去三年產(chǎn)生的。因此數(shù)據(jù)量的極速增長(zhǎng)也成為了大數(shù)據(jù)的一個(gè)重要特征。

（3）數(shù)據(jù)資源具有多樣性。在采集的數(shù)據(jù)資源中其類(lèi)型與結(jié)構(gòu)都是非常多樣的如視頻、音樂(lè)、文本等數(shù)據(jù)流信息。

1.2 云計(jì)算

云計(jì)算也是基于大數(shù)據(jù)技術(shù)發(fā)展而來(lái)的一種新型技術(shù)，而從阿帕奇（Apache）基金會(huì)發(fā)布出的基于Hadoop 云計(jì)算平臺(tái)開(kāi)源起，越來(lái)越多的公司開(kāi)始關(guān)注該技術(shù)，該平臺(tái)在軟件方面使用的是基于MapReduce框架而硬件方面采用的是分布式計(jì)算機(jī)系統(tǒng)作為硬件支持。通過(guò)MapReduce框架在集群中構(gòu)建海量數(shù)據(jù)的通用處理模型來(lái)解決大數(shù)據(jù)的存儲(chǔ)和計(jì)算問(wèn)題。MapReduce框架在技術(shù)層面上面向開(kāi)發(fā)者，通過(guò)屏蔽了底層硬件的具體實(shí)現(xiàn)方式，讓開(kāi)發(fā)人員更多關(guān)注數(shù)據(jù)的處理來(lái)降低開(kāi)發(fā)的難度，使用Map函數(shù)和Reduce函數(shù)實(shí)現(xiàn)數(shù)據(jù)的并行計(jì)算，其工作流程為：

（1）Input。將分布式的文件讀入到系統(tǒng)中，進(jìn)而切割數(shù)據(jù)形成不同的數(shù)據(jù)片，通過(guò)框架為每個(gè)Map 函數(shù)分配相應(yīng)的指定數(shù)據(jù)片。

（2）Map?？蚣軐?shù)據(jù)片分為一組鍵值對(duì)，用戶通過(guò)自定義實(shí)現(xiàn)Map函數(shù)來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的處理，最終形成新的鍵值對(duì)。

（3）Shuffle。該階段將Map 產(chǎn)生的中間鍵值對(duì)轉(zhuǎn)義到Reduce接點(diǎn)之中，但是由于受到當(dāng)前硬件的限制如網(wǎng)絡(luò)帶寬，處理器性能等因素，該階段所花費(fèi)的時(shí)間要遠(yuǎn)遠(yuǎn)長(zhǎng)于Map 與Reduce函數(shù)處理數(shù)據(jù)的運(yùn)行時(shí)間，同時(shí)該階段也會(huì)將處理過(guò)后的中間值進(jìn)行相應(yīng)的合并，最終形成有序的鍵值序列。

（4）Reduce。該階段執(zhí)行用戶自定義的Reduce函數(shù)，通過(guò)迭代器不斷地遍歷從Map中轉(zhuǎn)移的各種中間值以及有序中間值序列，最終獲得用戶所編寫(xiě)函數(shù)處理的結(jié)果。

（5）OutPut。該階段系統(tǒng)將最終的計(jì)算鍵值對(duì)序列輸出到特定的分布式計(jì)算機(jī)集群文件系統(tǒng)之中。

2 極限學(xué)習(xí)機(jī)算法

2.1 定義

極限學(xué)習(xí)機(jī)（Extreme Learning Machine, ELM）又被稱(chēng)為超限學(xué)習(xí)機(jī)算法，該算法是一種基于前饋神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建的一種智能機(jī)器學(xué)習(xí)的算法或者系統(tǒng)，該算法主要使用在解決非監(jiān)督學(xué)習(xí)或者監(jiān)督學(xué)習(xí)的問(wèn)題上。

極限學(xué)習(xí)機(jī)（ELM）的研究可被視為一種特殊的前饋圣經(jīng)網(wǎng)絡(luò)，也或者被稱(chēng)為對(duì)前饋神經(jīng)網(wǎng)絡(luò)及其反向傳播算法的一種改進(jìn)型算法，該算法的特點(diǎn)是針對(duì)隱含的網(wǎng)絡(luò)層節(jié)點(diǎn)進(jìn)行構(gòu)建，不需要持續(xù)更新，而且整個(gè)學(xué)習(xí)的過(guò)程僅僅是通過(guò)計(jì)算相應(yīng)的輸出權(quán)重來(lái)進(jìn)行處理的。

傳統(tǒng)的極限學(xué)習(xí)機(jī)（ELM）具有單獨(dú)的隱層信息，該算法同其他較為淺層的學(xué)習(xí)系統(tǒng)比如單層感知機(jī)和支持向量機(jī)進(jìn)行深度比較而言，該算法在學(xué)習(xí)的效率和可泛化的感知能力上都具備了較高的優(yōu)越性，極限學(xué)習(xí)機(jī)（ELM）可以進(jìn)行較高程度的表征學(xué)習(xí)，通過(guò)相關(guān)的改進(jìn)型的版本，引入一定的自編器構(gòu)建或者堆筑起隱含層來(lái)獲取相應(yīng)的結(jié)構(gòu)信息。

極限學(xué)習(xí)機(jī)（ELM）的使用場(chǎng)景一般在計(jì)算機(jī)圖像識(shí)別處理與生物信息識(shí)別上，同時(shí)也被運(yùn)用到一些環(huán)境科學(xué)與地質(zhì)探索的回歸性問(wèn)題之上。

2.2 極限學(xué)習(xí)機(jī)算法流程

極限學(xué)習(xí)機(jī)算法（ELM）僅僅只需要求解相關(guān)信息的輸出權(quán)重信息，因此該算法是一種基于線性參數(shù)（linear-in-the-parameter）的模式。

該算法的自我學(xué)習(xí)過(guò)程關(guān)鍵點(diǎn)在于全局層面上的極小值手鏈的問(wèn)題。當(dāng)N 組需要機(jī)器進(jìn)行自我學(xué)習(xí)的數(shù)據(jù)采集完成之后，針對(duì)其中還隱含的層級(jí)節(jié)點(diǎn)個(gè)數(shù)為L(zhǎng) 和輸出層級(jí)節(jié)點(diǎn)個(gè)數(shù)為M的學(xué)習(xí)流程為：

（1）系統(tǒng)隨機(jī)進(jìn)行參數(shù)節(jié)點(diǎn)的分配工作：在系統(tǒng)進(jìn)行計(jì)算的初始階段，SLFN 的相關(guān)節(jié)點(diǎn)參數(shù)需要隨機(jī)生成，即輸入系統(tǒng)的相關(guān)數(shù)據(jù)和隨機(jī)生成的節(jié)點(diǎn)的參數(shù)要相互獨(dú)立。當(dāng)然這里所說(shuō)的隨機(jī)生成需要盡可能的服從連續(xù)概率分布（continuous probability distribution）。

（2）系統(tǒng)根據(jù)輸入的節(jié)點(diǎn)數(shù)據(jù)進(jìn)行隱含層的矩陣輸出：系統(tǒng)隱含的矩陣輸出，該矩陣的大小為N 行和L 列，該矩陣行數(shù)是根據(jù)輸入的所需要訓(xùn)練的數(shù)據(jù)個(gè)數(shù)統(tǒng)計(jì)出來(lái)，該列數(shù)是根據(jù)隱含的層級(jí)節(jié)點(diǎn)計(jì)算出來(lái)，因此該系統(tǒng)輸出的矩陣從本質(zhì)的特征上來(lái)說(shuō)就是將用戶所需要的訓(xùn)練個(gè)數(shù)N 通過(guò)特定的方式映射到L個(gè)層級(jí)節(jié)點(diǎn)之上，最終獲取相應(yīng)的結(jié)果。

（3）系統(tǒng)通過(guò)矩陣來(lái)計(jì)算求解相應(yīng)的權(quán)重輸出：由于隱含層輸出的相關(guān)權(quán)重矩陣的大小為L(zhǎng)行M列,即相關(guān)的行數(shù)為隱藏的層節(jié)點(diǎn)的個(gè)數(shù)，矩陣的列為輸出的層級(jí)節(jié)點(diǎn)的借點(diǎn)數(shù)，該算法同其他預(yù)測(cè)算法的不同之處在于，該算法中的輸出層級(jí)節(jié)點(diǎn)是可以不存在誤差節(jié)點(diǎn)的信息，因此該算法的核心就是通過(guò)對(duì)輸出權(quán)重的計(jì)算獲取誤差函數(shù)最小的節(jié)點(diǎn)信息。

總之極限學(xué)習(xí)機(jī)算法（ELM）中要求解的輸出權(quán)重矩陣的過(guò)程必須有矩陣求逆序的步驟。因?yàn)橥ㄟ^(guò)系統(tǒng)映射的相關(guān)函數(shù)的初始化工作是隨機(jī)產(chǎn)生的，故而在實(shí)際的計(jì)算應(yīng)用過(guò)程中使用徑向基函數(shù)來(lái)進(jìn)行矩陣的求逆工作，在基本的理論上，系統(tǒng)只要設(shè)定非常大的正則化相關(guān)數(shù)據(jù)，那么需要進(jìn)行求逆運(yùn)算的矩陣的最終結(jié)果一定是正定矩陣，但是實(shí)際場(chǎng)景下，過(guò)大的正則化操作會(huì)使得最終的計(jì)算效果影響極限學(xué)習(xí)機(jī)算法（ELM）的泛泛的能力，因此在計(jì)算求逆的過(guò)程中一般采用Sigmoid函數(shù)來(lái)進(jìn)行相關(guān)操作。

3 基于大數(shù)據(jù)的極限學(xué)習(xí)機(jī)在茶葉產(chǎn)量預(yù)測(cè)中的實(shí)現(xiàn)

3.1 極限學(xué)習(xí)機(jī)算法數(shù)據(jù)處理的實(shí)現(xiàn)

（1）初始階段訓(xùn)練數(shù)據(jù)的處理。首先確定采集的茶葉生產(chǎn)環(huán)境的溫度、濕度、品種信息、生長(zhǎng)階段等數(shù)據(jù)作為初始的訓(xùn)練集，同時(shí)認(rèn)為的設(shè)定系統(tǒng)隱層的節(jié)點(diǎn)個(gè)數(shù)為N。接著設(shè)k=0，進(jìn)而隨機(jī)的產(chǎn)生第j 個(gè)隱層的節(jié)點(diǎn)同相應(yīng)的輸入的節(jié)點(diǎn)的權(quán)值的向量表達(dá)式為wi=[w1,w2,...,wn]T同時(shí)設(shè)置系統(tǒng)的激勵(lì)節(jié)點(diǎn)的參數(shù)，通過(guò)計(jì)算初始隱層的輸出矩陣H0最后計(jì)算出初始權(quán)值的向量β0。

（2）系統(tǒng)學(xué)習(xí)階段。當(dāng)系統(tǒng)通過(guò)訓(xùn)練獲取到一個(gè)新的訓(xùn)練數(shù)據(jù)到來(lái)時(shí)候，先通過(guò)假設(shè)獲得所有訓(xùn)練集的第k+1 個(gè)樣本的數(shù)據(jù)。

（3）通過(guò)系統(tǒng)計(jì)算出輸出的權(quán)重向量即βk+1。

（4）最后設(shè)定k=k+1，進(jìn)而將該結(jié)果重新返回到步驟（1）中，繼續(xù)循環(huán)地訓(xùn)練下一個(gè)數(shù)據(jù)，最終將所有采集的數(shù)據(jù)訓(xùn)練完成之后，作為云計(jì)算的輸入，進(jìn)行下一步的處理。

3.2 基于大數(shù)據(jù)MapReduce數(shù)據(jù)處理的實(shí)現(xiàn)

MapReduce 框架編程的核心就是對(duì)數(shù)據(jù)的并行處理。即用戶用過(guò)自定義的Map函數(shù)和Reduce函數(shù)分別對(duì)傳入的鍵值對(duì)序列進(jìn)行并行化的處理工作，因此將上層經(jīng)過(guò)極限學(xué)習(xí)機(jī)算法處理的訓(xùn)練集所產(chǎn)生的鍵值對(duì)序列數(shù)據(jù)作為輸入，傳輸?shù)組apReduce 系統(tǒng)中其中間的結(jié)果保存到HBase 分布式系統(tǒng)的文件系統(tǒng)和分布式緩存中。

4 實(shí)驗(yàn)

本文的實(shí)驗(yàn)環(huán)境采用配置是以i5-460m 的處理器，8G RAM，硬盤(pán)大小為500G 的16 臺(tái)計(jì)算機(jī)為硬件節(jié)點(diǎn)，通過(guò)200Mbit/s 的網(wǎng)絡(luò)作為連接進(jìn)行Hadoop 平臺(tái)進(jìn)行搭建，其中Hadoop框架的為3.0版本。

4.1 實(shí)驗(yàn)方法和結(jié)果

實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)主要是通過(guò)網(wǎng)絡(luò)采集的2015-2019 年海南省海墾茶業(yè)集團(tuán)所公布的產(chǎn)業(yè)生產(chǎn)相關(guān)的數(shù)據(jù)。通過(guò)將當(dāng)年茶葉生長(zhǎng)環(huán)境的相關(guān)信息輸入到系統(tǒng)之中，并對(duì)實(shí)驗(yàn)所得出的預(yù)測(cè)結(jié)果與實(shí)際公布的產(chǎn)量進(jìn)行對(duì)比，從實(shí)驗(yàn)結(jié)果可以看出，本文提出的基于大數(shù)據(jù)的極限學(xué)習(xí)機(jī)算法能夠?qū)Σ枞~產(chǎn)量進(jìn)行有效的預(yù)測(cè)。

5 結(jié)語(yǔ)

本文提出的一種基于大數(shù)據(jù)的極限學(xué)習(xí)機(jī)算法在茶葉產(chǎn)量預(yù)測(cè)的方法能夠通過(guò)對(duì)采集的茶葉生長(zhǎng)信息進(jìn)行高效處理之后較為準(zhǔn)確的預(yù)測(cè)當(dāng)年的茶葉產(chǎn)量，并且通過(guò)實(shí)驗(yàn)證明可該方法的正確性。