紀(jì)兆華　張曉華　閆新惠

摘? 要：該文探討了基于大數(shù)據(jù)技術(shù)的機(jī)器學(xué)習(xí)算法，基于大數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的模型提高了算法的準(zhǔn)確性，機(jī)器學(xué)習(xí)實(shí)現(xiàn)分析更高級別的數(shù)據(jù)，基于Spark+Hadoop處理技術(shù)的機(jī)器學(xué)習(xí)適應(yīng)迭代式機(jī)器學(xué)習(xí)模型的特定需求，機(jī)器學(xué)習(xí)分析數(shù)據(jù)中的關(guān)系獲得規(guī)律預(yù)測新樣本。對數(shù)據(jù)進(jìn)行收集、統(tǒng)計(jì)和分析的大數(shù)據(jù)系統(tǒng)引入機(jī)器學(xué)習(xí)進(jìn)行大數(shù)據(jù)計(jì)算，機(jī)器學(xué)習(xí)的深度和廣度也提升了大數(shù)據(jù)分析效率。

關(guān)鍵詞：機(jī)器學(xué)習(xí)? 大數(shù)據(jù)技術(shù)? 算法

中圖分類號：TP181 ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2020）05（c）-0024-02

數(shù)據(jù)分析的基礎(chǔ)是統(tǒng)計(jì)學(xué)，統(tǒng)計(jì)學(xué)最早用于大規(guī)模數(shù)據(jù)分析處理中;人工智能可以自動完成一些功能性操作，可以實(shí)現(xiàn)人類的部分智慧;作為人工智能分支的機(jī)器學(xué)習(xí)，其目標(biāo)是機(jī)器不通過編程就能通過自學(xué)習(xí)并對特定對象實(shí)現(xiàn)問題的解決。大數(shù)據(jù)分析和人工智能以及機(jī)器學(xué)習(xí)，這3種技術(shù)之間有著高度的依賴，在相應(yīng)領(lǐng)域中應(yīng)用中實(shí)現(xiàn)其特定功能。大數(shù)據(jù)處理分析同人工智能和機(jī)器學(xué)習(xí)技術(shù)，來解決現(xiàn)實(shí)世界中不同領(lǐng)域的同一性質(zhì)問題[1]。

1? 大數(shù)據(jù)分析

Hadoop技術(shù)在分布式平臺開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)功能強(qiáng)大，Mahout為一些機(jī)器學(xué)習(xí)算法框架庫，但Mahout基于MapReduce計(jì)算框架，不適合處理迭代算法。基于內(nèi)存的Spark框架在大數(shù)據(jù)處理領(lǐng)域具有關(guān)鍵的作用，Spark讀寫過程都是基于內(nèi)存，減少了I/O時間的消耗，提高了運(yùn)算速度。Spark技術(shù)是開源集群計(jì)算系統(tǒng)，是基于內(nèi)存計(jì)算的，在數(shù)據(jù)分析時速度快，Hadoop能通過移動計(jì)算到這些存放數(shù)據(jù)的機(jī)器上能夠提高效率。因此，基于Spark和Hadoop框架結(jié)合的機(jī)器學(xué)習(xí)算法，要解決Mahout在處理迭代算法處理數(shù)據(jù)時消耗資源過多和系統(tǒng)整體性能下降的缺陷，提高數(shù)據(jù)處理分析的速度。

2? 機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是人工智能的核心，是多領(lǐng)域交叉學(xué)科融合，能夠利用自我學(xué)習(xí)算法對人類的學(xué)習(xí)行為進(jìn)行模擬或者實(shí)現(xiàn)人類的學(xué)習(xí)行為。機(jī)器學(xué)習(xí)通過自我學(xué)習(xí)算法可以對原有的知識結(jié)構(gòu)進(jìn)行重新組織，從而獲得新的知識，得到新的性能。機(jī)器學(xué)習(xí)是通過對機(jī)器模擬人類學(xué)習(xí)活動的研究，對現(xiàn)有知識進(jìn)行理解，并獲取新的知識和新的技能。

數(shù)據(jù)量規(guī)模越來越大，原有的單機(jī)計(jì)算機(jī)系統(tǒng)已經(jīng)不能夠完成對大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析的需求，云計(jì)算技術(shù)由此應(yīng)運(yùn)而生。基于MapReduce框架編寫的Mahout機(jī)器學(xué)習(xí)庫，使用HDFS技術(shù)在云基礎(chǔ)架構(gòu)上能夠?qū)崿F(xiàn)對大數(shù)據(jù)的存儲要求，但I(xiàn)/O資源消耗過大造成系統(tǒng)整體性能降低。

3? 基于大數(shù)據(jù)技術(shù)的機(jī)器學(xué)習(xí)

3.1 大數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的模型提升準(zhǔn)確性高

大數(shù)據(jù)分析描述的重點(diǎn)是數(shù)據(jù)應(yīng)用，機(jī)器學(xué)習(xí)主要是描述方法，要從大量完整而真實(shí)的原始數(shù)據(jù)中尋找到潛藏的有價值的知識和規(guī)律。機(jī)器學(xué)習(xí)要從大量數(shù)據(jù)中獲取經(jīng)驗(yàn)并且改善性能的方法，是數(shù)據(jù)挖掘要常采用的學(xué)習(xí)方法，從而實(shí)現(xiàn)某種程度的人工智能。大數(shù)據(jù)主要描述數(shù)據(jù)，是從數(shù)據(jù)量、數(shù)據(jù)類型和數(shù)據(jù)增長速度等角度，采用基于分布式架構(gòu)進(jìn)行一致性、資源調(diào)度和性能優(yōu)化等對數(shù)據(jù)進(jìn)行描述。大數(shù)據(jù)是要利用數(shù)據(jù)的價值，其關(guān)鍵技術(shù)為機(jī)器學(xué)習(xí)。數(shù)據(jù)的量越大，進(jìn)行機(jī)器學(xué)習(xí)的模型提升的準(zhǔn)確性越高。數(shù)據(jù)量越大、模型越復(fù)雜，機(jī)器學(xué)習(xí)算法的計(jì)算時間復(fù)雜度也就越高，也越離不開分布式計(jì)算與內(nèi)存計(jì)算等大數(shù)據(jù)的關(guān)鍵技術(shù)，二者相輔相成，互相促進(jìn)。

3.2 機(jī)器學(xué)習(xí)實(shí)現(xiàn)分析更高級別的數(shù)據(jù)

機(jī)器學(xué)習(xí)中是比較實(shí)用的，能夠進(jìn)行自學(xué)習(xí)數(shù)據(jù)挖掘的數(shù)據(jù)分析處理應(yīng)用算法解決相關(guān)問題。通常沒有設(shè)定好主體，主要是基于統(tǒng)計(jì)學(xué)習(xí)SVM、分類算法NaiveBayes、聚類算法Kmeans等各種算法，主要使用Hadoop的Mahout為工具，計(jì)算現(xiàn)有數(shù)據(jù)，對計(jì)算結(jié)果進(jìn)行分析，并實(shí)現(xiàn)預(yù)測趨勢，實(shí)現(xiàn)分析更高級別的數(shù)據(jù)。

3.3 基于Spark+Hadoop處理技術(shù)的機(jī)器學(xué)習(xí)適應(yīng)迭代式機(jī)器學(xué)習(xí)模型的特定需求

隨著大數(shù)據(jù)時代的到來，基于Spark+Hadoop處理技術(shù)的機(jī)器學(xué)習(xí)使得樣本數(shù)量實(shí)現(xiàn)較大的增加，以大量的樣本作為基礎(chǔ)實(shí)現(xiàn)問題的分類求解。數(shù)據(jù)規(guī)模的爆炸式增長，單一服務(wù)器已經(jīng)不能滿足機(jī)器學(xué)習(xí)的需要，從單一服務(wù)器到成千上萬臺服務(wù)器擴(kuò)展，就需要Hadoop技術(shù)來實(shí)現(xiàn)。在Hadoop技術(shù)架構(gòu)下，本地計(jì)算和存儲等功能可以由每臺機(jī)器來實(shí)現(xiàn)。類似于Hadoop MapReduce通用并行計(jì)算框架的Spark，不僅具有Hadoop MapReduce的優(yōu)點(diǎn)，而且Spark能更好地適用于數(shù)據(jù)處理與機(jī)器學(xué)習(xí)等需要迭代MapReduce算法。

基于彈性分布式數(shù)據(jù)集的Spark能夠降低機(jī)器學(xué)習(xí)數(shù)據(jù)處理時I/O資源消耗和容錯能力的開銷，Spark+Hadoop處理技術(shù)的機(jī)器學(xué)習(xí)擴(kuò)充了樣本的數(shù)量，使數(shù)據(jù)價值能夠最大化地發(fā)揮出來，從大規(guī)模、復(fù)雜結(jié)構(gòu)的數(shù)據(jù)中通過大數(shù)據(jù)處理分析處隱藏在數(shù)據(jù)中的內(nèi)在規(guī)律，適應(yīng)了迭代式機(jī)器學(xué)習(xí)模型的特定需求。Spark常用機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)庫Mlib，MLib基于彈性分布式數(shù)據(jù)集與Spark SQL實(shí)現(xiàn)無縫集成，以RDD為基石，可以構(gòu)建大數(shù)據(jù)計(jì)算中心。通過大數(shù)據(jù)技術(shù)Spark+Hadoop進(jìn)行全量數(shù)據(jù)分析，解決統(tǒng)計(jì)/機(jī)器學(xué)習(xí)依賴于數(shù)據(jù)抽樣不能精準(zhǔn)反映全集的現(xiàn)象，揭示其全量數(shù)據(jù)分析而能精準(zhǔn)反映全集的機(jī)理。

3.4 機(jī)器學(xué)習(xí)分析數(shù)據(jù)中的關(guān)系獲得規(guī)律預(yù)測新樣本

機(jī)器學(xué)習(xí)在語音識別、自動駕駛、圖像檢索、自然語言處理等各個領(lǐng)域中都有著很多方面的應(yīng)用。機(jī)器學(xué)習(xí)讓計(jì)算機(jī)進(jìn)行自“學(xué)習(xí)”，通過這樣的算法，分析數(shù)據(jù)中的關(guān)系，并獲得規(guī)律，分析其內(nèi)在規(guī)律，再預(yù)測新的樣本。以自動駕駛為例，實(shí)現(xiàn)自動駕駛，就需要識別交通標(biāo)志。首先，通過機(jī)器學(xué)習(xí)算法學(xué)習(xí)交通標(biāo)志，這包括數(shù)據(jù)集中的數(shù)百萬張交通標(biāo)志圖片，可以采用機(jī)器學(xué)習(xí)中深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別訓(xùn)練，并生成模型。自動駕駛系統(tǒng)讓生成的模式，使用攝像頭對實(shí)施交通標(biāo)志反復(fù)驗(yàn)證、測試，并不斷進(jìn)行調(diào)優(yōu)，從而實(shí)現(xiàn)較高的識別精確度。

4? 結(jié)語

結(jié)合可以進(jìn)行大數(shù)據(jù)分析技術(shù)的機(jī)器學(xué)習(xí)技術(shù)如模式識別、個性化推薦系統(tǒng)、智能控制等在淘寶、京東等網(wǎng)店購物時有著經(jīng)典的應(yīng)用。從原始數(shù)據(jù)的提取、轉(zhuǎn)換、加載等形成一系列的處理，最終成為信息或知識，作為決策判斷的標(biāo)準(zhǔn)。隨著數(shù)據(jù)規(guī)模的擴(kuò)大，對數(shù)據(jù)進(jìn)行收集、統(tǒng)計(jì)和分析的大數(shù)據(jù)系統(tǒng)引入機(jī)器學(xué)習(xí)進(jìn)行大數(shù)據(jù)計(jì)算，機(jī)器學(xué)習(xí)的深度和廣度也提升了大數(shù)據(jù)分析效率。大數(shù)據(jù)和機(jī)器學(xué)習(xí)關(guān)聯(lián)度大，二者聯(lián)系緊密，大數(shù)據(jù)處理分析能夠從大量數(shù)據(jù)里面發(fā)現(xiàn)隱藏的、有邏輯關(guān)系的準(zhǔn)確的知識，并通過決策來執(zhí)行。大數(shù)據(jù)分析算法有較多的算來源于機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)通過大數(shù)據(jù)的理論分析，在實(shí)際應(yīng)用中進(jìn)行優(yōu)化，從而實(shí)現(xiàn)數(shù)據(jù)分析的目標(biāo)，機(jī)器學(xué)習(xí)也成為大數(shù)據(jù)分析的重要支撐技術(shù)。

參考文獻(xiàn)

[1] 劉興建.基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)趨勢分析[J].信息與電腦：理論版，2019（13）：121-122，125.

[2] 姜娜，顧慶傳，楊海燕，等.大數(shù)據(jù)下的機(jī)器學(xué)習(xí)算法[J].電腦與信息技術(shù)，2019，27（3）：30-33.

[3] 張素芳，翟俊海，王聰，等.大數(shù)據(jù)與大數(shù)據(jù)機(jī)器學(xué)習(xí)[J].河北大學(xué)學(xué)報：自然科學(xué)版，2018，38（3）：299-308，336.

[4] 宋雯博.大數(shù)據(jù)下的機(jī)器學(xué)習(xí)的應(yīng)用趨勢[J].電腦迷，2018（9）：158.