趙偉杰 陳海軍 張毅

摘 ? 要：在大數(shù)據(jù)時代悄然來臨之際，如何從海量數(shù)據(jù)中提取有價值信息，為生產生活的高效運轉提供幫助，成了當前科研領域的關鍵問題。尤其是在社會轉型的關鍵時期，充分借助于大數(shù)據(jù)優(yōu)勢以促進新時期經濟快速發(fā)展，是現(xiàn)代化建設中的重要途徑。機器學習是機器對人類行為的模仿，并在知識體系的持續(xù)更新中獲得性能提升，是人工智能發(fā)展中不可或缺的一項功能。機器學習算法的復雜程度較高，而且也會涉及多個學科。本文將通過分析大數(shù)據(jù)的相關內容，研究大數(shù)據(jù)下的機器學習算法，以拓展其應用領域。

關鍵詞：大數(shù)據(jù) ?機器學習 ?算法

中圖分類號：TP311.13;TP181 ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）08（c）-0250-02

在社會的各個領域當中，大數(shù)據(jù)的概念已經被人們所熟知，正在成為改變社會生產生活方式的關鍵因素。數(shù)據(jù)的海量性與變化性，是大數(shù)據(jù)的基本特點，為了實現(xiàn)對數(shù)據(jù)信息的有效應用，必須對傳統(tǒng)機器學習算法加以優(yōu)化與改進，使其適應大數(shù)據(jù)的變化特點，以更好地被人們所應用。大數(shù)據(jù)下機器學習算法的研究，不僅是學術界的關鍵工作，也受到了產業(yè)界的廣泛關注，這是促進社會產業(yè)結構轉型升級的關鍵途徑。機器學習涉及了多類學科，包括了統(tǒng)計學、概率論和逼近論等，因此其算法的復雜性也就相對較高。在數(shù)據(jù)挖掘、搜索引擎、語音與手寫識別、計算機視覺和機器人當中，機器學習算法得到廣泛應用。隨著大數(shù)據(jù)時代的進一步發(fā)展，還應該對機器學習算法中存在的問題進行逐步改進。

1 ?大數(shù)據(jù)的基本概念與機器學習理論

大數(shù)據(jù)在發(fā)展歷程中經歷了多個階段，速度、體積和多樣，是3V模型的主要內容，而在4V模型當中，則增加了虛擬化、變化性和價值等。在計算機與人類的交互當中，需要以智能分析接口為媒介，實現(xiàn)對大數(shù)據(jù)的充分利用。在大數(shù)據(jù)時代來臨之際，傳統(tǒng)機器學習算法面臨著較大的挑戰(zhàn)，包括了自動規(guī)劃問題、可發(fā)現(xiàn)新事物和自然語言接口研究等[1]。

2 ?大數(shù)據(jù)下的機器學習算法類型概述

目前，在大數(shù)據(jù)背景下機器學習主要的算法分為五種，分別是大數(shù)據(jù)分治策略與抽樣算法、大數(shù)據(jù)特征選擇算法、大數(shù)據(jù)分類算法、大數(shù)據(jù)聚類算法和大數(shù)據(jù)關聯(lián)分析。下面對這五種類型作簡要分析。

2.1 大數(shù)據(jù)分治策略與抽樣

在龐大的樣本之中根據(jù)一定的性能標準選擇代表性樣本構成一個子集，在此同時要保證樣本的分布、拓撲結構以及保持分類精度等確保子集樣本的數(shù)據(jù)的準確性。然后在這個子集上進行數(shù)據(jù)的分析統(tǒng)計和計算，即大數(shù)據(jù)分治策略與抽樣算法。在大數(shù)據(jù)相關問題的處理中，分治策略的應用較為常見，為分布式與并行計算奠定了保障[2]。

2.2 大數(shù)據(jù)特征維度提取

大數(shù)據(jù)集被廣泛應用于文檔分類、數(shù)據(jù)挖掘和多媒體索引當中，由于數(shù)據(jù)量的持續(xù)增加，使得處理算法的執(zhí)行效率面臨較大挑戰(zhàn)，為了促進運行時間的縮短，應對特征維度進行提取。維度上通常有一類維度、二類維度和多類維度之分，一類維度為初級分類，只需要設定一個閾值把數(shù)據(jù)分為AB兩類即可完成。二維以及二維以上的維度，一般采用歐氏距離進行度量。二維的計算公式為：

2.3 大數(shù)據(jù)分類

在對決策樹分類學習算法進行創(chuàng)新時，可以采用在大數(shù)據(jù)中構造決策樹的方法，以促進計算速度的提升[4]。在神經網(wǎng)絡與極端學習機的權值參數(shù)調整中，通常是采用梯度下降算法，但是其泛化性能不佳，而且也會對學習速度產生較大的限制。迭代調整策略的運用，是解決此類問題的關鍵方法，在對網(wǎng)絡權值進行確定時需要經過多次迭代調整。

2.4 大數(shù)據(jù)聚類

在模式識別和數(shù)據(jù)挖掘當中，聚類學習的應用較為廣泛，非迭代擴展、增量技術和核模糊c均值算法，是聚類算法的基礎。在并行處理大數(shù)據(jù)的過程中，MapReduce模型的應用較為廣泛，其執(zhí)行引擎雖然結構簡單，但是性能優(yōu)越，是解決大數(shù)據(jù)分析難題的關鍵方法[5]。降維聚類、基于圖的聚類和子空間聚類等，是高維數(shù)據(jù)的常用聚類方法，在此過程中應該重視對聚類性能的有效維持。

2.5 大數(shù)據(jù)關聯(lián)分析

并行與增量是解決大數(shù)據(jù)關聯(lián)分析的主要方法，其中Apriori算法是一種較為先進的并行算法，其伸縮性與加速比較好，是促進運行效率提升的有效算法。頻繁序列挖掘算法、增量挖掘算法和增量序列挖掘算法等，能夠實現(xiàn)約束的有效修改[6]。在更新序列模式的時間確定中，可以采用性能與差異均衡算法，促進大數(shù)據(jù)實際運行效果的增強。

3 ?結語

基于內存的大數(shù)據(jù)機器學習是一種常見的機器學習算法類型，在計算機內存中無法實現(xiàn)大數(shù)據(jù)的裝載，只有加強對現(xiàn)有算法的優(yōu)化，才能滿足當前社會發(fā)展對大數(shù)據(jù)的應用需求。大數(shù)據(jù)分治策略與抽樣能夠實現(xiàn)樣本的分類處理，是提升運算速度的基礎;大數(shù)據(jù)特征選擇，能夠以不同特征屬性為依據(jù)，實現(xiàn)數(shù)據(jù)的挖掘與文檔的分類;而在泛化性能的提升當中，則需要依靠大數(shù)據(jù)分類算法，如支持向量機分類和決策樹分類等等;在多種應用中的大數(shù)據(jù)模式識別中，則需要采用大數(shù)據(jù)聚類算法;在交易數(shù)據(jù)庫中不同項間聯(lián)系的分析中，則需要借助于關聯(lián)分析算法。在實際應用中要根據(jù)情況靈活使用不同算法進行處理，促進大數(shù)據(jù)處理運算速度的提升。

參考文獻

[1] 姜娜，顧慶傳，楊海燕，等.大數(shù)據(jù)下的機器學習算法[J].電腦與信息技術，2019，27（3）：30-33.

[2] 顧潤龍.大數(shù)據(jù)下的機器學習算法探討[J].通訊世界，2019，26（5）：279-280.

[3] 趙詣.大數(shù)據(jù)下的機器學習算法綜述——以AlphaGO為例[J].信息記錄材料，2019，20（1）：10-12.

[4] 劉志強.大數(shù)據(jù)下的機器學習算法探討[J].中國新通信，2018，20（21）：183.

[5] 朱熙文.大數(shù)據(jù)下的在線機器學習算法研究與應用[D].西南交通大學，2017.

[6] 肖紅.大數(shù)據(jù)下的機器學習算法探討[J].通訊世界，2017（6）：265-266.