李莎莎+董思妤

摘 要 大數(shù)據(jù)學習成為大數(shù)據(jù)領(lǐng)域的一個熱點研究問題。本文從大數(shù)據(jù)時代背景出發(fā)，總結(jié)當前大數(shù)據(jù)分析所面臨的機遇和挑戰(zhàn)，闡述大數(shù)據(jù)學習系統(tǒng)相關(guān)的前沿技術(shù)，并就大數(shù)據(jù)分析的發(fā)展方向和未來前景進行討論。

關(guān)鍵詞 大數(shù)據(jù) 學習系統(tǒng) 數(shù)據(jù)挖掘

中圖分類號：C829.29 文獻標識碼：A

當今社會，數(shù)據(jù)量正在以爆炸方式迅猛增長，數(shù)據(jù)表示形式千變?nèi)f化，標志著我們已經(jīng)進入了大數(shù)據(jù)時代。云計算、三網(wǎng)融合、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的出現(xiàn)，更加催生了大數(shù)據(jù)時代的產(chǎn)生。在大數(shù)據(jù)時代下，其所需存儲、處理的數(shù)據(jù)量驚人，為大數(shù)據(jù)的分析和應用帶來很多挑戰(zhàn)。若想充分發(fā)揮大數(shù)據(jù)所賦予的機遇和優(yōu)勢，必須采取有效的數(shù)據(jù)學習與處理方法，從高質(zhì)量的大規(guī)模數(shù)據(jù)中提取隱含的、有用的信息，才能做出更加精準、更加符合市場和客戶需求的決策。本文就當前大數(shù)據(jù)分析技術(shù)面臨的挑戰(zhàn)和機遇，介紹大數(shù)據(jù)學習系統(tǒng)的關(guān)鍵技術(shù)，最后對大數(shù)據(jù)分析技術(shù)的未來發(fā)展進行討論。

1大數(shù)據(jù)帶來的機遇和挑戰(zhàn)

大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)革命。大數(shù)據(jù)挖掘和應用可創(chuàng)造出超萬億美元的價值，使人們可以利用以前不能有效利用的多種數(shù)據(jù)潛在信息，抓住被忽略的機遇。隨著數(shù)據(jù)存儲技術(shù)的成熟，大數(shù)據(jù)的重心將從存儲和傳輸，過渡到如何選擇高效的數(shù)據(jù)學習形式對數(shù)據(jù)進行處理和利用，這需要根據(jù)大數(shù)據(jù)特點對傳統(tǒng)的常規(guī)數(shù)據(jù)處理技術(shù)進行變革。此外，大數(shù)據(jù)的海量數(shù)據(jù)，通常采用云端存儲，數(shù)據(jù)管理比較分散，如何保證大數(shù)據(jù)的安全以及學習結(jié)果的可靠性對大數(shù)據(jù)學習技術(shù)提出了更高的要求。

2大數(shù)據(jù)學習關(guān)鍵技術(shù)

伴隨著需要處理的數(shù)據(jù)量多且增長速度迅速的特點，對數(shù)據(jù)學習的實時性、有效性提出了更高要求。大數(shù)據(jù)學習核心即為挖掘，從技術(shù)角度看，就是從大量的、復雜的、不規(guī)則的、隨機的、模糊的數(shù)據(jù)中獲取隱含的、人們事先未發(fā)覺的、有潛在價值的信息和知識的過程。有關(guān)智能計算中的大數(shù)據(jù)學習關(guān)鍵技術(shù)常見的有神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)挖掘和回歸分析等。

（1）神經(jīng)網(wǎng)絡(luò)。受生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和運作的啟發(fā)，模擬動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學模型。應用實例包括識別高價值客戶離開特定公司的風險，以及識別欺詐性的保險理賠行為等。

（2）數(shù)據(jù)挖掘。結(jié)合統(tǒng)計數(shù)據(jù)和機器學習、使用數(shù)據(jù)庫管理技術(shù)從大型數(shù)據(jù)集中提取有用信息和知識的技術(shù)。根據(jù)其它屬性的值預測特定（目標）屬性的值，如回歸、分類、異常檢測等，或?qū)ふ腋爬〝?shù)據(jù)中潛在聯(lián)系的模式，如關(guān)聯(lián)分析、演化分析、聚類分析、序列模式挖掘等。

（3）回歸分析。確定當一個或多個獨立變量值被修改時相關(guān)變量如何變化的統(tǒng)計方法。通常用于預測或預報。應用實例如基于不同的市場和經(jīng)濟變量，或通過確定何種制造業(yè)參數(shù)對客戶滿意度影響最大來預測銷售量等。

（4）分類分析。在訓練集包含的數(shù)據(jù)點已經(jīng)被歸類的基礎(chǔ)上，確定新的數(shù)據(jù)點所屬類別的方法。典型應用是在明確假設(shè)或客觀結(jié)果前提下，預測部分特定客戶行為（例如，購買決策、流失率、消費率等）。因為使用訓練集，屬于監(jiān)督學習，是無監(jiān)督學習類型聚類分析的反面。

（5）聚類分析。一種多元化群體的分類統(tǒng)計方法。在事先不知道的前提下，將一個集合分成較小的對象組，組內(nèi)對象具有相似特點。聚類分析的典型例子是將消費者分割成具有自相似性的群體做針對性營銷。因為不使用訓練數(shù)據(jù)，屬于無監(jiān)督學習類型，是監(jiān)督學習類型分類分析的反面。

（6）關(guān)聯(lián)規(guī)則學習。在大數(shù)據(jù)集變量中發(fā)現(xiàn)感興趣關(guān)系（即“關(guān)聯(lián)規(guī)則”）的方法，包括多種生成和測試可能規(guī)則的算法。典型應用是市場購物籃分析，其中零售商可以決定哪些產(chǎn)品經(jīng)常一起購買和如何使用這種營銷信息。

（7）數(shù)據(jù)融合與集成。集成和分析來自多個源的數(shù)據(jù)的方法。典型應用如，使用來自互聯(lián)網(wǎng)的傳感器數(shù)據(jù)綜合分析如煉油廠這樣的復雜分布式系統(tǒng)的性能。使用社會媒體數(shù)據(jù)，經(jīng)過自然語言處理分析，并結(jié)合實時銷售數(shù)據(jù)，確定營銷活動如何影響顧客的情緒和購買行為等。

（8）機器學習。研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)并不斷改善自身的性能，是人工智能的核心，是使計算機具有智能的根本途徑。自然語言處理是機器學習的一個例子。

3大數(shù)據(jù)分析未來趨勢

當前的數(shù)據(jù)分析技術(shù)的研究可以分為6個重要方向：結(jié)構(gòu)化數(shù)據(jù)分析、文本數(shù)據(jù)分析、多媒體數(shù)據(jù)分析、Web數(shù)據(jù)分析、網(wǎng)絡(luò)數(shù)據(jù)分析和移動數(shù)據(jù)分析。在今后大數(shù)據(jù)技術(shù)面臨的主要發(fā)展趨勢：大數(shù)據(jù)與人工智能的融合；跨學科領(lǐng)域交叉的數(shù)據(jù)分析應用；數(shù)據(jù)科學帶動多學科融合。今后，深度學習成為大數(shù)據(jù)智能分析的核心技術(shù)，利用大數(shù)據(jù)學習技術(shù)構(gòu)建大規(guī)模、有序化開放式的知識體系成為大數(shù)據(jù)處理的關(guān)鍵。大數(shù)據(jù)與云計算、移動互聯(lián)網(wǎng)等的綜合應用，大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)快速發(fā)展都將成為未來趨勢。

4總結(jié)

保證大數(shù)據(jù)的質(zhì)量，如何建模、提取并利用隱藏在大數(shù)據(jù)中的信息成為擺在業(yè)界和學術(shù)界面前的重大難題。面對當前大數(shù)據(jù)來源眾多、數(shù)據(jù)量大、數(shù)據(jù)增長速度快等特點，大數(shù)據(jù)學習面臨著極大的挑戰(zhàn)。闡述了大數(shù)據(jù)學習系統(tǒng)中的關(guān)鍵技術(shù)，對大數(shù)據(jù)分析的未來發(fā)展趨勢進行了討論，為選擇數(shù)據(jù)學習方式提供依據(jù)。

參考文獻

[1] 顧君忠.大數(shù)據(jù)與大數(shù)據(jù)分析[J].軟件產(chǎn)業(yè)與工程，2013（4）：17-21.

[2] 任磊，杜一，馬帥，等.大數(shù)據(jù)可視分析綜述[J].軟件學報，2014，25（9）：1909-1936.

[3] 中國計算機學會大數(shù)據(jù)專家委員會.2015年中國大數(shù)據(jù)發(fā)展趨勢預測[J].中國計算機學會通訊，2015，11（1）：48-52.