河南省科學院應用物理研究所有限公司 梁 楠 李磊明

大數(shù)據(jù)技術(shù)在工業(yè)領域的應用綜述

河南省科學院應用物理研究所有限公司 梁 楠 李磊明

在這個信息爆炸的年代，數(shù)據(jù)滲透到各行各業(yè)，大數(shù)據(jù)技術(shù)的應用將在社會經(jīng)濟發(fā)展過程中發(fā)揮不可替代的作用。到目前為止，對大數(shù)據(jù)及相關(guān)技術(shù)的研究還處于初級階段。大數(shù)據(jù)技術(shù)在工業(yè)領域的應用起步相對較晚，但仍取得了一定的成果并有其固有的規(guī)律和特點。本文對大數(shù)據(jù)技術(shù)的背景和主要技術(shù)進行分析，并進一步介紹大數(shù)據(jù)技術(shù)在工業(yè)領域的應用情況。

大數(shù)據(jù)；數(shù)據(jù)處理；工業(yè)領域；大數(shù)據(jù)應用

1. 大數(shù)據(jù)概述

1.1大數(shù)據(jù)定義及特征

隨著人類進入一個信息化、數(shù)字化社會，大數(shù)據(jù)便是隨之而來的必然產(chǎn)物。從廣義上講大數(shù)據(jù)是指，規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)捕捉、存儲、整理、處理和分析的數(shù)據(jù)。從數(shù)據(jù)本身看，大數(shù)據(jù)是具有規(guī)模大、處理速度快、多樣化的信息資產(chǎn)；從分析處理的方式看，傳統(tǒng)技術(shù)難以處理和應對，需要采用新的技術(shù)加以處理［1］。

相比普通數(shù)據(jù)，大數(shù)據(jù)具有顯著的特征。Beyer 和 Laney將大數(shù)據(jù)的特點總結(jié)為4個V：Volume（數(shù)據(jù)量大），Variety（數(shù)據(jù)種類繁多），Velocity（處理速度快），Value（數(shù)據(jù)價值大）［3］。大數(shù)據(jù)的特征主要表現(xiàn)在四個層面：第一，數(shù)據(jù)體量巨大。到2013年，世界上存儲的數(shù)據(jù)達到1.2ZB字節(jié)［2］。第二，數(shù)據(jù)類型繁多，包括文字、圖像、視頻、地理位置信息等等。第三，產(chǎn)生和處理速度快。當今社會，每時每刻都有大量數(shù)據(jù)被獲取和存儲。同時，大數(shù)據(jù)的處理與云計算、分布式技術(shù)的使用緊密相關(guān)，一般要求在秒級時間范圍內(nèi)給出分析結(jié)果［4］，只有快速處理才能有效利用獲取的數(shù)據(jù)。第四，價值密度較低，但商用價值大?，F(xiàn)代互聯(lián)網(wǎng)上半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所占比例已達95%以上［5］，分析時需要花費大量時間。同時，數(shù)據(jù)可以整合和多次利用，就多數(shù)應用而言，大數(shù)據(jù)整體蘊藏著巨大的價值。除上述已提到的四個特征之外，一般也認為，隱私性同樣是大數(shù)據(jù)的主要特征［6］。

1.2大數(shù)據(jù)處理流程

大數(shù)據(jù)技術(shù)可運用到各行各業(yè)。根據(jù)數(shù)據(jù)從產(chǎn)生到消失的周期，大數(shù)據(jù)技術(shù)主要涉及以下四個重要內(nèi)容：（1）數(shù)據(jù)采集：數(shù)據(jù)采集是大數(shù)據(jù)處理技術(shù)的基礎。主要是從本地數(shù)據(jù)庫、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等數(shù)據(jù)源導入數(shù)據(jù)，這個過程包括數(shù)據(jù)的提取、轉(zhuǎn)換和加載［1］。（2）數(shù)據(jù)管理：對采集的大數(shù)據(jù)進行適當?shù)奶幚恚〝?shù)據(jù)清洗、去噪、數(shù)據(jù)集成和數(shù)據(jù)修正，并分類存儲，同時提供快速訪問和查詢的功能［7］。（3）數(shù)據(jù)分析：數(shù)據(jù)分析是大數(shù)據(jù)處理技術(shù)的關(guān)鍵。對集成的數(shù)據(jù)采用適當?shù)乃惴Ｐ?，例如傳統(tǒng)的數(shù)據(jù)挖掘、統(tǒng)計分析和機器學習算法和云計算技術(shù)，進一步處理和分析。處理方式可分為數(shù)據(jù)流處理和批量處理兩種方式。云計算作為大數(shù)據(jù)分析的支撐技術(shù)，也是大數(shù)據(jù)分析應用的基本平臺。（4）數(shù)據(jù)解釋：數(shù)據(jù)解釋主要是以直觀的并便于理解的方式將數(shù)據(jù)分析的結(jié)果展示給用戶。數(shù)據(jù)可視化技術(shù)是解釋大數(shù)據(jù)最常用的也是最有力的方式［8］。

2. 大數(shù)據(jù)在工業(yè)領域的應用

國際數(shù)據(jù)資訊（IDC）公司統(tǒng)計，在2009年全球數(shù)據(jù)量達到0.8ZB，在2012年就增長到2.7ZB（如圖1所示）［9］。預計到 2020 年，全球?qū)碛谐^ 35ZB 的數(shù)據(jù)量。這些數(shù)據(jù)中，85%以上的是以非結(jié)構(gòu)化或半結(jié)構(gòu)化的形式存在。

大數(shù)據(jù)技術(shù)通過對數(shù)據(jù)的分析，挖掘出數(shù)據(jù)間潛在的規(guī)律和價值，有助于人們做出正確的決策，從而提高企業(yè)的運行效率，取得更大的收益。預計到2017年市場規(guī)模有望可以達到184.3億元。目前，大數(shù)據(jù)技術(shù)在工業(yè)領域的應用雖還較少，但此領域企業(yè)也越來越重視大數(shù)據(jù)技術(shù)的研究和應用。

圖1 IDC全球數(shù)據(jù)量

2.1信息工業(yè)

信息工業(yè)在大數(shù)據(jù)技術(shù)的應用上相對于其他工業(yè)領域更超前，在大數(shù)據(jù)技術(shù)創(chuàng)新上也處于領先地位。信息工業(yè)通過大數(shù)據(jù)技術(shù)取得了巨大的發(fā)展，其在大數(shù)據(jù)技術(shù)應用和創(chuàng)新機制方面的經(jīng)驗對其他領域有著借鑒意義。

大數(shù)據(jù)技術(shù)在信息工業(yè)領域最典型的應用是搜索引擎。由于互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡上的數(shù)據(jù)呈爆炸式增長。要從海量信息中找出用戶需要的信息，搜索引擎在我們的學習生活工作中是必不可少的，它通過收集、處理和分析大量的數(shù)據(jù)提供快速準確的信息檢索。Google公司的PageRank［10］算法是搜索引擎的核心算法，它認為一個網(wǎng)友的重要程度和它與其他網(wǎng)頁的鏈接關(guān)系有關(guān)，并通過這個關(guān)系建立網(wǎng)頁間的索引。當用戶提交想要檢索的關(guān)鍵詞時，搜索引擎可以根據(jù)關(guān)鍵詞和網(wǎng)頁索引之間的相似關(guān)系獲得檢索結(jié)果［11］。由于網(wǎng)絡數(shù)據(jù)量巨大，搜索引擎的計算對象往往是一個有數(shù)百億行和上億列的矩陣，需要多次迭代計算，這需要強大的存儲和計算能力。在此推動下，發(fā)展了MapReduce［12］等分布式技術(shù)，進而開創(chuàng)了大數(shù)據(jù)技術(shù)發(fā)展的新紀元。

電子商務也是大數(shù)據(jù)技術(shù)在信息工業(yè)領域的典型應用。隨著電子商務的發(fā)展，每天有數(shù)以萬計的交易在網(wǎng)上進行。通過對用戶的瀏覽記錄，以及購買商品的價格、時間和數(shù)量，甚至對用戶的個人特征信息進行分析，了解用戶需求，進而有針對性的給用戶推薦商品，實現(xiàn)個性化推薦。淘寶數(shù)據(jù)魔方是阿里巴巴在淘寶平臺上的大數(shù)據(jù)應用方案。將用戶相關(guān)信息進行搜集并分析，進而可以向商家提供淘寶平臺上的行業(yè)發(fā)展情況。同時，商家可以了解自己品牌的銷售情況以及其消費者的一些共有特征，進而優(yōu)化自己的生產(chǎn)和庫存策略，甚至是根據(jù)消費者的愛好設計生產(chǎn)新的產(chǎn)品，使其能獲得更大的效益。消費者也可以在淘寶平臺上獲得更多優(yōu)惠買到更多滿意的商品。

社交網(wǎng)絡也是大數(shù)據(jù)技術(shù)在信息工業(yè)領域的應用。社交網(wǎng)絡是一種在網(wǎng)絡上由社會個體和個體之間的相互關(guān)系組成的社會性結(jié)構(gòu)。社交網(wǎng)絡大數(shù)據(jù)主要包括即時消息、微博、電子郵件和共享空間等應用數(shù)據(jù)。雖然社交網(wǎng)絡依托于虛擬網(wǎng)絡，但是依然是人之間的交流活動。因而社交網(wǎng)絡大數(shù)據(jù)代表了人之間的各類活動，分析這些數(shù)據(jù)可以更好的理解人類社會，并為社會中的各種關(guān)系提供的可計算的分析方法。目前社交網(wǎng)絡利用大數(shù)據(jù)技術(shù)可以提供多種應用，包括商品推薦、社會化營銷、在線教育等。

2.2制造業(yè)

在制造業(yè)中，大數(shù)據(jù)技術(shù)給企業(yè)帶來了深刻的變革，創(chuàng)新企業(yè)的研發(fā)、生產(chǎn)、運營和管理方式。大數(shù)據(jù)技術(shù)在制造業(yè)中的典型應用包括產(chǎn)品創(chuàng)新、生產(chǎn)線物聯(lián)網(wǎng)分析、產(chǎn)品故障診斷和預測、企業(yè)供應鏈優(yōu)化等各方面。

大數(shù)據(jù)技術(shù)的引入可以促進產(chǎn)品的創(chuàng)新?？蛻襞c制造業(yè)企業(yè)之間交易行為將產(chǎn)生大量數(shù)據(jù)，挖掘和分析這些數(shù)據(jù)，可以使企業(yè)更能了解客戶對產(chǎn)品的需求，為產(chǎn)品創(chuàng)新做出貢獻。例如，福特公司將大數(shù)據(jù)技術(shù)應用到了?？怂闺妱榆嚨漠a(chǎn)品創(chuàng)新和優(yōu)化中。在行駛中，?？怂闺妱榆嚨乃緳C不停地更新車的相關(guān)使用信息，包括速度、剎車、電池充電。這些數(shù)據(jù)方便福特工程師了解客戶的駕駛習慣，包括何時、何地充電以及其頻率，進而制訂產(chǎn)品優(yōu)化計劃，或者實施新產(chǎn)品的創(chuàng)新。

利用大數(shù)據(jù)技術(shù)，還可以對工業(yè)產(chǎn)品的生產(chǎn)過程建立虛擬模型，仿真并優(yōu)化生產(chǎn)流程。此外，在生產(chǎn)過程中，通過對傳感器對生產(chǎn)流程的監(jiān)控數(shù)據(jù)的分析，可以發(fā)現(xiàn)生產(chǎn)流程中能耗的異常或峰值，由此可以優(yōu)化在生產(chǎn)過程中能源的消耗。制造業(yè)通過大數(shù)據(jù)技術(shù)可以實現(xiàn)產(chǎn)品故障實時診斷與預測。例如，通用電氣的能源監(jiān)測和診斷中心，收集全球數(shù)十個國家上千臺通用電氣燃氣輪機的數(shù)據(jù)。他們利用大數(shù)據(jù)技術(shù)分析系統(tǒng)內(nèi)的傳感器振動和溫度信號的大數(shù)據(jù)流，為燃氣輪機故障診斷和預警提供支撐。

大數(shù)據(jù)技術(shù)的引入給供應鏈的分析和優(yōu)化提供了便利。隨著物聯(lián)網(wǎng)技術(shù)以及移動互聯(lián)網(wǎng)技術(shù)的發(fā)展，企業(yè)可以方便的獲得比較完整的供應鏈的大數(shù)據(jù)。通過對這些數(shù)據(jù)的分析，可以降低存儲和配送的成本，并大幅度提到銷售和配送的效率。例如，海爾公司供應鏈體系整合了全球供應鏈資源并搜集了全球用戶信息，將客戶信息、內(nèi)部數(shù)據(jù)以及供應商數(shù)據(jù)都匯總到供應鏈體系中，并通過大數(shù)據(jù)采集和分析，海爾公司持續(xù)進行供應鏈改進和優(yōu)化，保證了海爾對客戶的敏捷響應。

2.3航空工業(yè)

航空公司利用大數(shù)據(jù)技術(shù)，通過對相關(guān)信息進行收集和分析，去選擇潛在目標客戶群體，并調(diào)整營銷策略和營銷范圍，再進行有針對性的客戶維護和廣告宣傳。同時，利用大數(shù)據(jù)技術(shù)對數(shù)據(jù)的分析，可以有方向性的為客戶制定相關(guān)的服務和消費計劃，比如說可以對乘客候機在不同時間制定相應的消費計劃。同時也給乘客提供了極大的方便，讓他們可以獲得更完善更周到的服務。此外，通過對大數(shù)據(jù)技術(shù)的引入，航空公司可以掌握最新的客戶趨勢和銷售情況，進而可以調(diào)整公司的發(fā)展戰(zhàn)略，快速抓住市場的契機。比如說，大數(shù)據(jù)技術(shù)通過對每個航線乘客信息的分析，可以及時預測每個航向旅客流動趨勢，從而使航空公司可以及時發(fā)現(xiàn)市場動向，并進行航向相應的調(diào)整，比如某些方向減少航線，某些方向航班增加，甚至可以根據(jù)大數(shù)據(jù)技術(shù)分析的結(jié)果確定航班具體應該調(diào)整多少等等。

2.4能源工業(yè)

在能源工業(yè)中，將大數(shù)據(jù)技術(shù)融入傳統(tǒng)能源網(wǎng)絡，進而構(gòu)建成新的智能電網(wǎng)。通過用戶用電數(shù)據(jù)的分析，可以知道每個地區(qū)的用電量和斷電頻率，預測哪部分線路可能會出故障，這將有助于對電網(wǎng)的升級和維護。美國加州大學洛杉磯分校的研究人員根據(jù)大數(shù)據(jù)技術(shù)設計的電力地圖，將用戶實時用電信息與天氣、地理等信息全部結(jié)合起來，展示每個街區(qū)當前的用電量［13］。它還可以將每個街區(qū)的用電量與人的平均收入等因素結(jié)合起來分析，從而獲得不同人群的用電習慣。同時這個加州地圖不僅可以為電網(wǎng)規(guī)劃提供有效的電量負荷和停電頻率預測，也可以其中過載嚴重、停電頻率高的街道進行電網(wǎng)的優(yōu)先改造。智能電網(wǎng)可以實現(xiàn)發(fā)電與用電的互動，從而可以提高供電效率。智能電網(wǎng)在歐洲已經(jīng)做到了終端-智能電表。通過電網(wǎng)每隔五分鐘或十分鐘收集一次數(shù)據(jù)，收集來的這些數(shù)據(jù)可以用來預測客戶的用電習慣等，從而推斷出在未來幾個月時間里，整個電網(wǎng)大概需要多少電。有了這個預測后，就可以向發(fā)電或者供電企業(yè)預先購買電量。通過這個預測后，可以降低采購成本。同時，智能電網(wǎng)通過對大數(shù)據(jù)的分析，就可充分利用間歇式的太陽能和風能。在其產(chǎn)生電能時，根據(jù)大數(shù)據(jù)技術(shù)對智能電網(wǎng)中數(shù)據(jù)的分析將其調(diào)度到電力緊缺的地區(qū)，這可以與傳統(tǒng)的水火電能有效地互補。

3. 結(jié)束語

大數(shù)據(jù)技術(shù)的快速發(fā)展，給工業(yè)領域的企業(yè)帶來了新的機遇和挑戰(zhàn)。正確處理好大數(shù)據(jù)，不僅可以提升企業(yè)綜合競爭力和效益，也可以給我們的生活帶來極大的便利。目前，雖然大數(shù)據(jù)技術(shù)在工業(yè)領域很多成功的應用案例，但是它的應用仍還屬于起步階段。在工業(yè)領域，大數(shù)據(jù)技術(shù)的應用還存在大數(shù)據(jù)的集成與管理和大數(shù)據(jù)能耗問題，并面臨著嚴重的安全和隱私問題，需要進一步的研究工作來解決。

［1］何寶宏，魏凱.大數(shù)據(jù)技術(shù)發(fā)展趨勢及應用的初步經(jīng)驗［J］.金融電子化，2013，6：31-34.

［2］Mayer-SchonbergerViktor，Cukier Kenneth著.周濤譯.大時代數(shù)據(jù)［M］.杭州：浙江人民出版社，2012

［3］Beyer M A，Laney D.The importance of‘Big Data’：a definition［M］.Stamford：Gartner，2012：2-5.

［4］劉維貴.大數(shù)據(jù)研究綜述［J］.辦公自動化雜志，2014（總269）：27-30.

［5］王成紅，陳偉能，張軍，宋蘇，魯仁全.大數(shù)據(jù)技術(shù)與應用中的挑戰(zhàn)性科學問題［J］.中國科學基金.2014（2）：92-97.

［6］Labrinidis A，Jagadish H V.Challenges and opportunities with big data［J］. Proceedings of the VLDB Endowment（PVLDB），2012，5（12）：2032-2033.

［7］劉智慧，張全靈.大數(shù)據(jù)技術(shù)研究綜述［J］.浙江大學學報（工學版），2014，48（6）：957-972.

［8］賀全兵.可視化技術(shù)的發(fā)展及應用［J］.中國西部科技，2008，7（4）：4-7.

［9］淘雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述［J］.系統(tǒng)仿真學報，2013，25：142-146.

［10］Yen C C，Hsu J S.Pagerank algorithm improvement by page relevance measurement.IEEE International Conference on Fuzzy Systems，2009，502-506.

［11］Dean J，Ghemawat S.Simplified data processing on large clusters［J］. Communications of the ACM，2008，51（1）：107-113.

［12］Althebyan Q，ALQudah O，Jararweh Y，Yaseen Q.Multi-threading based Map Reduce tasks scheduling.International Conference on Information and Communication Systems（ICICS），2014：1-6.

［13］張引，陳敏，廖小飛.大數(shù)據(jù)應用的現(xiàn)狀與展望［J］.計算機研究與發(fā)展，2013：216-233.