張磊+顧景民

【摘 要】隨著大數(shù)據(jù)的發(fā)展，大數(shù)據(jù)運用到企業(yè)各個領域，數(shù)據(jù)量成指數(shù)倍增長，運用現(xiàn)今大數(shù)據(jù)、云計算等技術，大數(shù)據(jù)平臺承載能力已經(jīng)力不從心，在某種程度上陷入了停滯。企業(yè)大數(shù)據(jù)平臺建設的過程中面臨著很多的技術難題，因此要優(yōu)化企業(yè)大數(shù)據(jù)平臺系統(tǒng)架構，并深入了解大數(shù)據(jù)的系統(tǒng)瓶頸，尋求解決之道，迎接大數(shù)據(jù)的新時代。

【關鍵詞】大數(shù)據(jù)；系統(tǒng)架構；瓶頸；采集處理；數(shù)據(jù)分析

0 引言

進入大數(shù)據(jù)時代，海量數(shù)據(jù)，成為一個企業(yè)的最大的資產(chǎn)這項資產(chǎn)非常龐大，數(shù)據(jù)的類型繁多復雜，由于數(shù)據(jù)存儲管理極為分散，造成了過量的數(shù)據(jù)冗余和數(shù)據(jù)的不一致性，使得數(shù)據(jù)資源難于查詢訪問，管理層無法從中輕易獲得有效的決策數(shù)據(jù)支持；一些信息集成度低、互聯(lián)性差、信息管理分散，數(shù)據(jù)的完整性、準確性、及時性等方面存在較大差距；數(shù)據(jù)中蘊藏著巨大信息資源，但是沒有通過有效工具充分挖掘利用，信息資源的增值作用還沒有在管理決策過程中充分發(fā)揮。如何從這些數(shù)據(jù)資產(chǎn)抽取發(fā)再其中巨大的價值，成為眾多企業(yè)需要解決的嚴峻問題。

1 大數(shù)據(jù)平臺

1.1 何為大數(shù)據(jù)

大數(shù)據(jù)指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。簡單的來講，大數(shù)據(jù)是一個非常龐大，非常復雜的數(shù)據(jù)集合，以至于傳統(tǒng)的數(shù)據(jù)庫管理員、數(shù)據(jù)處理程序對其束手無策。

1.2 大數(shù)據(jù)的平臺架構

大數(shù)據(jù)平臺是解決大數(shù)據(jù)計算的方案的綜合性平臺，是以存儲、運算、展現(xiàn)作為目的的。提供可靠的、可以支撐業(yè)務性能要求的數(shù)據(jù)存儲，對海量數(shù)據(jù)進行計算與分析，對分析結果綜合形象的展現(xiàn)。

大數(shù)據(jù)系統(tǒng)優(yōu)化架構分為基礎架構層、中間層重量級綜合平臺和上層輕量級構件平臺三層架構。

基礎架構平臺。大數(shù)據(jù)基礎架構依賴于云計算技術，擴展了云，又融于云，包括存儲、網(wǎng)絡、計算等資源。云計算技術融合分布式計算、網(wǎng)絡存儲、虛擬化、負載均衡等計算機和網(wǎng)絡技術，為大數(shù)據(jù)平臺提供強有力的基礎架構。

中間層重量級綜合平臺。中間層融入系統(tǒng)數(shù)據(jù)集成系統(tǒng)、存儲系統(tǒng)、數(shù)據(jù)分析計算系統(tǒng)、綜合數(shù)據(jù)服務系統(tǒng)四大系統(tǒng)，完成從大數(shù)據(jù)源數(shù)據(jù)采集、存儲、挖掘分析、服務應用的數(shù)據(jù)綜合平臺。中間層由以技術主導大數(shù)據(jù)綜合平臺和以業(yè)務流程整合為先鋒的BPM綜合流程管理相輔相成，構建企業(yè)穩(wěn)固的大數(shù)據(jù)綜合平臺。

上層輕量級構件平臺?；跇嫾木C合平臺可以復用已有的應用系統(tǒng)、應用框架，并有較強的用戶需求變化適應能力。用戶可以通過基本的系統(tǒng)配置，進行簡單的托拽，就可以實現(xiàn)不同風格的門戶系統(tǒng)與分析系統(tǒng)?；跇嫾慕y(tǒng)一門戶平臺與BI分析系統(tǒng)，將是上層應用發(fā)展的趨勢。

建立統(tǒng)一的構件化的企業(yè)門戶系統(tǒng)。將各業(yè)務應用做構件化的portlet等，使門戶集成更方便快捷。BI分析系統(tǒng)是一個集數(shù)據(jù)整合、展現(xiàn)、分析挖掘及共享一體的大數(shù)據(jù)可視化數(shù)據(jù)平臺。BI分析系統(tǒng)中各個元素指標構件化，可以與系統(tǒng)門戶集成，也可以采用移動構件化模式，滿足快速移動開發(fā)。

2 企業(yè)實施大數(shù)據(jù)系統(tǒng)過程中應解決的技術難點

企業(yè)在實施大數(shù)據(jù)建設的過程中需要著重解決以下技術難點，主要包括數(shù)據(jù)采集處理、數(shù)據(jù)質量、數(shù)據(jù)分析等，解決了這些問題，借助于大數(shù)據(jù)平臺對企業(yè)海量數(shù)據(jù)的處理分析，就可以從中挖掘出通過傳統(tǒng)信息化手段所不能分析決策數(shù)據(jù)。

大數(shù)據(jù)平臺優(yōu)化的系統(tǒng)架構中，中間重平臺層面，承載大數(shù)據(jù)平臺核心技術架構，大數(shù)據(jù)的快速存儲、安全性、準確性和實時性等都給大數(shù)據(jù)平臺提出了挑戰(zhàn)。

2.1 數(shù)據(jù)采集處理

大數(shù)據(jù)環(huán)境下，數(shù)據(jù)來源非常豐富且數(shù)據(jù)類型多樣，存儲和分析挖掘的數(shù)據(jù)量龐大，對數(shù)據(jù)展現(xiàn)的要求較高，并且很看重數(shù)據(jù)處理的高效性和可用性。

傳統(tǒng)的數(shù)據(jù)挖掘、分析處理方法和工具，在非結構化、高速化的大數(shù)據(jù)處理要求面前顯得過于乏力，需要創(chuàng)新開發(fā)適應新型大數(shù)據(jù)處理需求的數(shù)據(jù)挖掘和數(shù)據(jù)處理方法。

非結構化數(shù)據(jù)是指不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)，包括所有格式的文檔、圖片、XML、HTML、圖像和音頻/視頻信息等等。在處理非結構化信息、全文信息、多媒體信息和海量信息等領域的技術還未成熟，在非結構化數(shù)據(jù)的管理和全文檢索方面需要亟待解決的技術問題。

據(jù)IDC的一項調查報告中指出：企業(yè)中80%的數(shù)據(jù)都是非結構化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長60%。非結構化數(shù)據(jù)，顧名思義，是存儲在文件系統(tǒng)的信息，而不是數(shù)據(jù)庫。

數(shù)據(jù)采集處理完整架構圖對ETL功能架構中的抽取、清洗、轉換、加載進行了詳盡的描述。

數(shù)據(jù)ETL工具，比較快速、高效、安全、穩(wěn)定的當屬Informatica等系列產(chǎn)品，它具有靈活開發(fā)和部署、安全可靠的企業(yè)數(shù)據(jù)、無可比擬的性能和可擴展性等優(yōu)點。當然也有開源Kettle等輕便、實用的產(chǎn)品。

2.2 數(shù)據(jù)質量

影響數(shù)據(jù)質量的因素主要來源于四個方面：數(shù)據(jù)、技術、流程和管理因素。技術因素是數(shù)據(jù)質量的基石，為數(shù)據(jù)質量鋪平道路。

技術因素主要是指由于具體數(shù)據(jù)處理的各技術環(huán)節(jié)的異常造成的數(shù)據(jù)質量問題。數(shù)據(jù)質量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護等方面的內容。

通過MTC-DQM 數(shù)據(jù)質量管理管理，數(shù)據(jù)質量管理系統(tǒng)來解決數(shù)據(jù)質量問題。數(shù)據(jù)質量管理系統(tǒng)的技術實現(xiàn)程度很大程度決定數(shù)據(jù)質量的高低。

2.3 數(shù)據(jù)分析

大數(shù)據(jù)發(fā)展的另一個大的瓶頸是數(shù)據(jù)分析技術。數(shù)據(jù)能發(fā)揮的潛力是無窮的。發(fā)掘數(shù)據(jù)，使其發(fā)出耀眼的光芒是數(shù)據(jù)分析重要任務。舉一個簡單的例子：視頻數(shù)據(jù)與考勤圖片分析。視頻分析本身就是一個非常困難的問題。我們有很多監(jiān)控視頻，能分析出人物的少之又少，能高階分析出視頻中的規(guī)律性信息基本沒有。另一個是考勤信息分析，人臉考勤基本都是靠人工一個一個核對，基本沒有系統(tǒng)能自動識別出來，并且能分析出深度的考勤信息。另一個例子中國的語言復雜化這對于大數(shù)據(jù)發(fā)展也是一個瓶頸。我們的數(shù)據(jù)質量差、噪音多，所以造成了數(shù)據(jù)分析難度的加大。所以這個時候就需要算法和模型進行優(yōu)化，來滿足我們大數(shù)據(jù)的需求。

并不是要有很完美的數(shù)據(jù)才能做分析，完美的數(shù)據(jù)永遠是等不來的，因此需要進行數(shù)據(jù)整合來進行數(shù)據(jù)分析，把碎片化的數(shù)據(jù)整合起來形成整體進行分析，做好數(shù)據(jù)的修正分析工作，這需要相當?shù)募夹g模型支撐。

數(shù)據(jù)分析軟件面對當今的海量數(shù)據(jù)已顯得力不從心，當然隨著數(shù)據(jù)分析技術的發(fā)展，Apache的Hadoop、LexisNexis的HPCC系統(tǒng)等，逐步提升數(shù)據(jù)分析引擎分析能力，給復雜數(shù)據(jù)分析提供技術支撐。

大數(shù)據(jù)分析結果的解讀和應用。數(shù)據(jù)分析師不但能夠解讀大數(shù)據(jù)，同時還能發(fā)現(xiàn)各個業(yè)務要素之間的關聯(lián)，為數(shù)據(jù)分析的可靠性和準確性提供更好的保證。

3 發(fā)展前景

大數(shù)據(jù)數(shù)據(jù)分析能力成為企業(yè)核心競爭力。當“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。

根據(jù)大數(shù)據(jù)發(fā)展分析趨勢報告，到2020年全球將總共擁有35ZB的數(shù)據(jù)量，預測未來大數(shù)據(jù)產(chǎn)品在三大行業(yè)的應用就將產(chǎn)生7千億美元的潛在市場，未來中國大數(shù)據(jù)產(chǎn)品的潛在市場規(guī)模有望達到1.57萬億元，給IT行業(yè)開拓了一個新的黃金時代。

隨著大數(shù)據(jù)的進一步發(fā)展，阻礙大數(shù)據(jù)的發(fā)展的系統(tǒng)瓶頸迎刃而解，這將掀起大數(shù)據(jù)二次革命，進入大數(shù)據(jù)的新時代。

【參考文獻】

[1]馮永強，張良，馮怡，朱尚杰.大數(shù)據(jù)應用的現(xiàn)狀與展望[J].信息化建設，2015（12）.

[2]趙國棟.大數(shù)據(jù)時代的三大發(fā)展趨勢[J].高科技與產(chǎn)業(yè)化，2013（05）.

[3]2016-2022年大數(shù)據(jù)市場現(xiàn)狀調研分析及發(fā)展前景報告[R].

[4]張常淳.基于MapReduce的大數(shù)據(jù)連接算法的設計與優(yōu)化[D].中國科學技術大學，2014.

[責任編輯：李書培]