李為波

摘要：在大數(shù)據(jù)的發(fā)展時代背景下，我國的各行各業(yè)都在致力于將人、物、機等三元世界在網(wǎng)絡(luò)空間中進行交互、融合，以獲得互聯(lián)網(wǎng)上的大數(shù)據(jù)資源。在大數(shù)據(jù)資源的潮流趨勢之下，文章主要圍繞大數(shù)據(jù)的研究現(xiàn)狀、作用意義展開，在此基礎(chǔ)上探索綜合數(shù)據(jù)處理平臺，并對其平臺方案的設(shè)計進行研究，以促進我國信息化社會的建設(shè)。

關(guān)鍵詞：大數(shù)據(jù)；綜合數(shù)據(jù)處理；平臺方案設(shè)計；研究

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2017）01-0069-02

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及云計算等IT技術(shù)的進一步發(fā)展，我國社會的各行各業(yè)都迎來了新的發(fā)展機遇和挑戰(zhàn)。在大數(shù)據(jù)的時代背景下，探索綜合數(shù)據(jù)處理平臺的方案設(shè)計研究，不僅能夠改變我國的經(jīng)濟發(fā)展增長方式，而且還能夠讓各行各業(yè)的發(fā)展跟上時代潮流的發(fā)展步伐，提升我國產(chǎn)業(yè)經(jīng)濟的國際競爭力，促進我國綜合國力的進一步提升。

1 大數(shù)據(jù)的概念及其作用、意義解析

大數(shù)據(jù)是一個高度抽象、凝練的概括詞，各行各業(yè)的專家、學(xué)者大多都是根據(jù)自己的理解來對大數(shù)據(jù)進行定義，因此，迄今為止，人們對大數(shù)據(jù)都沒有統(tǒng)一、標準的定義，大數(shù)據(jù)的概念還處于仁者見仁、智者見智的狀態(tài)。

大數(shù)據(jù)指的是所涉及的資料規(guī)模很大，無法通過目前的主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營者進行決策的資訊，這是維基百科對大數(shù)據(jù)的定義?？梢钥闯鲈谶@概念中，維基百科對大數(shù)據(jù)的解釋主要側(cè)重點是強調(diào)大數(shù)據(jù)資源的規(guī)模量大的特點，并說明了大數(shù)據(jù)的功能作用是擷取、管理、處理以及整理相關(guān)的信息資源以供企業(yè)使用。從維基百科對大數(shù)據(jù)的定義來看，大數(shù)據(jù)所服務(wù)的對象主要是企業(yè)經(jīng)營者，但就筆者看來，這一定義無可避免地帶有了維基百科本身的局限性。大數(shù)據(jù)并不僅僅是為企業(yè)經(jīng)營者服務(wù)的，任何行業(yè)包括我國的基層政府、公、檢、法等部門都完全可以使用大數(shù)據(jù)資源來建立綜合數(shù)據(jù)處理平臺，以此對相關(guān)的決策、政策進行分析，為促進我國社會的全面發(fā)展貢獻力量。

在大數(shù)據(jù)的飛速發(fā)展過程中，其展現(xiàn)了自身的獨特作用和功能，對大數(shù)據(jù)進行精細化的研究，不僅有助于捍衛(wèi)我國的網(wǎng)絡(luò)空間的數(shù)字主權(quán)，維護我國的社會穩(wěn)定，推動社會與經(jīng)濟的可持續(xù)化發(fā)展。而且大數(shù)據(jù)在發(fā)展的過程中還能夠極大的推動國民經(jīng)濟核心的產(chǎn)業(yè)信息化升級，突破當前科學(xué)、技術(shù)的限制，帶動誕生出數(shù)據(jù)服務(wù)、數(shù)據(jù)材料、數(shù)據(jù)制藥等戰(zhàn)略性新興產(chǎn)業(yè)?？v使大數(shù)據(jù)具備了眾多的功能和作用，極大地促進了我國經(jīng)濟社會的發(fā)展，但大數(shù)據(jù)給我國經(jīng)濟社會的發(fā)展所帶來的挑戰(zhàn)也是不容忽視的。大數(shù)據(jù)由于其數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)以及數(shù)據(jù)內(nèi)在模式都極其的復(fù)雜；數(shù)據(jù)本身、數(shù)據(jù)模型以及數(shù)據(jù)學(xué)習(xí)的不確定性；數(shù)據(jù)模式、數(shù)據(jù)行為以及智慧的涌現(xiàn)性等現(xiàn)狀使得人們在對大數(shù)據(jù)的使用中存在著諸多的挑戰(zhàn)?；诖髷?shù)據(jù)的這些功能作用以及面臨的挑戰(zhàn)特點，對大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案進行設(shè)計研究具有重要的現(xiàn)實作用。

2 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺的方案設(shè)計研究

在大數(shù)據(jù)的時代背景下，建立綜合數(shù)據(jù)處理平臺的首要任務(wù)是要明確平臺建設(shè)的目標。通過運用管理學(xué)學(xué)科的相關(guān)知識對這些目標進行層次的劃分，將目標進行細化處理，使其成為一個個可供實踐操作的小目標。其次是根據(jù)這些目標的需要，結(jié)合相關(guān)的互聯(lián)網(wǎng)、物聯(lián)網(wǎng)技術(shù)以及數(shù)學(xué)分析、建模思想等，構(gòu)建綜合數(shù)據(jù)處理平臺的總體架構(gòu)，初步搭建綜合數(shù)據(jù)處理平臺。最后是對綜合數(shù)據(jù)處理平臺的內(nèi)涵及外延進行填充處理，如對綜合數(shù)據(jù)處理平臺進行技術(shù)架構(gòu)、網(wǎng)架架構(gòu)以及安全架構(gòu)等等，并采取相關(guān)的措施對其進行管理維修，以方便使用。

2.1 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺設(shè)計的目標分析

由于大數(shù)據(jù)本身所具備的特殊性，構(gòu)建基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺，首先需要的是明確構(gòu)建這一平臺的目標。在筆者看來，構(gòu)建基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺的目標主要有以下幾方面：一是提供各種類型的數(shù)據(jù)信息，在大數(shù)據(jù)概念、內(nèi)涵中都已經(jīng)明確了其功能作用，大數(shù)據(jù)主要是為社會各行各業(yè)的發(fā)展需要提供多元化、便捷化、高速化的服務(wù)。構(gòu)建基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺的目標之一就是收集、分析、整理各種類型的數(shù)據(jù)資源，并將其分門別類地置于綜合數(shù)據(jù)處理平臺上，為廣大用戶群體提供充足的數(shù)據(jù)資料，方便其決策使用。二是創(chuàng)建新型的共享數(shù)據(jù)庫，實現(xiàn)綜合數(shù)據(jù)處理平臺上數(shù)據(jù)的共建共享。在當前的社會發(fā)展中，各大數(shù)據(jù)庫使用的仍然是點對點的數(shù)據(jù)共享，這一復(fù)雜的網(wǎng)狀結(jié)構(gòu)既使得同樣的信息和功能重復(fù)出現(xiàn)，又使得數(shù)據(jù)庫系統(tǒng)中存在大量的信息和功能冗余，這極大地阻礙了數(shù)據(jù)庫功能作用的發(fā)揮。而建立的新型綜合數(shù)據(jù)處理平臺，采用的是開放式架構(gòu)體系，其能夠有效地實現(xiàn)各系統(tǒng)之間的耦合，這既能夠簡化數(shù)據(jù)庫中的網(wǎng)狀結(jié)構(gòu)，節(jié)省數(shù)據(jù)庫的空間，又能夠?qū)崟r完成新型數(shù)據(jù)庫中數(shù)據(jù)資源的共建、共享，達到提供信息資源和進行數(shù)據(jù)服務(wù)的目的。

構(gòu)建綜合數(shù)據(jù)處理平臺第三方面的目標是建立制定數(shù)據(jù)交換使用的標準。俗話說無規(guī)矩不成方圓，在構(gòu)建基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺時，需要在其目標制定階段就推出統(tǒng)一的數(shù)據(jù)交換標準，以保證后續(xù)工作的有序化開展。為了更好地滿足社會各界對于綜合數(shù)據(jù)處理平臺的各項業(yè)務(wù)開展的需要，需彌補當前數(shù)據(jù)庫中數(shù)據(jù)資源標準缺乏的不足，保證同一類型的數(shù)據(jù)不會存在多個數(shù)據(jù)源頭或者是多個數(shù)據(jù)格式，更好地實現(xiàn)數(shù)據(jù)的共享。在進行綜合數(shù)據(jù)處理平臺方案的設(shè)計時，要預(yù)先設(shè)置統(tǒng)一的數(shù)據(jù)訪問和數(shù)據(jù)交換的標準，避免數(shù)據(jù)的重復(fù)建設(shè)，實現(xiàn)數(shù)據(jù)適應(yīng)業(yè)務(wù)需要的靈活化發(fā)展，滿足人們?nèi)找嬖鲩L的數(shù)據(jù)使用、業(yè)務(wù)變化需求，促進大數(shù)據(jù)綜合數(shù)據(jù)處理平臺的建設(shè)和發(fā)展。

在明確了這些平臺目標之后，還需要基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺，在方案設(shè)計研究中一步一步地對這些目標展開進一步的細化，使其成為可操作、實時性強的小目標。并在此基礎(chǔ)上構(gòu)建一個綜合數(shù)據(jù)處理平臺方案設(shè)計研究的目標體系，為基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺的建成做好必要的準備工作，為后續(xù)的平臺設(shè)計、研究、建設(shè)做好鋪墊。

2.2 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案設(shè)計的總體構(gòu)架分析

在大數(shù)據(jù)的理念、技術(shù)支撐之下，可以構(gòu)建基于服務(wù)總線、數(shù)據(jù)庫級共享模塊以及應(yīng)用級模塊的綜合數(shù)據(jù)處理平臺。在具體的方案設(shè)計研究中，分別對這三大模塊進行分解、細化，使其成為更小的子系統(tǒng)，然后對各子系統(tǒng)中的各個要素部分進行設(shè)計和處理。最后將所有的要素部分進行糅合，以此建立數(shù)據(jù)信息交互的綜合數(shù)據(jù)處理分析平臺。其中，基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案設(shè)計中的服務(wù)總線的主要功能是完成信息的路由、轉(zhuǎn)發(fā)、服務(wù)、注冊等，并且服務(wù)總線同時與其他同級平臺進行連接，以達到數(shù)據(jù)信息資源共享的目標。服務(wù)總線模塊的方案設(shè)計是整個綜合數(shù)據(jù)處理平臺的主體部分，如果將其比作生物人的話，服務(wù)總線就相當于人的大腦，對整個平臺的運轉(zhuǎn)進行指揮、調(diào)節(jié)、控制。

數(shù)據(jù)庫級共享模塊的作用是實現(xiàn)數(shù)據(jù)資源的存儲、交換，并達到共享的目的。在具體的方案構(gòu)架中，數(shù)據(jù)庫級共享模塊主要是通過對數(shù)據(jù)庫和共享數(shù)據(jù)庫進行直接訪問的方式展開，以完成各種類型的，大批量實時數(shù)據(jù)、靜態(tài)數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)等的共享。數(shù)據(jù)庫級共享模塊還可以主動地對被抽取的數(shù)據(jù)、被動接收的數(shù)據(jù)進行共享數(shù)據(jù)庫的構(gòu)建，以不斷地滿足各大數(shù)據(jù)平臺的提供者和用戶對數(shù)據(jù)資源的儲存、交換，實現(xiàn)綜合數(shù)據(jù)處理平臺的作用。

而在應(yīng)用級共享模塊的建設(shè)時主要是要將其與服務(wù)總線進行連接，并在其進行標準的服務(wù)接口時，對數(shù)據(jù)庫中的數(shù)據(jù)資源進行共享數(shù)據(jù)加工、共享數(shù)據(jù)交換、共享數(shù)據(jù)服務(wù)以及共享流程服務(wù)等工作。應(yīng)用級共享模塊主要是通過這些工作來實現(xiàn)整個綜合數(shù)據(jù)處理平臺各系統(tǒng)之間的相互交流，相互協(xié)調(diào)合作，以實現(xiàn)各大數(shù)據(jù)平臺數(shù)據(jù)的交換和服務(wù)的共享。也可以這樣說，應(yīng)用級共享模塊在整個的綜合數(shù)據(jù)處理平臺中居于信息共享平臺的中樞、核心層，是實現(xiàn)大數(shù)據(jù)交換、服務(wù)、共享的關(guān)鍵板塊。

2.3 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺設(shè)計的技術(shù)構(gòu)架分析

基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺設(shè)計的主要技術(shù)是計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)、云計算處理技術(shù)以及信息通信、信息通訊等技術(shù)，進行綜合數(shù)據(jù)處理平臺的構(gòu)建離不開這些現(xiàn)代化技術(shù)的支撐。基于大數(shù)據(jù)的發(fā)展，綜合數(shù)據(jù)處理分析平臺中的硬件構(gòu)架主要有防火墻、交換機、數(shù)據(jù)庫服務(wù)器、光纖交換機、硬盤陣列以及應(yīng)用服務(wù)器等。

綜合數(shù)據(jù)處理分析平臺中的各大硬件構(gòu)架在使用過程中所憑借的具體技術(shù)支撐有所不同，各硬件構(gòu)架在整個綜合數(shù)據(jù)處理分析平臺中的地位也有所區(qū)別。其中，數(shù)據(jù)庫服務(wù)器主要采用的是固定分區(qū)方式，對數(shù)據(jù)庫中的數(shù)據(jù)進行存取、訪問控制、對數(shù)據(jù)進行管理、集成數(shù)據(jù)分析服務(wù)、對信息進行調(diào)度以實現(xiàn)共享等等。此外，數(shù)據(jù)庫服務(wù)器還能夠?qū)τ布?、軟件以及其他的受控件產(chǎn)生的故障進行探測，并同時將故障主機上的應(yīng)用迅速切換至其他的設(shè)備上，最大限度地保證數(shù)據(jù)業(yè)務(wù)使用的連貫性。

應(yīng)用服務(wù)器作為連接交換機、光纖交換機的主要載體，在整個的綜合數(shù)據(jù)處理分析平臺上處于核心設(shè)備地位，主要負責數(shù)據(jù)共享方面的業(yè)務(wù)。包括基于消息隊列的共享、基于共享數(shù)據(jù)庫方式的共享以及基于共享服務(wù)和業(yè)務(wù)流程級別的信息共享等。應(yīng)用服務(wù)器能夠保證資源的靈活性使用，并根據(jù)實際情況的需要，對信息資源進行相關(guān)的實時性調(diào)整。但為了更好地發(fā)揮應(yīng)用服務(wù)器在整個綜合數(shù)據(jù)處理平臺上的作用，在使用應(yīng)用服務(wù)器時，最好對應(yīng)用服務(wù)器進行雙機集群處理。

2.4 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺設(shè)計的網(wǎng)架架構(gòu)分析

網(wǎng)架構(gòu)架是整個數(shù)據(jù)平臺得以正常運轉(zhuǎn)的關(guān)鍵技術(shù)支撐，沒有網(wǎng)絡(luò)架構(gòu)，綜合數(shù)據(jù)處理平臺其他模塊的構(gòu)架都是紙上談兵。當前，我國計算機網(wǎng)絡(luò)使用得比較普遍的是廣域網(wǎng)和局域網(wǎng)，在絕大多數(shù)的行業(yè)領(lǐng)域，使用得最為普遍的是局域網(wǎng)。局域網(wǎng)主要是利用以太網(wǎng)技術(shù)作為網(wǎng)架架構(gòu)，這在一定程度上能夠滿足平臺內(nèi)部的網(wǎng)絡(luò)使用需求，實現(xiàn)內(nèi)部數(shù)據(jù)資源的網(wǎng)絡(luò)共享。但在進行綜合數(shù)據(jù)平臺處理時，可以有意識地多加入廣域網(wǎng)的使用，以實現(xiàn)更廣范圍內(nèi)的行業(yè)和平臺之間信息的橫向溝通交流。這樣也可以實現(xiàn)更大范圍內(nèi)的數(shù)據(jù)資源共享，滿足人們對于大數(shù)據(jù)時代發(fā)展的數(shù)據(jù)需求，促進整個經(jīng)濟社會的信息化發(fā)展。

2.5 基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺設(shè)計的安全構(gòu)架分析

計算機網(wǎng)絡(luò)安全一直以來都是社會各界人士關(guān)注的重點。近些年來，黑客入侵、用戶信息資料泄露影響了網(wǎng)絡(luò)環(huán)境安全，給網(wǎng)絡(luò)用戶的生活帶來了極大的困擾。在構(gòu)建基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案分析時，要充分地考慮到平臺各個方面、各個層級體系的安全性能，構(gòu)建完備的安全服務(wù)與安全防護體系，保證平臺與用戶進入口之間信息交換的安全性。

筆者認為，有如下的具體做法可以用來構(gòu)建綜合數(shù)據(jù)處理平臺中的安全架構(gòu)體系：一是強化防火墻技術(shù)系統(tǒng)，對數(shù)據(jù)庫的訪問入口進行嚴密的限制、控制，并對服務(wù)器的區(qū)域邊界、區(qū)域之間的訪問進行嚴格的控制，以保證平臺數(shù)據(jù)資源使用的安全性。二是對各硬件、軟件進行防病毒系統(tǒng)保護。在各數(shù)據(jù)庫終端和服務(wù)器上都部署相應(yīng)的安全管理區(qū)域，對各用戶的訪問端口進行病毒掃描，定期對病毒管理系統(tǒng)進行優(yōu)化升級。借此進一步提高相關(guān)系統(tǒng)的監(jiān)控管理能力，提高綜合數(shù)據(jù)處理平臺系統(tǒng)的安全性。三是對應(yīng)用管系統(tǒng)和審計系統(tǒng)進行安全管理，無論是核心交換機還是終端、服務(wù)器都要對惡意用戶的不正當行為進行過濾和警告，尤其是要嚴格禁止不法用戶的非法訪問、惡意攻擊以及蠕蟲傳播等行為。要以此保障整個綜合數(shù)據(jù)處理平臺各系統(tǒng)之間各類型數(shù)據(jù)資源的安全性能，促進整個平臺安全構(gòu)架的建設(shè)。

3 結(jié)語

在探索綜合數(shù)據(jù)處理平臺方案設(shè)計研究的過程中，筆者發(fā)現(xiàn)大數(shù)據(jù)的處理技術(shù)還存在著一些亟待解決的問題。當前，大數(shù)據(jù)的存儲成本比較高，資源的利用率比較低，大數(shù)據(jù)系統(tǒng)的吞吐率也還比較低，非線性迭代算法還需要做進一步的優(yōu)化等，這些都是目前大數(shù)據(jù)平臺所存在的系列問題。在大數(shù)據(jù)時代背景下，構(gòu)建綜合數(shù)據(jù)處理分析平臺既需要相關(guān)的工作技術(shù)人員采取相應(yīng)的措施、方法來解決大數(shù)據(jù)自身所面臨的問題和挑戰(zhàn)，也需要不斷地引進、開發(fā)新的技術(shù)，解決在構(gòu)建綜合數(shù)據(jù)處理平臺過程中所產(chǎn)生的新問題。這從一定程度上來說增加了綜合數(shù)據(jù)處理平臺的方案設(shè)計難度和數(shù)據(jù)平臺的建立難度。

參考文獻

[1]朱建平，章貴軍，劉曉葳.大數(shù)據(jù)時代下數(shù)據(jù)分析理念的辨析[J].統(tǒng)計研究，2014，02：10-19.

[2]程學(xué)旗，靳小龍，王元卓等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報，2014，09：1889-1908.

[3]王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計算機學(xué)報，2013，06：1125-1138.

[4]王淑芬.基于大數(shù)據(jù)的制造運行監(jiān)測與分析平臺研究[D].廣東工業(yè)大學(xué)，2014.

[5]張銀葉.一種可適應(yīng)多變需求的數(shù)據(jù)處理平臺設(shè)計與應(yīng)用[D].中國科學(xué)技術(shù)大學(xué)，2015.

[6]謝蒙.基于綜合數(shù)據(jù)業(yè)務(wù)平臺的消息分發(fā)系統(tǒng)的設(shè)計與實現(xiàn)[D].北京郵電大學(xué)，2012.