郭繼聯(lián)

摘 要： 在網(wǎng)絡大數(shù)據(jù)處理技術的快速發(fā)展和廣泛應用的前提下，提出基于機會協(xié)作的動漫產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)處理機制，通過研究、分析動漫產(chǎn)業(yè)發(fā)展需求，將機會協(xié)作機制引入到網(wǎng)絡大數(shù)據(jù)采集過程，并設計動漫產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)處理、分析方案。利用網(wǎng)絡大數(shù)據(jù)實現(xiàn)“技術+內容”的雙軌發(fā)展，構建與動漫用戶需求精確匹配的現(xiàn)代動漫產(chǎn)業(yè)發(fā)展體系。通過試驗對動漫產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)傳輸、采集、處理進行測試，結果表明設計的基于機會協(xié)作的動漫產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)處理系統(tǒng)在數(shù)據(jù)吞吐率、傳輸可靠性和系統(tǒng)處理性能等方面表現(xiàn)出了更優(yōu)越的性能，為其他產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)處理系統(tǒng)設計提供了參考依據(jù)。

關鍵詞： 動漫產(chǎn)業(yè)； 大數(shù)據(jù)處理； 機會協(xié)作； 系統(tǒng)設計

中圖分類號： TN958?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2016）09?0041?03

Abstract： On the premise of the fast development and wide application of network big data processing technology， the network big data processing mechanism for animation industry based on opportunity cooperation is proposed. The opportunity coope?ration mechanism is introduced into the network big data acquisition process by researching and analyzing the needs of animation industry development. The network big data processing and analysis schemes for animation industry were designed. The network big data is used to realize the double?track development of ″technology+content″， and construct the modern animation industry development system satisfying the demands of animation users entirely. The network big data transmission， acquisition and processing of the animation industry were tested. The test results show that the designed system based on opportunity cooperation has perfect performances in the aspects of data throughput， transmission reliability， system processing， etc.， and provides the reference basis for the design of network big data processing systems of other industries.

Keywords： animation industry； big data processing； opportunity cooperation； system design

0 引 言

隨著大數(shù)據(jù)時代的到來，動漫產(chǎn)業(yè)與網(wǎng)絡大數(shù)據(jù)處理技術進一步融合，使得動漫創(chuàng)意、制作、傳播、消費、服務構成的產(chǎn)業(yè)鏈條越來越依賴互動共生的網(wǎng)絡生態(tài)系統(tǒng)，從而推動動漫產(chǎn)業(yè)進入躍遷發(fā)展新時期[1]。本文在大數(shù)據(jù)處理、分析技術的深刻影響下，提出利用大數(shù)據(jù)挖掘、深度分析與可視化結果重塑我國動漫產(chǎn)業(yè)。通過網(wǎng)絡技術為動漫產(chǎn)業(yè)發(fā)展提供重要支撐和平臺，是實現(xiàn)動漫產(chǎn)業(yè)大數(shù)據(jù)處理、分析的前提。

針對動漫產(chǎn)業(yè)在大數(shù)據(jù)采集、傳輸、處理等方面的問題，本文設計了一種適用于動漫產(chǎn)業(yè)的基于機會協(xié)作的大數(shù)據(jù)處理系統(tǒng)（OCA）[2]。本文的主要工作包括：基于機會協(xié)作技術建立了數(shù)據(jù)采集模型；分析了動漫產(chǎn)業(yè)互聯(lián)網(wǎng)中節(jié)點到聚合點的大數(shù)據(jù)傳輸可靠性和處理復雜度規(guī)律，據(jù)此建立大數(shù)據(jù)處理系統(tǒng)。

1 動漫產(chǎn)業(yè)網(wǎng)絡模型

為了有效提高動漫產(chǎn)業(yè)信息化水平，改善動漫產(chǎn)業(yè)綜合決策，必須保證動漫產(chǎn)業(yè)相關數(shù)據(jù)科學化、精確化。利用網(wǎng)絡技術，設計了一個動漫產(chǎn)業(yè)網(wǎng)絡模型。該模型包括： 采集互聯(lián)網(wǎng)數(shù)據(jù)、機會協(xié)作通信技術、數(shù)據(jù)處理、實時監(jiān)控等功能，使得網(wǎng)絡技術能夠有機地結合動漫產(chǎn)業(yè)數(shù)據(jù)[3]。動漫產(chǎn)業(yè)大數(shù)據(jù)處理架構模型如圖1所示。

本文設計的動漫產(chǎn)業(yè)網(wǎng)絡模型包括物理層、協(xié)作層、大數(shù)據(jù)層和應用層。其中物理層由互聯(lián)網(wǎng)中提供動漫數(shù)據(jù)的網(wǎng)絡終端構成；協(xié)作層通過應用機會協(xié)作通信技術保障數(shù)據(jù)傳輸?shù)目煽啃?、穩(wěn)定性；大數(shù)據(jù)層由自適應控制數(shù)據(jù)處理模塊和多樣性應用數(shù)據(jù)處理模塊構成，負責對匯聚的數(shù)據(jù)處理、分析[4]。同時在大數(shù)據(jù)層中建立不同類型數(shù)據(jù)庫，以方便對不同類型數(shù)據(jù)多樣性檢索，進而提高數(shù)據(jù)挖掘效率和精度，數(shù)據(jù)多樣性檢索流程如圖2所示。應用層通過多種網(wǎng)絡傳輸方式為客戶提供大數(shù)據(jù)分析結果。同時，本網(wǎng)絡模型架構增加了跨層交互接口以實現(xiàn)更多形式的數(shù)據(jù)共享。

2 基于機會協(xié)作的大數(shù)據(jù)處理

2.1 機會協(xié)作機制

2.2 大數(shù)據(jù)處理機制與方法

基于構建的機會協(xié)作機制的數(shù)據(jù)傳輸、采集模型，建立多元化的數(shù)據(jù)處理、分析方案[6]。通過數(shù)據(jù)類型的感知特性制定不同的映射機制，以提高系統(tǒng)的數(shù)據(jù)處理能力。本系統(tǒng)采用的大數(shù)據(jù)處理流程如圖3所示。

在實際大數(shù)據(jù)處理系統(tǒng)中，難以準確預測用戶需要的數(shù)據(jù)庫類型及數(shù)據(jù)映射。本文在不同數(shù)據(jù)處理作業(yè)之間建立緩沖區(qū)，用于存放多樣性數(shù)據(jù)映射Hash二維矩陣，以便進行排序和最優(yōu)化處理[7]。同時，在數(shù)據(jù)聯(lián)合檢索過程中采用數(shù)據(jù)作業(yè)流交互方式，以實現(xiàn)在數(shù)據(jù)替換時對檢索頻次高、檢索次序合理、交互間隔代價最小的數(shù)據(jù)映射表項以及Hash元素的快速查找。

（1） 設定初始數(shù)值：[i=1，p=0，Pbit=0]。

（2） 對大數(shù)據(jù)進行機會協(xié)作算法處理，結合式（3）～式（5）得到[p，][Pbit，]然后更新Hash矩陣和處理作業(yè)編號[i]。

（3） 如果[μ<0.5，]則重新采用機會協(xié)作算法對數(shù)據(jù)流進行優(yōu)化處理。

（4） 否則，繼續(xù)進行數(shù)據(jù)轉發(fā)和作業(yè)流處理。

（5） 如果處理作業(yè)編號[i>n]，則本次大數(shù)據(jù)處理結束；反之返回步驟（2）。

3 系統(tǒng)性能測試

通過2組實驗對機會協(xié)作的大數(shù)據(jù)傳輸機制的可靠性以及動漫產(chǎn)業(yè)的大數(shù)據(jù)處理系統(tǒng)的性能進行驗證與測試。

第一組實驗對系統(tǒng)在傳輸數(shù)據(jù)吞吐量、丟包率和能效三方面進行測試，通過檢測數(shù)據(jù)的數(shù)學分析和仿真驗證分析基于機會協(xié)作技術大數(shù)據(jù)處理系統(tǒng)的性能，其中測試數(shù)據(jù)如表1所示，結果如圖4所示。

通過對大數(shù)據(jù)傳輸性能測試結果曲線圖研究、分析，表明基于機會協(xié)作技術的大數(shù)據(jù)傳輸方式相對于傳統(tǒng)數(shù)據(jù)傳輸方式有效地提高了數(shù)據(jù)吞吐量，并且具有較好的可靠性、能效性。

第二組實驗通過實時監(jiān)測系統(tǒng)大數(shù)據(jù)傳輸流持續(xù)[100 min]，以實現(xiàn)系統(tǒng)對大數(shù)據(jù)的采集、檢索成功率進行性能測試，實驗結果如圖5所示。通過對大數(shù)據(jù)讀取性能、檢索成功率測試結果曲線圖研究、分析，表明該系統(tǒng)具有較強的數(shù)據(jù)讀取和檢索性能，滿足動漫網(wǎng)絡大數(shù)據(jù)處理需求。

4 結 論

針對網(wǎng)絡數(shù)據(jù)傳輸?shù)膹碗s性、高誤碼率和大數(shù)據(jù)多樣性等特點，為保證動漫產(chǎn)業(yè)大數(shù)據(jù)采集的可靠性、高效性。本文提出基于機會協(xié)作的動漫產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)處理機制，通過研究、分析動漫產(chǎn)業(yè)發(fā)展需求，將機會協(xié)作機制引入到網(wǎng)絡大數(shù)據(jù)采集過程，并設計動漫產(chǎn)業(yè)網(wǎng)絡大數(shù)據(jù)處理、分析方案。通過實驗對系統(tǒng)數(shù)據(jù)傳輸可靠性和大數(shù)據(jù)處理性能進行測試，結果表明，本系統(tǒng)在數(shù)據(jù)吞吐率、傳輸可靠性和系統(tǒng)處理性能等方面表現(xiàn)出了更優(yōu)越的性能。

參考文獻

[1] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展，2013，50（1）：146?169.

[2] 亓開元，趙卓峰，房俊，等.針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法[J].計算機學報，2012，35（3）：477?490.

[3] 田銳，孫利民，劉燕，等.CABRA：車載網(wǎng)絡中基于協(xié)作的大數(shù)據(jù)傳輸增強機制[J].計算機研究與發(fā)展，2009，46（12）：2076?2084.

[4] Association for the Advancement of Medical Instrumentation. Testing and reporting performance results of cardiac rhythm and ST segment measurement algorithms： ANSI/AAMI EC57?2012 [S]. Arlington： Association for the Advancement of Medical Instrumentation， 2012.

[5] 林闖，陳瑩，黃霽崴，等.服務計算中服務質量的多目標優(yōu)化模型與求解研究[J].計算機學報，2015（10）：1907?1923.

[6] 賈曉豐.基于物聯(lián)網(wǎng)的大數(shù)據(jù)量實時信息交換策略研究[J].電子政務，2011（4）：16?20.

[7] 王淑蓉，王長元，喻鈞.基于服務計算的服務組合研究[J].現(xiàn)代電子技術，2012，35（12）：69?71.

[8] WIGAN M R， CLARKE R. Big data′s big unintended consequences [J]. Computer， 2013， 46（6）： 46?53.

[9] 敖莉，舒繼武，李明強.重復數(shù)據(jù)刪除技術[J].軟件學報，2010（5）：916?929.