◆王國娟 劉安諾 黃福亮

談大數(shù)據(jù)技術(shù)在計算機數(shù)據(jù)信息處理中的應(yīng)用

◆王國娟1劉安諾1黃福亮2

（1.北京國電通網(wǎng)絡(luò)技術(shù)有限公司 北京 100070；2.國網(wǎng)青海信通公司 青海 810000）

信息化時代，各行各業(yè)數(shù)據(jù)信息規(guī)模不斷增大，對數(shù)據(jù)處理時效和處理準確度也提出了更高要求。大數(shù)據(jù)技術(shù)具有強大的數(shù)據(jù)挖掘、分析、分布式存儲等處理功能，對提高計算機數(shù)據(jù)信息處理水平作用明顯。本文首先解析大數(shù)據(jù)和計算機信息處理的內(nèi)涵，其次概述了大數(shù)據(jù)技術(shù)的主要處理工具，最后探討大數(shù)據(jù)技術(shù)在計算機信息中的應(yīng)用，以供相關(guān)讀者參考。

大數(shù)據(jù)技術(shù)；計算機；數(shù)據(jù)信息處理；應(yīng)用

當今社會，計算機和網(wǎng)絡(luò)技術(shù)應(yīng)用越來越廣泛，不僅為人民的生活、工作帶來了巨大便利，而且推動了整個社會的發(fā)展進步，產(chǎn)生了深遠的影響。伴隨著計算機使用量和網(wǎng)絡(luò)用戶群體的不斷增加，數(shù)據(jù)信息規(guī)模越來越大，社會已經(jīng)邁入了大數(shù)據(jù)時代。如何高效、精準地處理批量化數(shù)據(jù)信息，并從海量數(shù)據(jù)中挖掘出重要信息發(fā)揮數(shù)據(jù)的最大化價值，已經(jīng)成了各行各業(yè)新一輪競爭的焦點。大數(shù)據(jù)技術(shù)的出現(xiàn)讓計算機數(shù)據(jù)處理工作變得更加簡單，也受到了社會的追捧。筆者就此分析和探討以大數(shù)據(jù)技術(shù)為支撐的計算機數(shù)據(jù)信息處理應(yīng)用。

1 大數(shù)據(jù)技術(shù)及計算機信息處理內(nèi)涵

1.1 大數(shù)據(jù)技術(shù)及其特點

大數(shù)據(jù)指的是在一定時間范圍內(nèi)超出常規(guī)軟件工具的捕捉、管理和處理能力的數(shù)據(jù)集合。必須依靠更新、更強大的處理模式才能獲得更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的多樣化信息資源。大數(shù)據(jù)技術(shù)也就是大數(shù)據(jù)的應(yīng)用技術(shù)，具體表現(xiàn)為各種大數(shù)據(jù)平臺、大數(shù)據(jù)指數(shù)體系等。大數(shù)據(jù)是以現(xiàn)代信息技術(shù)為基礎(chǔ)發(fā)展起來的，其數(shù)據(jù)流量、規(guī)模等都非常龐大，其中包含了各種結(jié)構(gòu)形式的重要信息。大數(shù)據(jù)技術(shù)的主要特點為：一是可以存儲巨量數(shù)據(jù)。大數(shù)據(jù)的數(shù)據(jù)集通常是萬億或EB的單位，互聯(lián)網(wǎng)一天所產(chǎn)生的數(shù)據(jù)內(nèi)容可以刻滿1.68億張DVD，大數(shù)據(jù)技術(shù)一般使用LSI技術(shù)，可存儲數(shù)據(jù)超過宇宙天體數(shù)的三倍以上。二是可以抓取、搜集類型繁雜的數(shù)據(jù)[1]。大數(shù)據(jù)技術(shù)對各種結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)都可以進行處理，包括各種各樣的語音、圖像、文本信息、地理位置信息、數(shù)字符號等。三是應(yīng)用空間巨大。大數(shù)據(jù)分析技術(shù)可以幫助用戶從巨量數(shù)據(jù)中準確挖掘出所需的數(shù)據(jù)資料，對提高決策科學(xué)性作用巨大。當前大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于工業(yè)、教育、服務(wù)行業(yè)等諸多領(lǐng)域，發(fā)揮著重要價值。

1.2 計算機信息處理技術(shù)及發(fā)展情況

計算機信息處理技術(shù)，是指以計算機為基礎(chǔ)，集數(shù)據(jù)采集、傳輸、整合、分析為一體的一類技術(shù)。它并非單一技術(shù)，而是多種技術(shù)應(yīng)用綜合體，主要包括網(wǎng)絡(luò)技術(shù)、信息處理技術(shù)、通信技術(shù)等，其中信息處理技術(shù)是其中的最核心部分，對數(shù)據(jù)的處理起著關(guān)鍵作用。伴隨著大數(shù)據(jù)時代的到來，計算機信息處理技術(shù)既面臨著機遇，又存在諸多新挑戰(zhàn)。其機遇是指，社會對數(shù)據(jù)處理技術(shù)的依賴，推動計算機技術(shù)的不斷發(fā)展，可以運用新的思想和方法來改進技術(shù)現(xiàn)狀。挑戰(zhàn)指的是，面對數(shù)量龐大的數(shù)據(jù)信息，現(xiàn)有的計算機軟硬件能力都達不到快速、精準、全面、安全處理數(shù)據(jù)信息的技術(shù)要求，必須升級更新引入更先進的技術(shù)。

2 大數(shù)據(jù)技術(shù)及處理工具

2.1 大數(shù)據(jù)處理流程

（1）數(shù)據(jù)采集

大數(shù)據(jù)的基本特點是數(shù)據(jù)多、類型復(fù)雜，所以，通過有效方法來獲取有效數(shù)據(jù)信息就顯得尤為重要。數(shù)據(jù)采集是大數(shù)據(jù)處理過程中的一個基礎(chǔ)環(huán)節(jié)，當前使用較普遍的數(shù)據(jù)采集手段包括：傳感器采集、射頻識別（RFID）、數(shù)據(jù)檢索分析（Baidu、Goole等主流搜索引擎）及條形碼技術(shù)等。

（2）數(shù)據(jù)處理和集成

這一步建立在數(shù)據(jù)采集基礎(chǔ)上，主要是對所采集的各種數(shù)據(jù)信息進行篩選、分類、清洗去噪并進一步地集成存儲等。

（3）數(shù)據(jù)分析

在大數(shù)據(jù)處理的過程中，數(shù)據(jù)分析是最核心的環(huán)節(jié)，它是實現(xiàn)從海量數(shù)據(jù)中，準確找出有價值的數(shù)據(jù)信息的關(guān)鍵。在大數(shù)據(jù)時代，傳統(tǒng)的數(shù)據(jù)處理分析方法顯然已經(jīng)無法滿足規(guī)?；€性化數(shù)據(jù)的分析需求。關(guān)于數(shù)據(jù)分析技術(shù)，Google在2006年率先提出了“云計算”的概念，它將各種數(shù)據(jù)的應(yīng)用建立在云計算技術(shù)之上，如GFS（分布式文件系統(tǒng)）、BigTable（分布式數(shù)據(jù)庫）、MapReduce（批處理技術(shù)）以及開源實現(xiàn)平臺Hadoop等[2]，有助于進一步提升大數(shù)據(jù)的處理、分析水平。

（4）數(shù)據(jù)解釋

在完整的數(shù)據(jù)分析流程中，數(shù)據(jù)結(jié)果解釋極為重要。但是，由于數(shù)據(jù)量的持續(xù)增加，結(jié)果分析也往往變得越來越復(fù)雜，用傳統(tǒng)的數(shù)據(jù)顯示方法難以達到數(shù)據(jù)分析結(jié)果快速輸出的要求，所以為了提高數(shù)據(jù)的解釋力和展示效果，“數(shù)據(jù)可視化技術(shù)”被引入了大數(shù)據(jù)系統(tǒng)中。利用結(jié)果可視化分析可將數(shù)據(jù)分析結(jié)果直觀地展現(xiàn)給用戶，更便于用戶理解和接受。常用的可視化技術(shù)包括基于圖標的技術(shù)、面向像素的技術(shù)、分布式技術(shù)以及基于集合的可視化技術(shù)等。

2.2 大數(shù)據(jù)技術(shù)依托

云計算作為計算機概念的一種具體實現(xiàn)，也是大數(shù)據(jù)技術(shù)的主要依托，它不僅可以實現(xiàn)分布式計算、網(wǎng)格計算和并行計算的功能，還在此基礎(chǔ)上進行了進一步擴展，被廣泛用于數(shù)據(jù)備份、災(zāi)難恢復(fù)、電子郵件、虛擬桌面、軟件開發(fā)和測試、大數(shù)據(jù)分析以及面向客戶的Web應(yīng)用程序等。云計算中的“云”是一個虛擬容器，集合了基礎(chǔ)設(shè)施、平臺和軟件等。每種類型的云計算都提供不同級別的控制、靈活性和管理，因此可以根據(jù)需要選擇合適的服務(wù)集。云計算功能的有效實現(xiàn)需要多種信息設(shè)備和技術(shù)的支持，包括數(shù)據(jù)存儲設(shè)備和功能、數(shù)據(jù)索引技術(shù)、查詢系統(tǒng)等，最終支持數(shù)據(jù)分析處理功能的實現(xiàn)。

2.3 大數(shù)據(jù)處理工具

關(guān)系數(shù)據(jù)庫模式是傳統(tǒng)數(shù)據(jù)處理的基本依托，能夠應(yīng)對常規(guī)計算機數(shù)據(jù)的處理需要。但是這種模式并適合大數(shù)據(jù)環(huán)境下的計算機信息處理要求。目前已經(jīng)出現(xiàn)了多種大數(shù)據(jù)處理工具，社會評價效果較好的有Hadoop、HPCC、STORM、ApacheDrill以及RapidMiner等。以RapidMiner為例，作為世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，RapidMiner的數(shù)據(jù)挖掘任務(wù)涉及范圍很廣泛，包括各種數(shù)據(jù)技術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計和評價。它可以免費提供數(shù)據(jù)挖掘技術(shù)和庫；100%用Java代碼（可運行在操作系統(tǒng)上）；數(shù)據(jù)挖掘過程簡單、強大和直觀；內(nèi)部XML保證了用標準化的格式來表示交換數(shù)據(jù)挖掘過程；支持用簡單腳本語言自動進行大規(guī)模進程；支持多層次的數(shù)據(jù)視圖，可確保有效和透明的數(shù)據(jù)；命令行（批處理模式）可自動大規(guī)模應(yīng)用等。

3 基于大數(shù)據(jù)技術(shù)的計算機信息處理技術(shù)應(yīng)用

大數(shù)據(jù)技術(shù)的強大功能，對計算機數(shù)據(jù)信息的處理有著重要的支撐作用，可以促進計算機信息處理體系的不斷完善，促進處理效率和處理質(zhì)量的有效提升。其技術(shù)應(yīng)用主要有：

（1）應(yīng)用于信息采集與加工

在大數(shù)據(jù)技術(shù)支持下，可構(gòu)造出信息采集與處理技術(shù)系統(tǒng)，該系統(tǒng)建立的數(shù)據(jù)模型具有較強的實效性，能有效地處理網(wǎng)絡(luò)上的各類信息內(nèi)容，并實現(xiàn)數(shù)據(jù)內(nèi)容的及時采集。通常來說，基于大數(shù)據(jù)的信息采集和處理技術(shù)的數(shù)據(jù)模型可分為兩類：一種是數(shù)據(jù)流處理模型，另一種是批量處理數(shù)據(jù)模型[3]。其中流數(shù)據(jù)處理方式可調(diào)速計算機數(shù)據(jù)的傳輸速度，也就是對計算機中的大數(shù)據(jù)內(nèi)容進行正確及時的調(diào)整，保證計算機內(nèi)部空間上的大數(shù)據(jù)信息精準，還可以調(diào)整數(shù)據(jù)處理技術(shù)體系結(jié)構(gòu)，支持數(shù)據(jù)信息的有效篩選與采集，確保所有的數(shù)據(jù)信息都能得到有效處理。這一過程將特別采用分析、存儲等精細處理的技術(shù)方法，確保數(shù)據(jù)處理質(zhì)量。另外，還可以建立數(shù)據(jù)動態(tài)監(jiān)測機制，對可能被疏忽的數(shù)據(jù)內(nèi)容進行監(jiān)控，分析數(shù)據(jù)的變化狀態(tài)，聯(lián)合通信技術(shù)將采集的有用數(shù)據(jù)及時傳送到指定地點，凸顯數(shù)據(jù)信息的預(yù)設(shè)作用，充分發(fā)揮其數(shù)據(jù)的應(yīng)用價值。

（2）應(yīng)用于虛擬資源調(diào)度

虛擬化資源的調(diào)度就是虛擬網(wǎng)絡(luò)的合理配置，目的是保證其資源分配和虛擬存儲得當。首先使用大數(shù)據(jù)技術(shù)全面采集各種信息資源，并對這些資源進行存儲管理[4]。然后，建立資源優(yōu)化技術(shù)體系，對虛擬技術(shù)應(yīng)用過程進行數(shù)據(jù)處理，通過靈活調(diào)控、合理劃分虛擬云資源，形成一套完整的計算機應(yīng)用與技術(shù)服務(wù)體系，確保相關(guān)數(shù)據(jù)信息能夠圍繞著不同的使用目的得到有效處理和管理?？茖W(xué)、合理的虛擬資源調(diào)度與任務(wù)分配，可以有效提高資源利用率，降低成本開銷和時間約束，使整個系統(tǒng)達到一個良好的平衡。

（3）應(yīng)用于信息數(shù)據(jù)挖掘

在利用大數(shù)據(jù)技術(shù)挖掘、分析計算機數(shù)據(jù)信息時，首先建立基于Internet的數(shù)據(jù)檢索與數(shù)據(jù)關(guān)聯(lián)技術(shù)體系，保證系統(tǒng)數(shù)據(jù)挖掘和分析的順利實施。同時提出一套基于互聯(lián)網(wǎng)平臺的核心排序算法，并結(jié)合多種流媒體平臺，對數(shù)據(jù)信息進行整合、分析處理，找出其中的關(guān)鍵信息，實現(xiàn)對數(shù)據(jù)的高效、準確挖掘。簡而言之，就是在主流算法的基礎(chǔ)上對數(shù)據(jù)內(nèi)容逐個按點、按組、按列進行有效調(diào)整。

（4）應(yīng)用于遺傳算法和神經(jīng)網(wǎng)絡(luò)技術(shù)

在計算機系統(tǒng)中應(yīng)用GeneticAlgorithm遺傳算法，可以保證產(chǎn)生的隨機思維內(nèi)容符合生物發(fā)展與進化規(guī)律，以此優(yōu)化信息資源的獲取與分析流程，保證在遺傳信息的基礎(chǔ)上融入概率思維的內(nèi)容，確保數(shù)據(jù)信息中自動調(diào)節(jié)的信息易于搜索。與此同時，通過應(yīng)用信息技術(shù)識別功能，借鑒生物神經(jīng)網(wǎng)絡(luò)和信息傳遞模式，以遺傳算法為基礎(chǔ)來處理計算機數(shù)據(jù)信息，可建立完善的機器人學(xué)習(xí)機制實現(xiàn)人工智能。

4 結(jié)語

大數(shù)據(jù)技術(shù)作為現(xiàn)代信息技術(shù)的杰出代表，其強大技術(shù)功能可以很好地彌補計算機數(shù)據(jù)信息處理方面的不足，能夠讓數(shù)據(jù)采集更全面，數(shù)據(jù)分類更準確，數(shù)據(jù)挖掘更深入，可以滿足各種以計算機和網(wǎng)絡(luò)為基礎(chǔ)的多樣化數(shù)據(jù)信息需求。從而提高工作便利性，實現(xiàn)最大化效益。

[1]張文娟，孫丹.大數(shù)據(jù)時代背景下計算機信息處理技術(shù)分析[J].科技資訊，2017，15（36）：202-203

[2]郝賓波.“大數(shù)據(jù)”時代背景下的計算機信息處理技術(shù)安全分析[J].數(shù)碼世界，2018（02）：71.

[3]劉麗鳳.試論基于大數(shù)據(jù)視域下計算機信息處理系統(tǒng)的優(yōu)化設(shè)計[J].電腦知識與技術(shù)，2020（5）：12-13.

[4]孫芳芳.“大數(shù)據(jù)”時代背景下計算機信息處理技術(shù)分析[J].中國設(shè)備工程，2019（2）：196-197.