摘 要：互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的發(fā)展給社會帶來大變革的同時也帶來了大數(shù)據(jù)時代。大數(shù)據(jù)時代的到來對社會帶來了機遇與挑戰(zhàn)。本文從大數(shù)據(jù)和計算機信息處理技術(shù)的定義出發(fā)，介紹了大數(shù)據(jù)時代，計算機信息處理技術(shù)的挑戰(zhàn)和機遇。進(jìn)一步介紹了大數(shù)據(jù)時代下計算機處理技術(shù)的種類和研究熱點，對大數(shù)據(jù)時代下計算機信息處理技術(shù)的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：大數(shù)據(jù)；計算機信息處理技術(shù)；存儲

中圖分類號：TP391.1

1 大數(shù)據(jù)和計算機信息處理技術(shù)的定義

1.1 大數(shù)據(jù)定義?！度A爾街日報》在一篇對當(dāng)今先進(jìn)技術(shù)的報道中提出，智能化生產(chǎn)、無線網(wǎng)絡(luò)革命和大數(shù)據(jù)時代，是引領(lǐng)未來繁榮的三大技術(shù)變革。大數(shù)據(jù)泛指巨量的資料，指的是資料量規(guī)模十分巨大，并能從中提取出有價值的信息。大數(shù)據(jù)主要有數(shù)據(jù)量大，數(shù)據(jù)種類多，處理速度快，價值密度低四大數(shù)據(jù)特征。由于大數(shù)據(jù)的特殊性，對大數(shù)據(jù)的技術(shù)也提出了更高的要求。當(dāng)今大數(shù)據(jù)的關(guān)鍵技術(shù)主要：遺傳算法、分類分析，聚類分析，機器學(xué)習(xí)，自然語言處理等。

1.2 計算機信息處理技術(shù)定義。計算機信息處理技術(shù)是數(shù)據(jù)輸送、獲取、分析、處理的結(jié)合體。主要包括計算機技術(shù)、通信技術(shù)、網(wǎng)絡(luò)技術(shù)和微電子技術(shù)等。計算機信息處理技術(shù)的類型主要包括信息系統(tǒng)技術(shù)，數(shù)據(jù)庫技術(shù)和檢索技術(shù)。信息處理技術(shù)是以計算機技術(shù)為核心，配合數(shù)據(jù)庫和通信網(wǎng)絡(luò)技術(shù)進(jìn)行分析的技術(shù)。其中數(shù)據(jù)庫技術(shù)是關(guān)鍵技術(shù)，它能將相關(guān)信息進(jìn)行整合，儲存有序信息并進(jìn)行有效的利用。

2 大數(shù)據(jù)的研究意義、機遇和挑戰(zhàn)

2.1 大數(shù)據(jù)的研究意義：（1）大數(shù)據(jù)是國家信息的戰(zhàn)略資源，一個國家對大數(shù)據(jù)的研究程度，對大數(shù)據(jù)的解釋和運用的能力直接決定了國家信息安全的競爭力。大數(shù)據(jù)關(guān)系著國家的穩(wěn)定和安全。（2）大數(shù)據(jù)能推動我國新產(chǎn)業(yè)的誕生和產(chǎn)業(yè)的升級。大數(shù)據(jù)時代下，數(shù)據(jù)的重要性不言而喻，各產(chǎn)業(yè)的關(guān)注重點集中在數(shù)據(jù)處理和利用上。云計算和物聯(lián)網(wǎng)技術(shù)的興起，大大提高了科研和生產(chǎn)的效率。加快了我國產(chǎn)業(yè)信息化和科技化的到來。（3）大數(shù)據(jù)引發(fā)了科學(xué)思維革命。大數(shù)據(jù)的復(fù)雜性使人們開始積極尋求各種定理和定律和相應(yīng)的研究方向，從而引發(fā)了一種科學(xué)革命。

2.2 大數(shù)據(jù)時代的機遇：（1）數(shù)據(jù)的發(fā)掘和應(yīng)用，創(chuàng)造了多產(chǎn)業(yè)的價值。（2）大數(shù)據(jù)時代帶來了信息安全、云計算和物聯(lián)網(wǎng)的新形勢。（3）大數(shù)據(jù)對信息安全的要求帶來了信息安全的發(fā)展。

2.3 大數(shù)據(jù)時代的挑戰(zhàn)：（1）對數(shù)據(jù)挖掘的要求變高。主要體現(xiàn)在數(shù)據(jù)收集的全面性和可信性。數(shù)據(jù)儲存要低成本，高可靠。還要進(jìn)行必要的分類，方便日后的檢索。數(shù)據(jù)處理的準(zhǔn)確性和快速性。要求進(jìn)行結(jié)果的可視化。（2）大數(shù)據(jù)時代下信息安全的要求更高。大數(shù)據(jù)的關(guān)注度比較高，數(shù)據(jù)的潛力比較大，所以更容易成為黑客攻擊的目標(biāo)。數(shù)據(jù)的大量聚集會使這種損失更大。同時，大量數(shù)據(jù)的匯聚和集中儲存，增加了數(shù)據(jù)泄露的風(fēng)險，由于沒有界定數(shù)據(jù)的所有權(quán)和使用權(quán)，大數(shù)據(jù)還會涉及到很多個體隱私的問題。另外，大數(shù)據(jù)集中的后果是很多復(fù)雜數(shù)據(jù)儲存在一起，安全防護(hù)的手段和措施要求更高。大數(shù)據(jù)技術(shù)有其優(yōu)越性，黑客也可能利用大數(shù)據(jù)技術(shù)進(jìn)行攻擊，從而造成了防護(hù)信息安全的難度。（3）大數(shù)據(jù)時代需要專門的人才。大數(shù)據(jù)技術(shù)是新技術(shù)，人才的培養(yǎng)需要一定的周期，市場需要很多大數(shù)據(jù)的創(chuàng)新人才，人才缺口重大，中國關(guān)于大數(shù)據(jù)的應(yīng)用人才更是少之又少。

3 大數(shù)據(jù)時代下的計算機信息處理技術(shù)

3.1 DEEP WEB數(shù)據(jù)感知與獲取技術(shù)。DEEP WEB技術(shù)是網(wǎng)絡(luò)深層空間技術(shù)，其數(shù)據(jù)量具有信息規(guī)模大，信息動態(tài)變化，分布性和訪問方式特殊等特點。DEEP WEB技術(shù)是充分利用其數(shù)據(jù)，進(jìn)行高質(zhì)量的數(shù)據(jù)的集成，進(jìn)而進(jìn)行抽取和整合。

3.2 分布式數(shù)據(jù)存儲。分布式數(shù)據(jù)處理技術(shù)的具體實現(xiàn)是由谷歌公司提出的GFS技術(shù)。此技術(shù)在IBM，百度等公司得到了大量的應(yīng)用和快速發(fā)展。分布式儲存利用的是列存儲的概念。列存儲是以列為單位進(jìn)行儲存，相比于行存儲，其具有數(shù)據(jù)壓縮，快循環(huán)等優(yōu)點。當(dāng)今較流行的技術(shù)的行列混合式儲存結(jié)構(gòu)，該結(jié)構(gòu)能夠快速加載海量數(shù)據(jù)，縮短查詢時間，高效利用磁盤空間等。在研究中，要繼續(xù)優(yōu)化數(shù)據(jù)布局分布的存儲方法。提高大數(shù)據(jù)的存儲和處理效率。

3.3 數(shù)據(jù)高效索引。谷歌公司提出的BIGTABLE技術(shù)是目前主流的索引技術(shù)。目前的研究熱點是聚簇索引和互補式聚簇索引。其中聚簇索引是同時按照索引順序存儲全部的數(shù)據(jù)結(jié)構(gòu)。而互補式聚簇索引是利用多副本為索引列創(chuàng)建互為補充的索引表。同時結(jié)合查詢結(jié)果估算辦法，進(jìn)行最優(yōu)數(shù)據(jù)查詢的計劃。

3.4 基于內(nèi)容信息的數(shù)據(jù)挖掘?；趦?nèi)容的數(shù)據(jù)挖掘的主要內(nèi)容為網(wǎng)絡(luò)搜索技術(shù)和實體關(guān)聯(lián)分析。當(dāng)今的互聯(lián)網(wǎng)信息搜素的熱點為排序?qū)W習(xí)算法，排序?qū)W習(xí)算法的提出主要針對社會媒體的信息量，社會媒體的關(guān)注數(shù)據(jù)的特點為短文本特征，排序?qū)W習(xí)算法正是基于此特征提出，常見的排序?qū)W習(xí)算法主要有逐點，逐對和逐列。

3.5 遺傳算法和神經(jīng)網(wǎng)絡(luò)。遺傳算法的提出是借鑒生物界的進(jìn)化規(guī)律演化的隨機化搜索辦法，遺傳辦法的尋優(yōu)辦法采用概率化，其能夠自動調(diào)整搜索方向。遺傳算法技術(shù)已經(jīng)被應(yīng)用在，機器學(xué)習(xí)，信號處理，物流選址等多方面。神經(jīng)網(wǎng)絡(luò)的提出啟發(fā)來自生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和運作。神經(jīng)網(wǎng)絡(luò)算法模擬動物運動神經(jīng)的網(wǎng)絡(luò)行為，是進(jìn)行分布式并行信息處理的的數(shù)學(xué)算法。

3.6 分類分析和聚類分析。分類分析是指首先對數(shù)據(jù)點進(jìn)行歸類，然后確定新的數(shù)據(jù)點。在明確假設(shè)和客觀結(jié)構(gòu)的前提下，預(yù)測客戶行為。而聚類分析，是指在不知道限制因素的前提下，將集合分若干對象組，然后對對象組進(jìn)行分析。分類分析和聚類分析主要應(yīng)用于數(shù)據(jù)挖掘

3.7 關(guān)聯(lián)規(guī)則學(xué)習(xí)和機器學(xué)習(xí)。關(guān)聯(lián)規(guī)則學(xué)習(xí)是指在數(shù)據(jù)處理的過程中找到數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則。而機器學(xué)習(xí)是研究計算機模擬人類的學(xué)習(xí)行為，重新組織已有的知識體系。機器學(xué)習(xí)是人工智能的核心。關(guān)聯(lián)規(guī)則學(xué)習(xí)和機器學(xué)習(xí)也用于數(shù)據(jù)發(fā)掘。

3.8 數(shù)據(jù)分析技術(shù)。數(shù)據(jù)分析技術(shù)主要包括情感分析、網(wǎng)絡(luò)分析、空間分析、時域序列分析和回歸分析。其中情感分析是對自然語言進(jìn)行主觀分析，網(wǎng)絡(luò)分析是基于網(wǎng)絡(luò)的特征分析。空間分析是集拓?fù)?，幾何和地理編碼的技術(shù)統(tǒng)計分析。

3.9 可視化技術(shù)。為了方便人們對大數(shù)據(jù)分析結(jié)果的理解和溝通，需要可視化技術(shù)進(jìn)行創(chuàng)建圖片、圖表和動畫等等。Clustergram是可視化技術(shù)，該可視化技術(shù)基礎(chǔ)是聚類分析。該技術(shù)用于顯示數(shù)據(jù)集的個別成員如何分配到集群。

4 大數(shù)據(jù)時代下計算機信息處理技術(shù)的發(fā)展方向

（1）計算機網(wǎng)絡(luò)朝著云計算網(wǎng)絡(luò)發(fā)展：現(xiàn)在的計算機網(wǎng)絡(luò)構(gòu)架多以硬件為基礎(chǔ)，局限性較大。數(shù)據(jù)中心技術(shù)是當(dāng)今的主要技術(shù)。計算機網(wǎng)絡(luò)應(yīng)該利用數(shù)據(jù)技術(shù)，朝著云計算發(fā)展。（2）計算機技術(shù)朝著開放式網(wǎng)絡(luò)傳輸發(fā)展。通過定義網(wǎng)絡(luò)構(gòu)架，將網(wǎng)絡(luò)信息與其硬件分離開來。（3）計算機與計算機網(wǎng)絡(luò)相互融合，成為一體。以后的計算機信息處理技術(shù)不在依靠單獨的計算機硬件設(shè)備，而是靠網(wǎng)絡(luò)進(jìn)行連接。只有基于網(wǎng)絡(luò)技術(shù)的計算機信息處理技術(shù)才能滿足大數(shù)據(jù)時代的要求。

5 結(jié)束語

大數(shù)據(jù)時代的到來，給計算機信息處理技術(shù)注入了一種新的力量，本文著重介紹了大數(shù)據(jù)時代下，計算機信息處理的主要技術(shù)和研究熱點，希望能給從事相關(guān)研究工作的人作為簡單的參考。

參考文獻(xiàn)：

[1]趙春雷，喬治納漢.“大數(shù)據(jù)”時代的計算機信息處理技術(shù)[J].世界科學(xué)，2012.

[2]莊晏冬.智能信息處理技術(shù)應(yīng)用與發(fā)展[J].黑龍江科技信息，2011.

[3]艾伯特拉斯洛，巴拉巴西，著.馬慧，譯.爆發(fā)：大數(shù)據(jù)時代預(yù)見未來的新思維[M].北京：中國人民大學(xué)出版社，2012.

作者簡介：馮瀟婧（1992-），女，山西人，本科在讀，研究方向：計算機。

作者單位：天津工業(yè)大學(xué)計算機科學(xué)與軟件學(xué)院，天津 300387