郭 杰

（西安航空學(xué)院 計算機學(xué)院，陜西 西安 710077）

大數(shù)據(jù)背景下計算機信息處理技術(shù)研究

郭 杰

（西安航空學(xué)院 計算機學(xué)院，陜西 西安 710077）

文章分析了大數(shù)據(jù)的定義及特點、大數(shù)據(jù)時代下的信息處理技術(shù)及面臨的挑戰(zhàn)，最后分析了大數(shù)據(jù)背景下的計算機信息處理技術(shù)的發(fā)展前景。

大數(shù)據(jù)時代；計算機信息處理技術(shù)；問題；發(fā)展前景

自從計算機問世之后，傳統(tǒng)的計算方法已經(jīng)逐步被淘汰，數(shù)據(jù)庫與數(shù)據(jù)存儲技術(shù)已經(jīng)成為研究的熱點，并且技術(shù)的更新十分迅速，隨著計算機網(wǎng)絡(luò)用戶數(shù)量的增長，每天都有上萬億GB數(shù)據(jù)產(chǎn)生，大數(shù)據(jù)時代已經(jīng)到來。大數(shù)據(jù)時代是互聯(lián)網(wǎng)發(fā)展的必然趨勢，根據(jù)相關(guān)部門的預(yù)測，到2020年人類能產(chǎn)生或復(fù)制的數(shù)據(jù)將超過350億TB，因此計算機信息處理技術(shù)尤其重要。

1 大數(shù)據(jù)的定義以及特點

物聯(lián)網(wǎng)技術(shù)和云計算技術(shù)的發(fā)展推進了大數(shù)據(jù)時代的到來，這是計算機行業(yè)發(fā)展的一個重要的轉(zhuǎn)折點。大數(shù)據(jù)時代的主要特點就是網(wǎng)絡(luò)信息數(shù)據(jù)十分龐大，通常情況下，信息總量達到12 TB便可以被稱作大數(shù)據(jù)。大數(shù)據(jù)的基本特點如下：（1）占用的存儲空間較多；（2）數(shù)據(jù)量由TB轉(zhuǎn)為ZB，數(shù)據(jù)量大；（3）實時性更強，增長速度十分迅速，能在短時間內(nèi)完成大量的信息處理；（4）復(fù)查性，復(fù)查性主要是指數(shù)據(jù)量龐大，能夠?qū)Σ煌N類的數(shù)據(jù)進行并發(fā)處理，如網(wǎng)頁格局信息、視頻信息、圖片信息、文字信息等，對計算機信息處理技術(shù)的要求也更高。

2 大數(shù)據(jù)時代下的計算機信息處理技術(shù)

2.1 信息獲取和加工技術(shù)

當前信息加工技術(shù)經(jīng)過多年發(fā)展已經(jīng)取得一定進步，只有有效地獲取數(shù)據(jù)信息，才能方便工作人員對信息進行整理、存儲和傳播，采集到的數(shù)據(jù)信息一般存儲在數(shù)據(jù)庫中，并為需要的信息服務(wù)開展數(shù)據(jù)輸入、信息加工工作。信息加工主要是指利用信息加工處理系統(tǒng)將獲取到的信息進行重新規(guī)整和加工，為信息檢索的實現(xiàn)奠定基礎(chǔ)。當前信息加工技術(shù)主要包括數(shù)據(jù)高效索引技術(shù)、DEEP WEB數(shù)據(jù)感知與獲取技術(shù)以及數(shù)據(jù)挖掘技術(shù)等等常見信息處理技術(shù)，對于數(shù)據(jù)信息的加工工具有深遠影響。DEEP WEB數(shù)據(jù)感知與獲取技術(shù)就是采用網(wǎng)絡(luò)的深層空間技術(shù)分析、抽取網(wǎng)絡(luò)中的相關(guān)信息，利用數(shù)據(jù)訪問技術(shù)和信息數(shù)據(jù)的動態(tài)變化等整理網(wǎng)絡(luò)數(shù)據(jù)，最終實現(xiàn)數(shù)據(jù)的高效整合。數(shù)據(jù)挖掘就是采用自動或半自動的建模算法從海量的數(shù)據(jù)中尋找隱藏在數(shù)據(jù)中的模式（Pattern）、趨勢（Trend）及相關(guān)性（Relationship）等信息，數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識，具有先前未知、有效和實用3個特征。

2.2 信息存儲技術(shù)

信息存儲技術(shù)就是利用網(wǎng)絡(luò)或者其他信息存儲載體存儲加工之后的信息，大量的信息處理之后存儲在數(shù)據(jù)庫中，方便用戶對數(shù)據(jù)信息進行查找和使用。進入大數(shù)據(jù)時代之后，數(shù)據(jù)信息更新十分迅速，信息量也更加龐大，只有科學(xué)使用計算機信息處理存儲技術(shù)，才能夠?qū)崿F(xiàn)信息數(shù)據(jù)的大量存儲，極大程度上提升工作效率。當前大數(shù)據(jù)存儲技術(shù)路線比較典型的有3種類型，具體的論述如下：（1）大數(shù)據(jù)一體機，這是專為大數(shù)據(jù)分析處理而研發(fā)出來的產(chǎn)品，主要包括數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)、存儲設(shè)備、服務(wù)器和預(yù)先安裝的一些軟件等，該技術(shù)的縱向擴展性和穩(wěn)定性都良好。（2）基于Hadoop的技術(shù)擴展和封裝，并且圍繞Hadoop技術(shù)衍生出來一些相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，比如充分利用Hadoop開源的優(yōu)勢對非結(jié)構(gòu)化數(shù)據(jù)進行存儲和計算，其中具有代表意義的是通過封裝和擴展Hadoop實現(xiàn)對互聯(lián)網(wǎng)大數(shù)據(jù)的存儲和分析支撐。（3）采用MPP架構(gòu)構(gòu)建新型的數(shù)據(jù)庫集群，重點是面向行業(yè)大數(shù)據(jù)，采用Shared Nothing架構(gòu)和多項大數(shù)據(jù)處理技術(shù)（列存儲、粗粒度索引等），再結(jié)合高效的MPP架構(gòu)分布式計算模式，完成對分析類應(yīng)用的支撐，具有高性能和高擴展性的特點，這類MPP產(chǎn)品可以有效支撐PB級別的結(jié)構(gòu)化數(shù)據(jù)分析，這是傳統(tǒng)的數(shù)據(jù)庫技術(shù)不能比擬的，所以當前MPP數(shù)據(jù)庫在企業(yè)的結(jié)構(gòu)化數(shù)據(jù)分析和數(shù)據(jù)倉庫中的應(yīng)用也十分廣泛。

2.3 ALE-IDoc接口技術(shù)

ALE-IDoc接口技術(shù)主要負責(zé)對各SAP系統(tǒng)間的中間件提供通信接口整合，將不同的分散系統(tǒng)聯(lián)系在一起，確保建立不同系統(tǒng)之間的關(guān)聯(lián)性。該接口技術(shù)中的ALE和IDoc各自具有不同的功能，ALE的主要作用是實現(xiàn)具有業(yè)務(wù)相關(guān)性的SAP間的數(shù)據(jù)同步服務(wù)，采用IDoc格式實現(xiàn)同步過程中的數(shù)據(jù)傳輸，IDoc格式有一個優(yōu)點就是可以確保數(shù)據(jù)的完整性，提高不同SAP系統(tǒng)間數(shù)據(jù)的識別性和通用性。IDoc結(jié)構(gòu)主要包含3部分，分別為控制頭（描述同步的數(shù)據(jù)控制內(nèi)容和收發(fā)雙方）、數(shù)據(jù)段（同步數(shù)據(jù)的具體內(nèi)容，生成標準的IDoc數(shù)據(jù)格式）、狀態(tài)記錄（IDoc數(shù)據(jù)的狀態(tài)日志記錄）等，采用ALE-IDoc技術(shù)進行數(shù)據(jù)發(fā)送和數(shù)據(jù)接收的過程也不相同，數(shù)據(jù)發(fā)送需要經(jīng)歷4個階段：輸出功能啟動、IDoc數(shù)據(jù)生成、ALE服務(wù)層數(shù)據(jù)分發(fā)、接收端接收。數(shù)據(jù)接收需要經(jīng)歷3個階段：外部系統(tǒng)IDoc數(shù)據(jù)傳入與格式轉(zhuǎn)換、ALE服務(wù)層IDoc生成與數(shù)據(jù)庫寫入、應(yīng)用程序數(shù)據(jù)讀取與展示。

2.4 Web Service接口技術(shù)

Web Service是一種獨立化的、模塊化的應(yīng)用功能模塊或者是服務(wù)，其支持API調(diào)用，以XML格式為標準，以其為基礎(chǔ)的接口技術(shù)屬于中間件技術(shù)的一類，利用該接口技術(shù)減少客戶標準或要求對系統(tǒng)體系結(jié)構(gòu)的約束，使系統(tǒng)服務(wù)的靈活性大大提高。使用該接口技術(shù)所開發(fā)的Web Service在一定程度上對用戶是透明的，開發(fā)者只需要保證調(diào)用一致的界面即可。此外，采用XML格式對技術(shù)中使用的語言進行描述，可以不斷提高信息的自適應(yīng)性和自描述性，使數(shù)據(jù)和邏輯間的關(guān)聯(lián)度不斷降低，從而使系統(tǒng)結(jié)構(gòu)的清晰性不斷提高。此外，Web Service接口技術(shù)中的UDDI注冊機制消除了SAP系統(tǒng)的位置限制，可以在保障SAP系統(tǒng)的控制性同時降低開發(fā)成本。

3 大數(shù)據(jù)背景下計算機處理技術(shù)面臨的問題

當前社會已經(jīng)進入了大數(shù)據(jù)時代，通過計算機信息處理技術(shù)對這些數(shù)據(jù)進行分析和處理，已經(jīng)明顯改變了人們的生活，如瀏覽淘寶頁面時，后臺會對你的瀏覽數(shù)據(jù)進行分析，自動推送一些瀏覽相關(guān)的或相似的產(chǎn)品，雖然大數(shù)據(jù)技術(shù)為人們的生活帶來了便利，但是我們也要清晰地認識到，大數(shù)據(jù)技術(shù)在發(fā)展過程中同樣面臨著一些挑戰(zhàn)，它也能給人們的生活帶來困擾和麻煩，是一把雙刃劍。比如，大數(shù)據(jù)時代使盜版問題更加猖獗、上網(wǎng)過程中計算機和服務(wù)器會受到一些病毒的惡意攻擊，一些個人信息會被泄露、篡改或者是冒用他人的身份信息，個人隱私的泄露可能會給個人帶來不可估量的損失，對社會產(chǎn)生不良影響。這些問題的出現(xiàn)削弱了互聯(lián)網(wǎng)的服務(wù)品質(zhì)，同時也為軟件的研發(fā)者提出了更多的要求和挑戰(zhàn)，對于大數(shù)據(jù)技術(shù)和信息處理技術(shù)的發(fā)展造成了沖擊。為了解決上述問題，需要在大數(shù)據(jù)背景下加強計算機信息處理技術(shù)的研發(fā)，能夠研究出一種新技術(shù)自動濾掉那些網(wǎng)絡(luò)攻擊和虛假信息，提高大數(shù)據(jù)時代的信息安全性。除安全問題外，大數(shù)據(jù)背景下的計算機處理技術(shù)還面臨著別的難題，這就是計算機硬件的發(fā)展速度和互聯(lián)網(wǎng)的發(fā)展速度不匹配，導(dǎo)致一些硬件根本不能滿足數(shù)據(jù)存儲、處理的需求，兩者之間存在技術(shù)空缺。當前大部分計算機的性能都不能滿足大量用戶數(shù)據(jù)信息存儲和處理的需求。一些軟件可以滿足大數(shù)據(jù)的存儲和處理，但是需要消耗較多的時間和能源，給數(shù)據(jù)的處理和存儲帶來了很多麻煩。因此，需要提高計算機的硬件水準，加大研發(fā)力度，填補技術(shù)空缺。

4 大數(shù)據(jù)背景下信息處理技術(shù)發(fā)展前景

隨著大數(shù)據(jù)時代的到來，信息提取、加工以及傳輸技術(shù)成為信息處理技術(shù)重點，信息的存儲技術(shù)為海量數(shù)據(jù)提供存儲保障，但是信息安全問題應(yīng)該受到重視，同時還應(yīng)該加強硬件設(shè)備的研究，提高其信息存儲能力，具體論述如下。

4.1 加大信息安全技術(shù)研發(fā)

為了提高大數(shù)據(jù)時代的信息安全性，信息的安全管理應(yīng)該主要從以下幾方面著手：（1）構(gòu)建一個完整的信息安全系統(tǒng)，加強對技術(shù)人員的培訓(xùn)，提高他們的安全知識水平，充分發(fā)揮出他們在信息安全管理中的作用；（2）加強技術(shù)研發(fā)，更新升級安全管理產(chǎn)品，使這些產(chǎn)品滿足于當代數(shù)據(jù)環(huán)境下的安保管理；（3）提高數(shù)據(jù)的分類和檢索效率。

4.2 信息處理技術(shù)的發(fā)展方向

為了促進大數(shù)據(jù)時代的發(fā)展，應(yīng)該為信息處理技術(shù)創(chuàng)造一個良好的環(huán)境，加大硬件設(shè)備的研發(fā)。此外，不同的運營單位和研發(fā)機構(gòu)之間應(yīng)該相互合作，取長補短，通過高性能的硬件設(shè)備構(gòu)建優(yōu)質(zhì)的網(wǎng)絡(luò)環(huán)境，為信息處理技術(shù)的發(fā)展奠定基礎(chǔ)。

5 結(jié)語

大數(shù)據(jù)時代的到來給人們帶來了便利，也帶來了問題和挑戰(zhàn)。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)量將會越來越多且結(jié)構(gòu)也會變得十分復(fù)雜，計算機信息處理技術(shù)顯得尤為重要，針對海量的數(shù)據(jù)進行處理十分必要，同時在大數(shù)據(jù)時代也要注重網(wǎng)絡(luò)信息的安全問題，并加大硬件設(shè)備的研發(fā)，為大數(shù)據(jù)時代下計算機信息處理技術(shù)奠定基礎(chǔ)。

[1]呂敬全.“大數(shù)據(jù)”時代背景下計算機信息處理技術(shù)分析[J].信息與電腦（理論版），2013（6）：126-127.

[2]耿冬旭.“大數(shù)據(jù)”時代背景下計算機信息處理技術(shù)分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（1）：19-21.

[3]吳恩生，王桂梅.大數(shù)據(jù)時代計算機信息處理技術(shù)分析[J].江蘇科技信息，2015（12）：63-65.

[4]姚永春.出版企業(yè)掘金大數(shù)據(jù)的兩個層面[J].出版廣角，2014（4）：58-59．

[5]姚琪.大數(shù)據(jù)在“智慧校園”中的價值研究[J].南京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報，2013（4）：32-33．

Study on computer information processing technology in the background of big data

Guo Jie
（Computer Academy of Xi’an Aeronautical University, Xi’an 710077, China）

This paper analyzes the de fi nition and characteristics of the big data, the information processing technology and the challenges in the big data age, and fi nally analyzes the development prospect of the computer information processing technology in the background of big data.

big data age; computer information processing technology; problem; development prospect

郭杰（1980— ），男，陜西富平人，碩士，軟件工程師；研究方向：計算機硬件課程嵌入式與網(wǎng)絡(luò)教學(xué)。