陳甜遠(yuǎn)

摘 要：高校信息管理中心在大數(shù)據(jù)時(shí)代，面臨著存儲(chǔ)空間巨大、管理復(fù)雜、存儲(chǔ)利用率低下以及拓展數(shù)據(jù)分析新業(yè)務(wù)的諸多挑戰(zhàn)。針對(duì)大數(shù)據(jù)大量化、多樣化、快速化、不確定和價(jià)值難的特性，本文提出“高效存儲(chǔ)”和“云存儲(chǔ)”的技術(shù)來解決現(xiàn)有存儲(chǔ)空間不足和存儲(chǔ)效率低下的問題。而Apache Hadoop的開源分布式數(shù)據(jù)處理平臺(tái)對(duì)信息管理中心今后的數(shù)據(jù)分析職能指明了方向。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)管理中心；高效存儲(chǔ)；云存儲(chǔ)；分布式數(shù)據(jù)處理

1 前言

隨著我們進(jìn)入以海量數(shù)據(jù)的結(jié)構(gòu)復(fù)雜、處理速度加快為特征的新信息化時(shí)代，“大數(shù)據(jù)”（Big Data）這個(gè)新名詞不得不被我們提上議事日程。事實(shí)上，大數(shù)據(jù)不是作為一種技術(shù)被提出，而是由于不斷增長(zhǎng)的數(shù)據(jù)量和數(shù)據(jù)類型而逐漸衍生出的社會(huì)現(xiàn)象。這為高校帶來機(jī)遇和挑戰(zhàn)，信息管理中心作為高校實(shí)施教育信息化的重要部門，如何在大數(shù)據(jù)時(shí)代，提高海量增長(zhǎng)數(shù)據(jù)存儲(chǔ)處理能力、尋求新的信息服務(wù)途徑，是信息管理中心必須思考和研究的，只有理性認(rèn)識(shí)“大數(shù)據(jù)”及其給我們的環(huán)境帶來的改變，分析挖掘海量數(shù)據(jù)的內(nèi)在聯(lián)系并歸納得出新的結(jié)論，才能為高校信息化建設(shè)發(fā)展提供更好的服務(wù)。

2 大數(shù)據(jù)的概述

“云計(jì)算”、“物聯(lián)網(wǎng)”等熱點(diǎn)的余溫還未過去，“大數(shù)據(jù)”這一概念已經(jīng)迫不及待地闖入我們的視野，并成為時(shí)下最火熱的互聯(lián)網(wǎng)信息技術(shù)行業(yè)詞匯。美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%，每?jī)赡瓯銓⒎环?，而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。2012年，美國已經(jīng)制定了“大數(shù)據(jù)研發(fā)計(jì)劃”，可見對(duì)大數(shù)據(jù)的重視程度已經(jīng)上升為一種國家戰(zhàn)略。

最早提出“大數(shù)據(jù)”時(shí)代已經(jīng)到來的機(jī)構(gòu)是全球知名咨詢公司麥肯錫。麥肯錫在研究報(bào)告中指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身就是資產(chǎn)，這一點(diǎn)在業(yè)界已經(jīng)形成共識(shí)。事實(shí)上，全球互聯(lián)網(wǎng)巨頭都已意識(shí)到了“大數(shù)據(jù)”時(shí)代數(shù)據(jù)的重要意義。包括EMC、惠普、IBM、微軟在內(nèi)的全球IT 巨頭紛紛通過收購“大數(shù)據(jù)”相關(guān)廠商來實(shí)現(xiàn)技術(shù)整合，亦可見其對(duì)“大數(shù)據(jù)”的重視。那么到底什么是大數(shù)據(jù)，業(yè)界內(nèi)還沒有一個(gè)準(zhǔn)確的定義。中科院計(jì)算研究所給出的定義：“大數(shù)據(jù)是指無法在可容忍的時(shí)間內(nèi)用傳統(tǒng)IT技術(shù)和軟硬件工具對(duì)其進(jìn)行全生命周期內(nèi)的感知、獲取、管理、挖掘和服務(wù)的數(shù)據(jù)集合”。大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)從某種程度上說是數(shù)據(jù)分析的前沿技術(shù)。簡(jiǎn)言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。

2.1 大數(shù)據(jù)的特點(diǎn)

大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)，是因?yàn)樗?V+1V的特性，即大量化（Volume）、多樣化（Variety）、快速化（Velocity）、不確定（Varacity）和價(jià)值難（Value）。

第一，數(shù)據(jù)體量巨大。數(shù)據(jù)容量從TB級(jí)別躍升到PB級(jí)別，世界數(shù)據(jù)總量已經(jīng)達(dá)到ZB的數(shù)量級(jí)，大企業(yè)的數(shù)據(jù)量已經(jīng)達(dá)到PB數(shù)量級(jí)。第二，數(shù)據(jù)類型繁多。目前非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)占到世界數(shù)據(jù)總量的75%以上，數(shù)據(jù)間的互相作用使得其關(guān)聯(lián)性更加復(fù)雜。第三，數(shù)據(jù)真?zhèn)坞y辨。隨著數(shù)據(jù)量增大，數(shù)據(jù)的真實(shí)性難以辨別，例如對(duì)于網(wǎng)上發(fā)布的信息來源是否屬實(shí)都難以馬上判斷。第四，數(shù)據(jù)處理速度快，要達(dá)到秒極，許多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IPOS性能，甚至需要實(shí)時(shí)獲取有價(jià)值的數(shù)據(jù)。第五，價(jià)值密度低。面對(duì)每時(shí)每刻產(chǎn)生的海量數(shù)據(jù)，需要專業(yè)的技術(shù)工具進(jìn)行篩選、分析出有價(jià)值的信息，否則，會(huì)變成不斷增長(zhǎng)的數(shù)據(jù)垃圾。

2.2 大數(shù)據(jù)帶來的影響

一個(gè)大數(shù)據(jù)的新時(shí)代正在到來，其對(duì)商業(yè)、政府、民主和文化的影響將是巨大的。首先，以往我們進(jìn)行商業(yè)判斷時(shí)，大多靠我們的經(jīng)驗(yàn)和直覺，所以會(huì)出現(xiàn)不是很確定的判斷。大數(shù)據(jù)時(shí)代很多企業(yè)的正確決策是依靠數(shù)據(jù)分析得出，例如企業(yè)通過內(nèi)部數(shù)據(jù)挖掘，更精準(zhǔn)地找到用戶，降低營(yíng)銷成本，提高企業(yè)銷售率，依靠大數(shù)據(jù)技術(shù)為企業(yè)帶來巨大的運(yùn)營(yíng)效益。而政府可以通過收集在網(wǎng)上人們的搜索、發(fā)帖和微博消息等數(shù)據(jù)信息，分析人們的行為和情緒，從數(shù)據(jù)中找到民意所向，及時(shí)優(yōu)化策略，調(diào)整措施，提高政府辦事效率。大數(shù)據(jù)可以幫助人們開啟循“數(shù)”管理的模式，也是我們當(dāng)下“大社會(huì)”的集中體現(xiàn)，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。

3 大數(shù)據(jù)時(shí)代的信息管理中心發(fā)展

3.1 當(dāng)前高校信息管理中心職能情況

伴隨著高校信息化的發(fā)展，高校信息管理中心在教育信息化建設(shè)和數(shù)據(jù)中心管理中扮演著越來越重要的角色，其名稱也是隨著職能的發(fā)展而變化，由最初的電教中心，到教育技術(shù)中心，再到現(xiàn)在的信息管理中心。目前它負(fù)責(zé)學(xué)校信息化的日常工作，信息資源的收集、制作、利用、發(fā)布的過程、方法和手段，承擔(dān)教師現(xiàn)代教育技術(shù)的培訓(xùn)和指導(dǎo)，制定學(xué)校信息化建設(shè)發(fā)展規(guī)劃和信息化工作的各項(xiàng)規(guī)章制度。信息管理中心的職能大概范圍分為4個(gè)部分：

（1）校園網(wǎng)建設(shè)：負(fù)責(zé)園區(qū)網(wǎng)、互聯(lián)網(wǎng)、廣播電視網(wǎng)的建設(shè)、運(yùn)行、管理和維護(hù)。

（2）信息資源建設(shè)：負(fù)責(zé)校園門戶網(wǎng)信息的建設(shè)、維護(hù)和日常更新，對(duì)信息資源的收集和采編，建立學(xué)校資源庫，建立各種資源應(yīng)用系統(tǒng)，為教學(xué)和辦公提供服務(wù)。

（3）電教服務(wù)：為教員進(jìn)行多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)和辦公軟件應(yīng)用等信息化培訓(xùn)工作，提教員高信息化應(yīng)用技能。維護(hù)電教設(shè)備，以及安排好多媒體教室的使用。

（4）照相錄像保障：承擔(dān)校內(nèi)宣傳和教學(xué)工作的錄像和照相保障任務(wù)，以及后期的視頻采集、光盤刻錄、硬盤復(fù)制、專題片制作、視頻圖片的分類保存等。

3.2 信息管理中心面臨的問題

（1）大數(shù)據(jù)存儲(chǔ)管理問題。首先，存儲(chǔ)空間巨大給存儲(chǔ)硬件帶來壓力。大數(shù)據(jù)時(shí)代信息管理中心的數(shù)據(jù)管理已經(jīng)不止是簡(jiǎn)單的網(wǎng)頁文本、照片和視頻文件。數(shù)據(jù)來源不斷增多，例如移動(dòng)互聯(lián)網(wǎng)、手機(jī)、平板電腦、pc以及遍布校園內(nèi)的傳感器和監(jiān)控器等，這些都是數(shù)據(jù)的來源或者承載著，它們每天帶給我們大容量（通?？梢赃_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模）的數(shù)據(jù)，這就需要購置大量的存儲(chǔ)設(shè)備去滿足不斷增長(zhǎng)的需求，而傳統(tǒng)模式的數(shù)據(jù)存儲(chǔ)方式不但擴(kuò)展能力有限，而且擴(kuò)展方法比較麻煩。

其次，容量效率低。在高校多種應(yīng)用系統(tǒng)的環(huán)境下，存儲(chǔ)系統(tǒng)資源相互獨(dú)立，往往造成存儲(chǔ)系統(tǒng)的利用率不均衡，有的存儲(chǔ)設(shè)備雖然已經(jīng)飽和，而有的利用率卻不到30%，這就造成存儲(chǔ)設(shè)備的資源浪費(fèi)。

最后，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理效率低。對(duì)各種類型的數(shù)據(jù)如辦公文檔、圖像、音頻、視頻、電子郵件、超媒體等非結(jié)構(gòu)化數(shù)據(jù)來說，數(shù)據(jù)處理操作不僅需要使用不同的文件處理軟件，而且要在人工參與下才能完成。過多的人工操作會(huì)大大增加數(shù)據(jù)處理的時(shí)間，致使信息管理中心無法快速獲得重要的信息，工作效率降低。

（2）傳統(tǒng)工作流程出現(xiàn)的問題。高校信息管理中心以信息資源建設(shè)，教育技術(shù)保障為主的傳統(tǒng)職能，在大數(shù)據(jù)時(shí)代已經(jīng)不能滿足高校信息化發(fā)展的要求，信息管理中心不僅需要收集、存儲(chǔ)大量的數(shù)據(jù)信息，還要在這些原始數(shù)據(jù)的基礎(chǔ)上通過專業(yè)技術(shù)手段分析、挖掘數(shù)據(jù)，得到更為有效的信息資源，為高校教育發(fā)展和信息化建設(shè)的決策提供數(shù)據(jù)參考。而傳統(tǒng)的數(shù)據(jù)管理方式適用于存量不大并且實(shí)時(shí)性要求不高的結(jié)構(gòu)化數(shù)據(jù)，面對(duì)大容量的非結(jié)構(gòu)化數(shù)據(jù)只是杯水車薪。

3.3 怎么應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)

面對(duì)大數(shù)據(jù)帶給我們的諸如存儲(chǔ)空間巨大、管理復(fù)雜、存儲(chǔ)利用率低下、能源消耗巨大等諸多挑戰(zhàn)，為了提高數(shù)據(jù)存儲(chǔ)數(shù)量和效率，人們提出了“高效存儲(chǔ)”、“云計(jì)算”等技術(shù)來解決存儲(chǔ)效率方面的問題。

首先，高效存儲(chǔ)技術(shù)通常包括數(shù)據(jù)壓縮、重復(fù)數(shù)據(jù)刪除、自動(dòng)精簡(jiǎn)配置等。但其單一技術(shù)往往難以顯著地提高存儲(chǔ)利用效率、降低能耗、降低成本，實(shí)際中通常綜合運(yùn)用多種技術(shù)以獲得更佳的整體效果。

（1）數(shù)據(jù)壓縮技術(shù)原理將收到的數(shù)據(jù)通過存儲(chǔ)算法存儲(chǔ)到更小的空間中去。最新研發(fā)出的在線壓縮（RACE）技術(shù)，使得數(shù)據(jù)壓縮技術(shù)發(fā)生了極大的改變，它具有更快捷更準(zhǔn)確的活躍數(shù)據(jù)判斷能力和縮減能力，在不降低性能要求的情況下，將存儲(chǔ)需求最多可降低80%。與傳統(tǒng)壓縮技術(shù)不同，對(duì)RACE技術(shù)，當(dāng)主數(shù)據(jù)在首次寫入時(shí)即被壓縮，當(dāng)大量數(shù)據(jù)在主存中雜亂無章地存儲(chǔ)時(shí)，可以有效地控制存儲(chǔ)，進(jìn)而降低功耗，提高存儲(chǔ)系統(tǒng)中的磁盤和緩存的性能和效率。

（2）重復(fù)刪除技術(shù)，通過刪除存儲(chǔ)設(shè)備中數(shù)據(jù)集中重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)，對(duì)存儲(chǔ)容量進(jìn)行優(yōu)化。其中以Dedupe技術(shù)為例，它將文件變成定長(zhǎng)或變長(zhǎng)的數(shù)據(jù)塊，采用MD5/SHA1等Hash（散列）算法為數(shù)據(jù)塊計(jì)算指紋。具有相同指紋的數(shù)據(jù)塊即可認(rèn)為是相同的數(shù)據(jù)塊，存儲(chǔ)系統(tǒng)中僅需要保留一份，將數(shù)據(jù)縮減到原來的1/20-1/50。由于大幅度減少了對(duì)物理存儲(chǔ)空間的需求，進(jìn)而減少傳輸過程中的網(wǎng)絡(luò)帶寬、節(jié)約設(shè)備成本。

（3）自動(dòng)精簡(jiǎn)配置，是一種全新的存儲(chǔ)空間管理技術(shù)。在傳統(tǒng)存儲(chǔ)空間分配過程中，系統(tǒng)往往預(yù)先給某個(gè)應(yīng)用分配足夠大的空間，實(shí)際使用容量?jī)H占其20%-30%，這是一種很大的浪費(fèi)。自動(dòng)精簡(jiǎn)配置技術(shù)是利用虛擬化方法減少已分配但未使用的存儲(chǔ)容量的浪費(fèi)，用戶需要多少存儲(chǔ)空間系統(tǒng)則按需分配，它不會(huì)一次性地劃分過大的空間給某項(xiàng)應(yīng)用，而是通過塊或塊組將資源寫入特定卷。當(dāng)該項(xiàng)應(yīng)用所產(chǎn)生的數(shù)據(jù)增長(zhǎng)、分配的容量空間已不夠的時(shí)候，系統(tǒng)會(huì)兩次從后端存儲(chǔ)池中補(bǔ)充分配一部分存儲(chǔ)空間。因此自動(dòng)精簡(jiǎn)配置技術(shù)優(yōu)化了存儲(chǔ)利用，擴(kuò)展了存儲(chǔ)管理功能，是解決存儲(chǔ)過量供給的最有效方式。

其次，“大數(shù)據(jù)”的天生就與“云計(jì)算”有著密切聯(lián)系。云計(jì)算的蓬勃發(fā)展，客觀上開啟了大數(shù)據(jù)時(shí)代的大門。如果用高速公路來比喻云計(jì)算，那么大數(shù)據(jù)就是所有汽車中的貨物。云計(jì)算為大數(shù)據(jù)提供了存儲(chǔ)空間、訪問渠道及運(yùn)算能力。云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展的一個(gè)新的概念，是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。信息管理中心可以通過租用云服務(wù)提供商的服務(wù)，將大部分?jǐn)?shù)據(jù)遷移至云存儲(chǔ)上，所有的升級(jí)、維護(hù)等管理任務(wù)均由云存儲(chǔ)服務(wù)提供商來完成，而不必考慮存儲(chǔ)容量、存儲(chǔ)設(shè)備類型、數(shù)據(jù)存儲(chǔ)位置，以及更多的關(guān)于數(shù)據(jù)的可用性、可靠性和安全性等繁雜的技術(shù)層面，避免了購買硬件設(shè)備及技術(shù)維護(hù)而投入的精力，節(jié)省下來的資源可以用于更多的業(yè)務(wù)發(fā)展。

最后，迎接大數(shù)據(jù)的挑戰(zhàn)，不僅僅是硬件的準(zhǔn)備，而對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析，得到有價(jià)值的信息，才是大數(shù)據(jù)的真正本質(zhì)。商家可以通過與互聯(lián)網(wǎng)運(yùn)營(yíng)商合作從搜索引擎、Facebook的帖子和微博消息中分析人們的行為和情緒的細(xì)節(jié)，挖掘用戶的行為習(xí)慣和喜好，找到更符合用戶興趣和習(xí)慣的產(chǎn)品和服務(wù)，并有針對(duì)性地調(diào)整和優(yōu)化。同樣，高校信息管理中心可以從收集到的大量數(shù)據(jù)中分析得到有效信息來優(yōu)化職能，更有效的服務(wù)。對(duì)大數(shù)據(jù)分析，需要建設(shè)非結(jié)構(gòu)化數(shù)據(jù)分析平臺(tái)，當(dāng)前平臺(tái)主要有并行數(shù)據(jù)庫、MapReduce及基于兩者的混合架構(gòu)。而Apache Hadoop開源分布式數(shù)據(jù)處理平臺(tái)以其大數(shù)據(jù)特性成為業(yè)界焦點(diǎn)，它能夠?qū)Υ笕萘繑?shù)據(jù)進(jìn)行分布式處理，具有高可靠性、高效性及高擴(kuò)展性。并且用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。因此，要熟悉和掌握Hadoop分布式數(shù)據(jù)分析平臺(tái)，對(duì)信息管理中心的技術(shù)人員提出了更高的要求，需要及時(shí)更新知識(shí)結(jié)構(gòu)，盡快熟悉和掌握分布式數(shù)據(jù)處理的原理和應(yīng)用，成為大數(shù)據(jù)時(shí)代背景下高校信息管理中心的數(shù)據(jù)人才。