黃海軍

摘要：高校校園網(wǎng)經(jīng)過多年的發(fā)展，已經(jīng)步入大數(shù)據(jù)時代，而以往對高校校園網(wǎng)的研究基本停留在優(yōu)化大數(shù)據(jù)系統(tǒng)軟件架構(gòu)、優(yōu)化業(yè)務(wù)邏輯、優(yōu)化數(shù)據(jù)分析算法、優(yōu)化節(jié)點性能等方向，都忽略了對大數(shù)據(jù)環(huán)境網(wǎng)絡(luò)的優(yōu)化。就此本文首先分析了高校業(yè)務(wù)類型的多樣性，高校非結(jié)構(gòu)化數(shù)據(jù)的增長對大數(shù)據(jù)的促進作用；然后對大數(shù)據(jù)的處理技術(shù)Hadoop進行分析，提出了基于Hadoop的高校校園網(wǎng)設(shè)計，建議采用SND架構(gòu)，通過OpenFlow實現(xiàn)；最后提出基于Hadoop的高校校園網(wǎng)優(yōu)化。

關(guān)鍵詞：大數(shù)據(jù)；校園網(wǎng)；Hadoop；SND；Openflow

中圖分類號：TP393 文獻標識碼：A 論文編號：1674-2117（2015）12-0118-04

前言

大數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。同樣，高校中也匯聚著大量的信息[1]，從學(xué)生角度來看，包括聯(lián)系方式等基本信息，食堂消費、住宿晚歸等生活信息，選課、課后作業(yè)、借閱圖書、成績等學(xué)習(xí)信息，參與的社團、競賽、講座等第二課堂信息；從教師角度來看，包含教學(xué)任務(wù)、課件等教學(xué)信息，論文著作、科學(xué)研究數(shù)據(jù)等科研信息；從管理者的角度來看，包含學(xué)校的資產(chǎn)信息、師資信息、招生就業(yè)信息等。同時，隨著移動互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等新技術(shù)的興起，學(xué)校師生主動產(chǎn)生和由設(shè)備自動收集的信息越來越多，如微博、微信類社交信息，各類搜索點擊記錄信息等。上述信息存在著數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、產(chǎn)生頻率快的特點。這導(dǎo)致利用常用軟件工具捕獲、管理和處理此類數(shù)據(jù)所耗費時間超過了可容忍的時間。如何優(yōu)化校園網(wǎng)配合大數(shù)據(jù)的使用環(huán)境將是一個需要我們思考的問題。

高校數(shù)據(jù)結(jié)構(gòu)的分析

在實際應(yīng)用中，數(shù)據(jù)因不同的應(yīng)用場景其表現(xiàn)方式也有所不同，根據(jù)在不同應(yīng)用中數(shù)據(jù)表現(xiàn)形式的不同，可以把數(shù)據(jù)區(qū)分成不同的類型，即數(shù)據(jù)類型。隨著校園網(wǎng)業(yè)務(wù)應(yīng)用日趨豐富多樣，數(shù)據(jù)類型也呈現(xiàn)出多樣性。不同的數(shù)據(jù)類型，其數(shù)據(jù)組織的結(jié)構(gòu)、屬性、存儲方式、分析方法、數(shù)據(jù)價值等都存在很大的差異。

從數(shù)據(jù)結(jié)構(gòu)特征[2]來分類，主要可以分為：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)即指可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)，簡單來說就是數(shù)據(jù)庫。非結(jié)構(gòu)化數(shù)據(jù)，即不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括所有格式的高校辦公文檔、精品課件里包含的文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息、高校智慧圖書館包括的相關(guān)信息等。半結(jié)構(gòu)化數(shù)據(jù)包括校園郵件、HTML、報表、資源庫等。高校大數(shù)據(jù)的范疇包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)的增長對大數(shù)據(jù)的促進作用相比結(jié)構(gòu)化數(shù)據(jù)更大、更明顯。

大數(shù)據(jù)處理技術(shù)Hadoop

針對以非結(jié)構(gòu)化數(shù)據(jù)為主的高校校園網(wǎng)大數(shù)據(jù)技術(shù)處理技術(shù)比較有代表性的是Hadoop。Hadoop[3]是一種開源的對大規(guī)模數(shù)據(jù)進行分布式處理的技術(shù)框架，在處理大數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)有著性能和成本方面的優(yōu)勢。

Apache Hadoop是一個用Java語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成。

1.HDFS簡介

HDFS（Hadoop Distributed File System）是一個高度容錯性的分布式文件系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，并且可以運行于廉價的機器集群上。HDFS是以默認大小為64MB的酷愛作為存儲和處理數(shù)據(jù)的邏輯單元，使用這種抽象分塊的優(yōu)點是可以存儲任意大的文件，而不會受到網(wǎng)絡(luò)中單節(jié)點磁盤大小的限制，另外一個優(yōu)點是使用抽象塊作為操作單元可以簡化存儲子系統(tǒng)。HDFS體系結(jié)構(gòu)包括元數(shù)據(jù)節(jié)點（NameNode）和數(shù)據(jù)節(jié)點（DataNode）兩類節(jié)點。NameNode可以看作是分布式文件系統(tǒng)中的管理者，DataNode是文件存儲的基本單元。它在本地文件系統(tǒng)中存儲文件塊，保存了文件塊的meta-data，同時周期性地發(fā)送所有存在的文件塊的報告給NameNode。存儲文件系統(tǒng)的Metadata主要負責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲塊的復(fù)制。Client就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。

2.MapReduce簡介

Map（映射）和Reduce（化簡），采用分而治之思想，先把任務(wù)分發(fā)到集群的多個節(jié)點上并行計算，然后再合并計算結(jié)果，從而得到最終計算結(jié)果。多節(jié)點計算，所涉及的任務(wù)調(diào)度、負載均衡、容錯處理等，都由MapReduce框架完成，不需要編程人員關(guān)心這些內(nèi)容，減輕了使用者的負擔(dān)，提高了分布式資源的利用率。Map階段主要過程是：首先主節(jié)點將輸入語句進行劃分，得到子問題集。然后將這些子問題分配給工作節(jié)點，如果本次劃分的子問題不能由一個工作節(jié)點在一定時間內(nèi)完成，工作節(jié)點將繼續(xù)對語句進行劃分，直到得到的子問題可以由一個工作節(jié)點完成為止，最終形成樹狀結(jié)構(gòu)，計算完成后，按樹形結(jié)構(gòu)逆序返回，得到一個輸出結(jié)果。Reduce階段是把Map輸出集按照一定的方式歸并，并輸出最終結(jié)果。

基于Hadoop的高校校園網(wǎng)絡(luò)設(shè)計

在大數(shù)據(jù)時代，校園網(wǎng)中的軟件、存儲和計算基礎(chǔ)設(shè)施必須能夠接收、驗證和分析大量的數(shù)據(jù)；校園網(wǎng)絡(luò)體系結(jié)構(gòu)[4]和組件必須足夠靈活，以適應(yīng)和整合多功能需求的大數(shù)據(jù)變量。軟件定義和融合技術(shù)將成為大數(shù)據(jù)基礎(chǔ)設(shè)施的關(guān)鍵技術(shù)。對于網(wǎng)絡(luò)層[5]來說，軟件定義網(wǎng)絡(luò)將會成為最好的解決方式。

1.SND簡介

因特網(wǎng)的高速發(fā)展可以歸結(jié)于細腰的TCP/IP架構(gòu)和開放的應(yīng)用層軟件設(shè)計，但從網(wǎng)絡(luò)核心來講，由于有專有的硬件設(shè)備和操作系統(tǒng)，網(wǎng)絡(luò)在很大程度上是封閉的SDN[6]（軟件定義網(wǎng)絡(luò)），旨在實現(xiàn)數(shù)據(jù)平面節(jié)點控制的虛擬化。SDN的行業(yè)定義將得以擴展，并從數(shù)據(jù)中心領(lǐng)域分離出來，為服務(wù)提供商降低成本、拓展商業(yè)模式帶來全新商機。SDN將控制功能從傳統(tǒng)的分布式網(wǎng)絡(luò)設(shè)備中遷移到可控的計算設(shè)備中，使得底層的網(wǎng)絡(luò)基礎(chǔ)設(shè)施能夠被上層的網(wǎng)絡(luò)服務(wù)和應(yīng)用程序所抽象，最終通過開放可編程的軟件模式來實現(xiàn)網(wǎng)絡(luò)的自動化控制功能。OpenFlow實現(xiàn)了SDN可編程網(wǎng)絡(luò)的思想，代表了SDN技術(shù)的實現(xiàn)原型和部署實例。但從整個SDN架構(gòu)來看，OpenFlow特指控制平面和數(shù)據(jù)平面的某一種通信協(xié)議。下頁圖描述了SDN架構(gòu)的邏輯視圖，主要分為基礎(chǔ)設(shè)施層、控制層和應(yīng)用層。基礎(chǔ)設(shè)施層表示網(wǎng)絡(luò)的底層轉(zhuǎn)發(fā)設(shè)備，包含了特定的轉(zhuǎn)發(fā)面抽象（如OpenFlow交換機中流表的匹配字段設(shè)計）。中間的控制層集中維護網(wǎng)絡(luò)狀態(tài)，并通過南向接口（控制和數(shù)據(jù)平面接口，如OpenFlow）獲取底層基礎(chǔ)設(shè)施信息，同時為應(yīng)用層提供可擴展的北向接口。目前，ONF仍在制定和完善南向接口OpenFlow協(xié)議，面向應(yīng)用的可編程北向接口仍處在需求討論階段。應(yīng)用層根據(jù)網(wǎng)絡(luò)不同的應(yīng)用需求，調(diào)用控制層的北向接口，實現(xiàn)不同功能的應(yīng)用程序。通過這種軟件模式，網(wǎng)絡(luò)管理者能夠通過動態(tài)的SDN應(yīng)用程序來配置、管理和優(yōu)化底層的網(wǎng)絡(luò)資源，從而實現(xiàn)靈活、可控的網(wǎng)絡(luò)，這也是SDN開放性和可編程性最重要的體現(xiàn)。

在SDN的這種三層架構(gòu)下，高校校園網(wǎng)絡(luò)的運行維護僅需通過軟件的更新來實現(xiàn)網(wǎng)絡(luò)功能的升級，網(wǎng)絡(luò)配置將通過網(wǎng)絡(luò)服務(wù)和應(yīng)用程序的形式直接得到部署，網(wǎng)絡(luò)管理者無須再針對每一個硬件設(shè)備進行配置或者等待網(wǎng)絡(luò)設(shè)備廠商硬件的發(fā)布，從而加速網(wǎng)絡(luò)部署周期。同時，SDN降低了網(wǎng)絡(luò)復(fù)雜度，使得網(wǎng)絡(luò)設(shè)備從封閉走向開放，底層的網(wǎng)絡(luò)設(shè)備能夠?qū)Ｗ⒂跀?shù)據(jù)轉(zhuǎn)發(fā)而使得功能簡化，有效降低了網(wǎng)絡(luò)構(gòu)建成本。另外，傳統(tǒng)網(wǎng)絡(luò)中的結(jié)點只能通過局部狀態(tài)和分布式算法來實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)，因而很難達到最優(yōu)性能。SDN通過軟件來實現(xiàn)集中控制，使得網(wǎng)絡(luò)具備集中協(xié)調(diào)點，因而能夠通過軟件形式發(fā)揮最優(yōu)性能，從而加速網(wǎng)絡(luò)創(chuàng)新周期。

2.SND的實現(xiàn)方式

實現(xiàn)SDN有多種方式，而近年來在SDN的實現(xiàn)方式中，OpenFlow最為流行，它以良好的靈活性、規(guī)范性被廣泛應(yīng)用，成為SDN事實上的標準。OpenFlow將傳統(tǒng)的由交換機/路由器控制的報文轉(zhuǎn)發(fā)過程轉(zhuǎn)換為由控制器（Controller）和OpenFlow交換機（OpenFlow Switch）共同完成，從而實現(xiàn)路由控制和數(shù)據(jù)轉(zhuǎn)發(fā)的分離。通過將控制權(quán)從交換機/路由器中分離出來，網(wǎng)絡(luò)管理者可以借助自定義的策略來控制網(wǎng)絡(luò)中數(shù)據(jù)流的走向及行為。這種控制權(quán)與交換設(shè)備的解耦合為網(wǎng)絡(luò)帶來了更大的靈活性和可控性。與此同時，數(shù)據(jù)中心網(wǎng)絡(luò)在處理大數(shù)據(jù)時需要更加靈活的計算能力。因此，其資源配置也對網(wǎng)絡(luò)平臺提出了新的要求。網(wǎng)絡(luò)平臺連接著服務(wù)器、存儲等各類數(shù)據(jù)中心設(shè)備。數(shù)據(jù)中心內(nèi)的數(shù)據(jù)網(wǎng)絡(luò)、計算網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)正在向融合與統(tǒng)一的方向發(fā)展。由于大數(shù)據(jù)的“4V”特性，要求高校數(shù)據(jù)中心數(shù)據(jù)讀取的速度要快，只有網(wǎng)絡(luò)層次越簡單，處理速度才越快，因此高校數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)由三層架構(gòu)向兩層架構(gòu)（TOR—核心）演變。云計算數(shù)據(jù)中心發(fā)展的重要引擎就是以太網(wǎng)融合和虛擬化的需求驅(qū)動著增強以太網(wǎng)的發(fā)展，而萬兆以太網(wǎng)則在推動數(shù)據(jù)中心橋接（Data Center Bridging，DCB）網(wǎng)絡(luò)進行融合。

基于Hadoop的高校校園網(wǎng)絡(luò)優(yōu)化

一個有彈性的高校校園網(wǎng)絡(luò)對Hadoop集群非常重要。對Hadoop集群具有重要影響的網(wǎng)絡(luò)特性，以其影響程度從大到小依次排序為：網(wǎng)絡(luò)可用性和彈性、Burst流量突發(fā)處理和隊列深度、網(wǎng)絡(luò)過載比、Datanode網(wǎng)絡(luò)接入和網(wǎng)絡(luò)延遲。

1.網(wǎng)絡(luò)可用性和彈性

要部署一個高冗余性和可擴展的網(wǎng)絡(luò)，支持Hadoop集群的增長。在Datanode之間部署多條鏈路的技術(shù)要比那些有單點失效或兩點失效的技術(shù)要好。交換機和路由器已經(jīng)在業(yè)界被證明能夠為服務(wù)器提供網(wǎng)絡(luò)可用性。

2.Burst流量突發(fā)處理和隊列深度

HDFS的有些操作和MapReduce Job會產(chǎn)生突發(fā)流量，如向HDFS加載文件或者把結(jié)果文件寫入HDFS都需要通過網(wǎng)絡(luò)。網(wǎng)絡(luò)如果處理不了突發(fā)流量，就會丟棄數(shù)據(jù)包，所以適當(dāng)?shù)木彺婵梢跃徑馔话l(fā)流量的影響。確保選擇使用緩存和隊列的交換機和路由器，來有效處理流量突發(fā)。

3.網(wǎng)絡(luò)過載比

一個好的網(wǎng)絡(luò)設(shè)計需要考慮到網(wǎng)絡(luò)中關(guān)鍵節(jié)點的擁塞情況。一個ToR交換機從服務(wù)器接收20Gbps的數(shù)據(jù)，但是只有2個1Gbps的上聯(lián)口會造成數(shù)據(jù)包丟失（10：1的過載比），嚴重影響集群的性能。過度配置的網(wǎng)絡(luò)的價格又非常昂貴。一般情況下，服務(wù)器接入層可以接受的過載比在4：1左右，接入層和匯聚層之間，或者核心層的過載比在2：1左右。

4.Datanode網(wǎng)絡(luò)接入

要基于集群工作負荷來推薦帶寬配置。一般集群中的節(jié)點有1到2根1GB的上聯(lián)口，是否選擇10Gbps的服務(wù)器要權(quán)衡價格和性能。

5.網(wǎng)絡(luò)延遲

交換機和路由器延遲的變化對集群性能的影響有限。相比網(wǎng)絡(luò)延遲，應(yīng)用層延遲對任務(wù)的影響比例更大。但是網(wǎng)絡(luò)的延遲會對應(yīng)用系統(tǒng)造成潛在的影響，如造成不必要的應(yīng)用切換等。

小結(jié)

大數(shù)據(jù)是智慧校園網(wǎng)發(fā)展的新助推器，大數(shù)據(jù)的技術(shù)、工具、方法還將不斷發(fā)展，高校網(wǎng)絡(luò)也會隨之不斷演進。在這場剛剛開始的高校大數(shù)據(jù)信息革命中，高校網(wǎng)絡(luò)應(yīng)該盡早與時俱進。高校校園網(wǎng)今后的升級與規(guī)劃，要充分認識大數(shù)據(jù)的重要性，充分發(fā)揮大數(shù)據(jù)的優(yōu)勢，為智慧高校的實現(xiàn)提供更加有力、更加精準的支持。

參考文獻：

[1]孫其偉，陸春.大數(shù)據(jù)在高校中的應(yīng)用研究[J].中國教育網(wǎng)絡(luò)，2014（1）：63-65.

[2]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013（1）：146-169.

[3]郝樹魁.Hadoop HDFS和MapReduce架構(gòu)淺析[J].郵電設(shè)計技術(shù)，2012，（7）：37-42.

[4]徐欣欣.大數(shù)據(jù)時代高校信息系統(tǒng)建設(shè)的探討[J].信息與電腦，2013，24（4）：120-121.

[5]鄧自立.云計算中的網(wǎng)絡(luò)拓撲設(shè)計和Hadoop平臺研究[J].中國科學(xué)技術(shù)大學(xué)學(xué)報，2009.

[6]左青云，陳鳴，趙廣松，等.基于OpenFlow的SDN技術(shù)研究[J].軟件學(xué)報，2013（3）：1079-1095.