文/于翔

虛擬技術降低分布式存儲系統(tǒng)部署成本

文/于翔

校園網(wǎng)存儲系統(tǒng)可充分利用虛擬化與分布式技術的特點，采用多層次的模塊化應用，使整個存儲系統(tǒng)從硬件架構到軟件的應用方式變得更加靈活和易擴展，同時又因為虛擬化與分布式技術本身的安全特性，系統(tǒng)在數(shù)據(jù)安全性上具有先天優(yōu)勢，從而實現(xiàn)低成本部署數(shù)據(jù)存儲服務系統(tǒng)，為校園網(wǎng)絡建設提供低成本、高擴容的存儲保證。

系統(tǒng)凸顯低成本、高擴容

天津城市建設學院通過Ubuntu系統(tǒng)搭建開源的Hadoop存儲應用基礎，在服務器虛擬化平臺上運行，從而獲得能夠擁有更快、更穩(wěn)定、更安全的硬件保障，使用iSCSI技術，盡可能降低存儲部署成本，使其能夠方便靈活地被使用。該系統(tǒng)是基于虛擬化的分布式校園網(wǎng)存儲系統(tǒng)，利用VMware虛擬化平臺將服務器硬件存儲資源進行整合，通過建立Lun將服務器的磁盤陣列進行劃分，組成多個磁盤邏輯，然后通過在Lun上安裝Ubuntu操作系統(tǒng)及搭建iSCSI服務器端，使得存儲硬件資源能夠靈活地應用在Hadoop系統(tǒng)中。Hadoop將部署在虛擬化硬件平臺上構成一個分布式的文件系統(tǒng)，通過WebDAV協(xié)議建立與客戶端服務器的應用通信。用戶可以通過訪問客戶端服務器將文件通過WebDAV以HTTPS方式傳輸?shù)紿adoop存儲集群中保存。

該系統(tǒng)的設計充分利用虛擬化與分布式技術的特點，采用多層次的模塊化應用使得整個存儲系統(tǒng)從硬件架構到軟件的應用方式都變得靈活和易擴展，同時又因為虛擬化與分布式技術本身的安全特性，系統(tǒng)在數(shù)據(jù)安全性上具有先天優(yōu)勢，從而實現(xiàn)數(shù)據(jù)存儲服務的部署低成本，為校園網(wǎng)絡建設提供低成本、高擴容的存儲保證。

采用云存儲與iSCSI技術

存儲系統(tǒng)采用底層云存儲技術與應用層iSCSI技術，為用戶提供跨系統(tǒng)應用平臺支持。工作原理如圖1所示。

系統(tǒng)由多臺數(shù)據(jù)存儲服務器通過iSCSI網(wǎng)絡構成一個龐大的數(shù)據(jù)存儲服務集群，每臺存儲服務器都由磁盤陣列通過iSCSI協(xié)議與點播服務器建立通信，在點播服務器本地生成一個磁盤鏡像。虛擬化的VMware將服務器硬件存儲資源進行整合，通過建立Lun將服務器的磁盤陣列進行劃分，組成多個磁盤邏輯，然后通過在Lun建立存儲資源池并提供給應用服務器。

采用VMware ESXi Server虛擬系統(tǒng)作為應用服務器集群底層系統(tǒng)，各應用服務器系統(tǒng)可在VMware虛擬系統(tǒng)上建立邏輯上的關聯(lián)。VMware允許多個操作系統(tǒng)并行運行在一臺高性能服務器上，與多個高性能服務器運行同一任務，同時通過網(wǎng)絡對操作系統(tǒng)進行備份和管理，能夠依據(jù)應用服務使用狀況對操作系統(tǒng)實施遷移和復制，從而擴大網(wǎng)絡應用處理帶寬。

我們在VMware層上安裝Ubuntu系統(tǒng)平臺以及搭建Hadoop分布式存儲系統(tǒng)。Hadoop系統(tǒng)能將數(shù)據(jù)同時分割成許多小塊和備份，并通過點播服務器（NameNode）將其存放于不同的數(shù)據(jù)存儲服務器中。在Hadoop的系統(tǒng)中有一臺Master，它主要負責NameNode的工作以及JobTracker的工作。JobTracker的主要職責就是啟動、跟蹤和調(diào)度各個Slave的任務執(zhí)行。每一臺Slave通常具有Data Node的功能并負責TaskTracker的工作。TaskTracker根據(jù)應用要求來結合本地數(shù)據(jù)執(zhí)行Map任務以及Reduce任務。

在NameNode上部署WebDAV（Webbased Distributed Authoring and Versioning）應用，實現(xiàn)應用服務器對存儲資源的通信，從而讓用戶調(diào)用Hadoop上的數(shù)據(jù)。WebDAV是基于HTTP 1.1的一個通信協(xié)議。它為HTTP 1.1添加了一些擴展（就是在GET、POST、HEAD等幾個HTTP標準方法以外添加了一些新的方法），使得應用程序可以直接將文件寫到應用服務器（Application Server）上，從而替代傳統(tǒng)的FTP傳輸文件模式。

存儲系統(tǒng)結構設計

整個存儲系統(tǒng)硬件設備由多臺應用服務器與iSCSI存儲陣列以總線型網(wǎng)絡構成。應用服務器上安裝VMware ESXi系統(tǒng)，通過嵌入VMkernel代碼，讓該系統(tǒng)通過標準網(wǎng)絡適配器連接iSCSI存儲設備，在資源池中建立iSCSI SAN資源。在VMware ESXi的平臺上根據(jù)應用需求虛擬出兩個服務器集群（如圖2），一部分集群作為應用群，為系統(tǒng)提供內(nèi)網(wǎng)DNS服務、應用服務、監(jiān)控服務等；另一部分作為Hadoop集群，作為整個系統(tǒng)的應用存儲平臺為用戶提供存儲操作。兩個集群在存儲應用上主要通過WebDAV協(xié)議建立通信。

該系統(tǒng)采用硬件層虛擬化與軟件層分布式存儲系統(tǒng)的方式，目的是實現(xiàn)整個存儲系統(tǒng)在硬件資源與軟件資源上的分布式靈活部署特點。通過硬件虛擬化可以合理地調(diào)配硬件資源，使用Hadoop的存儲平臺可以根據(jù)需求在已有的硬件平臺上實現(xiàn)分布式多點多片存儲，在保證系統(tǒng)可擴容前提下，對數(shù)據(jù)儲存的容災性和整個系統(tǒng)穩(wěn)定性上有了新的提升。

系統(tǒng)應用分為兩部分

基于服務器虛擬化（VMware）系統(tǒng)，制作出的云存儲陣列，其中“云主機”控制云系統(tǒng)內(nèi)的服務器集群，進行數(shù)據(jù)的寫入與讀出，由“云主機”提供的API接口（主要是WebDAV協(xié)議也可采用其他協(xié)議）進行與客戶應用服務器之間的數(shù)據(jù)存儲、數(shù)據(jù)備災、數(shù)據(jù)應用，這樣能夠盡可能地利用“云”的效率。

在圖2中，系統(tǒng)應用主要分為存儲服務與應用服務兩部分。存儲服務主要以Hadoop系統(tǒng)為主，通過應用服務中的局域網(wǎng)D N S構建頭結點與存儲結點關系，在局域網(wǎng)內(nèi)建立私有云存儲集群。WebDAV部署在Hadoop頭結點服務器上，通過建立映射可在Windows或Linux系統(tǒng)上建立本地文件夾，從而實現(xiàn)為應用服務器提供存儲服務功能。用戶通過訪問應用服務器間接獲得云存儲資源，例如：一臺擁有WebDAV協(xié)議共享網(wǎng)絡硬盤的考試報名系統(tǒng)，其MSSQL數(shù)據(jù)庫存儲在Hadoop中，隨著用戶注冊信息的逐年增加，系統(tǒng)可根據(jù)容量需求進行分布式擴容存儲容量。

本系統(tǒng)通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。通過虛擬化技術將iSCSI與云存儲系統(tǒng)結合，為大型企業(yè)和機構提供異地數(shù)據(jù)存儲服務，并且通過云存儲系統(tǒng)平臺為企業(yè)提供跨平臺服務應用解決方案，實現(xiàn)部署靈活、可擴展性和安全性高的特點，從而降低數(shù)據(jù)存儲、應用和維護成本。

（作者單位為天津城市建設學院）

Hadoop

Hadoop這個名字不是一個縮寫，它是一個虛構的名字。該項目的創(chuàng)建者，Doug Cutting如此解釋Hadoop：“這個名字是我孩子給一個棕黃色的大象樣子的填充玩具命名的。我的命名標準就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子是這方面的高手。”

Hadoop 由 Apache Software Foundation 公司于2005 年秋天作為Lucene的子項目Nutch的一部分正式引入。它受到最先由Google Lab開發(fā)的Map/Reduce和Google File System(GFS)的啟發(fā)。2006年3月份，Map/Reduce和Nutch Distributed File System(NDFS) 分別被納入稱為Hadoop的項目中。Hadoop是最受歡迎的在Internet上對搜索關鍵字進行內(nèi)容分類的工具，但它也可以解決許多要求極大伸縮性的問題。例如，如果要grep一個10TB的巨型文件，會出現(xiàn)什么情況？在傳統(tǒng)的系統(tǒng)上，這將需要很長的時間。但是Hadoop在設計時就考慮到這些問題，采用并行執(zhí)行機制，因此能大大提高效率。

Hadoop是一個能夠對大量數(shù)據(jù)進行分布式處理的軟件框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務器，因此它的成本比較低，任何人都可以使用。Hadoop帶有用Java語言編寫的框架，因此運行在Linux生產(chǎn)平臺上是非常理想的。Hadoop上的應用程序也可以使用其他語言編寫，比如 C++。