白祎花

摘 要：?設(shè)計了一款網(wǎng)絡(luò)分布式文件系統(tǒng)。該系統(tǒng)基于軟件定義網(wǎng)絡(luò)，通過充分應(yīng)用其底層網(wǎng)絡(luò)動態(tài)數(shù)據(jù)資源完成實時數(shù)據(jù)傳輸最佳路徑的獲取，使分布式文件系統(tǒng)的性能通過有效導(dǎo)引分布式文件系統(tǒng)中的大數(shù)據(jù)流而得以顯著提高。通過構(gòu)建的分布式文件系統(tǒng)原型對文件讀寫及修復(fù)操作進(jìn)行測試，同傳統(tǒng)網(wǎng)絡(luò)環(huán)境相比，基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)的讀寫及修復(fù)能力均得以顯著提升，更適用于網(wǎng)絡(luò)數(shù)據(jù)流量大且異構(gòu)明顯的情況。

關(guān)鍵詞：?分布式文件系統(tǒng); 軟件定義網(wǎng)絡(luò); 實現(xiàn)路徑

中圖分類號： TP 316.4? ? ? 文獻(xiàn)標(biāo)志碼： A

Design and Implementation Path of Distributed File System Based on Network

BAI Yihua

（School of Administration， Shanxi Technical College of Finance & Economics， Xianyang， Shanxi 712000， China）

Abstract：

This paper mainly designs a network distributed file system. The system is based on the software-defined network. By fully applying the underlying network dynamic data resources to complete the acquisition of the best path for real-time data transmission， the performance of the distributed file system is effectively guided. The large data stream in the distributed file system is significantly improved. The file read and write and repair operations are tested by the built-in distributed file system prototype. Compared with the traditional network environment， the read/write and repair capabilities of the distributed file system based on the software-defined network environment are significantly improved， and are more suitable for the network. The case where the data traffic is large and the heterogeneity is obvious.

Key words：

distributed file system; software-defined network; implementation path

0 引言

快速發(fā)展的移動互聯(lián)網(wǎng)帶來了網(wǎng)絡(luò)數(shù)據(jù)量的爆炸式增長，在復(fù)雜龐大的數(shù)據(jù)中通常隱藏著巨大的潛在價值，需采用技術(shù)手段收集、分析、挖掘和處理以獲取有價值的信息，傳統(tǒng)的超級計算機已經(jīng)難以滿足處理海量數(shù)據(jù)的需求，增加了處理的時間和經(jīng)濟成本還，上層用戶需求對網(wǎng)絡(luò)架構(gòu)提出了更高的要求，在多個設(shè)備上存儲數(shù)據(jù)可有效解決這些問題，隨著新型技術(shù)的普及應(yīng)用（包括云計算、虛擬化等）網(wǎng)絡(luò)中協(xié)議復(fù)雜程度不斷提高，對網(wǎng)絡(luò)服務(wù)質(zhì)量的要求隨著不斷提高。

1 現(xiàn)狀分析

提高底層網(wǎng)絡(luò)的智能程度以迅速感知并適應(yīng)上層應(yīng)用的變化，是提升應(yīng)用性能及用戶體驗的有效手段，因此如何高效的管理分布式的存儲設(shè)備成為急需解決的問題，構(gòu)建分布式文件系統(tǒng)使各存儲設(shè)備協(xié)同工作并將良好的數(shù)據(jù)訪問性能提供給用戶成為研究的重點。通過了解和控制底層網(wǎng)絡(luò)狀況并在此基礎(chǔ)上對其核心操作算法進(jìn)行改進(jìn)是提升DFS性能的有效手段，將 SDN應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)中的研究較多，例如，對基于流的網(wǎng)絡(luò)監(jiān)控在OpenFlow網(wǎng)絡(luò)中的實現(xiàn)路徑的研究（包括吞吐率、延遲和數(shù)據(jù)包丟失等），實現(xiàn)細(xì)粒度的數(shù)據(jù)中心流量工程的建立;Google B4作為首個在實際系統(tǒng)中應(yīng)用軟件定義網(wǎng)絡(luò)，對在全球數(shù)據(jù)中心傳輸和備份數(shù)據(jù)及其對WAN 范圍流量工程的要求進(jìn)行了研究，并設(shè)計了基于SDN的負(fù)載均衡方案以便提供更好的云服務(wù)[1]。將網(wǎng)絡(luò)資源服務(wù)（可配置）利用軟件定義網(wǎng)絡(luò)提供給用戶，獲取實時網(wǎng)絡(luò)情況為大數(shù)據(jù)應(yīng)用創(chuàng)造有利條件。本文完成了基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)原型的構(gòu)建，采用彈性樹修復(fù)（FTR）算法，針對異構(gòu)的存儲節(jié)點基于網(wǎng)絡(luò)編碼思想對實際存儲環(huán)境異構(gòu)性（包括數(shù)據(jù)存儲量和可用帶寬等）作為重點考慮。

2 系統(tǒng)設(shè)計

2.1 軟件定義網(wǎng)絡(luò)和分布式文件系統(tǒng)的連接

軟件定義網(wǎng)絡(luò)能夠高度抽象和解耦網(wǎng)絡(luò)（包括設(shè)備控制層、數(shù)據(jù)轉(zhuǎn)發(fā)層等），結(jié)合高度虛擬化的網(wǎng)絡(luò)硬件，實現(xiàn)對整個網(wǎng)絡(luò)通過軟件編程重新定義，能夠獲取動態(tài)的網(wǎng)絡(luò)變化信息，有效彌補了傳統(tǒng)網(wǎng)絡(luò)的不足，提高了網(wǎng)絡(luò)的智能性和靈活性，SDN可實時監(jiān)控和管理網(wǎng)絡(luò)資源，將具有參考價值的信息提供給上層應(yīng)用，根據(jù)上層應(yīng)用要求實時配置網(wǎng)絡(luò)資源。由網(wǎng)絡(luò)文件系統(tǒng)發(fā)展而來的分布式文件系統(tǒng)（DFS）屬于網(wǎng)絡(luò)資源密集型應(yīng)用，具備強大的數(shù)據(jù)存儲能力及可擴展性，分布式文件系統(tǒng)通常由多個存儲節(jié)點、一個以上的控制節(jié)點及運行軟件構(gòu)成，整個數(shù)據(jù)中心受到分布式文件系統(tǒng)性能的直接影響。SDN的接口結(jié)構(gòu)同DFS均采用C/S架構(gòu)與集中控制易于結(jié)合使用，SDN具備底層網(wǎng)絡(luò)通信及自定義數(shù)據(jù)流向（以上層業(yè)務(wù)邏輯為依據(jù)）功能。DFS的節(jié)點同SDN網(wǎng)絡(luò)通過OpenFlow（SDN網(wǎng)絡(luò)的南向接口協(xié)議）交換機互連，由SDN Controller控制DFS產(chǎn)生的數(shù)據(jù)流量，OpenFlow交換機以流表（由多條由匹配字段及轉(zhuǎn)發(fā)操作構(gòu)成的流表項按優(yōu)先級排列組成）作為核心，在設(shè)計Controller和DFS的NameNode這兩個中央控制的節(jié)點時采用了結(jié)合式和分離式，結(jié)合式在同一邏輯節(jié)點上實現(xiàn)2個中心控制節(jié)點（作為不同的進(jìn)程），信息交換以進(jìn)程間通信的方式完成，然后通過分離式在兩個邏輯節(jié)點上實現(xiàn)將2個中心控制節(jié)點（位于不同的實體機）[2]。

2.2 SDN在分布式文件系統(tǒng)中的應(yīng)用

通過SDN 網(wǎng)絡(luò)對上層應(yīng)用進(jìn)行及時感知和反饋以優(yōu)化系統(tǒng)的性能，在SDN Controller通過一組 API即中間件（Middleware）實現(xiàn)對DFSNameNode的調(diào)用，包括底層網(wǎng)絡(luò)信息的獲取及按照指定路徑發(fā)送數(shù)據(jù)等，如圖1所示[3]。

本文的設(shè)計特點在于：（1）在后臺基于 SDN Controller對動態(tài)更新的拓?fù)淞鲌D（底層網(wǎng)絡(luò)，包括連接信息、各節(jié)點信息、節(jié)點間的最短路徑信息等）進(jìn)行維護，以便真實反映出底層網(wǎng)絡(luò)的變化情況，每次查詢可在常數(shù)時間內(nèi)給出答復(fù)，同時提供相應(yīng)的API訪問DFS;（2）OpenFlow協(xié)議中存在包括id及priority字段在內(nèi)的VLAN標(biāo)志，可實現(xiàn)包括傳統(tǒng)網(wǎng)絡(luò)隔離在內(nèi)的多種功能，通過匹配這2個字段對特定的流表項進(jìn)行指定，實現(xiàn)在保證已有網(wǎng)絡(luò)功能的基礎(chǔ)上特定流量按指定路徑的傳輸過程;（3）在分布式文件系統(tǒng)插入流表有超時機制，需通過計算估計超時時間，從節(jié)點A、B簡的路徑經(jīng)過交換機即會下發(fā)對應(yīng)流表，通過本次傳輸時間和會話保護時間相加得到各流表項的超時時間;（4）本文分布式文件系統(tǒng)中包含控制流（包括指令交互流和元數(shù)據(jù)信息交換流，流量小而持續(xù)）和數(shù)據(jù)流（流量大而集中），在本文的系統(tǒng)中只對優(yōu)化路徑在數(shù)據(jù)流傳輸前進(jìn)行計算并下發(fā)流表;（5）本文設(shè)計包括提供控制流的通信功能的傳統(tǒng)基于IP 路由、提供系統(tǒng)數(shù)據(jù)流通信功能的基于SDN的智能路由兩種路由策略[4]。

2.3 系統(tǒng)架構(gòu)設(shè)計

本文所設(shè)計的分布式文件系統(tǒng)的整體架構(gòu)，如圖2所示。

SDN網(wǎng)絡(luò)結(jié)構(gòu)位于中間層，其主要功能在于底層網(wǎng)絡(luò)數(shù)據(jù)的傳輸;圍繞中間層部署的是DFS的各種角色節(jié)點，客戶端（Client）和數(shù)據(jù)節(jié)點（DN，以Rack為單位部署）通過OpenFlow交換機實現(xiàn)互連，各DataNode（位于DFS中）在數(shù)據(jù)中心中均同ToR交換機連接，若各交換機均支持OpenFlow協(xié)議則DFS中的網(wǎng)絡(luò)流量能夠運行于SDN網(wǎng)絡(luò)中，即可實現(xiàn)監(jiān)控和管理等優(yōu)化效果，本文在同一臺服務(wù)器上實現(xiàn)NameNode（命名空間）和Controlle（控制點）的整合即ControlNode（控制節(jié)點）[5]。

3 網(wǎng)絡(luò)分布式文件系統(tǒng)主要功能的實現(xiàn)

（1） 讀文件操作

在 SDN 網(wǎng)絡(luò)上完成全部網(wǎng)絡(luò)通信過程，文件讀寫的具體步驟為：首先由Client 將具體的一個讀文件請求發(fā)送至ControlNode，并由其負(fù)責(zé)對該文件信息進(jìn)行查詢完成數(shù)據(jù)傳輸?shù)钠鹗己湍康墓?jié)點的確定，在此基礎(chǔ)上完成最佳路徑的計算及流表的下發(fā)，實現(xiàn)路徑的部署;接下來ControlNode將處理完的需讀取文件的信息返回給用戶Client，提示文件可開始讀取;然后Client將數(shù)據(jù)傳輸請求發(fā)送給目標(biāo) DataNode ，DataNode完成處理后將數(shù)據(jù)返回給Client ，以剛建立的路徑作為其數(shù)據(jù)傳輸路徑;接收到數(shù)據(jù)后Client對其進(jìn)行解碼、校驗后將讀取成功標(biāo)志返回至ControlNode，ControlNode據(jù)此將本次建立的路徑刪除[6]。

（2） 寫文件操作

結(jié)合SDN 的文件上傳功能，寫文件的具體步驟為：ControlNode在接收到由Client發(fā)送的寫文件請求后，據(jù)此完成目標(biāo)存儲節(jié)點的確定及用戶同目標(biāo)節(jié)點間最佳路徑的計算，并向交換機下發(fā)流表;接下來Client會接收到ControlNode返回的成功準(zhǔn)備路徑標(biāo)志，并在此基礎(chǔ)上完成同目標(biāo)存儲節(jié)點間連接的建立以有效滿足數(shù)據(jù)傳輸需求;數(shù)據(jù)中心中接收到Client數(shù)據(jù)傳輸?shù)氖讉€存儲節(jié)點后，接下來通過Pipeline形式的運用完成數(shù)據(jù)到其他節(jié)點的傳輸過程;ControlNode在接收到成功寫數(shù)據(jù)標(biāo)志后（由目標(biāo)存儲節(jié)點返回）對新添加的流表項進(jìn)行刪除操作[7]。

（3） 文件修復(fù)操作

本文文件系統(tǒng)采用了FTR 算法對文件進(jìn)行修復(fù)，文件修復(fù)的具體步驟為：完成一條修復(fù)任務(wù)的讀取后（位于修復(fù)隊列中），修復(fù)的目標(biāo)節(jié)點（newcomer）的選擇及數(shù)據(jù)提供節(jié)點的確定均通過 ControlNode完成從而計算出最佳路徑并下發(fā)流表，在此基礎(chǔ)上完成對數(shù)據(jù)傳輸路徑的部署;參與修復(fù)的各節(jié)點會接收到來自ControlNode的開始修復(fù)消息，據(jù)此完成實際的數(shù)據(jù)傳輸和計算過程;最終ControlNode會接收到來自Newcomer的修復(fù)完成消息，然后對建立的路徑進(jìn)行刪除操作[8]。

4 系統(tǒng)測試及結(jié)果分析

4.1 實驗設(shè)計

為了測試本文所設(shè)計的分布式文件系統(tǒng)的有效性，通過一個系統(tǒng)原型的建立與實現(xiàn)，客戶端和數(shù)據(jù)存儲節(jié)點采用PC四臺（搭載Ubuntu系統(tǒng)），具體配置如表1所示。

系統(tǒng)主要由ControlNode（包括Floodlight Controller和NameNode）、SDN網(wǎng)絡(luò)、DataNode部分及Client構(gòu)成，網(wǎng)絡(luò)的動態(tài)拓?fù)淞鲌D位于對底層OpenFlow交換機起到控制作用的Controller節(jié)點上，SDN網(wǎng)絡(luò)使用輕量級的網(wǎng)絡(luò)仿真平臺Mininet（含有強大的API，支持OpenFlow協(xié)議）搭建實現(xiàn)虛擬較為真實的網(wǎng)絡(luò)環(huán)境，Mininet的VM使用PC運行。將文件的讀、寫、修復(fù)（FTR 算法）操作作為主要測試對象完成實驗[9]。

4.2 實驗結(jié)果分析

測試文件讀寫時，基于IP的路由只以鏈路連接信息為依據(jù)計算最短路徑路由，基于可用帶寬的路由的最短路徑根據(jù)鏈路上帶寬的權(quán)值計算。帶寬隨機分布于指定范圍，多次測量文件取平均值，針對帶寬差異性的測試結(jié)果，如圖3所示。

每隔十秒微小改動網(wǎng)絡(luò)的帶寬，多次測量大小相同的文件取平均值，采集拓?fù)湫畔㈩l率對文件讀寫的影響情況如圖4所示。

測試文件修復(fù)時，針對不同的參數(shù)對比了FTR 算法和 STAR算法，如圖5所示，證明了FTR算法更適用于SDN提供的網(wǎng)絡(luò)數(shù)據(jù)[10]。

實驗結(jié)果表明使用SDN提供的底層網(wǎng)絡(luò)數(shù)據(jù)使分布式文件系統(tǒng)的讀寫性能得以顯著提高，計算最短路徑和下發(fā)流表所需時間對系統(tǒng)不產(chǎn)生影響的同時提高了系統(tǒng)效率，每次只需查詢和少量的計算，文件修復(fù)的測試對比結(jié)果表明在網(wǎng)絡(luò)環(huán)境異構(gòu)情況下使用FTR算法可顯著較少數(shù)據(jù)修復(fù)時間，證明了基于SDN的分布式文件系統(tǒng)的處理效率得以顯著提升，能夠達(dá)到控制整個網(wǎng)絡(luò)的目的。

5 總結(jié)

傳統(tǒng)分布式文件系統(tǒng)對底層網(wǎng)絡(luò)考慮不足，降低了其讀寫性能及文件修復(fù)性能，本文通過設(shè)計分布式文件系統(tǒng)原型有效實現(xiàn)了讀/寫文件和文件修復(fù)的基本操作功能，以SDN

的底層網(wǎng)絡(luò)信息為依據(jù)優(yōu)化算法使系統(tǒng)性能得以顯著提升，實驗測試結(jié)果表明基于軟件定義網(wǎng)絡(luò)環(huán)境的分布式文件系統(tǒng)的讀寫及修復(fù)能力均得以顯著提升，具有較高的實際應(yīng)用價值。

參考文獻(xiàn)

[1] 林朝熾.基于Elastic Stack的分布式數(shù)據(jù)采集與分析平臺探索[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（2）：378-379.

[2] 陳付梅，韓德志，畢坤，等.大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析[J].計算機應(yīng)用，2017（3）：620-627.

[3] Sun Lili， Yang Yang， Xiong Zenggang， et al. Intelligent Block Placement Strategy in Heterogeneous Hadoop Clusters[J]. Journal of Convergence Information Technology， 2013（8）：1142-1150.

[4] S R Balasundaram， S Vengadeswaran. An Optimal Data Placement Strategy for Improving System Performance of Massive Data Applications Using Graph Clustering[J].International Journal of Ambient Computing and Intelligence， 2018， 9（3）：15-30.

[5] Xiong Fu， Wenjie Liu， Yeliang Cang， et al. Optimized Data Replication for Small Files in Cloud Storage Systems[J]. Mathematical Problems in Engineering， 2016（8）：837-894.

[6] 劉澤華，趙文琦，張楠.基于Scrapy技術(shù)的分布式爬蟲的設(shè)計與優(yōu)化[J]. 信息技術(shù)與信息化， 2018（Z1）：121-126.

[7] 徐時芳，羅曉賓，陳陽華.基于Spark的分布式大數(shù)據(jù)分析建模系統(tǒng)的設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2018（20）：172-175.

[8] 廖先富，劉俊男.基于Django與HDFS的分布式三維模型文件數(shù)據(jù)庫構(gòu)建[J].電子技術(shù)與軟件工程，2018（18）：189-191.

[9] 鄒振宇，鄭烇，王嵩，等.基于HDFS的云存儲系統(tǒng)小文件優(yōu)化方案[J]. 計算機工程， 2016（3）：34-40.

[10] 袁麗娜.HDFS數(shù)據(jù)副本均衡放置策略的改進(jìn)[J]. 計算機科學(xué)， 2017（S2）：397-400.

（收稿日期： 2019.07.10）