嚴(yán)志

(長沙民政職業(yè)技術(shù)學(xué)院軟件學(xué)院，湖南長沙410004)

當(dāng)前應(yīng)用變得越來越復(fù)雜，需要支持更多的用戶、更強(qiáng)的計(jì)算能力、更加穩(wěn)定安全，為了支撐這些不斷增長的需求，企業(yè)需要花費(fèi)巨大的成本。云計(jì)算能夠給用戶提供可靠、自定義、最大化資源利用的服務(wù)，是一種嶄新的分布式計(jì)算模式[1]。云計(jì)算將傳統(tǒng)的IT工作站轉(zhuǎn)變?yōu)橐跃W(wǎng)絡(luò)為依托的云平臺運(yùn)行，極大地整合了計(jì)算資源，使按需分配成為可能[2]。

在學(xué)術(shù)界和工業(yè)界共同推動之下，云計(jì)算及其應(yīng)用呈現(xiàn)迅速增長的趨勢，各大云計(jì)算廠商如Amazon，IBM，Google，Microsoft，Sun，阿里巴巴等公司都推出自己研發(fā)的云計(jì)算服務(wù)平臺。在學(xué)術(shù)界，主要的開源云計(jì)算平臺有OpenStack，Eucalyptus、CloudStack 和 OpenNebula[3]等?；谠破脚_的應(yīng)用越來越多，郭雷風(fēng)等[4]提出運(yùn)用云計(jì)算技術(shù)建立農(nóng)村綜合信息共享平臺；張健博 [5]提出在OpenStack云平臺基礎(chǔ)上建立云監(jiān)控系統(tǒng)，能夠無縫對接OpenStack云主機(jī)的監(jiān)控與管理，使資料利用更加合理；楊善林等[6]從管理的視角對基于云計(jì)算的多源信息服務(wù)系統(tǒng)作了綜述，探討了云計(jì)算環(huán)境下多源信息服務(wù)系統(tǒng)的體系結(jié)構(gòu)及關(guān)鍵技術(shù)；陳琳等 [7]提出了基于微軟的Windows Azure云計(jì)算平臺的自動氣象監(jiān)測網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)氣象信息的共享。

全國云計(jì)算職業(yè)技能大賽依托南京55所提供的基于OpenStack的云平臺，該平臺主要提供了一個類似百度云盤系統(tǒng)，系統(tǒng)搭建在Swift虛擬系統(tǒng)里。Swift是OpenStack開源云計(jì)算項(xiàng)目的子項(xiàng)目，提供彈性可伸縮、高可用的分布式對象存儲服務(wù)，適合存儲大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)，網(wǎng)絡(luò)云盤所有文件都保存在Swift系統(tǒng)。

1.Swift云計(jì)算平臺架構(gòu)

Swift采用層次數(shù)據(jù)模型，共設(shè)三層邏輯結(jié)構(gòu)：Account/Container/Object(賬戶/容器/對象)。這里的Account和個人賬戶不是一個概念，可理解為租戶，租戶是Swift系統(tǒng)分配給用戶的一個賬戶，每個租戶會分配一個容器Container，容器類似文件夾，租戶的所有文件都會放在該容器下。Object代表封裝一組對象，對象由元數(shù)據(jù)和數(shù)據(jù)兩部分組成，一般指容器下的各種文件對象。Swift采用完全對稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計(jì)，所有組件都可擴(kuò)展，避免因單點(diǎn)失效而擴(kuò)散并影響整個系統(tǒng)運(yùn)轉(zhuǎn)，通信方式采用非阻塞式I/O模式，提高了系統(tǒng)吞吐和響應(yīng)能力，其數(shù)據(jù)模型如下圖1示：

圖1 Swift文件系統(tǒng)

南京55所網(wǎng)絡(luò)云盤系統(tǒng)是在Oracle VirtualBox下裝載Swift系統(tǒng)實(shí)現(xiàn)的虛擬云，該系統(tǒng)只提供了框架，文件操作功能需自行開發(fā)，用戶通過安卓端和PC Web端口訪問服務(wù)器，兩者待完成的功能相似，主要是對Swift租戶上的文件進(jìn)行創(chuàng)建、移動、刪除、上傳、下載、復(fù)制/粘貼、預(yù)覽、分享等操作，大數(shù)據(jù)模塊是針對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行爬取、清洗、整理，并展示大數(shù)據(jù)詞云分析圖表。系統(tǒng)架構(gòu)如圖2所示。

圖2 云盤系統(tǒng)架構(gòu)

2.Android端核心技術(shù)

移動網(wǎng)絡(luò)云盤客戶端采用的主要技術(shù)是網(wǎng)絡(luò)異步加載數(shù)據(jù)到自定義數(shù)據(jù)適配器，將適配器的數(shù)據(jù)綁定到ListView控件，數(shù)據(jù)適配器的數(shù)據(jù)對象是SFileData對象，該對象包含文件圖像、大小、類型、路徑、名稱等參數(shù)構(gòu)成。其流程如下圖3所示。

圖3 網(wǎng)絡(luò)云盤文件系統(tǒng)加載流程

2.1 OpenStack網(wǎng)絡(luò)訪問

OpenStack網(wǎng)絡(luò)訪問參數(shù)是一個5元組，即＜USERNAME,PASSWORD,SWIFT_IP,TENANTID,TENANTNAME＞，USERNAME和 PASSWORD對應(yīng) keystone用戶名、keystone密碼，該用戶、密碼可以通過命令在Swift服務(wù)器上建立，android端登錄時需要用到；SWIFT_IP是Swift服務(wù)器的IP地址，該服務(wù)器獨(dú)立部署在主機(jī)；TENANTID是Swift訪問序列號，是55所公司自定義的系統(tǒng)產(chǎn)品加密序列；TENANTNAME是keystone租戶名，租戶是指在Swift服務(wù)器上開辟一個空間，用于存儲網(wǎng)絡(luò)用戶的文件，方便不同的用戶管理自己的文件，一般與keystone用戶名相同。

2.2 自定義數(shù)據(jù)適配器及數(shù)據(jù)加載

通過Openstack網(wǎng)絡(luò)訪問指定目錄下的文件列表，并以集合的形式綁定到自定義的數(shù)據(jù)適配器里，ListView控件加載數(shù)據(jù)適配器，形成如下圖4所示的文件系統(tǒng)。

ListView的數(shù)據(jù)使用異步任務(wù)AsyncTask完成數(shù)據(jù)加載，其關(guān)鍵算法步驟如下：

(1)通過OpenstackService獲得當(dāng)前服務(wù)

(2)根據(jù)服務(wù)獲得當(dāng)前租戶所有的操作文件集

(3)將獲得文件集采取異步任務(wù)方式提交到異步執(zhí)行方法中

(4)獲得當(dāng)前的Swift目錄，過濾當(dāng)前租戶的操作文件集，設(shè)置文件系統(tǒng)

(5)將文件集綁定到數(shù)據(jù)適配器并顯示到ListView控件

圖4 文件系統(tǒng)加載

2.3 手機(jī)端功能模塊實(shí)現(xiàn)

以排序功能為例，通過Android手機(jī)操作在Swift服務(wù)器上文件，以文件大小、文件創(chuàng)建時間、文件名的升降序方式排序，并將排序結(jié)果綁定到ListView。其關(guān)鍵的思想是在異步任務(wù)里調(diào)用創(chuàng)建文件夾的API，并且更新ListView的數(shù)據(jù)，其他模塊和此類似。

圖5 文件排序

3.Javaweb端核心技術(shù)

3.1 Web端環(huán)境搭建

Swift服務(wù)器配置是非常重要的一環(huán)，配置不成功，后面的功能開發(fā)無法進(jìn)行，配置流程圖如下所示：

圖6 javaweb開發(fā)配置

其中，開發(fā)主機(jī)配置相當(dāng)關(guān)鍵，Swift服務(wù)器和開發(fā)主機(jī)獨(dú)立，通過wifi網(wǎng)絡(luò)設(shè)置使得開發(fā)機(jī)器和服務(wù)器在同一個網(wǎng)段里，開發(fā)主機(jī)通過局域網(wǎng)訪問Swift服務(wù)器。

3.2 Web端技術(shù)路線

Web端采用 Javaweb技術(shù)，前端使用 Flat-UI、Jquery、Bootstrap框架等，當(dāng)用戶點(diǎn)擊觸發(fā)javascript事件后，js采用Ajax數(shù)據(jù)提交方式向后臺遞交數(shù)據(jù)，使用SpringMVC技術(shù)，前后端交互，Spring與Swift服務(wù)器交互采用南京55所API。其架構(gòu)如下圖所示：

圖7 javaweb技術(shù)框架

3.3 Web端模塊實(shí)現(xiàn)

Web主要功能在于前端javascript代碼編寫，后端使用SpringMVC框架接受數(shù)據(jù)，并向前端反饋數(shù)據(jù)。以創(chuàng)建文件夾功能為例，通過前端js事件調(diào)用createDir()函數(shù)，將數(shù)據(jù)使用ajax提交到后臺SpringMVC執(zhí)行，然后將執(zhí)行結(jié)果反饋到前端。Js關(guān)鍵代碼：

4.大數(shù)據(jù)端系統(tǒng)

大數(shù)據(jù)是最新加入的功能模塊，還處于比較初級狀態(tài)，數(shù)據(jù)采集51job招聘信息，挖掘招聘崗位需求及技能要求，并通過d3.js可視化框架展示崗位和技能的匹配圖。大數(shù)據(jù)分為數(shù)據(jù)爬取模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)展示三個部分。

爬取模塊采用Webmagic框架，webmagic是一個開源的Java垂直爬蟲框架，功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內(nèi)容抽取、持久化)，支持多線程抓取，分布式抓取。

爬蟲算法步驟：

(1)根據(jù)種子鏈接，抽取目標(biāo)鏈接放入待爬取隊(duì)列；

(2)解析隊(duì)列中的鏈接內(nèi)容，并抽取需要的信息；

(3)處理抽取結(jié)果，將處理信息保存到文件或數(shù)據(jù)庫等；

(4)將數(shù)據(jù)上傳到hadoop系統(tǒng)進(jìn)行大數(shù)據(jù)計(jì)算。

數(shù)據(jù)集存入hadoop系統(tǒng)后，進(jìn)行數(shù)據(jù)清洗，主要采用Map/Reduce進(jìn)行數(shù)據(jù)清洗，將數(shù)據(jù)規(guī)范化處理，然后利用mahout相關(guān)的算法進(jìn)行數(shù)據(jù)分析挖掘，最后將結(jié)果持久化到數(shù)據(jù)庫。

5.研究實(shí)效及結(jié)論

本文詳細(xì)解剖云計(jì)算環(huán)境下網(wǎng)絡(luò)云盤系統(tǒng)架構(gòu)，論述了開源云計(jì)算Swift的系統(tǒng)框架，對于如何搭建自己的私有云系統(tǒng)及云應(yīng)用開發(fā)，值得借鑒。從職業(yè)技能大賽角度來說，云平臺的底層架構(gòu)不是高職學(xué)生需要掌握的要素，只需要知道如何使用現(xiàn)有的開源技術(shù)構(gòu)建自己的云環(huán)境即可。環(huán)境搭建后，后續(xù)的開發(fā)工作還需要繼續(xù)跟進(jìn)，需要運(yùn)用到Android、JavaWeb及大數(shù)據(jù)方面的知識，并提供了詳細(xì)的實(shí)現(xiàn)細(xì)節(jié)，對于備戰(zhàn)職業(yè)技能競賽有著參考作用。

云計(jì)算、大數(shù)據(jù)、人工智能是下一場IT技術(shù)爭奪的焦點(diǎn)，目前國內(nèi)高職院校都非常重視，但是如何將新技術(shù)應(yīng)用于高職課堂還不清晰。通過研究南京55所云計(jì)算平臺，發(fā)現(xiàn)該平臺對于教學(xué)有很好的輔助作用，可以應(yīng)用到Android課程、Javaweb課程以及大數(shù)據(jù)課程，讓學(xué)生接觸前沿技術(shù)并提供項(xiàng)目實(shí)踐，同時有利于職業(yè)技能大賽準(zhǔn)備。

【參考文獻(xiàn)】

[1]李喬，鄭嘯.云計(jì)算研究現(xiàn)狀綜述[J].計(jì)算機(jī)科學(xué)，2011，38（4）：32-37.

[2]楊青峰.云計(jì)算時代關(guān)鍵技術(shù)預(yù)測與戰(zhàn)略選擇[J].中國科學(xué)院院刊，2015，30（2）：148-169.

[3]鄧紅，王東興.主流開源云平臺的商業(yè)選擇[J].電腦知識與技術(shù)，2012，8（32）：7830-7832.

[4]郭雷風(fēng)，王文生.農(nóng)村綜合信息服務(wù)云平臺若干關(guān)鍵技術(shù)研究[J].天津農(nóng)業(yè)科學(xué)，2015，21(4)：46-50.

[5]張健博.基于OpenStack云平臺的監(jiān)控關(guān)鍵技術(shù)研究[D].重慶大學(xué),2016.

[6]楊善林，羅賀，丁帥.基于云計(jì)算的多源信息服務(wù)系統(tǒng)研究綜述[J].管 理 科 學(xué) 學(xué) 報(bào)，2012，15(5)：83-95.

[7]陳琳，齊文新，齊宇.基于云計(jì)算的自動氣象監(jiān)測網(wǎng)絡(luò)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2012，32(5)：1415-1617.