耿貞偉,張雪堅
(云南電網(wǎng)有限責任公司信息中心,昆明 650217)
企業(yè)私有云就是針對公司云資源使用情況建立高水平的資源控制功能。但是因為企業(yè)的不斷發(fā)展,各部門對于上線服務系統(tǒng)響應要求不斷提高,特別是基于數(shù)據(jù)平臺的軟件,因為企業(yè)內(nèi)部使用的軟件版本和規(guī)模不一致,造成在資源整合中管理復雜、使用不便等情況[1-2]。怎樣提高企業(yè)云計算和軟件應用的快速服務,建立統(tǒng)一的云平臺管理非常重要,提高軟件交付能力也是重要問題。
私有云管理主要是為企業(yè)業(yè)務平臺和IT系統(tǒng)提供字眼服務,實現(xiàn)虛擬機、公網(wǎng)IP地質(zhì)、軟件庫、物理機等模塊的服務。云管理平臺就是提供云計算服務,為各類云計算資源池提供集中性管理。以往的企業(yè)資源管理,因為資源系統(tǒng)、版本、資源類型復雜多樣,造成管理困難,在“云”服務的幫助下,很多企業(yè)開始建立自己的管理資源平臺,而且讀書都是基于OPenstack項目進行開源研發(fā)。隨著Openstack版本的不斷更新,基于Openstack服務的廠商越來越多,從而構成了以Openstack為主的云服務廠商[3]。因為Openstack技術發(fā)展不斷完善,其服務能力逐漸被大眾所接受,利用其建立云管理平臺具有可行性。
快速交付的需求需要將Hadoop CDHI平臺遷移到HDP場景中,在根據(jù)基礎架構虛擬資源交付Hadoop平臺,獲取MapReduce數(shù)據(jù)源系統(tǒng)中的數(shù)據(jù),將這些數(shù)據(jù)清洗后得到HDFS,建立一個數(shù)據(jù)表Hive,再利用Hive SQL統(tǒng)計數(shù)據(jù)進行運算匯總,這里使用到了HDFS、Hive、MAPReduce等數(shù)據(jù)平臺,從而完成Oozie任務編排。關于遷移工作的步驟如下:
(1)檢查差異性:對于遷移的兩個平臺間組件差異,以及兩者的差異進行分析,之后檢查CDH舊的集群和HDP遷移目標集群特征,將組件變成相同大小的版本號,因為低版本轉向高版本環(huán)境受到的阻力比較小,但是在升級軟件時需要注意到兼容性,這里針對版本遷移建立以下對策,見表1。
表1 目標集群不同組件和舊集群差異比較
(2)修改參數(shù):根據(jù)新平臺配置參數(shù)將舊平臺屬性參數(shù)配置進行更新,比如:主機名稱、訪問數(shù)據(jù)庫地質(zhì)等。在進行代碼項目核對,對平臺參數(shù)、文件配置、硬編碼。還有就是Hadoop相關參數(shù)服務配置,需要進行詳細核查,保證替換正確。在調(diào)試緩解,如果出現(xiàn)舊平臺參數(shù)日志報錯情況,或是連接不成功,多是因為修改參數(shù)不完全,這時還需要進一步進行修改。
(3)依賴更新:使用Java進行開發(fā),將CDH中jar包變?yōu)镠DP對應的jar包,自后重新編譯把包打開,因為差異版本的原因,需要利用級別代碼對接口進行調(diào)試。這里建議利用maven進行項目管理依賴工具將依賴項目進行統(tǒng)一打包上線,如果是使用早期ant類項目工具構建,需要先進行maven項目改造,這樣可以減少以后項目版本維護成本。在構建Maven項目時,需要進行第一步差異清單檢查,更新組間對應的jar包名稱和版本。在更新完成后,使用“Mvn Package”進行項目的更新,并打包編譯。因為更新了jar包,接口編程會出現(xiàn)變更,導致編譯出錯,這時需要對代碼片段進行逐一修復,指導編譯正確為止。
(4)測試調(diào)試:對編譯打包程序進行測試,主要是檢查程序是否正確,產(chǎn)出數(shù)據(jù)是否正確,在新平臺中的運行是否穩(wěn)定。
(5)重新上線:在測試完成后,正式將程序遷移到線上,在分析舊服務下線問題,最終建立無縫應用遷移。
常規(guī)交付服務是在云管理平臺上實現(xiàn)的,它可以通過一套虛擬資源實現(xiàn)交付程序,這里利用OpenStack Heat進行Iaas資源交付編排,在利用和交付虛擬機中間件接口程序、數(shù)據(jù)庫實現(xiàn)軟件服務。其中關于Heat編排服務過程分析:
(1)對整個業(yè)務系統(tǒng)中Heat模板進行編寫,在云管理平臺模板上,提供目錄終端形式用戶應用,根據(jù)OPenstack模板統(tǒng)一規(guī)范heat編寫。
(2)根據(jù)交付架構服務內(nèi)容,使用Python腳本語言,實現(xiàn)組件資源的交付自動服務能力。
(3)在云管理平臺上進行接口編排,在云平臺上導入Heat模板,建立一個能夠為終端用戶服務的目錄。服務目錄也能對資源進行授權,從而實現(xiàn)交付服務編排和管理。
(4)在完成服務目錄授權后,租戶可以進行交付,實現(xiàn)服務目錄申請,自動化目錄也能為用戶提供各種參數(shù)信息。
(5)經(jīng)過申請服務目錄之后,進入運行模式,該環(huán)節(jié)是由運維部門和該模式相關部門一同操作,從而實現(xiàn)服務。
建立在Hadoop私有云管理平臺的集群、快速交付軟件服務,可以提高交付服務的效率,而且利用云平臺大數(shù)據(jù)Hadoop服務,可以對一體化環(huán)境下云和大數(shù)據(jù)架構的統(tǒng)一管理,實現(xiàn)企業(yè)私有云管理的動態(tài)化、標準化、池化,從而滿足快速響應需求的服務,保證企業(yè)業(yè)務系統(tǒng)盡快上線。建立企業(yè)私有云管理平臺,需要結合團隊開發(fā)運維小組能力,從而完善企業(yè)內(nèi)部自動化存在的問題,提高企業(yè)私有云管理平臺的工作效率。
[1] 楊海亮,馬天丁,李震,等.淺析企業(yè)私有云平臺建設中的云安全管理問題[J].中小企業(yè)管理與科技(上旬刊),2016(11):15-16.
[2] 馬麟,刁永鋒,李長平.高校信息化云平臺服務的新發(fā)展:從私有云到公有云[J].中國教育信息化,2017(17):91-93.
[3] 王成喜,孟安寧.基于VMware vSphere私有云計算模式的數(shù)字化實驗室建設[J].計算機與現(xiàn)代化,2017(7):124-126.