張 濤,黃 銳
(水利部海河水利委員會(huì),天津 300181)
永定河流域發(fā)源于內(nèi)蒙古高原的南緣和山西高原的北部,東鄰潮白、北運(yùn)河系,西臨黃河流域,南為大清河系,北為內(nèi)陸河。流域地跨內(nèi)蒙古、山西、河北、北京、天津等 5 個(gè)省(自治區(qū)、直轄市),面積約為 4.70 萬(wàn) km2。2017 年 2 月,國(guó)家發(fā)展和改革委員會(huì)、水利部、原國(guó)家林業(yè)局印發(fā)《永定河綜合治理與生態(tài)修復(fù)總體方案》,提出利用 5—10 a 時(shí)間將永定河恢復(fù)成為“流動(dòng)的河、綠色的河、清潔的河、安全的河”,并規(guī)劃了大數(shù)據(jù)中心建設(shè)。同年,智慧永定河被作為智慧水利試點(diǎn)之一,是北方智慧流域典型設(shè)計(jì)試點(diǎn)。永定河綜合治理和生態(tài)修復(fù),是中國(guó)首例跨行政區(qū)域?qū)嵭腥饔騾f(xié)同治理的項(xiàng)目,將有效突破以往以行政區(qū)域劃界限的治理模式,是京津冀晉地區(qū)協(xié)同發(fā)展、創(chuàng)新和完善永定河流域協(xié)同治理機(jī)制的一項(xiàng)重大舉措。
智慧流域是流域管理信息化的更高層次,智慧永定河的“大腦”與“中樞”——大數(shù)據(jù)中心需要結(jié)合流域管理實(shí)際,根據(jù)永定河流域內(nèi)各類(lèi)單位對(duì)流域治理的不同側(cè)重點(diǎn)與領(lǐng)域、數(shù)據(jù)資源的提供與需求、資源集約化需求,采用云計(jì)算和大數(shù)據(jù)等技術(shù)建設(shè)覆蓋流域管理機(jī)構(gòu)、地方水利主管部門(mén)、相關(guān)企業(yè)的新型云數(shù)據(jù)中心,實(shí)現(xiàn)跨地域、部門(mén)、層級(jí)、行業(yè)的數(shù)據(jù)共享和交換,并承載各類(lèi)智慧應(yīng)用,全面支撐永定河流域綜合治理與生態(tài)修復(fù)工程,推進(jìn)新一代信息技術(shù)在流域管理服務(wù)核心領(lǐng)域的應(yīng)用和融合[1]。為此,對(duì)永定河云數(shù)據(jù)中心建設(shè)思路進(jìn)行探討,以提高流域綜合治理的信息化水平和協(xié)同能力。
根據(jù) IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)的報(bào)告顯示,全球大數(shù)據(jù)市場(chǎng)規(guī)模年增長(zhǎng)率達(dá)到 40.0%。其中,大數(shù)據(jù)技術(shù)及服務(wù)市場(chǎng)復(fù)合年增長(zhǎng)率(CAGR)將達(dá)到 31.7%,其增速約為信息通信技術(shù)(ICT)市場(chǎng)整體增速的 7 倍多,因此需要進(jìn)行大數(shù)據(jù)中心建設(shè),以滿(mǎn)足日益增大的數(shù)據(jù)查詢(xún)、統(tǒng)計(jì)、分析、挖掘和備份等數(shù)據(jù)存儲(chǔ),管理和處理需求。
隨著采集匯聚的業(yè)務(wù)、政務(wù)、互聯(lián)網(wǎng)等數(shù)據(jù)的不斷拓展,大數(shù)據(jù)中心未來(lái)可能面臨“數(shù)據(jù)豐富、信息貧乏”的尷尬局面,原因主要有以下 3 點(diǎn):1)缺乏有效的數(shù)據(jù)分析技術(shù);2)由于缺乏業(yè)務(wù)協(xié)同,數(shù)據(jù)交換頻率低,時(shí)效性差;3)數(shù)據(jù)質(zhì)量不高,例如出現(xiàn)濫用縮寫(xiě)詞、慣用語(yǔ),數(shù)據(jù)輸入錯(cuò)誤,重復(fù)記錄,丟失值,拼寫(xiě)變化,不同的計(jì)量單位和過(guò)時(shí)的編碼等各種問(wèn)題。隨著永定河流域涉水單位今后業(yè)務(wù)的開(kāi)展,數(shù)據(jù)將不斷發(fā)生變化,因此要保證數(shù)據(jù)的質(zhì)量,必須建立數(shù)據(jù)動(dòng)態(tài)更新機(jī)制、手段,配備專(zhuān)職人員保證數(shù)據(jù)的及時(shí)更新,將云技術(shù)和大數(shù)據(jù)中心技術(shù)相結(jié)合的云數(shù)據(jù)中心應(yīng)運(yùn)而生。
云數(shù)據(jù)中心,是采用虛擬化、自動(dòng)化、并行計(jì)算、安全策略及能源管理等新技術(shù),解決目前數(shù)據(jù)中心存在的成本增加過(guò)快和能源消耗過(guò)度等問(wèn)題,并通過(guò)標(biāo)準(zhǔn)化、模塊化、動(dòng)態(tài)彈性部署和自助服務(wù)的架構(gòu)方式,實(shí)現(xiàn)對(duì)業(yè)務(wù)服務(wù)的敏捷響應(yīng)和按需獲取的新型數(shù)據(jù)中心。云數(shù)據(jù)中心本質(zhì)上由云計(jì)算平臺(tái)和服務(wù)構(gòu)成,云計(jì)算服務(wù)包括通過(guò)各種通信手段提供給用戶(hù)的應(yīng)用、軟件、工具及計(jì)算資源服務(wù)等,云計(jì)算平臺(tái)包括用來(lái)支撐這些服務(wù)的安全可靠和高效運(yùn)營(yíng)的軟硬件平臺(tái)。通過(guò)云計(jì)算平臺(tái)將 1 個(gè)或多個(gè)數(shù)據(jù)中心的軟硬件整合起來(lái),形成一種分層的虛擬計(jì)算資源池,并提供可動(dòng)態(tài)調(diào)配和平滑擴(kuò)展的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)通信能力,用以支撐云計(jì)算服務(wù)的實(shí)現(xiàn)。與傳統(tǒng)數(shù)據(jù)中心相比,云數(shù)據(jù)中心提供的不僅是計(jì)算、存儲(chǔ)、管理和監(jiān)控服務(wù),更重要的是提供數(shù)據(jù)、基礎(chǔ)組件、算法、模型、通用支撐和部分核心業(yè)務(wù)。云數(shù)據(jù)中心目前除廣泛應(yīng)用于大型云服務(wù)提供商外,在政府、行業(yè)應(yīng)用中也逐步開(kāi)展,如雄安新區(qū)規(guī)劃以云數(shù)據(jù)中心模式建設(shè)城市大腦。
智慧永定河是典型的行業(yè)信息化頂層設(shè)計(jì),具有非常強(qiáng)的專(zhuān)業(yè)性,且海河水利委員會(huì)(以下簡(jiǎn)稱(chēng)海委)與兩省兩市及永定河投資公司需要協(xié)同共享的核心是數(shù)據(jù)、模型、業(yè)務(wù)等能力,這些能力分散在各個(gè)單位,很難實(shí)現(xiàn)簡(jiǎn)單集中。同時(shí),各自建設(shè)管理的信息系統(tǒng)相互獨(dú)立存在和運(yùn)行,形成“信息孤島”,業(yè)務(wù)數(shù)據(jù)繁雜,涉密情況復(fù)雜,數(shù)據(jù)資源共享交換、采集匯聚存在多部門(mén)協(xié)同需求;傳統(tǒng)大數(shù)據(jù)中心,通過(guò)數(shù)據(jù)交換和報(bào)送、頁(yè)面采集等手段將數(shù)據(jù)采集匯總,并進(jìn)行清洗、比對(duì)等數(shù)據(jù)提質(zhì)操作,最終將所需的數(shù)據(jù)存儲(chǔ)于大數(shù)據(jù)平臺(tái)中的方式已不能滿(mǎn)足性能和功能需求。因此,云數(shù)據(jù)中心利用云計(jì)算技術(shù),可以調(diào)用各個(gè)節(jié)點(diǎn)的資源、數(shù)據(jù)和能力,是最適合智慧永定河的技術(shù)路線(xiàn)。
充分利用云計(jì)算、大數(shù)據(jù)等技術(shù),構(gòu)建永定河基礎(chǔ)設(shè)施云、數(shù)據(jù)資源池和業(yè)務(wù)支撐能力,實(shí)現(xiàn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源的彈性分配,統(tǒng)一運(yùn)維,實(shí)現(xiàn)永定河流域水利行業(yè)、其他行業(yè)和互聯(lián)網(wǎng)數(shù)據(jù)的歸集,治理,共享和開(kāi)放[2],實(shí)現(xiàn)跨部門(mén)信息共享、業(yè)務(wù)協(xié)同和決策支撐,實(shí)現(xiàn)各類(lèi)應(yīng)用的資源化、服務(wù)化,從根本上解決信息孤島問(wèn)題,促進(jìn)信息資源的融合和數(shù)據(jù)的一體化,為永定河流域涉水管理政府機(jī)構(gòu)、相關(guān)企業(yè)、社會(huì)公眾提供所需要的,基礎(chǔ)、數(shù)據(jù)和應(yīng)用等服務(wù)能力,賦能永定河流域智慧化發(fā)展這一必然趨勢(shì)[3]。
在深入分析智慧永定河“透徹感知、全面互聯(lián)、深度融合、廣泛共享、智能應(yīng)用、泛在服務(wù)”[4]總體需求的基礎(chǔ)上,按照水利信息資源整合“五統(tǒng)一”的總體要求[5],提出云數(shù)據(jù)中心總體框架,總體框架如圖1 所示。永定河云數(shù)據(jù)中心由 3 個(gè)層次構(gòu)成,包括基礎(chǔ)設(shè)施云、數(shù)據(jù)資源池、業(yè)務(wù)支撐能力 3 個(gè)部分,其中基礎(chǔ)設(shè)施云整合各類(lèi)基礎(chǔ)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、機(jī)房環(huán)境等資源,通過(guò)云管理平臺(tái)提供云 IaaS(基礎(chǔ)設(shè)施即服務(wù))能力,為用戶(hù)提供彈性、可定義、按需分配、特性豐富的云化資源;數(shù)據(jù)資源池主要包括存儲(chǔ)空間、基礎(chǔ)、監(jiān)測(cè)、業(yè)務(wù)、多媒體、元數(shù)據(jù)及互聯(lián)網(wǎng)數(shù)據(jù)等各類(lèi)數(shù)據(jù)資源,并提供數(shù)據(jù)資源交換共享服務(wù),提供云 DaaS(數(shù)據(jù)即服務(wù))能力;業(yè)務(wù)支撐能力由信息資源交換服務(wù)、應(yīng)用支撐和智慧使能等平臺(tái)組成,提供云 PaaS(平臺(tái)即服務(wù))和部分云 SaaS(軟件即服務(wù))能力。
基礎(chǔ)設(shè)施云主要包括計(jì)算、存儲(chǔ)、安全、機(jī)房、會(huì)商環(huán)境及云管理運(yùn)維平臺(tái)。安全部分應(yīng)符合國(guó)家關(guān)于網(wǎng)絡(luò)安全的相關(guān)要求,機(jī)房及會(huì)商環(huán)境因各節(jié)點(diǎn)現(xiàn)實(shí)情況及差異性相對(duì)獨(dú)立,暫不介紹。
1)計(jì)算資源池。主要通過(guò)對(duì)底層數(shù)據(jù)的處理,將物理服務(wù)器進(jìn)行虛擬化構(gòu)建虛擬化資源池,解除應(yīng)用和操作系統(tǒng)與硬件的緊耦合關(guān)系,使物理設(shè)備的差異性、兼容性與上層應(yīng)用透明,不同虛擬機(jī)之間相互隔離,互不影響。
圖1 永定河云數(shù)據(jù)中心總體架構(gòu)
2)存儲(chǔ)資源池。采用集中式存儲(chǔ)和分布式存儲(chǔ)相結(jié)合的方式,分為塊和文件等存儲(chǔ)資源池。其中塊存儲(chǔ)資源池采用集中存儲(chǔ)方式,主要存儲(chǔ)業(yè)務(wù)數(shù)據(jù);文件存儲(chǔ)資源池采用分布式存儲(chǔ)方式,主要存儲(chǔ)視頻和圖片等數(shù)據(jù)。
3)備份資源池。將采用云備份解決方案,用戶(hù)可以通過(guò)管理平臺(tái)申請(qǐng)對(duì)本節(jié)點(diǎn)的部分或全部虛擬機(jī)或者虛擬機(jī)的磁盤(pán)做備份,可以自行設(shè)置備份策略,包括備份周期、執(zhí)行時(shí)間點(diǎn)、備份時(shí)保留的副本數(shù)目、全備或增備策略。
4)云管理運(yùn)維平臺(tái)。是整個(gè)大數(shù)據(jù)中心后臺(tái)的管理、調(diào)度、運(yùn)維中心,實(shí)現(xiàn)對(duì)主、運(yùn)營(yíng)、備份 3 個(gè)中心及 4 個(gè)分節(jié)點(diǎn)的管理運(yùn)維,包括資源編排、統(tǒng)一運(yùn)營(yíng)、綜合分析等。
整合永定河流域水利行業(yè)數(shù)據(jù),融合相關(guān)行業(yè)和社會(huì)數(shù)據(jù),在永定河基礎(chǔ)設(shè)施云各級(jí)節(jié)點(diǎn)構(gòu)建數(shù)據(jù)資源池,通過(guò)多元化采集、主體化匯聚構(gòu)建全域化原始數(shù)據(jù),基于“一數(shù)一源、一源多用”原則,匯聚全域數(shù)據(jù),開(kāi)展數(shù)據(jù)治理,形成標(biāo)準(zhǔn)一致的數(shù)據(jù)資源池。
根據(jù)永定河流域各級(jí)水利業(yè)務(wù)應(yīng)用和綜合決策需要,按照數(shù)據(jù)資源目錄,分類(lèi)分級(jí)匯聚至省級(jí)分節(jié)點(diǎn)和海委核心節(jié)點(diǎn)形成數(shù)據(jù)庫(kù),包括以下數(shù)據(jù)庫(kù):
1)基礎(chǔ)類(lèi)數(shù)據(jù)庫(kù)。包括基礎(chǔ)地理信息、社會(huì)經(jīng)濟(jì)信息與水利基礎(chǔ)等數(shù)據(jù)庫(kù)。
2)實(shí)時(shí)類(lèi)數(shù)據(jù)庫(kù)。包括雨水情、地下水、旱情、災(zāi)情、氣象、水質(zhì)、工程、水利建設(shè)信息等實(shí)時(shí)數(shù)據(jù)庫(kù),以及實(shí)時(shí)遙感動(dòng)態(tài)與突發(fā)事件數(shù)據(jù)庫(kù)。
3)歷史數(shù)據(jù)庫(kù)。歷史數(shù)據(jù)庫(kù)主要與實(shí)時(shí)數(shù)據(jù)庫(kù)相對(duì)應(yīng),實(shí)時(shí)數(shù)據(jù)庫(kù)中的數(shù)據(jù)是實(shí)時(shí)采集監(jiān)測(cè)得到的,而歷史數(shù)據(jù)庫(kù)中的內(nèi)容是根據(jù)實(shí)時(shí)數(shù)據(jù)庫(kù)中的內(nèi)容整理得到的。根據(jù)國(guó)家和行業(yè)的整編規(guī)范,例如《水文資料的整理規(guī)范》等,定期(如 1 a)對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)中的內(nèi)容進(jìn)行整理形成歷史數(shù)據(jù)庫(kù)。
4)綜合分析數(shù)據(jù)庫(kù)。包括經(jīng)過(guò)各業(yè)務(wù)應(yīng)用和決策支持等系統(tǒng)綜合分析與處理后的統(tǒng)計(jì)分析報(bào)表、報(bào)告、預(yù)測(cè)信息、各種方案。
5)元數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)中海量數(shù)據(jù)的載入、存儲(chǔ)、提取、使用等的管理,而數(shù)據(jù)倉(cāng)庫(kù)中的一個(gè)重要建設(shè)內(nèi)容就是元數(shù)據(jù)庫(kù)的建設(shè)。
業(yè)務(wù)支撐能力完整地為上層各類(lèi)智能業(yè)務(wù)應(yīng)用提供數(shù)據(jù)、共性和專(zhuān)業(yè)支撐、模型算法等 Paas 服務(wù)能力,具體包括信息資源交換服務(wù)、應(yīng)用支撐和智慧使能 3 個(gè)平臺(tái)。3 個(gè)平臺(tái)具體分析如下:
1)信息交換服務(wù)平臺(tái)。主要通過(guò)建立數(shù)據(jù)資源目錄服務(wù)功能,以信息服務(wù)、共享接口和數(shù)據(jù)傳輸?shù)榷喾N形式實(shí)現(xiàn)部門(mén)業(yè)務(wù)驅(qū)動(dòng),基礎(chǔ)先行,按需整合的共享交換策略,并支撐基于統(tǒng)一信息資源的各類(lèi)綜合業(yè)務(wù)、創(chuàng)新示范等應(yīng)用的發(fā)布和管理,提供信息資源目錄的統(tǒng)一展示。
2)應(yīng)用支撐平臺(tái)。按照大中臺(tái)、小前臺(tái)、微服務(wù)的架構(gòu),將共性應(yīng)用資產(chǎn)下沉,重點(diǎn)聚焦于水利業(yè)務(wù)共性剝離和微服務(wù)構(gòu)建應(yīng)用支撐平臺(tái),通過(guò)為上層水利業(yè)務(wù)應(yīng)用統(tǒng)一提供公共基礎(chǔ)服務(wù)支撐,避免不同水利業(yè)務(wù)應(yīng)用之間的重復(fù)建設(shè),支持前臺(tái)快速開(kāi)展業(yè)務(wù)創(chuàng)新。主要任務(wù)包括基礎(chǔ)組件整合、永定河網(wǎng)格化管理平臺(tái)構(gòu)建和“永定河一張圖”建設(shè) 3 個(gè)部分。
3)智慧使能平臺(tái),對(duì)涉及永定河的各類(lèi)水利機(jī)理模型、機(jī)器學(xué)習(xí)算法、數(shù)據(jù)模型及相應(yīng)的樣本進(jìn)行統(tǒng)一管理,驗(yàn)證模型精度并不斷迭代,為各級(jí)單位提供模型算法服務(wù)。
根據(jù)目前永定河流域管理的現(xiàn)狀,以 1 個(gè)主中心、1 個(gè)備份中心、1 個(gè)運(yùn)營(yíng)中心、4 個(gè)分支節(jié)點(diǎn)“三中心、四節(jié)點(diǎn)”的模式進(jìn)行部署。
1)主中心。在海委機(jī)關(guān)建設(shè)永定河基礎(chǔ)設(shè)施云的主中心,主中心是基礎(chǔ)設(shè)施云的核心,負(fù)責(zé)流域內(nèi)重要系統(tǒng)及數(shù)據(jù)的部署及存儲(chǔ),負(fù)責(zé)各單位之間的數(shù)據(jù)交換服務(wù),承擔(dān)基礎(chǔ)設(shè)施云的統(tǒng)一管理及運(yùn)維。
2)備份中心。在天津選址建設(shè)永定河基礎(chǔ)設(shè)施云備份中心,定期將基礎(chǔ)設(shè)施云上的重要數(shù)據(jù)進(jìn)行備份,為保證鏈路質(zhì)量,備份中心與主中心距離不宜太遠(yuǎn),備份中心的選址將采取與主中心同城異址的方式進(jìn)行選擇。
3)運(yùn)營(yíng)中心。在永定河投資公司建設(shè)永定河基礎(chǔ)設(shè)施云運(yùn)營(yíng)中心,通過(guò)日常運(yùn)營(yíng)管理收集永定河流域重要基礎(chǔ)信息,供海委和其它分支節(jié)點(diǎn)分享,同時(shí)實(shí)現(xiàn)永定河投資公司與主中心和其它分支節(jié)點(diǎn)的整合共享。
4)分支節(jié)點(diǎn)。在流域內(nèi)兩省兩市分別建設(shè)永定河基礎(chǔ)設(shè)施云分支節(jié)點(diǎn),負(fù)責(zé)永定河流域在本省市范圍內(nèi)的數(shù)據(jù)收集匯總管理工作,負(fù)責(zé)與主中心之間的數(shù)據(jù)交換。
數(shù)據(jù)中心是智慧化應(yīng)用的物質(zhì)基礎(chǔ),云數(shù)據(jù)中心則是提供計(jì)算、存儲(chǔ)、數(shù)據(jù)、算法、模型、業(yè)務(wù)等能力的數(shù)據(jù)中心升級(jí)版。云數(shù)據(jù)中心模式以往多采用于 IT 企業(yè)、云服務(wù)商等,針對(duì)智慧永定河既有流域管理,也有區(qū)域管理,并有強(qiáng)烈的數(shù)據(jù)、業(yè)務(wù)互通需求,云數(shù)據(jù)模式提供了較好的支撐手段,具有一定的普遍性。本研究偏重于建設(shè)思路與模式選擇,在后期進(jìn)行具體設(shè)計(jì)時(shí),還要根據(jù)各地政務(wù)云模式、數(shù)據(jù)需求、地方標(biāo)準(zhǔn)等多種情況進(jìn)行詳細(xì)研究??傊?,通過(guò)建設(shè)資源動(dòng)態(tài)分配的永定河基礎(chǔ)設(shè)施云,匯集共享海量數(shù)據(jù)的數(shù)據(jù)資源池,支撐各類(lèi)智慧應(yīng)用的業(yè)務(wù)支撐能力,云數(shù)據(jù)中心可以成為智慧永定河的“大腦”,為實(shí)現(xiàn)全景監(jiān)控仿真、精準(zhǔn)預(yù)測(cè)預(yù)警、聯(lián)合調(diào)度會(huì)商、多維決策指揮、綜合分析評(píng)估等智慧應(yīng)用,構(gòu)建涵蓋水資源、水安全、水環(huán)境、水生態(tài)、水管理等領(lǐng)域的全業(yè)務(wù)體系[6],推動(dòng)永定河綜合管理模式的創(chuàng)新,實(shí)現(xiàn)“流動(dòng)的河、綠色的河、清潔的河、安全的河”,提升永定河綠色生態(tài)河流廊道協(xié)同管理能力提供強(qiáng)有力支撐。