吳 丹，夏潤亮，李 濤，劉啟興

（1.黃河水利委員會 黃河水利科學(xué)研究院，河南 鄭州 450003；2.河南省智慧水利工程技術(shù)研究中心，河南 鄭州 450003）

1 研究背景

近幾十年來，受氣候變化和人類活動的影響［1］，黃河流域特別是中游水資源情勢發(fā)生重大變化，入黃水沙量減?。?］。 隨著水土保持、改變土地利用類型等治理措施的實施，黃河中游產(chǎn)匯流機制發(fā)生了改變［3］。 徑流預(yù)報是黃河水量調(diào)度的重要依據(jù)，隨著流域水資源管理的不斷深入，現(xiàn)階段對徑流預(yù)報的要求更高，如預(yù)報項目增加、預(yù)見期延長、預(yù)報精度提高等［4］。 歷史降雨、土地利用等數(shù)據(jù)是研究流域水沙變化及預(yù)測預(yù)報的基礎(chǔ)，但傳統(tǒng)的數(shù)據(jù)處理方法難以滿足海量、多源、異構(gòu)的河流系統(tǒng)數(shù)據(jù)的存儲應(yīng)用和河流的高效管理要求［5］，因此構(gòu)建一個具備研究性、功能性、便捷性的綜合服務(wù)數(shù)據(jù)倉庫，將其作為基礎(chǔ)數(shù)據(jù)的高效載體日趨迫切。 本文利用多源、異構(gòu)數(shù)據(jù)匯集及ETL 處理等技術(shù)將黃河流域降雨、水文泥沙、土地利用等數(shù)據(jù)整理入庫，通過設(shè)計構(gòu)建黃河水沙變化數(shù)據(jù)倉庫及公共服務(wù)平臺，為流域未來水沙變化預(yù)測提供規(guī)范統(tǒng)一的數(shù)據(jù)源，并對多源、異構(gòu)數(shù)據(jù)進(jìn)行分析建模，以期為探索流域侵蝕性降雨及水沙時空變化特征提供數(shù)據(jù)支撐。

2 研究區(qū)概況

選取黃河流域主要產(chǎn)沙區(qū)為研究區(qū)，包括黃河中游的河口鎮(zhèn)至龍門區(qū)間（簡稱河龍區(qū)間）、渭河北道水文站以上（簡稱渭河上游）、涇河景村水文站以上（簡稱涇河上中游）、北洛河劉家河水文站以上（簡稱北洛河上游）、汾河蘭村水文站以上（簡稱汾河上游），以及黃河上游的祖厲河流域、清水河同心縣以上（簡稱清水河上中游）、十大孔兌流域、湟水民和縣以上、洮河紅旗村以上，研究區(qū)分布示意見圖1。 研究區(qū)面積約占潼關(guān)以上總土地面積的35%，研究區(qū)天然時期入黃泥沙量約占潼關(guān)以上支流入黃總泥沙量的95%。 研究區(qū)內(nèi)黃土丘陵溝壑區(qū)主要分布在涇河中游、河龍區(qū)間南部、北洛河中游、祖厲河和清水河，是分析產(chǎn)沙降雨閾值的重點區(qū)域，主要表現(xiàn)為土壤多孔疏松、地勢起伏大、溝壑縱橫、支離破碎［6］，在水力、風(fēng)力和重力侵蝕下水土流失現(xiàn)象非常明顯。 此外，研究區(qū)內(nèi)還有風(fēng)沙區(qū)（主要分布在無定河上游、窟野河上游和禿尾河上游）和土石山區(qū)（主要分布在河龍區(qū)間東部呂梁山、渭河上游秦嶺和涇河上游六盤山）。

圖1 研究區(qū)分布示意

3 黃河水沙變化數(shù)據(jù)倉庫設(shè)計

流域內(nèi)各種屬性相互影響共同刻畫了流域水文行為［7］，所有屬性綜合起來形成了對流域水文模型建立、模型測試、氣候變化影響等相關(guān)研究至關(guān)重要的基礎(chǔ)數(shù)據(jù)集。 黃河水沙變化數(shù)據(jù)倉庫將各類型水沙數(shù)據(jù)與流域?qū)嶓w逐步融合，實現(xiàn)對數(shù)據(jù)的獲取、傳輸、存儲、更新以及分析等。

研究區(qū)數(shù)據(jù)涵蓋降雨、植被、土壤、土地利用和社會經(jīng)濟等數(shù)據(jù)，這些數(shù)據(jù)形式多樣，包括音頻視頻、圖形圖像、三維模型等，其存在分散、多源、異構(gòu)、語義不一等問題，無法為決策支持提供有效的數(shù)據(jù)源信息服務(wù)。 基于此，采用數(shù)據(jù)倉庫、面向?qū)ο笏枷?、商業(yè)智能、數(shù)據(jù)挖掘等關(guān)鍵技術(shù)將流域相關(guān)數(shù)據(jù)有機集成起來，構(gòu)建多源數(shù)據(jù)融合的數(shù)據(jù)倉庫，對海量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載、主題域分析以及主題設(shè)計，借助數(shù)據(jù)倉庫的傳輸功能對流域?qū)嶓w狀態(tài)及其變化信息進(jìn)行匯集存儲。 同時利用GIS、水文分析、大數(shù)據(jù)分析、人工智能等技術(shù)構(gòu)建數(shù)據(jù)挖掘分析與可視化工具，實現(xiàn)對海量數(shù)據(jù)中隱性數(shù)據(jù)、模糊數(shù)據(jù)的挖掘與分析，構(gòu)建各類數(shù)據(jù)服務(wù)體系，從而提供綜合的智能信息服務(wù)。

3.1 總體框架設(shè)計

黃河水沙變化數(shù)據(jù)倉庫由數(shù)據(jù)采集層、數(shù)據(jù)存儲與分析層、數(shù)據(jù)共享層和數(shù)據(jù)應(yīng)用層組成，見圖2。

圖2 黃河水沙變化數(shù)據(jù)倉庫總體框架

（1）數(shù)據(jù)采集層。 從各種數(shù)據(jù)源中采集和存儲相關(guān)數(shù)據(jù)到數(shù)據(jù)庫中，通過ETL 實現(xiàn)對數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等。 數(shù)據(jù)源包括日志、業(yè)務(wù)數(shù)據(jù)庫、Http 資源等，其中：日志存儲在備份服務(wù)器上且所占份額最大；業(yè)務(wù)數(shù)據(jù)庫包括Mysql、Oracle、SQL Server 等傳統(tǒng)數(shù)據(jù)庫；Http／Ftp 數(shù)據(jù)是網(wǎng)絡(luò)上抓取的各類接口數(shù)據(jù)；其他數(shù)據(jù)源包括Excel 等需要手工錄入的數(shù)據(jù)。

（2）數(shù)據(jù)存儲與分析層。 數(shù)據(jù)存儲采用分布式文件系統(tǒng)HDFS，開展離線數(shù)據(jù)分析與實時計算，采用Hive 對實時性要求不高的數(shù)據(jù)進(jìn)行ETL 操作，Spark作為快速通用計算引擎，對大規(guī)模數(shù)據(jù)進(jìn)行處理，同時使用Spark SQL 對Hive 進(jìn)行操作。

（3）數(shù)據(jù)共享層。 由于Hive、MR、Spark、Spark SQL 分析計算結(jié)果依然保存在HDFS 上，大多數(shù)業(yè)務(wù)和應(yīng)用不能直接從HDFS 上獲取數(shù)據(jù)，因此在數(shù)據(jù)共享層中通過Redis、HBase 等數(shù)據(jù)庫提供對外數(shù)據(jù)共享的數(shù)據(jù)接口。

（4）數(shù)據(jù)應(yīng)用層。 用戶通過數(shù)據(jù)應(yīng)用層中的報表展示、數(shù)據(jù)挖掘、數(shù)據(jù)分析、即席查詢、數(shù)據(jù)可視化獲取數(shù)據(jù)倉庫中的數(shù)據(jù)文件，該層能夠為用戶提供數(shù)據(jù)挖掘服務(wù)以及平臺服務(wù)。

3.2 數(shù)據(jù)分析模型設(shè)計

數(shù)據(jù)倉庫作為基礎(chǔ)數(shù)據(jù)的高效載體，是面向主題的、集成的、非易失性的、隨時間變化的、支持決策的數(shù)據(jù)集合，在數(shù)據(jù)倉庫中建立數(shù)據(jù)分析模型，可為智能分析、數(shù)據(jù)挖掘等提供海量數(shù)據(jù)存儲的容器以及優(yōu)化數(shù)據(jù)集成的關(guān)鍵技術(shù)［8］。

在數(shù)據(jù)分析模型建立階段，依照數(shù)據(jù)結(jié)構(gòu)化程度的差異將其分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 其中：結(jié)構(gòu)化數(shù)據(jù)包括結(jié)構(gòu)化報表等；半結(jié)構(gòu)化數(shù)據(jù)包括日志文件等；非結(jié)構(gòu)化數(shù)據(jù)包括Web 頁面、文本數(shù)據(jù)等。 結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫構(gòu)建方案見圖3。

圖3 結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫構(gòu)建方案

針對決策信息的快速獲取與綜合集成，通過構(gòu)建面向主題的多維數(shù)據(jù)分析模型來實現(xiàn)。 該模型在統(tǒng)一水利視圖模型的基礎(chǔ)上，采用商務(wù)智能技術(shù)并根據(jù)應(yīng)用需求確定時間維度、空間維度等，使基礎(chǔ)、空間、業(yè)務(wù)等數(shù)據(jù)間的多維度復(fù)雜關(guān)系整合成直觀有序的有機整體。 在流域業(yè)務(wù)決策主題和主題域分析的基礎(chǔ)上，開展與決策主體相對應(yīng)的決策信息模型或概念模型的研究與設(shè)計，采用多維分析架構(gòu)（見圖4），逐步推導(dǎo)出主題的數(shù)據(jù)層次、數(shù)據(jù)關(guān)聯(lián)關(guān)系、事實表等。

圖4 多維分析架構(gòu)

3.3 邏輯模型設(shè)計

黃河水沙變化數(shù)據(jù)倉庫邏輯設(shè)計階段主要把概念多維模型轉(zhuǎn)換為邏輯模型，并對數(shù)據(jù)倉庫ETL 過程中涉及的映射和轉(zhuǎn)換過程進(jìn)行定義設(shè)計。 邏輯模型主要對水量、沙量主題域進(jìn)行數(shù)據(jù)分析，確定每個主題的數(shù)據(jù)倉庫多維概念模型框架，在局部概念模型的基礎(chǔ)上，通過分析水沙調(diào)度方案和數(shù)據(jù)信息的關(guān)聯(lián)關(guān)系，確定水沙調(diào)度方案的數(shù)據(jù)倉庫局部邏輯模型。 通過星型模型進(jìn)行邏輯模型設(shè)計，即在星型模型中設(shè)計邏輯模型維表、多維事實表。

以降雨量為例，建立其星型模型邏輯結(jié)構(gòu)（見圖5），降雨量信息包括：①降雨量要素＝｛降雨量要素值，降雨量要素值值域，降雨量要素維度描述｝；②度量維＝｛匯總，累計，極值，均值｝；③時間維＝｛年，月，旬，日，時，分｝；④空間維＝｛緯度，經(jīng)度，流域，子流域，高程，區(qū)域｝；⑤水文測站維＝｛站名，測流方法，站址，基準(zhǔn)基面，高程｝；⑥行政區(qū)劃維＝｛省，市，縣｝；⑦流域維＝｛流域，水系，干流，一級支流，二級支流，三級支流，四級支流｝。

圖5 降雨量星型模型邏輯結(jié)構(gòu)

3.4 ETL 設(shè)計

采用ETL 可將多源、異構(gòu)的水沙數(shù)據(jù)有效地抽取、轉(zhuǎn)換、集成到數(shù)據(jù)倉庫中，使系統(tǒng)進(jìn)行數(shù)據(jù)挖掘時能夠從數(shù)據(jù)倉庫訪問到所需信息并快速支持決策［9］，從而解決分散在不同部門、不同類別的數(shù)據(jù)資源的集成增值問題［10］。 ETL 設(shè)計主要包括數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、加載、計算等［11-12］，流程見圖6。 其中：數(shù)據(jù)抽取就是從不同的操作系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)格式、應(yīng)用中抽取數(shù)據(jù)；數(shù)據(jù)清洗就是對數(shù)據(jù)源進(jìn)行精簡處理，除去重復(fù)記錄，使數(shù)據(jù)呈現(xiàn)準(zhǔn)確性、完整性、一致性、適時性、有效性，滿足決策主題分析的需求；數(shù)據(jù)轉(zhuǎn)換就是對數(shù)據(jù)進(jìn)行合并、匯總、過濾、轉(zhuǎn)換等。 從整體角度來看，ETL 為各種基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘分析和應(yīng)用提供統(tǒng)一的數(shù)據(jù)接口。

圖6 ETL 設(shè)計流程

以黃河水沙基礎(chǔ)數(shù)據(jù)中的氣象數(shù)據(jù)為例，其需要大量的空間數(shù)據(jù)進(jìn)行輔助決策。 由于傳統(tǒng)數(shù)據(jù)倉庫技術(shù)在處理空間數(shù)據(jù)時具有較大的局限性，沒有強大的空間分析能力，不能支持圖形等復(fù)雜數(shù)據(jù)的處理，因此在數(shù)據(jù)倉庫的基礎(chǔ)上，引入空間數(shù)據(jù)倉庫管理技術(shù)對空間數(shù)據(jù)進(jìn)行擴展，截取區(qū)域（河段）直至全流域的不同規(guī)模時空尺度的信息，有效地管理、分析空間數(shù)據(jù)并從中挖掘出有用的知識與規(guī)律，從而為決策提供重要依據(jù)。 空間數(shù)據(jù)倉庫及ETL 過程見圖7。

圖7 空間數(shù)據(jù)倉庫及ETL 過程

3.5 公共服務(wù)平臺設(shè)計

為有效利用黃河水沙變化數(shù)據(jù)倉庫所涵蓋的數(shù)據(jù)資源，設(shè)計開發(fā)黃河水沙變化數(shù)據(jù)公共服務(wù)平臺（見圖8），對黃河水沙決策分析成果進(jìn)行展現(xiàn)。 該服務(wù)平臺集合多維度數(shù)據(jù)查詢、實時計算、挖掘分析、可視化展示等功能，開放自定義的二次開發(fā)接口，切實服務(wù)于黃河水沙變化基礎(chǔ)研究工作。 對其中的數(shù)據(jù)資源進(jìn)行分類，根據(jù)各類數(shù)據(jù)特點，以API 封裝和服務(wù)方式開發(fā)數(shù)據(jù)關(guān)系服務(wù)、地圖服務(wù)和影像服務(wù)等。 利用成熟穩(wěn)定的GIS 網(wǎng)絡(luò)平臺以及Web 服務(wù)技術(shù)實現(xiàn)數(shù)據(jù)資源分布式訪問，提供不同權(quán)限的數(shù)據(jù)瀏覽、查詢、可視化、空間分析等功能。 該平臺采用.NET 框架開發(fā)，結(jié)合MS SQL Server 數(shù)據(jù)管理與Citrix Xen 云資源管理平臺，組建成包括用戶體驗端、數(shù)據(jù)供給端、資源服務(wù)端的完備基礎(chǔ)數(shù)據(jù)應(yīng)用系統(tǒng)，形成PC 端與移動端的同步界面適配、多重網(wǎng)絡(luò)環(huán)境下的多資源適配、結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的存儲與管理適配的技術(shù)框架，實現(xiàn)B／S 架構(gòu)體系下黃河水沙變化數(shù)據(jù)分析與應(yīng)用的公共服務(wù)。

圖8 黃河水沙變化數(shù)據(jù)公共服務(wù)平臺

4 結(jié) 語

黃河流域水環(huán)境復(fù)雜，水沙數(shù)據(jù)多樣，構(gòu)建黃河水沙變化數(shù)據(jù)倉庫能夠收集整理各類水沙基礎(chǔ)數(shù)據(jù)，對影響黃河水沙變化的降雨、水文泥沙、土地覆被、林草結(jié)構(gòu)、工程等數(shù)據(jù)進(jìn)行深度挖掘，通過分析黃河水沙研究業(yè)務(wù)需求，實現(xiàn)各類型主題數(shù)據(jù)的高效利用，為預(yù)測黃河流域未來水沙變化提供規(guī)范統(tǒng)一的數(shù)據(jù)源，進(jìn)一步滿足黃河治理開發(fā)的科技需求。