郭天宇

（山西省水文水資源勘測(cè)總站，山西 太原 030001）

0 引言

網(wǎng)絡(luò)信息化發(fā)展速度快，數(shù)據(jù)信息日益增加，通過(guò)大數(shù)據(jù)能夠讓數(shù)據(jù)信息得到高效的分類和采集，在多種算法的支持下預(yù)測(cè)信息發(fā)展的主要趨勢(shì)。目前人們的生活用水以地下水為主，通過(guò)地下水水質(zhì)和水位監(jiān)測(cè)工作可以保障監(jiān)測(cè)的信息化水平并提升監(jiān)測(cè)數(shù)據(jù)的精確度，本文將以地下水監(jiān)測(cè)為主要切入點(diǎn)分析大數(shù)據(jù)技術(shù)的應(yīng)用策略。

1 大數(shù)據(jù)技術(shù)的信息處理

1.1 數(shù)據(jù)采集和預(yù)處理

數(shù)據(jù)采集本身是從傳感器或社交網(wǎng)絡(luò)數(shù)據(jù)庫(kù)當(dāng)中采集不同結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)的過(guò)程，而大數(shù)據(jù)時(shí)代下種類繁多的數(shù)據(jù)在實(shí)際應(yīng)用的過(guò)程當(dāng)中會(huì)表現(xiàn)出不同的類型和格式，隨著企業(yè)內(nèi)容和交易應(yīng)用數(shù)據(jù)等新的數(shù)據(jù)源出現(xiàn)，越來(lái)越需要通過(guò)有效信息保障安全性和真實(shí)性。云計(jì)算作為大數(shù)據(jù)實(shí)現(xiàn)的主要方式，將有效完成數(shù)據(jù)的導(dǎo)入處理和分析、挖掘等過(guò)程。某些企業(yè)部門和平臺(tái)會(huì)涉及自身的傳統(tǒng)數(shù)據(jù)管理系統(tǒng)，并將數(shù)據(jù)存儲(chǔ)到這些數(shù)據(jù)庫(kù)之內(nèi)，例如sqoop或是Kettle等，使用這些工具都可以和主流數(shù)據(jù)庫(kù)進(jìn)行交互，并且將數(shù)據(jù)同步到分布式數(shù)據(jù)庫(kù)存儲(chǔ)。

在數(shù)據(jù)預(yù)處理方面，由于預(yù)處理在整個(gè)流程當(dāng)中占據(jù)了至關(guān)重要的作用，所以為了減少不同數(shù)據(jù)源數(shù)據(jù)引起的冗余或沖突問(wèn)題，我們需要對(duì)干擾數(shù)據(jù)或干擾噪聲進(jìn)行清理，必要時(shí)在保證數(shù)據(jù)準(zhǔn)確性的情況下進(jìn)行大規(guī)模精簡(jiǎn)壓縮。

1.2 數(shù)據(jù)存儲(chǔ)管理

大數(shù)據(jù)的主要特征在于數(shù)據(jù)量最大，且收集來(lái)的數(shù)據(jù)源各不相同，任何的分布式系統(tǒng)都有著很高的可靠性，常用的數(shù)據(jù)庫(kù)也可以避免單點(diǎn)故障造成的數(shù)據(jù)丟失問(wèn)題，完成高性能的數(shù)據(jù)分析任務(wù)。在數(shù)據(jù)分析挖掘?qū)用妫瑢?duì)于有潛在價(jià)值的綜合挖掘技術(shù)包括機(jī)器學(xué)習(xí)和統(tǒng)計(jì)方法等，例如遺傳算法和決策樹[1]。諸如此類的挖掘方法能夠?qū)⒂?jì)算任務(wù)分發(fā)給不同的節(jié)點(diǎn)，然后在計(jì)算出結(jié)果之后將內(nèi)容合并有效解決各類問(wèn)題，提升工作效率。在數(shù)據(jù)可視化之后，人們對(duì)于海量數(shù)據(jù)間的關(guān)系有了全面而深刻的認(rèn)知，并且從復(fù)雜結(jié)構(gòu)的數(shù)據(jù)當(dāng)中，推斷出某一時(shí)間內(nèi)的信息變化趨勢(shì)，幫助決策者做出最正確的指示決策，大大降低盲目主觀引起的決策風(fēng)險(xiǎn)。

2 地下水監(jiān)測(cè)中大數(shù)據(jù)技術(shù)的應(yīng)用對(duì)策

近年來(lái)我國(guó)經(jīng)濟(jì)發(fā)展增速加快，水資源的開發(fā)利用程度逐漸加大，引起的生態(tài)環(huán)境問(wèn)題得到了社會(huì)層面的廣泛關(guān)注，淺層地下水的污染和利用問(wèn)題形勢(shì)嚴(yán)峻。這需要相關(guān)人員重視地下水監(jiān)測(cè)工作，從而為經(jīng)濟(jì)社會(huì)發(fā)展打好穩(wěn)定基礎(chǔ)。整個(gè)監(jiān)測(cè)環(huán)節(jié)當(dāng)中水位會(huì)擺在非常重要的位置，同時(shí)關(guān)注水文系統(tǒng)的檢測(cè)結(jié)果，通過(guò)人工采樣分析或自動(dòng)監(jiān)測(cè)等方法完成數(shù)據(jù)的處理和傳輸。在這一過(guò)程當(dāng)中，大數(shù)據(jù)能夠幫助各個(gè)基站檢測(cè)出異常信息展開統(tǒng)計(jì)分析，借助完善的預(yù)警系統(tǒng)發(fā)布預(yù)警信息，一旦在地下水監(jiān)測(cè)環(huán)節(jié)有報(bào)警情況就能對(duì)這些內(nèi)容數(shù)據(jù)報(bào)表進(jìn)行下載分析，從而利用動(dòng)態(tài)化監(jiān)測(cè)提升監(jiān)測(cè)信息利用率。而地下水監(jiān)測(cè)當(dāng)中，大數(shù)據(jù)的應(yīng)用對(duì)策主要體現(xiàn)在以下幾個(gè)方面。

2.1 地下水地理位置信息監(jiān)測(cè)

在大數(shù)據(jù)技術(shù)的應(yīng)用過(guò)程當(dāng)中，本身會(huì)借助地理空間數(shù)據(jù)庫(kù)和計(jì)算機(jī)軟硬件完成位置信息的采集分析和顯示，以實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)。此外，地理信息和戶外觀測(cè)數(shù)據(jù)將朝著數(shù)字化和同樣化的形式而轉(zhuǎn)化，從傳感器區(qū)域獲取的數(shù)據(jù)能夠呈現(xiàn)出多樣化的特征，發(fā)揮大數(shù)據(jù)的DQ數(shù)據(jù)處理功能。例如數(shù)據(jù)獲取或空間查詢等組成部分都可以成為數(shù)據(jù)應(yīng)用的關(guān)鍵點(diǎn)，為地下水研究和工程建設(shè)輔助決策工作獲取所需要的數(shù)據(jù)，掌握地下水和周圍環(huán)境之間的關(guān)系，確保地理位置信息監(jiān)測(cè)工作順利進(jìn)行。

以地下水監(jiān)測(cè)為例，為了充分體現(xiàn)技術(shù)作用，可以通過(guò)遠(yuǎn)程查詢的方式將監(jiān)測(cè)獲得的參數(shù)以畫面的方式呈現(xiàn)在技術(shù)人員面前，完成圖表的水位分析與報(bào)表生成，在分類后進(jìn)行信息處理和儲(chǔ)存，以多種方式進(jìn)行檢索。如果水位降低異常嚴(yán)重，那么用戶端的計(jì)算機(jī)屏幕會(huì)顯示出這些信息，并有蜂鳴聲報(bào)警行為，技術(shù)人員根據(jù)水位變化數(shù)據(jù)的時(shí)間范圍和起始值等可進(jìn)行查詢，確保地下水水位不出現(xiàn)嚴(yán)重問(wèn)題。

而在地下水污染監(jiān)測(cè)方面，如果某個(gè)區(qū)域的地下水污染嚴(yán)重，將逐步影響周圍區(qū)域的地下水水質(zhì)。大數(shù)據(jù)當(dāng)中的云計(jì)算功能能夠?qū)⑦@些復(fù)雜信息進(jìn)行統(tǒng)一的整理和分析，記錄地下水的成分或污染物狀態(tài)含量等，確定某些區(qū)域的成分缺失和含量超標(biāo)情況預(yù)警中心發(fā)出警報(bào)作出提醒，遏制污染范圍的進(jìn)一步擴(kuò)大數(shù)據(jù)中心，在第一時(shí)間獲取反饋內(nèi)容之后，將提示重新發(fā)送給用戶，幫助用戶盡快采取技術(shù)措施，避免水污染造成更大范圍的損害。水資源大數(shù)據(jù)平臺(tái)會(huì)采用MapReduce等作為水資源數(shù)據(jù)離線處理的主要計(jì)算框架，以高數(shù)據(jù)吞吐量來(lái)作為數(shù)據(jù)處理的主要分析工具[2]。每隔一段時(shí)間，我們也可以借助大數(shù)據(jù)同步工具定時(shí)將水資源傳感器所接收的數(shù)據(jù)同步到平臺(tái)數(shù)據(jù)庫(kù)當(dāng)中，做好關(guān)鍵信息的永久保存和備份。

2.2 水質(zhì)監(jiān)測(cè)與平臺(tái)構(gòu)建

現(xiàn)代化的大數(shù)據(jù)地下水監(jiān)測(cè)體系，主要依靠智能技術(shù)或計(jì)算機(jī)設(shè)備完成監(jiān)測(cè)過(guò)程，將海量的存儲(chǔ)數(shù)據(jù)和水質(zhì)監(jiān)測(cè)內(nèi)容進(jìn)行動(dòng)態(tài)化處理，然后通過(guò)平臺(tái)構(gòu)建的方式獲取詳細(xì)信息。在數(shù)據(jù)庫(kù)構(gòu)建的過(guò)程當(dāng)中，動(dòng)態(tài)化檢測(cè)信息內(nèi)容會(huì)根據(jù)信息的特點(diǎn)要求進(jìn)行歸類整理，隨后進(jìn)行標(biāo)準(zhǔn)模式的量化和存儲(chǔ)。例如水質(zhì)綜合標(biāo)識(shí)指數(shù)和水體感官狀態(tài)等指標(biāo)層可以通過(guò)公式和計(jì)算的方式作出評(píng)估，分析并建立和本質(zhì)規(guī)律相符的數(shù)學(xué)應(yīng)用模型。如果水質(zhì)存在異?，F(xiàn)象，通過(guò)預(yù)警系統(tǒng)能夠?qū)惓Ｐ畔l(fā)布給數(shù)據(jù)使用者，以大數(shù)據(jù)依托建立可管控的水質(zhì)監(jiān)測(cè)進(jìn)程。當(dāng)然一切工作需要以水資源保護(hù)為基本要求，輔以信息技術(shù)的支持，完成具有兼容性的數(shù)據(jù)管控，在今后的水文監(jiān)測(cè)環(huán)節(jié)發(fā)揮穩(wěn)定的服務(wù)價(jià)值。值得一提的是，大數(shù)據(jù)技術(shù)的應(yīng)用能夠完成對(duì)地下水?dāng)?shù)據(jù)的可視化分析，無(wú)論是專家學(xué)者還是一般用戶都可以通過(guò)可視化手段來(lái)直觀分析數(shù)據(jù)特征，提升數(shù)據(jù)的時(shí)效性和利用價(jià)值，發(fā)揮現(xiàn)代通訊技術(shù)的優(yōu)勢(shì)。例如地下水監(jiān)測(cè)系統(tǒng)就能利用工業(yè)通訊技術(shù)獲取采集傳感器當(dāng)中的信息，形成基于OPX的規(guī)范數(shù)據(jù)集完成引用和記錄，滿足地下水環(huán)境信息數(shù)據(jù)的客觀要求[3]。

2.3 靜態(tài)要素選擇與信息獲取

靜態(tài)要素包括排水通道密度、斷層密度、高程坡度等，這些和地下水資源量相關(guān)的要素隨時(shí)間變化頻率存在差異，靜態(tài)要素在短時(shí)間內(nèi)并不會(huì)發(fā)生變化。例如地形波圖就決定了地下水的流向，并影響地下水的整體補(bǔ)給過(guò)程，大氣降水和地表水作為地下水的主要來(lái)源，坡度對(duì)于大氣降水的影響非常明顯。具體來(lái)看某些坡度較大的山區(qū)或溝谷地形大氣降水在地表的停留時(shí)間更短，反之在平原地區(qū)大氣降水停留時(shí)間長(zhǎng)，地下水資源量非常豐富。這些信息可以利用AreGIS軟件進(jìn)行提取，然后將基于矢量化的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行評(píng)估，最終計(jì)算出要素信息結(jié)果。當(dāng)然地下水資源的量本身具有空間不均勻分布特點(diǎn)，某個(gè)區(qū)域的地下水資源數(shù)據(jù)可以表示整個(gè)大區(qū)域內(nèi)的資源量狀況，我們?cè)谘芯慨?dāng)中可以利用大數(shù)據(jù)手段獲取動(dòng)態(tài)評(píng)價(jià)模型或其他標(biāo)準(zhǔn)依據(jù)，完成對(duì)于靜態(tài)要素的選擇和信息獲取。在未來(lái)的工作當(dāng)中，還可以將數(shù)據(jù)尺度提升到更加精確的水平，從而獲取大數(shù)據(jù)學(xué)習(xí)樣本展開神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，建立地下水資源評(píng)價(jià)結(jié)果，使整體誤差控制在合理范圍內(nèi)。

2.4 動(dòng)態(tài)要素選擇與信息規(guī)劃

在地下水相關(guān)的動(dòng)態(tài)要素選擇方面，降雨量是一個(gè)對(duì)地下水資源量影響非常大的要素。因?yàn)榻涤瓯旧硎堑叵滤闹饕a(bǔ)給來(lái)源，降雨量越大，區(qū)域內(nèi)的地下水資源就越豐富。雖然可以從氣象站獲取實(shí)時(shí)的降雨數(shù)據(jù)，由于站點(diǎn)分布不均勻，進(jìn)行地下水資源的動(dòng)態(tài)評(píng)價(jià)過(guò)程當(dāng)中，可能會(huì)導(dǎo)致空間分辨率或?qū)①|(zhì)量數(shù)據(jù)存在誤差。因此我們可以利用遙感影像提取地表范圍內(nèi)的水體信息實(shí)現(xiàn)對(duì)于大范圍數(shù)據(jù)的監(jiān)測(cè)，完成地表水體變化信息的獲取。如MODIS影像就是當(dāng)前水體研究非常成熟的常見方法，在地下水資源動(dòng)態(tài)評(píng)價(jià)的環(huán)節(jié)當(dāng)中，我們會(huì)對(duì)不同時(shí)相的信息展開比較。并且隨著高光譜技術(shù)的發(fā)展出現(xiàn)了很多混合像元分解方法，例如，基于線性光譜混合模型來(lái)從影像當(dāng)中提取圖像端源，推斷每個(gè)混合像元當(dāng)中不同端元的比例信息。雖然MODIS的空間分辨率比較低，獲取純凈端元的難度較大，但由于該方法并不需要提取端元光譜，仍然具有良好的應(yīng)用前景。

植被信息對(duì)于地下水補(bǔ)給產(chǎn)生的影響非常明顯，植被的生長(zhǎng)也受到地下水的作用。地下水含量越高，植被的覆蓋范圍和密度就越大。當(dāng)水從降雨轉(zhuǎn)化為地下水的過(guò)程當(dāng)中，植被會(huì)吸收降雨量，讓水分通過(guò)蒸發(fā)從冠層或莖干區(qū)域流向地面，最終讓水分滲入土壤。尤其是在某些低滲透性的土壤當(dāng)中，補(bǔ)給量會(huì)明顯增加。此外植被完全或部分依賴于地下水，所以植物對(duì)于水文狀況的改變非常敏感，兩者之間具有明顯的線性相關(guān)。通過(guò)大數(shù)據(jù)影像分析之后，就能獲得大范圍數(shù)據(jù)，作為長(zhǎng)時(shí)間的植被動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)來(lái)源，從而保障植被信息的良好空間分辨率。

溫度信息也是關(guān)鍵的信息，我們依據(jù)地表水體和地下水的排泄情況，可以了解到溫度差異，利用遙感技術(shù)評(píng)估熱傳導(dǎo)作用的變化動(dòng)態(tài)。在后續(xù)的評(píng)價(jià)建模當(dāng)中，也會(huì)利用這些溫度要素，將多個(gè)時(shí)相的溫度數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)內(nèi)部，讓網(wǎng)絡(luò)分析溫度變化。

3 結(jié)語(yǔ)

新時(shí)期大數(shù)據(jù)技術(shù)被有效應(yīng)用使水資源管理過(guò)程之后，地下水監(jiān)測(cè)能力穩(wěn)步增強(qiáng)。在今后的工作時(shí)間當(dāng)中，還需要結(jié)合具體案例要求制定科學(xué)監(jiān)測(cè)方案，完成不同基站之間的數(shù)據(jù)聯(lián)系，實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的動(dòng)態(tài)分析，給地下水監(jiān)測(cè)工作的開展提供關(guān)鍵的技術(shù)保障與支持。