劉麗香,張麗云,趙 芬,趙苗苗,趙海鳳,邵 蕊,徐 明

中國科學(xué)院地理科學(xué)與資源研究所,生態(tài)系統(tǒng)網(wǎng)絡(luò)觀測與模擬重點實驗室,北京 100101

生態(tài)環(huán)境大數(shù)據(jù)面臨的機遇與挑戰(zhàn)

劉麗香,張麗云,趙 芬,趙苗苗,趙海鳳,邵 蕊,徐 明*

中國科學(xué)院地理科學(xué)與資源研究所,生態(tài)系統(tǒng)網(wǎng)絡(luò)觀測與模擬重點實驗室,北京 100101

隨著大數(shù)據(jù)時代的到來和大數(shù)據(jù)技術(shù)的迅猛發(fā)展,生態(tài)環(huán)境大數(shù)據(jù)的建設(shè)和應(yīng)用已初露端倪。為了全面推進生態(tài)環(huán)境大數(shù)據(jù)的建設(shè)和應(yīng)用,綜述了生態(tài)環(huán)境大數(shù)據(jù)在解決生態(tài)環(huán)境問題中的機遇和優(yōu)勢,并分析了生態(tài)環(huán)境大數(shù)據(jù)在應(yīng)用中所面臨的挑戰(zhàn)?？偨Y(jié)和概括了大數(shù)據(jù)的概念與特征,又結(jié)合生態(tài)環(huán)境領(lǐng)域的特點,分析了生態(tài)環(huán)境大數(shù)據(jù)的特殊性和復(fù)雜性。重點闡述了生態(tài)環(huán)境大數(shù)據(jù)在減緩環(huán)境污染、生態(tài)退化和氣候變化中的機遇,主要從數(shù)據(jù)存儲、處理、分析、解釋和展示等方面闡述生態(tài)環(huán)境大數(shù)據(jù)相較于傳統(tǒng)數(shù)據(jù)的優(yōu)勢,通過這些優(yōu)勢說明生態(tài)環(huán)境大數(shù)據(jù)將有助于全面提高生態(tài)環(huán)境治理的綜合決策水平。雖然生態(tài)環(huán)境大數(shù)據(jù)的應(yīng)用前景廣闊,但也面臨著重重挑戰(zhàn),在數(shù)據(jù)共享和開放、應(yīng)用創(chuàng)新、數(shù)據(jù)管理、技術(shù)創(chuàng)新和落地、專業(yè)人才培養(yǎng)和資金投入等方面還存在著許多問題和困難。在以上分析的基礎(chǔ)上,提出了生態(tài)環(huán)境大數(shù)據(jù)未來的發(fā)展方向,包括各類生態(tài)環(huán)境數(shù)據(jù)的標(biāo)準(zhǔn)化、建設(shè)生態(tài)環(huán)境大數(shù)據(jù)存儲與處理分析平臺和推動國內(nèi)外生態(tài)環(huán)境大數(shù)據(jù)平臺的對接。

大數(shù)據(jù)；生態(tài)環(huán)境大數(shù)據(jù)；生態(tài)環(huán)境問題；環(huán)境污染；生態(tài)退化；氣候變化

網(wǎng)絡(luò)信息技術(shù)與網(wǎng)絡(luò)通信技術(shù)的融合,極大地促進了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算和智能傳感器的快速興起和發(fā)展,使得人類社會獲得的數(shù)據(jù)信息呈爆炸式增長,大數(shù)據(jù)時代正在悄然走來[1- 3]。大數(shù)據(jù)的價值主要體現(xiàn)在大數(shù)據(jù)的應(yīng)用上,因為人們關(guān)心大數(shù)據(jù),最終還是關(guān)心大數(shù)據(jù)的應(yīng)用,關(guān)心如何從不同行業(yè)的業(yè)務(wù)需求和應(yīng)用出發(fā)讓大數(shù)據(jù)真正實現(xiàn)其所蘊含的價值,從而為人們的生產(chǎn)生活帶來有益的改變[4- 6]。整體而言,全球的大數(shù)據(jù)應(yīng)用處于發(fā)展初期,中國大數(shù)據(jù)應(yīng)用才剛剛起步。目前,大數(shù)據(jù)應(yīng)用在各行各業(yè)的發(fā)展呈現(xiàn)“階梯式”格局：互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)應(yīng)用的領(lǐng)跑者,金融、零售、電信、公共管理、醫(yī)療衛(wèi)生等領(lǐng)域正積極嘗試大數(shù)據(jù),而生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用則剛剛起步[4- 8]。

目前,大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域的應(yīng)用還僅限于生態(tài)環(huán)境領(lǐng)域的某個方面,如環(huán)保系統(tǒng),缺少跨行業(yè)跨部門的應(yīng)用,不能真正體現(xiàn)生態(tài)環(huán)境大數(shù)據(jù)作為一個整體的優(yōu)勢[2, 5]。早在20世紀中葉,“大數(shù)據(jù)”的思想已在宏觀生態(tài)學(xué)方面得到體現(xiàn),例如,被稱為大科學(xué)研究的國際地球物理年(1957—1958)和國際生物學(xué)計劃(IBP)(1964—1974),這些研究最后演變成現(xiàn)在的以長期定位觀測為基礎(chǔ)的國內(nèi)外生態(tài)系統(tǒng)研究網(wǎng)絡(luò),這些生態(tài)系統(tǒng)研究網(wǎng)絡(luò)系統(tǒng)地收集和存儲有關(guān)生態(tài)環(huán)境的海量觀測數(shù)據(jù)[9- 10]。另外,大數(shù)據(jù)在生物多樣性保護和農(nóng)業(yè)方面也得到了一些應(yīng)用,例如,很多國家和地區(qū)已經(jīng)或正在建設(shè)生物多樣性信息管理系統(tǒng)[11]；美國硅谷一家公司利用氣象數(shù)據(jù)與歷年農(nóng)作物產(chǎn)量進行關(guān)聯(lián)分析,預(yù)測各地農(nóng)場來年產(chǎn)量和適宜種植品種,并以個性化保險服務(wù)向農(nóng)戶出售[4]。在環(huán)境領(lǐng)域,大數(shù)據(jù)在美國環(huán)境污染防治管理中得到了初步的應(yīng)用[12]。2016年3月,我國環(huán)保部發(fā)布了《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》[13],為環(huán)保系統(tǒng)開展生態(tài)環(huán)境大數(shù)據(jù)建設(shè)提供了強有力的政策支持和技術(shù)框架,這也意味著大數(shù)據(jù)在我國環(huán)境領(lǐng)域的應(yīng)用才剛剛起步。鑒于以上大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域的應(yīng)用現(xiàn)狀,本文闡述了生態(tài)環(huán)境大數(shù)據(jù)的獨有特點,梳理了大數(shù)據(jù)在解決生態(tài)環(huán)境問題中的優(yōu)勢和機遇,總結(jié)了生態(tài)環(huán)境大數(shù)據(jù)建設(shè)所面臨的挑戰(zhàn),并提出了生態(tài)環(huán)境大數(shù)據(jù)未來的發(fā)展方向,為生態(tài)環(huán)境大數(shù)據(jù)的發(fā)展和大規(guī)模應(yīng)用提供依據(jù)。

1 大數(shù)據(jù)概述

雖然各國都在積極準(zhǔn)備迎接大數(shù)據(jù)時代的到來,但國內(nèi)外關(guān)于大數(shù)據(jù)的定義、內(nèi)涵和標(biāo)準(zhǔn)還沒有達成統(tǒng)一認識。根據(jù)大家對大數(shù)據(jù)定義有著不同的側(cè)重點,可以將其分為三類：第一類定義主要突出“大”[4- 6],例如麥肯錫、IDC、亞馬遜、維基百科等給出的定義,“大”只是大數(shù)據(jù)的重要標(biāo)志之一,但并不是全部[6]。第二類定義主要是突出其“作用”,認為大數(shù)據(jù)是在多樣或者大量數(shù)據(jù)中,迅速獲取信息的能力,與第一類只從數(shù)據(jù)本身出發(fā)不同,該類定義強調(diào)大數(shù)據(jù)的功能和作用[6]。第三類定義主要突出其“價值觀和方法論”,認為大數(shù)據(jù)是用嶄新的思維和技術(shù)對海量數(shù)據(jù)進行整合分析,從中發(fā)現(xiàn)新的知識和價值,帶來“大知識”、“大科技”、“大利潤”和“大發(fā)展”[7]。但隨著全球數(shù)據(jù)的飛速增長,除了包含傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),還產(chǎn)生大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這就需要大量處理技術(shù)來處理這些不同結(jié)構(gòu)的數(shù)據(jù),并將它們應(yīng)用在實踐中[4- 7]。因此,大數(shù)據(jù)不僅僅包含海量數(shù)據(jù),還應(yīng)包括各種大數(shù)據(jù)技術(shù)的集合和大數(shù)據(jù)在各領(lǐng)域的應(yīng)用[6]。綜合以上信息,我們認為大數(shù)據(jù)是為決策問題提供服務(wù)的大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用的總稱。

目前對大數(shù)據(jù)普遍認可的是其具有以下“5V”特點[4, 14]。第一,數(shù)據(jù)量巨大。通過各種設(shè)備產(chǎn)生的海量數(shù)據(jù),規(guī)模龐大,數(shù)據(jù)量從TB級別跳躍到PB級別[4- 7]。第二,數(shù)據(jù)種類繁多。數(shù)據(jù)來源種類多樣化,不僅包括傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù),還包括各種非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),而且非結(jié)構(gòu)化數(shù)據(jù)所占比例越來越高[4- 8]。第三,大數(shù)據(jù)的“快”,包括數(shù)據(jù)產(chǎn)生快和具備快速實時的數(shù)據(jù)處理能力兩個層面。第一層面是數(shù)據(jù)產(chǎn)生的快。目前有的數(shù)據(jù)是爆發(fā)式產(chǎn)生[4,14- 15],例如,歐洲核子研究中心的大型強子對撞機在工作狀態(tài)下每秒產(chǎn)生PB級的數(shù)據(jù)；有的數(shù)據(jù)是涓涓細流式產(chǎn)生,但是由于用戶眾多,短時間內(nèi)產(chǎn)生的數(shù)據(jù)量依然非常龐大,例如,點擊流、日志、射頻識別數(shù)據(jù)、GPS(全球定位系統(tǒng))位置信息[15]。第二層面是對數(shù)據(jù)快速、實時處理的能力高。大數(shù)據(jù)技術(shù)通過發(fā)展不同于傳統(tǒng)的快速處理的算法,對海量動態(tài)數(shù)據(jù)進行處理分析,使它們變?yōu)榭墒褂玫挠袃r值數(shù)據(jù)。因此,大數(shù)據(jù)對實時處理有著較高的要求,數(shù)據(jù)的處理效率就決定著獲得信息的能力[4,14]。第四,數(shù)據(jù)價值密度低、應(yīng)用價值高。大量不同數(shù)據(jù)集組成大數(shù)據(jù)集,這些數(shù)據(jù)集的價值密度的高低與數(shù)據(jù)集總量的大小成反比。在大數(shù)據(jù)應(yīng)用中,數(shù)據(jù)量大的數(shù)據(jù)并不一定有很大的價值,不能被及時有效處理分析的數(shù)據(jù)也沒有很大的應(yīng)用價值[4- 8]。第五,真實性低。隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起,我們能獲得的數(shù)據(jù)源逐漸多樣化,這使得獲得的數(shù)據(jù)中有些具有模糊性[16]。真實性將促使人們利用數(shù)據(jù)融合和先進的數(shù)學(xué)方法進一步提升數(shù)據(jù)的質(zhì)量,從而創(chuàng)造更高價值。例如,社交網(wǎng)絡(luò)中的視頻、語音、日志等獲得的原始數(shù)據(jù)真實性差,需要我們對其過濾和處理才能挑出有用的數(shù)據(jù)。

2 生態(tài)環(huán)境大數(shù)據(jù)特點

大數(shù)據(jù)在解決生態(tài)環(huán)境問題時形成了生態(tài)環(huán)境大數(shù)據(jù)獨一無二的特征。第一,生態(tài)環(huán)境大數(shù)據(jù)具有“空天地一體”的巨大數(shù)據(jù)量。從數(shù)據(jù)規(guī)模來看,生態(tài)環(huán)境數(shù)據(jù)體量大,數(shù)據(jù)量也已從TB級別躍升到PB級別。隨著各類傳感器、RFID 技術(shù)、衛(wèi)星遙感、雷達和視頻感知等技術(shù)的發(fā)展,數(shù)據(jù)不僅來源于傳統(tǒng)人工監(jiān)測數(shù)據(jù),還包括航空、航天和地面數(shù)據(jù),他們一起產(chǎn)生了海量生態(tài)環(huán)境數(shù)據(jù)。例如,2011年世界氣象中心就已經(jīng)積累了229TB的數(shù)據(jù)[6]；我國林業(yè)、交通、氣象和環(huán)保等數(shù)據(jù)量級也都達到了PB級別,而且還在以每年數(shù)百個TB的速度在增加[17- 19]。第二,生態(tài)環(huán)境大數(shù)據(jù)的類型、來源和格式具有復(fù)雜多樣性[20]。從數(shù)據(jù)種類來看,生態(tài)環(huán)境數(shù)據(jù)類型多,數(shù)據(jù)來源渠道廣,結(jié)構(gòu)復(fù)雜。首先,生態(tài)環(huán)境數(shù)據(jù)來自于氣象、水利、國土、農(nóng)業(yè)、林業(yè)、交通、社會經(jīng)濟等不同部門的各種數(shù)據(jù)；其次,大數(shù)據(jù)技術(shù)的發(fā)展使得生態(tài)環(huán)境領(lǐng)域的研究不再局限于傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)類型,使得各種半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)(文本、項目報告、照片、影像、聲音、視頻等)的應(yīng)用與分析成為可能,例如,一段歷史電影視頻中關(guān)于氣候的描述；公眾移動手機拍攝的關(guān)于植物類別的圖片等；再次,來源于不同部門的同一種數(shù)據(jù)其格式多樣,目前無統(tǒng)一的標(biāo)準(zhǔn)規(guī)范,使得難以整合和合并不同部門之間的同類數(shù)據(jù)。第三,生態(tài)環(huán)境大數(shù)據(jù)需要動態(tài)新數(shù)據(jù)和歷史數(shù)據(jù)相結(jié)合處理[13]。從數(shù)據(jù)處理速度來看,由于生態(tài)系統(tǒng)結(jié)構(gòu)與功能的動態(tài)變化而引起的生態(tài)環(huán)境數(shù)據(jù)具有強烈的時空異質(zhì)性,生態(tài)環(huán)境數(shù)據(jù)多表現(xiàn)為流式數(shù)據(jù)特征,實時連續(xù)觀測尤為重要。只有實時處理分析這些動態(tài)新數(shù)據(jù),并與已有歷史數(shù)據(jù)結(jié)合起來分析,才能挖掘出有用信息,為解決有關(guān)生態(tài)環(huán)境問題提供科學(xué)決策。第四,生態(tài)環(huán)境大數(shù)據(jù)具有很高的應(yīng)用價值。從數(shù)據(jù)價值來看,生態(tài)環(huán)境大數(shù)據(jù)無疑具有巨大的潛在應(yīng)用價值,利用大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中挖掘出最有用的信息,把低價值數(shù)據(jù)轉(zhuǎn)換為高價值數(shù)據(jù),最終,高價值大數(shù)據(jù)為解決各種生態(tài)環(huán)境問題提供科學(xué)依據(jù),從而改善人類生存環(huán)境和提高人們生活質(zhì)量；第五,生態(tài)環(huán)境大數(shù)據(jù)具有很高的不確定性。從數(shù)據(jù)真實性來看,雖然應(yīng)用于生態(tài)環(huán)境領(lǐng)域的各種傳感器監(jiān)測精度都很高,正是因為這一點儀器往往會順帶記錄大量的周邊環(huán)境數(shù)據(jù),而我們感興趣的數(shù)據(jù)可能會埋沒在大量數(shù)據(jù)中,因此,為了確保數(shù)據(jù)的精準(zhǔn)度,需要利用大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中去偽存真,獲取真實數(shù)據(jù)[9]。

3 大數(shù)據(jù)在解決生態(tài)環(huán)境問題中的優(yōu)勢和機遇

20世紀后半葉以來,隨著經(jīng)濟的發(fā)展,全球生態(tài)環(huán)境問題日趨嚴重。目前全球生態(tài)環(huán)境問題突出表現(xiàn)在環(huán)境污染、氣候變化、土地退化、森林銳減、生物多樣性喪失以及水資源枯竭等方面[21]。這些問題往往涉及尺度大、過程復(fù)雜、驅(qū)動因素眾多,解決起來難度大。隨著大數(shù)據(jù)時代的到來,大數(shù)據(jù)為各種生態(tài)環(huán)境問題的解決提供了新的機遇。

3.1 大數(shù)據(jù)在解決環(huán)境污染中的優(yōu)勢

隨著工業(yè)化、城市化、化學(xué)農(nóng)業(yè)和機動化的高速發(fā)展,全球環(huán)境污染日益加劇,以大氣污染、水污染和土壤污染為主的三大污染引起的食品安全和人類健康問題嚴峻,直接威脅到人類的生命[22]。如何有效的治理這些污染,是各國政府及學(xué)者迫切需要解決的難題。然而,這些污染的產(chǎn)生受到多方面的影響,治理起來相當(dāng)困難。首先,環(huán)境污染涉及的過程復(fù)雜,包括污染物排放的生物過程、污染物在承載體(大氣、水和土壤)中的物理和化學(xué)過程；其次,污染成因很多,主要包括工業(yè)三廢(廢水、廢氣和廢渣)、農(nóng)業(yè)污染(肥料、農(nóng)藥和農(nóng)膜)、機動車尾氣排放、生活垃圾以及木材和煤等燃料燃燒；最后,影響污染因素多,因素之間存在相互重疊和交叉作用。因此,僅靠傳統(tǒng)單因素單獨治理污染不能解決根本問題,這就需要通過利用云計算、多元數(shù)據(jù)同化、多尺度數(shù)據(jù)耦合、時空分配和化學(xué)物種分配等大數(shù)據(jù)技術(shù)對各種環(huán)境污染及其相關(guān)的數(shù)據(jù)進行多因素融合分析,及時準(zhǔn)確地發(fā)現(xiàn)各種污染的根源,分析不同污染過程中污染物的演變規(guī)律,了解各種主要污染物的“前世今生”,全面地獲得污染物的變化規(guī)律和傳輸過程,通過這些信息來區(qū)分環(huán)境污染的輕重緩急,統(tǒng)籌規(guī)劃治理方案,分步推進污染治理,既要綜合治理也要重點突破[5,12]。

另一方面,環(huán)境污染對人類影響具有滯后性,污染發(fā)生時很難感知和預(yù)料,但這些影響一旦產(chǎn)生就表示已經(jīng)發(fā)展到相當(dāng)嚴重的地步。因此,除了增強污染事后治理, 還需加強污染事前預(yù)防。當(dāng)前環(huán)境污染很大程度上還只限于治理,很少采取預(yù)防措施,更缺少對重大環(huán)境污染事件的預(yù)報預(yù)測。目前,我國環(huán)境污染的預(yù)測預(yù)報主要是通過各種數(shù)據(jù)建立統(tǒng)計模型,但這些模型的參數(shù)缺少優(yōu)化,預(yù)報預(yù)測準(zhǔn)確性低[12]。例如,我國已經(jīng)開發(fā)了一些污染物擴散預(yù)測模型,可由于缺乏這些污染物長期實時數(shù)據(jù),不能對模型參數(shù)優(yōu)化,使得預(yù)報預(yù)測的準(zhǔn)確性低。大數(shù)據(jù)時代的到來,為提高我國環(huán)境污染預(yù)報預(yù)測帶來了機遇。隨著云計算、機器學(xué)習(xí)和人工智能等技術(shù)的不斷發(fā)展,使得建立基于認知計算的高精度環(huán)境污染預(yù)報系統(tǒng)成為可能。環(huán)保部門積累的環(huán)境污染應(yīng)急管控經(jīng)驗可以加入認知計算系統(tǒng),使得應(yīng)急管控變?yōu)槌B(tài)管理,例如,可以將專家經(jīng)驗加入認知計算系統(tǒng)中。認知計算整合優(yōu)化各類模型,包括物理化學(xué)過程、氣象、交通和社交等,它們再通過海量數(shù)據(jù)進行交叉驗證,該算法使模型、數(shù)據(jù)和專家經(jīng)驗以自動訓(xùn)練、自我思考和自我學(xué)習(xí)的方式不斷積累,為可靠追溯污染源、高精準(zhǔn)預(yù)報預(yù)測、精細預(yù)防和治理等決策提供科學(xué)支撐[12]。

3.2 大數(shù)據(jù)在改善生態(tài)退化中的優(yōu)勢

隨著全球人口數(shù)量的增長和社會經(jīng)濟的發(fā)展,生態(tài)系統(tǒng)退化越來越嚴重,已經(jīng)成為全球嚴重的生態(tài)環(huán)境問題之一。當(dāng)前全球生態(tài)退化主要表現(xiàn)在森林面積減少、土地退化、生物多樣性降低、水資源短缺等方面,這些退化引起了全球森林資源、水資源和土地資源的減少。生態(tài)退化除了造成巨大經(jīng)濟損失,還嚴重威脅到人類健康和生命安全[21]。

首先,引起生態(tài)退化因素較多,主要包括亂砍濫伐、過度農(nóng)墾、陡坡開墾、生境喪失、生物資源過度開發(fā)、水環(huán)境遭破壞、外來物種入侵、海洋的過度捕撈以及環(huán)境污染等[32- 34]。以上因素相互交織,協(xié)同作用,致使一種生態(tài)退化類型可能是另一種退化的原因,例如,森林面積減少可引起土地退化、生物多樣化減少、水資源短缺加重。另外,生態(tài)退化是一個復(fù)雜和綜合的動態(tài)過程,它涉及跨領(lǐng)域、跨學(xué)科、跨部門的各種生態(tài)環(huán)境數(shù)據(jù),又與社會、經(jīng)濟、文化和政策等領(lǐng)域密切相關(guān)；同時涉及土壤、農(nóng)學(xué)、生態(tài)、環(huán)境和生物等學(xué)科的知識。過去幾十年,雖然各國政府也采取了一些措施治理生態(tài)退化,但由于生態(tài)退化所涉數(shù)據(jù)來源多樣、分布廣泛,內(nèi)容龐雜、涉及部門眾多,而傳統(tǒng)技術(shù)不能系統(tǒng)地整理和分析這些數(shù)據(jù)集,也不能完全提純出數(shù)據(jù)背后的有價值信息,或者由于技術(shù)落后提煉出的信息為錯誤的,以這些錯誤的科學(xué)數(shù)據(jù)信息作為理論指導(dǎo),使得政府的經(jīng)濟政策和防治決策對生態(tài)退化沒用,甚至失誤[35]。目前,隨著大數(shù)據(jù)的蓬勃發(fā)展,人們可以利用傳感器技術(shù)和無線通信技術(shù)在數(shù)據(jù)獲取方面的優(yōu)勢,系統(tǒng)地收集、整理和存儲各種與生態(tài)退化相關(guān)的數(shù)據(jù),包括地面監(jiān)測數(shù)據(jù)、遙感影像數(shù)據(jù)、社會經(jīng)濟數(shù)據(jù)、科學(xué)研究數(shù)據(jù)、互聯(lián)網(wǎng)以網(wǎng)站、論壇、微博等方式發(fā)布的有關(guān)資源環(huán)境的相關(guān)信息,實現(xiàn)了生態(tài)環(huán)境數(shù)據(jù)的整合和充分利用,為生態(tài)系統(tǒng)的資源管理、生態(tài)環(huán)境的動態(tài)監(jiān)測和生態(tài)環(huán)境評價提供多樣化、專業(yè)化和智能化的數(shù)據(jù)服務(wù);利用分布式數(shù)據(jù)庫、云計算、人工智能、認知計算等技術(shù)在大數(shù)據(jù)處理方面的優(yōu)勢,并結(jié)合大數(shù)據(jù)各種算法庫、模型庫和知識庫分析這些不同結(jié)構(gòu)的數(shù)據(jù),實現(xiàn)數(shù)據(jù)與模型的融合,挖掘隱藏在海量數(shù)據(jù)背后的各種信息[29- 30],通過這些信息既可以分析各種生態(tài)系統(tǒng)退化的過程和規(guī)律,也可以為決策者提供360度的數(shù)據(jù)信息,為治理和預(yù)防生態(tài)退化提供正確的科學(xué)決策。例如,使用Hadoop的分布式文件系統(tǒng)(HDFS)和分布式數(shù)據(jù)庫(MapReduce)對生態(tài)環(huán)境大數(shù)據(jù)進行批量處理；利用決策樹、貝葉斯、K-Means、嶺回歸模型、邏輯斯蒂模型、線性回歸模型、認知算法、關(guān)聯(lián)規(guī)則的Apriori算法等各種模型和算法對海量數(shù)據(jù)進行深度挖掘和關(guān)聯(lián)分析,通過各種數(shù)據(jù)的碰撞產(chǎn)生出有價值的信息。

3.3 大數(shù)據(jù)在減緩氣候變化中的優(yōu)勢

近百年來,由于氣候自然波動和人類活動引起的溫室效應(yīng),地球氣候正經(jīng)歷一次以全球變暖為主要特征的顯著變化。全球變暖導(dǎo)致了極端氣候出現(xiàn)頻率增加、厄爾尼諾現(xiàn)象加劇且影響范圍變大、冰川萎縮、內(nèi)陸凍土加劇融化、沙漠化加劇、海平面上升和海水倒灌、水資源短缺加重、濕地面積減少和生物多樣性下降。例如,在2001—2010年,全球冰川平均質(zhì)量年下降速度為0.54 m(相當(dāng)于水當(dāng)量)[36]。全球變暖除了引起全球氣候變化,還對農(nóng)業(yè)、生態(tài)環(huán)境和人體健康產(chǎn)生了巨大的影響。大氣中溫室氣體濃度增加引起了大氣溫室效應(yīng)增強,并最終導(dǎo)致了全球氣候變暖,溫室氣體主要包括CO2、CH4和N2O。為了減緩和預(yù)測全球變暖的速度,政府間氣候變化專門委員會(IPCC)編制了各種溫室氣體的排放源和吸收匯的全球清單,并預(yù)測了未來全球溫度的變化；各個國家也都根據(jù)本國實際擁有數(shù)據(jù)情況編制國家溫室氣體清單。但目前這些溫室氣體清單還都不是實時清單,都是溫室氣體排放和吸收的總量。這主要是因為缺少溫室氣體的實時監(jiān)測數(shù)據(jù)和缺少處理海量數(shù)據(jù)的技術(shù)。在大數(shù)據(jù)時代,網(wǎng)絡(luò)信息技術(shù)和無線通信技術(shù)的融合,極大地促進了各種智能傳感器的快速興起和發(fā)展,使我們可以獲得溫室氣體、氣候等大量實時監(jiān)測數(shù)據(jù)和與之相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)；基于云計算環(huán)境下,分布式數(shù)據(jù)存儲技術(shù)與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相結(jié)合可以解決海量數(shù)據(jù)的存儲和管理,例如,Hbase、Redis和Key-Value等大數(shù)據(jù)存儲技術(shù)[37- 40]；同理,這些海量溫室氣體、氣候和其他相關(guān)數(shù)據(jù)的處理分析也需要各種模型和算法,但對于編制實時溫室氣體清單來說,最關(guān)鍵技術(shù)是怎樣在線和離線相結(jié)合對海量數(shù)據(jù)進行分析？離線靜態(tài)數(shù)據(jù)的大數(shù)據(jù)處理形式是批量處理,Hadoop是典型的批量數(shù)據(jù)處理系統(tǒng)[29- 30]；在線數(shù)據(jù)的大數(shù)據(jù)處理形式包括實時流式處理和實時交互計算兩種,流式數(shù)據(jù)處理系統(tǒng)如Storm、Scribe和Flume等,交互式數(shù)據(jù)處理系統(tǒng)如Spark和Dremel。另外,利用大數(shù)據(jù)技術(shù)融合溫室氣體數(shù)據(jù)和氣候模型,預(yù)測未來溫度的變化速度,例如,人工智能和認知算法等大數(shù)據(jù)技術(shù)。通過編制實時溫室氣體清單和預(yù)測未來溫度變化幅度,可以為制定減排措施提供科學(xué)依據(jù),同時也為人們的生活帶來方便。可以發(fā)現(xiàn),生態(tài)環(huán)境問題彼此相互聯(lián)系,相互影響,相互制約。因此,治理和預(yù)防需要對區(qū)域甚至全球的生態(tài)環(huán)境情況進行全面分析,找到關(guān)鍵問題與關(guān)鍵區(qū)域,制定不同的解決方案與對策,通過對比分析找到最優(yōu)解決途徑。利用大數(shù)據(jù)在數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析,以及數(shù)據(jù)解釋和展示等方面的優(yōu)勢,有利于揭示生態(tài)環(huán)境問題的本質(zhì),并分析其背后的驅(qū)動因素及相互作用機制。在數(shù)據(jù)采集方面,通過建立高密度、全區(qū)域和多方位的監(jiān)測網(wǎng)絡(luò)體系[8,12]，配合文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等與生態(tài)環(huán)境相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的采集,共同形成生態(tài)環(huán)境大數(shù)據(jù)集。在數(shù)據(jù)存儲方面,NoSQL(Not only SQL)數(shù)據(jù)存儲包括分布式文件系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)二種類型[26]。通過與大數(shù)據(jù)的NoSQL數(shù)據(jù)存儲管理技術(shù)相結(jié)合,克服傳統(tǒng)關(guān)系型數(shù)據(jù)庫經(jīng)常由于采用分片技術(shù)而出現(xiàn)的存儲空間不夠、數(shù)據(jù)加載緩慢和排隊加載等問題[23- 25]。在數(shù)據(jù)分析方面,我國生態(tài)環(huán)境相關(guān)的數(shù)據(jù)大多是數(shù)據(jù)集成,供客戶端自行下載分析；而大數(shù)據(jù)分析卻能將統(tǒng)計分析、深度挖掘、機器學(xué)習(xí)和智能算法與云計算技術(shù)結(jié)合起來[27- 29],對空氣、土壤、水文、生物多樣性、氣候、人口和社會經(jīng)濟等數(shù)據(jù)進行關(guān)聯(lián)性分析,這些分析結(jié)果可為管理者的決策提供科學(xué)支持。除此之外,在數(shù)據(jù)解釋和展示上,傳統(tǒng)數(shù)據(jù)顯示方式是用文本形式下載輸出,而大數(shù)據(jù)卻可以給用戶提供可視化結(jié)果分析[29- 30]。由此可見,只有大數(shù)據(jù)時代我們才能夠真正實現(xiàn)復(fù)雜生態(tài)環(huán)境問題的定量評估和精準(zhǔn)決策,為加快我國生態(tài)文明建設(shè)和促進生態(tài)環(huán)保事業(yè)的發(fā)展提供科學(xué)依據(jù)和有效對策。

4 生態(tài)環(huán)境大數(shù)據(jù)面臨的挑戰(zhàn)

雖然大數(shù)據(jù)為解決各種生態(tài)環(huán)境問題提供了新的機遇,然而生態(tài)環(huán)境大數(shù)據(jù)的大規(guī)模應(yīng)用才剛剛起步。生態(tài)環(huán)境大數(shù)據(jù)的真正實施在數(shù)據(jù)開放和共享、大數(shù)據(jù)處理技術(shù)、資金投入、專業(yè)人才、應(yīng)用創(chuàng)新和數(shù)據(jù)管理等方面還面臨著諸多挑戰(zhàn)。

4.1 缺乏數(shù)據(jù)共享

生態(tài)環(huán)境大數(shù)據(jù)需要整合和集成政府多部門和社會多來源的數(shù)據(jù)(例如個人和企業(yè)等),只有不同類型的生態(tài)環(huán)境大數(shù)據(jù)相互連接、碰撞和共享,才能釋放生態(tài)環(huán)境大數(shù)據(jù)的價值。因此,要想挖掘隱藏在生態(tài)環(huán)境大數(shù)據(jù)背后的潛在價值,實現(xiàn)數(shù)據(jù)共享是關(guān)鍵,也是解決生態(tài)環(huán)境問題的前提和基礎(chǔ)。然而,實現(xiàn)數(shù)據(jù)共享還面臨巨大挑戰(zhàn)。首先,我國生態(tài)環(huán)境大數(shù)據(jù)包括氣象、水利、生態(tài)、國土、農(nóng)業(yè)、林業(yè)、交通、社會經(jīng)濟等其他部門的大數(shù)據(jù),涉及多領(lǐng)域、多部門和多源數(shù)據(jù),雖然目前這些部門已經(jīng)建立了自己的數(shù)據(jù)平臺,但這些平臺之間互不連通,只是一個個的“數(shù)據(jù)孤島”[8, 12]。大部分數(shù)據(jù)只是公開,而非開放,即數(shù)據(jù)只是發(fā)布和公開,而無法下載和利用數(shù)據(jù)[12],僅限于“看”,而無法真正去“用”,很多生態(tài)環(huán)境數(shù)據(jù)還在檔案柜里“睡大覺”。其次,數(shù)據(jù)沒有規(guī)范化,數(shù)據(jù)存儲格式不一樣,即使在同一個行業(yè),數(shù)據(jù)也是“一人一個模樣”,形成了“擁有者不一定覺得有用,看得懂、用得著的不一定能擁有”的局面。我國至今還有大量與生態(tài)環(huán)境相關(guān)的歷史資料還不是電子形式,由于缺乏有效的數(shù)字化技術(shù)和手段,早期積累的很多紙質(zhì)檔案資料面臨破損與消失的風(fēng)險,這些寶貴檔案資料的數(shù)字化也是一個較大的挑戰(zhàn)。另外,數(shù)據(jù)開放嚴重不足,主要表現(xiàn)在數(shù)據(jù)開放總量偏低,可機讀性差,大多為靜態(tài)數(shù)據(jù),且集中在經(jīng)濟發(fā)達、政府信息化基礎(chǔ)和IT產(chǎn)業(yè)發(fā)展好的城市。最后,生態(tài)環(huán)境數(shù)據(jù)的整合和脫敏也是一項重大挑戰(zhàn),因為開放數(shù)據(jù)即任何人都能自由下載和利用機器可讀的數(shù)據(jù)格式,所以哪些數(shù)據(jù)可以公開,哪些數(shù)據(jù)敏感,需要脫敏等等,這些都是需要耗費巨大人力物力的工作。

4.2 缺乏技術(shù)創(chuàng)新和落地

在數(shù)據(jù)來源方面,生態(tài)環(huán)境大數(shù)據(jù)來源多種多樣,既包括各種“空天地”的監(jiān)測和調(diào)查數(shù)據(jù),也包含各種影像、聲音和視頻等非結(jié)構(gòu)化數(shù)據(jù),這些龐大的數(shù)據(jù)雜亂無章、參差不齊,如何將這些多源異構(gòu)數(shù)據(jù)轉(zhuǎn)換成合適的格式和類型,并在存儲和處理之前對采集的數(shù)據(jù)進行去粗取精,并保留原有數(shù)據(jù)的語義以便后面分析,是生態(tài)環(huán)境大數(shù)據(jù)面對的一個技術(shù)挑戰(zhàn)。目前常用的是通過數(shù)據(jù)清洗和整理技術(shù)對其填補數(shù)據(jù)殘缺, 糾正數(shù)據(jù)錯誤, 去除數(shù)據(jù)冗余, 將所需的數(shù)據(jù)抽取出來進行有效集成, 并將數(shù)據(jù)轉(zhuǎn)換成要求的格式, 從而達到數(shù)據(jù)類型統(tǒng)一、數(shù)據(jù)格式一致、數(shù)據(jù)信息精練和數(shù)據(jù)存儲集中等要求[29- 30, 41]。例如,LSI公司開發(fā)了一款多核處理器可對數(shù)據(jù)進行實時分類,降低網(wǎng)絡(luò)流量。在數(shù)據(jù)存儲方面,當(dāng)前生態(tài)環(huán)境大數(shù)據(jù)由于各種移動終端和網(wǎng)絡(luò)的視頻、文本、圖片、照片等非結(jié)構(gòu)性數(shù)據(jù)流正在爆發(fā)性增長,未來存儲技術(shù)的效率對于提高大數(shù)據(jù)的價值至關(guān)重要,包括存儲的成本和性能。相比于傳統(tǒng)的物理機器存儲(包括單機文件和網(wǎng)絡(luò)文件系統(tǒng)),適用于生態(tài)環(huán)境大數(shù)據(jù)的分布式存儲系統(tǒng)提高數(shù)據(jù)的冗余性、可擴展性、容錯能力、低成本和并發(fā)讀寫能力。例如,LSI的閃存技術(shù)可以大大提升數(shù)據(jù)的應(yīng)用速度。因此,需要不斷研發(fā)進行存儲技術(shù)創(chuàng)新,將操作便捷性的關(guān)系型數(shù)據(jù)庫和靈活性的非關(guān)系型數(shù)據(jù)庫融合,是未來技術(shù)創(chuàng)新的發(fā)展目標(biāo)。在數(shù)據(jù)分析方面,目前Google的MapReduce系統(tǒng)、Yahoo的S4系統(tǒng)、Twitter的Storm系統(tǒng)、Pregel系統(tǒng)等分別從離線批量計算、實時計算、圖數(shù)據(jù)處理[37- 39],都是針對不同的計算場景建立了不同的計算平臺,管理運營成本很高,所以研發(fā)適合多種計算模型的通用架構(gòu)是生態(tài)環(huán)境大數(shù)據(jù)建設(shè)和發(fā)展的急切需求。另外,數(shù)據(jù)分析已經(jīng)從傳統(tǒng)的通過先驗知識人工建立數(shù)學(xué)模型到建立人工智能系統(tǒng),通過人工智能和機器學(xué)習(xí)技術(shù)分析生態(tài)環(huán)境大數(shù)據(jù)是未來解決生態(tài)環(huán)境問題的關(guān)鍵手段。但對于他們的深度學(xué)習(xí)還需要大量工程和理論問題[42- 44],例如,基于深度神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí),其模型的遷移適應(yīng)能力以及大規(guī)模神經(jīng)網(wǎng)絡(luò)的工程實現(xiàn)。眾所周知,工具、開源以及框架設(shè)施是大數(shù)據(jù)技術(shù)發(fā)展的方向,因此,當(dāng)前大數(shù)據(jù)的技術(shù)創(chuàng)新形成了“互聯(lián)網(wǎng)公司原創(chuàng)——開源擴散——擴散制造商產(chǎn)品化——其他企業(yè)使用”的產(chǎn)業(yè)鏈格局。不過,要想實現(xiàn)生態(tài)環(huán)境大數(shù)據(jù)的技術(shù)和應(yīng)用一體化發(fā)展,企業(yè)和政府部門必須拋棄“拿來主義”態(tài)度,只有加強對技術(shù)開源社區(qū)的貢獻,才能加強對技術(shù)的深入理解,也才能更好的發(fā)揮大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域的應(yīng)用[41]。同時,還要加強管理制度配套和工作人員能力提升等方面,實現(xiàn)技術(shù)落地[8]。

4.3 資金投入不足

目前,國內(nèi)外對生態(tài)環(huán)境大數(shù)據(jù)的資金投入不足。缺乏大數(shù)據(jù)重大示范項目,大部分國家缺乏生態(tài)環(huán)境監(jiān)測設(shè)備、計算機資源和數(shù)據(jù)資源等基礎(chǔ)設(shè)施的投入,包括網(wǎng)絡(luò)服務(wù)器、數(shù)據(jù)處理和存儲系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、云計算平臺等。同時也缺乏對生態(tài)環(huán)境大數(shù)據(jù)拓展融資渠道, 缺少地方政府、工商企業(yè)和有實力、有需求的生產(chǎn)經(jīng)營主體參與大數(shù)據(jù)融資。還沒有成熟的大數(shù)據(jù)產(chǎn)業(yè)推廣模式。

4.4 缺乏大數(shù)據(jù)專業(yè)人才

大數(shù)據(jù)時代的到來,對各國現(xiàn)有教育體系提出了全新的挑戰(zhàn)。大數(shù)據(jù)時代需要大量的復(fù)合型人才,尤其是生態(tài)環(huán)境大數(shù)據(jù)涉及的學(xué)科眾多,既需要計算機、通訊等工程技術(shù),也需要數(shù)學(xué)、統(tǒng)計、人工智能等模型技術(shù),更需要生態(tài)、環(huán)境、氣象、水文、土壤等專業(yè)知識。當(dāng)前許多地區(qū)的教育體系不符合未來生態(tài)環(huán)境大數(shù)據(jù)發(fā)展的戰(zhàn)略需要,尤其是現(xiàn)有的高等教育體系學(xué)科分類明確,獨立性比較強,缺乏學(xué)科之間的交叉融合。很多地方還沒有開設(shè)大數(shù)據(jù)相關(guān)的專業(yè)和課程,也缺少大數(shù)據(jù)環(huán)境監(jiān)測、生態(tài)信息學(xué)和環(huán)境信息學(xué)等方面人才培養(yǎng)。

4.5 應(yīng)用活力不足

我國生態(tài)環(huán)境大數(shù)據(jù)的創(chuàng)新應(yīng)用還很有限,大數(shù)據(jù)的威力遠遠未能發(fā)揮出來,政府綜合運用生態(tài)環(huán)境大數(shù)據(jù)的能力較低,沒有形成成熟的生態(tài)環(huán)境大數(shù)據(jù)產(chǎn)業(yè)鏈和有影響力的數(shù)據(jù)企業(yè)。生態(tài)環(huán)境大數(shù)據(jù)在氣象、水利、國土、農(nóng)業(yè)、林業(yè)、交通、社會經(jīng)濟等各部門的應(yīng)用才剛剛起步,跨領(lǐng)域的應(yīng)用寥寥無幾。如何促進大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域中的應(yīng)用創(chuàng)新,使大數(shù)據(jù)真正成為提高生態(tài)環(huán)境監(jiān)管能力現(xiàn)代化的有力手段,是目前世界各國正在探索的課題。

4.6 缺乏數(shù)據(jù)管理

2015年9月5日,國務(wù)院公開發(fā)布《國務(wù)院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》(以下簡稱《綱要》)?！毒V要》系統(tǒng)部署了大數(shù)據(jù)各項工作,并指出大數(shù)據(jù)已成為提升政府治理能力的新途徑。2016年3月,環(huán)保部剛剛發(fā)布了《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》,為環(huán)保系統(tǒng)開展生態(tài)環(huán)境大數(shù)據(jù)建設(shè)提供了強有力的政策支持和技術(shù)框架。在大數(shù)據(jù)時代,我國政府嚴重缺乏對數(shù)據(jù)的管理,同時在利用大數(shù)據(jù)治理生態(tài)環(huán)境問題的方式上也面臨嚴峻挑戰(zhàn)。

首先,政府生態(tài)環(huán)境領(lǐng)域職能部門缺乏“大數(shù)據(jù)”思維和意識。我國已經(jīng)數(shù)字化的生態(tài)環(huán)境數(shù)據(jù)資源數(shù)量和質(zhì)量都表現(xiàn)出“雙低”狀態(tài),例如,很多紙質(zhì)檔案資料面臨破損與消失的風(fēng)險,如氣象資料。有些政府部門不知道自己有什么數(shù)據(jù),自己甚至沒有“數(shù)據(jù)清單”。另外,生態(tài)環(huán)境大數(shù)據(jù)目前還沒有形成統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)格式,地方和各個系統(tǒng)都在制定自己的數(shù)據(jù)標(biāo)準(zhǔn),目前急需對數(shù)據(jù)格式進行統(tǒng)一的標(biāo)準(zhǔn)規(guī)范,這是實現(xiàn)數(shù)據(jù)共享和開放的關(guān)鍵[8,12,20]。

其次,政府的現(xiàn)代管理理念和運作方式不適應(yīng)“大數(shù)據(jù)”管理決策的要求。生態(tài)環(huán)境大數(shù)據(jù)開發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ),幫助政府在解決生態(tài)環(huán)境問題的過程中作出明智的決策。因此,要改善我們政府的管理模式,需要管理方式和整體結(jié)構(gòu)與大數(shù)據(jù)技術(shù)工具相適配[8,12]。例如,在應(yīng)急管理的事前準(zhǔn)備、事中響應(yīng)和事后救援與恢復(fù)的每一階段都可以引入大數(shù)據(jù)的應(yīng)用,每個階段對大數(shù)據(jù)的應(yīng)用程度也會因其需要應(yīng)對內(nèi)容的不同而有所差別。如果各個部門不能改變管理模式和協(xié)同配合,常造成人為的損害。例如,最近我國南方遭遇的臺風(fēng)和強降雨事件,如果人們利用大數(shù)據(jù)的思維去管理,可以通過收集地面氣象站和衛(wèi)星的溫度、風(fēng)速和降雨量的小時數(shù)據(jù),對臺風(fēng)和降雨進行預(yù)測時空分布,可以事前疏散大眾,挽救國家和人民財產(chǎn)及生命。

最后,生態(tài)環(huán)境大數(shù)據(jù)面臨嚴重安全隱患。大數(shù)據(jù)的安全主要包括大數(shù)據(jù)自身安全和大數(shù)據(jù)技術(shù)安全[45],大數(shù)據(jù)自身安全指在數(shù)據(jù)采集、存儲、挖掘、分析和應(yīng)用過程中的安全,在這些計算和存儲過程中由于黑客外部網(wǎng)絡(luò)攻擊和人為操作不當(dāng)造成數(shù)據(jù)信息泄露,外部攻擊包括對靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)的數(shù)據(jù)傳輸攻擊、數(shù)據(jù)內(nèi)容攻擊、數(shù)據(jù)管理和網(wǎng)絡(luò)物理攻擊[46- 49]。例如,很多野外生態(tài)環(huán)境監(jiān)測的海量數(shù)據(jù)需要網(wǎng)絡(luò)傳輸,這就加大了網(wǎng)絡(luò)攻擊的風(fēng)險,如果涉及到軍用的一些生態(tài)環(huán)境數(shù)據(jù),本來人們可以國內(nèi)共享,但如果被黑客獲得這些數(shù)據(jù),就可能推測到我國軍方的一些信息,后果不堪設(shè)想。大數(shù)據(jù)技術(shù)安全是利用大數(shù)據(jù)技術(shù)解決信息系統(tǒng)安全的問題[45- 48],即黑客利用大數(shù)據(jù)技術(shù)對生態(tài)大數(shù)據(jù)進行攻擊,輕松獲得很多涉及國家機密和比較敏感的生態(tài)環(huán)境領(lǐng)域的數(shù)據(jù)。隨著云計算技術(shù)的發(fā)展,數(shù)據(jù)在云端的存儲存在嚴重的安全隱患。例如,美國“棱鏡門”事件,美國政府就是通過云計算和大數(shù)據(jù)技術(shù)收集大量數(shù)據(jù)也包括各國生態(tài)環(huán)境敏感數(shù)據(jù)。因此,我國未來應(yīng)加強生態(tài)環(huán)境大數(shù)據(jù)安全技術(shù)研發(fā)、生態(tài)環(huán)境大數(shù)據(jù)信息安全體系的建設(shè)和管理等方面。

5 結(jié)論與展望

本文對生態(tài)環(huán)境大數(shù)據(jù)在解決生態(tài)環(huán)境問題中所面臨的優(yōu)勢和挑戰(zhàn)進行了系統(tǒng)的梳理和概括總結(jié)。與傳統(tǒng)生態(tài)環(huán)境數(shù)據(jù)庫相比,生態(tài)環(huán)境大數(shù)據(jù)不僅僅是各類生態(tài)環(huán)境數(shù)據(jù)的集成,它是對各種生態(tài)環(huán)境數(shù)據(jù)進行了深入分析并與其他相關(guān)數(shù)據(jù)進行關(guān)聯(lián)分析后的數(shù)據(jù)產(chǎn)品,同時生態(tài)環(huán)境大數(shù)據(jù)還能對未來生態(tài)環(huán)境存在的重大風(fēng)險進行預(yù)測預(yù)報,并給管理者提供科學(xué)的決策。在數(shù)據(jù)獲得方面,除了政府部門的數(shù)據(jù)外,生態(tài)環(huán)境大數(shù)據(jù)也包含各類市場主體、社會組織、科研教育機構(gòu)等各類團體與個人所擁有的大量與生態(tài)環(huán)境相關(guān)的數(shù)據(jù)。在數(shù)據(jù)存儲和處理方面,利用各種大數(shù)據(jù)技術(shù)與傳統(tǒng)技術(shù)相結(jié)合處理生態(tài)環(huán)境的靜態(tài)、實時和圖的海量數(shù)據(jù)。在數(shù)據(jù)分析和挖掘方面,借助算法庫、模型庫、云計算、人工智能、知識庫對生態(tài)環(huán)境大數(shù)據(jù)進行深度挖掘、認知計算、關(guān)聯(lián)分析、趨勢分析、空間分析等各類信息挖掘,實現(xiàn)數(shù)據(jù)與模型的融合,開發(fā)新的數(shù)據(jù)產(chǎn)品提升大數(shù)據(jù)的應(yīng)用價值。在數(shù)據(jù)解釋上,生態(tài)環(huán)境大數(shù)據(jù)可以提供給用戶可視化大數(shù)據(jù)挖掘展示。今后要不斷加強大數(shù)據(jù)技術(shù)研發(fā)、加強資金投入、加強復(fù)合型人才培養(yǎng)、加強數(shù)據(jù)開放共享和加強生態(tài)環(huán)境大數(shù)據(jù)管理等方面,最終實現(xiàn)生態(tài)環(huán)境決策管理定量化、精細化,生態(tài)環(huán)境信息服務(wù)多樣化、專業(yè)化和智能化,為我國社會經(jīng)濟可持續(xù)發(fā)展和生態(tài)文明建設(shè)奠定基礎(chǔ)。

此外,鑒于大數(shù)據(jù)在解決生態(tài)環(huán)境問題中面臨的機遇和挑戰(zhàn),借助云計算、人工智能及模型模擬等大數(shù)據(jù)分析技術(shù),生態(tài)環(huán)境大數(shù)據(jù)未來迫切需要開展以下研究。(1)對各種生態(tài)環(huán)境數(shù)據(jù)進行數(shù)據(jù)標(biāo)準(zhǔn)化處理。由多個部門組成專門機構(gòu)調(diào)研決定數(shù)據(jù)的技術(shù)規(guī)范與標(biāo)準(zhǔn),搜集、整理、加工已有各個部門歷史生態(tài)環(huán)境數(shù)據(jù),實現(xiàn)各部門生態(tài)環(huán)境數(shù)據(jù)資料的集成。(2)依托現(xiàn)代數(shù)據(jù)存儲與處理分析技術(shù),構(gòu)建生態(tài)環(huán)境大數(shù)據(jù)存儲與處理分析平臺,實現(xiàn)生態(tài)環(huán)境大數(shù)據(jù)的查詢、更新和維護、備份等功能,在此基礎(chǔ)上,對生態(tài)環(huán)境數(shù)據(jù)進行集成分析和信息提取。(3)推動生態(tài)環(huán)境大數(shù)據(jù)與國內(nèi)外同類數(shù)據(jù)平臺的對接。推動生態(tài)環(huán)境大數(shù)據(jù)與農(nóng)業(yè)農(nóng)村大數(shù)據(jù)、工業(yè)和新興產(chǎn)業(yè)大數(shù)據(jù)、以及醫(yī)療健康和交通旅游服務(wù)大數(shù)據(jù)等大數(shù)據(jù)平臺的對接,探索各相關(guān)部門數(shù)據(jù)融合和協(xié)同創(chuàng)新應(yīng)用,實現(xiàn)現(xiàn)代農(nóng)業(yè)可持續(xù)發(fā)展、減少工業(yè)污染及碳排放、流行性疾病的預(yù)防以及重點景區(qū)生態(tài)環(huán)境保護、風(fēng)險預(yù)警等；加強國際交流,使我國生態(tài)環(huán)境大數(shù)據(jù)分析技術(shù)與國際接軌；為解決跨國界跨區(qū)域的全球性生態(tài)環(huán)境問題提供科學(xué)依據(jù)。

[1] Nature. Big Data. [2014-08- 23]. http://www.nature.com/news/specials/bigdata/index.html.

[2] Jonathan T O, Gerald A M. Special online collection: dealing with data. Science, 2011, 331(6018): 639-806.

[3] 方巍, 鄭玉, 徐江. 大數(shù)據(jù): 概念、技術(shù)及應(yīng)用研究綜述. 南京信息工程大學(xué)學(xué)報, 2014, 6(5): 405- 419.

[4] 常杪, 馮雁, 郭培坤, 解惠婷, 王世汶. 環(huán)境大數(shù)據(jù)概念、特征及在環(huán)境管理中的應(yīng)用. 中國環(huán)境管理, 2015, 7(6): 26- 30.

[5] 趙國棟, 易歡歡, 糜萬軍, 鄂維南. 大數(shù)據(jù)時代的歷史機遇——產(chǎn)業(yè)變革與數(shù)據(jù)科學(xué). 北京: 清華大學(xué)出版社, 2013.

[6] NIMET, Nigeria climate review bulletin (2011). http://www.nimetng.org/uploads/publication/NIMET%20climate%20review%20PDF%202011%20(1).pdf

[7] 徐子沛. 大數(shù)據(jù). 桂林: 廣西師范大學(xué)出版社, 2012.

[8] 程春明, 李蔚, 宋旭. 生態(tài)環(huán)境大數(shù)據(jù)建設(shè)的思考. 中國環(huán)境管理, 2015, 7(6): 9- 13.

[9] 傅伯杰, 劉宇. 國際生態(tài)系統(tǒng)觀測研究計劃及啟示. 地理科學(xué)進展, 2014, 33(7): 893- 902.

[10] 傅伯杰, 牛棟, 于貴瑞. 生態(tài)系統(tǒng)觀測研究網(wǎng)絡(luò)在地球系統(tǒng)科學(xué)中的作用. 地理科學(xué)進展, 2007, 26(1): 1- 16.

[11] 戴小廷. 近二十年來生物多樣性信息系統(tǒng)的研究進展. 信息技術(shù), 2012, (6): 55- 59.

[12] 詹志明, 尹文君. 環(huán)保大數(shù)據(jù)及其在環(huán)境污染防治管理創(chuàng)新中的應(yīng)用. 環(huán)境保護, 2016, 44(6): 44- 48.

[13] 環(huán)境保護部辦公廳. 關(guān)于印發(fā)《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》的通知. (2016-03-08)[2016-03- 14]. http://www.mep.gov.cn/gkml/hbb/bgt/201603/t20160311_332712.htm.

[14] 陶雪嬌, 胡曉峰, 劉洋. 大數(shù)據(jù)研究綜述. 系統(tǒng)仿真學(xué)報, 2013, 25(S1): 142- 146.

[15] Wugansha. 大數(shù)據(jù)漫談之四: Velocity--天下武功, 唯快不破. (2013-05- 28)[2013-05- 29]. http://www.huxiu.com/article/15106/1.html.

[16] 孫忠富, 杜克明, 鄭飛翔, 尹首一. 大數(shù)據(jù)在智慧農(nóng)業(yè)中研究與應(yīng)用展望. 中國農(nóng)業(yè)科技導(dǎo)報, 2013, 15(6): 63- 71.

[17] 國家林業(yè)局. 中國林業(yè)大數(shù)據(jù)中心已躍升至PB級. (2016-02- 19)[2016-02- 22]. http://www.forestry.gov.cn/main/195/content- 844759.html.

[18] 中國存儲網(wǎng). 交通大數(shù)據(jù)時代需解決的問題分析. (2014-05- 14)[2014-05- 23]. http://www.chinastor.com/a/dashuju/05143a22014.html.

[19] 中國氣象報. 氣象大數(shù)據(jù)時代真的到了嗎？(2014-05-06)[2014-05-07]. http://www.cma.gov.cn/2011xwzx/2011xqxxw/2011xqxyw/201405/t20140506_245247.html.

[20] 吳班, 程春明. 生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用探析. 環(huán)境保護, 2016, 44(3): 87- 89.

[21] 楊晨曦. 全球環(huán)境治理的結(jié)構(gòu)與過程研究[D]. 長春: 吉林大學(xué), 2013.

[22] 茅銘晨, 黃金印. 環(huán)境污染與公共服務(wù)對健康支出的影響——基于中國省際面板數(shù)據(jù)的門檻分析. 財經(jīng)論叢: 浙江財經(jīng)學(xué)院學(xué)報, 2016, (1): 97- 104.

[23] Cattell R. Scalable SQL and NoSQL data stores. SIGMOD Reccrd, 2011, 39(10): 12- 27.

[24] Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters. Communications of the ACM, 2008, 51: 107- 113.

[25] Meijer E. The world according to LINQ. Communications of the ACM, 2011, 54(10): 45- 51.

[26] Ghemawat S, Gobio H, Leung S T. The Google file system//Proceedings of the 19th ACM Symposium on Operating Systems Principles. New York, NY, USA: Bolton Landing, 2003, 29- 43.

[27] Hey T, Tansley S, Tolle K. The Fourth Paradigm: Data-Intensive Scientic Discovery.Bangalore:Microsoft Research,2009.

[28] Neumeyer L, Robbins B, Kesari A, Nair A. S4: distributed stream computing platform//Proceedings of 2010 IEEE International Conference on Data Mining Workshops. Sydney: IEEE, 2010: 170- 177.

[29] 李學(xué)龍, 龔海剛. 大數(shù)據(jù)系統(tǒng)綜述. 中國科學(xué): 信息科學(xué), 2015, 45(1): 1- 44.

[30] 程學(xué)旗, 靳小龍, 王元卓, 郭嘉豐,張鐵贏,李國杰. 大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述. 軟件學(xué)報, 2014, 25(9): 1889- 1908.

[31] 洪國偉. 論生物多樣性減少的原因及其保護策略. 安徽農(nóng)學(xué)通報, 2010, 16(2): 47- 49.

[32] 石虹. 淺談全球水資源態(tài)勢和中國水資源環(huán)境問題. 水土保持研究, 2002, 9(1): 145- 150.

[33] 駱永明. 中國土壤環(huán)境污染態(tài)勢及預(yù)防、控制和修復(fù)策略. 環(huán)境污染與防治, 2009, 31(12): 27- 31.

[34] 包曉斌. 防治生態(tài)系統(tǒng)退化的對策研究.環(huán)境保護, 2012, (20): 48- 50.

[35] Zemp M, Frey H, G?rtner-Roer I, Nussbaumer S U, Hoelzle M, Paul F, Haeberli W, Denzinger F, Ahlstr?m A P, Anderson B, Bajracharya S, Baroni C, Braun L N, Cáceres B E, Casassa G, Cobos G, Dávila L R, Delgado G H, Demuth M N, Espizua L, Fischer A, Fujita K, Gadek B, Ghazanfar A, Hagen J O, Holmlund P, Karimi N, Li ZQ, Pelto M, Pitte P, Popovnin V V, Portocarrero C A, Prinz R, Sangewar C V, Severskiy I, Sigursson O, Soruco A, Usubaliev R, Vincent C. Historically unprecedented global glacier decline in the early 21st century. Journal of Glaciology, 2015, 61(228): 745- 762.

[36] Hinton G, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7): 1527- 1554.

[37] Bengio Y, Lamblin P, Popovici D, Larochelle H, Montreal U. Greedy layer-wise training of deep networks//Plat JC, Koller D, Singer Y,Roweis S T, Eds. Advances in Neural Information Processing Systems19:Proceedings of the 2006 Conference. Cambridge: MIT Press,2007, 19: 153- 160.

[38] Dahl GE, Yu D, Deng L, Acero A. Context-Dependent pre-trained deep neural networks for large-vocabulary speech recognition. IEEE Trans actionson Audio, Speech, and Language Processing, 2012, 20(1): 30- 42.

[39] Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks//Pereira F, Burges C J C, Bottou L, Weinberger K Q, eds. Advances in Neural Information Processing Systems 25e. Cambridge: MIT Press, 2012:1097- 1105.

[40] 劉智慧, 張泉靈. 大數(shù)據(jù)技術(shù)研究綜述. 浙江大學(xué)學(xué)報: 工學(xué)版, 2014, 48(6): 957- 972.

[41] Hinton G E. Learning multiple layers of representation. Trends in Cognitive Sciences, 2007, 11(10): 428- 434.

[42] Baah G K, Gray A, Harrold M J. On-line anomaly detection of deployed software: a statistical machine learning approach//Proceedings of the 3rd International Workshop on Software Quality Assurance.Portland: ACM, 2006:70- 77.

[43] Moeng M, Melhem R. Applying statistical machine learning to multicore voltage & frequency scaling//Proceedings of the 7th ACM International Conference on Computing Frontiers.Bertinoro:ACM, 2010: 277- 286.

[44] 陳左寧, 王廣益, 胡蘇太, 韋海亮. 大數(shù)據(jù)安全與自主可控. 科學(xué)通報, 2015, 60(5/6): 427- 432.

[45] 趙岑, 李夢然, 金日峰. 大數(shù)據(jù)時代關(guān)于隱私的思考. 科學(xué)通報, 2015, 60(5/6): 450- 452.

[46] 楊曦, Gul J, 羅平. 云時代下的大數(shù)據(jù)安全技術(shù). 中興通訊技術(shù), 2016, 22(1): 14- 18.

[47] 王世偉. 論大數(shù)據(jù)時代信息安全的新特點與新要求. 圖書情報工作, 2016, 60(6): 5- 14.

[48] 馮偉. 大數(shù)據(jù)時代面臨的信息安全機遇和挑戰(zhàn). 中國科技投資, 2012, (34): 49- 53.

The opportunities and challenges presented by ecological environment big data

LIU Lixiang, ZHANG Liyun, ZHAO Fen, ZHAO Miaomiao, ZHAO Haifeng, SHAO Rui, XU Ming*

KeyLaboratoryofEcosystemNetworkObservationandModeling,InstituteofGeographicSciencesandNaturalResourcesResearch,ChineseAcademyofSciences,Beijing100101,China

With the arrival of the era of big data and the rapid development of big data technology, the construction and application of ecological environment big data have been initiated. To comprehensively promote the construction and application of ecological environment big data, we summarize in the present paper the opportunities and advantages presented by ecological environment big data in terms of solving ecological environment problems, and analyze the challenges faced regarding the application of ecological environment big data. We review the concept and basic features of big data and present the particularity and complexity of the characteristics of ecological environment big data,taking into consideration the characteristics of the ecological environment. Subsequently, we primarily analyze the opportunities presented by ecological environment big data in mitigating environmental pollution, ecological degradation, and climate change from the aspects of data storage, data processing, data analysis, data interpretation, and presentation, and compare these with the use of traditional ecological environment data. The advantages of ecological environment big data indicate that this type of data can help us to improve the comprehensive decision-making level of ecological environment management. Although prospects for the applications of ecological environment big data in China are promising, there exist potential difficulties and challenges, such as data sharing, dataassessing, data application innovation, data management, technological innovation and launch, professional personnel training, and capital investment. Finally, we propose the following three priority areas concerning ecological environment big data based on our thorough review: (1) standardization of all types of ecological environment data; (2) building the storage, processing, and analysis platforms of ecological environment big data storage and processing analysis; (3) pushing forward the docking of ecological environment big data at home and abroad.

big data; ecological environment big data; ecological environment problems; environmental pollution; ecological degradation; climate change

國家重點基礎(chǔ)研究發(fā)展規(guī)劃(973)項目(2012CB417103);青海省2013年科技促進新農(nóng)村建設(shè)計劃項目(2013-N- 556)；四川省林業(yè)廳項目(2009-204)

2016- 04- 21; 網(wǎng)絡(luò)出版日期:2017- 03- 02

10.5846/stxb201604210748

*通訊作者Corresponding author.E-mail: mingxu@igsnrr.ac.cn

劉麗香,張麗云,趙芬,趙苗苗,趙海鳳,邵蕊,徐明.生態(tài)環(huán)境大數(shù)據(jù)面臨的機遇與挑戰(zhàn).生態(tài)學(xué)報,2017,37(14):4896- 4904.

Liu L X, Zhang L Y, Zhao F, Zhao M M, Zhao H F, Shao R, Xu M.The opportunities and challenges presented by ecological environment big data.Acta Ecologica Sinica,2017,37(14):4896- 4904.