技術(shù)的發(fā)展,大數(shù)據(jù)的問(wèn)世加速了數(shù)字地球進(jìn)程,從而完成了“地球裝進(jìn)計(jì)算機(jī)”向“地球大數(shù)據(jù)”的變遷,在全球氣候變化、救災(zāi)減災(zāi)、食品安全、新能源開(kāi)發(fā)和智慧城市等方面也有了突破性進(jìn)
我們正面臨全球變化的嚴(yán)重挑戰(zhàn),解決之道就是數(shù)據(jù)。不僅僅是搜集數(shù)據(jù),而是通過(guò)對(duì)現(xiàn)有數(shù)據(jù)的分析,預(yù)測(cè)未來(lái)的模擬數(shù)據(jù),預(yù)測(cè)未來(lái)的全球變
上個(gè)月IDC的“數(shù)字宇宙”研究報(bào)告指出,全球數(shù)據(jù)總量將以每?jī)赡攴环乃俣瘸掷m(xù)增長(zhǎng)。去年只有20%的數(shù)據(jù)與云相關(guān),幾年之后將翻倍至40%,這是一個(gè)非常重要的數(shù)據(jù)。如今在全球數(shù)據(jù)的分布中,中國(guó)占了13%。6年以后,全球21%的數(shù)據(jù)將在中國(guó),這將是占全球五分之一的數(shù)據(jù),所以說(shuō)中國(guó)所擁有的數(shù)據(jù)在國(guó)際上舉足輕重。
大數(shù)據(jù)的持續(xù)發(fā)展
有一位尊敬的學(xué)者曾經(jīng)講到:“信息科學(xué)的發(fā)展使人們難以預(yù)料,如果你想讓哪一個(gè)人犯錯(cuò)誤,那么你就讓他預(yù)測(cè)5年以后信息技術(shù)的發(fā)展?!弊鳛槲覀?cè)朴?jì)算、大數(shù)據(jù)實(shí)際上也是同樣的原理,大數(shù)據(jù)目前在哪個(gè)位置上對(duì)我們將來(lái)的研究是至關(guān)重要的。
1997年第一篇大數(shù)據(jù)文章的起源,2004年里程碑式的發(fā)展,2006年持續(xù)發(fā)揮作用作用, 2011年,大數(shù)據(jù)獲得成功。
科學(xué)領(lǐng)域?qū)Υ朔浅V匾暎?年前在科技領(lǐng)域,大家最為尊崇的兩大期刊,一個(gè)是《自然》,一個(gè)是《科學(xué)》?!蹲匀弧穼?duì)很多人來(lái)說(shuō),它做了很多有關(guān)生命起源的專題,像大爆發(fā),像東北鳥(niǎo)的起源等等,但是6年前《自然》雜志也出版了大數(shù)據(jù)的???。2009年《第四范式》出版是一個(gè)非常重要的里程碑,后續(xù)有2010年《無(wú)處不在的數(shù)據(jù)》,3年前《科學(xué)》??渤鰜?lái)了??萍冀绲闹匾?、全球的重視,引起了聯(lián)合國(guó)足夠的重視,聯(lián)合國(guó)的一個(gè)報(bào)告白皮書(shū)《大數(shù)據(jù)促發(fā)展,挑戰(zhàn)與機(jī)遇》接踵而至,緊接著兩年前高德納的4V定義,同時(shí)在我們這個(gè)領(lǐng)域也發(fā)表了一篇文章,提出了大數(shù)據(jù)與數(shù)字地球的關(guān)系。
然而,雖然目前在大數(shù)據(jù)方面熱度最高的國(guó)家是印度,但是我們國(guó)家有關(guān)決策部門對(duì)此重視程度也是相當(dāng)高,特別是近一兩年反映在我國(guó)部署的973計(jì)劃、863計(jì)劃,也包括我國(guó)的經(jīng)信委也在部署大數(shù)據(jù)科學(xué)計(jì)劃,工業(yè)部門和一些地方也在做同樣的計(jì)劃。
同樣在國(guó)際組織上,可以看到都在不斷地推動(dòng)發(fā)展和全球計(jì)劃,OECD發(fā)布了《探索數(shù)據(jù)驅(qū)動(dòng)型創(chuàng)新》報(bào)告,指出利用數(shù)據(jù)來(lái)刺激提升生產(chǎn)力,充分發(fā)揮大數(shù)據(jù)的潛能,造福人類,進(jìn)一步闡述了大數(shù)據(jù)未來(lái)的潛力和作用。國(guó)際科聯(lián)在2011年之前就開(kāi)始做戰(zhàn)略規(guī)劃,在2012—2017年的戰(zhàn)略規(guī)劃中特別強(qiáng)調(diào)了數(shù)據(jù)、信息對(duì)于科學(xué)驅(qū)動(dòng)的著手,在數(shù)據(jù)中間特別強(qiáng)調(diào)了大數(shù)據(jù)的作用。
大數(shù)據(jù)在科研領(lǐng)域的發(fā)展現(xiàn)狀
作為國(guó)際科聯(lián)的一個(gè)委員會(huì),CODATA——國(guó)際科聯(lián)科學(xué)數(shù)據(jù)委員會(huì)也專門召開(kāi)了一個(gè)大數(shù)據(jù)會(huì)議,邀請(qǐng)了DWS等重要的數(shù)據(jù)組織,同時(shí)也邀請(qǐng)了國(guó)科聯(lián)的未來(lái)地球計(jì)劃,邀請(qǐng)了全球綜合減災(zāi)計(jì)劃,以及83個(gè)國(guó)家和72個(gè)國(guó)際組織構(gòu)成的一個(gè)政府間國(guó)際組織。前段時(shí)間,我在的中科院遙感數(shù)字研究所也召開(kāi)了相關(guān)會(huì)議,大家討論的就是大數(shù)據(jù)到底對(duì)我們的學(xué)科發(fā)展能帶來(lái)什么,大數(shù)據(jù)為全球的科學(xué)計(jì)劃起到了什么樣的重要作用。
為了做這樣的研討,在全球范圍內(nèi)我們做了一些基礎(chǔ)性工作。比如以BIGDATA為關(guān)鍵詞進(jìn)行檢索,出現(xiàn)相關(guān)文章一千多篇,半數(shù)都是SCI收錄的文章。從國(guó)家分布來(lái)看,如果說(shuō)以40篇為一個(gè)界限,超過(guò)40篇的有七個(gè)國(guó)家,從文章發(fā)表來(lái)看,中國(guó)有181篇僅次于印度,位居全球第二從中可以看到中國(guó)對(duì)大數(shù)據(jù)的研究發(fā)展是鼓舞人心的。
關(guān)于大數(shù)據(jù)的定義,仍在不斷的探討之中,其中4V是大家感興趣的重要話題。大數(shù)據(jù)時(shí)代以及大數(shù)據(jù)計(jì)算的本質(zhì)特征在于從模型驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)范式的轉(zhuǎn)變以及數(shù)據(jù)密集型科學(xué)方法的確立。
如今科學(xué)范式也出現(xiàn)了轉(zhuǎn)化,幾千年前以實(shí)驗(yàn)為手段描述自然,數(shù)百年前利用模型和歸納方法進(jìn)行論證的分支出現(xiàn)了,過(guò)去數(shù)十年進(jìn)行計(jì)算分支仿真模擬,現(xiàn)在當(dāng)大數(shù)據(jù)時(shí)代到來(lái)時(shí),將理論、實(shí)驗(yàn)、計(jì)算仿真等統(tǒng)一起來(lái)形成了新的密集計(jì)算。
舉一個(gè)例子,是一個(gè)很久遠(yuǎn)的故事,喜歡天文的先生們都知道第谷,他的助手開(kāi)普勒建立了一個(gè)偉大的理論。這中間我們描述大數(shù)據(jù)與大科學(xué)是一個(gè)什么樣的關(guān)系,然后大科學(xué)中我們要有系列的知識(shí)發(fā)現(xiàn),講方法論、講挑戰(zhàn),這種挑戰(zhàn)我們規(guī)定為三個(gè)H。
大科學(xué)裝置要催生帶領(lǐng)一系列的大數(shù)據(jù),以中國(guó)科學(xué)院遙感與數(shù)字地球研究所為例,每天都在誕生大量的衛(wèi)星和航空數(shù)據(jù),這樣的大科學(xué)投資強(qiáng)度大、學(xué)科交叉,產(chǎn)生的大數(shù)據(jù)為大科學(xué)的誕生奠定了堅(jiān)實(shí)的基礎(chǔ)。例如在高能物理領(lǐng)域,每年投入很多,重要的是產(chǎn)生了很多數(shù)據(jù),這些數(shù)據(jù)為科學(xué)家?guī)?lái)了重要機(jī)遇。因?yàn)槭切枰ㄟ^(guò)分析和推斷“上帝粒子”是否存在,從數(shù)據(jù)和圖形的分析中來(lái)揭示這些現(xiàn)象,所以“上帝粒子”的產(chǎn)生和發(fā)展與大數(shù)據(jù)有著重要的、密切的關(guān)系。
其次,人類基因組是一個(gè)偉大的計(jì)劃,如果沒(méi)有大數(shù)據(jù),如今人類基因組可能很難有如此豐富的成果?,F(xiàn)在有很多人在做多年來(lái)產(chǎn)生序列的數(shù)據(jù),這需要很多的存儲(chǔ)、分析和計(jì)算能力去完成。我們正面臨全球變化的嚴(yán)重挑戰(zhàn),解決之道就是數(shù)據(jù)。不僅僅是搜集數(shù)據(jù),而是通過(guò)對(duì)現(xiàn)有數(shù)據(jù)的分析,預(yù)測(cè)未來(lái)的模擬數(shù)據(jù),預(yù)測(cè)未來(lái)的全球變化。一百年之后全球是變暖了,還是變冷了,十萬(wàn)年之后,人類是否還能在地球上居住,其實(shí)都要靠數(shù)據(jù)去建立,可以說(shuō)這些數(shù)據(jù)為氣候的長(zhǎng)期變化都可以提供堅(jiān)實(shí)的基礎(chǔ)。
再者,大數(shù)據(jù)與天文方面的例子更是不勝枚舉,我們從地面對(duì)天文的觀測(cè)也是建立在大數(shù)據(jù)的基礎(chǔ)之上,其重要性體現(xiàn)在有了大數(shù)據(jù),也就相當(dāng)于擁有了各種探測(cè)設(shè)備一樣。
簡(jiǎn)而言之可以看出科學(xué)大數(shù)據(jù)一些非常重要的特征,復(fù)雜性、綜合性、全球性等多種特點(diǎn)融于一身。大數(shù)據(jù)特別是科學(xué)大數(shù)據(jù)也有若干外部特征,從內(nèi)容、體量、速率、手段等等來(lái)講,具備著五大特征。它的內(nèi)部特征包括超高維度、高度計(jì)算復(fù)雜性、高度的不確定性。大數(shù)據(jù)研究方法論一個(gè)是量、一個(gè)是質(zhì)、一個(gè)是用,三個(gè)方面互為因果、互相促進(jìn)。
數(shù)字地球驅(qū)動(dòng)的發(fā)展情況
1999年中國(guó)科學(xué)家發(fā)起召開(kāi)全球國(guó)際第一次數(shù)字地球會(huì)議,從此數(shù)字地球在全球范圍內(nèi)廣泛的傳播。2006年國(guó)際數(shù)字地球?qū)W會(huì)誕生,創(chuàng)建了《國(guó)際數(shù)字地球?qū)W報(bào)》等刊物。當(dāng)前發(fā)展勢(shì)頭良好,數(shù)字地球研究在全球范圍內(nèi)碩果累累,過(guò)去15年來(lái)長(zhǎng)足的發(fā)展,提出的數(shù)字地球理念的85%已經(jīng)實(shí)現(xiàn)。。
數(shù)字地球的建立基于各方面的數(shù)據(jù),其中觀測(cè)數(shù)據(jù)非常重要。過(guò)去半個(gè)世紀(jì)以來(lái),國(guó)際的對(duì)地觀測(cè)衛(wèi)星的發(fā)展一浪高過(guò)一浪,從最早全球14個(gè)衛(wèi)星發(fā)展到現(xiàn)在每年都有十幾顆衛(wèi)星上天??梢钥吹街袊?guó)未來(lái)十年對(duì)地觀測(cè)衛(wèi)星的發(fā)展,未來(lái)中國(guó)遙感衛(wèi)星的數(shù)量要居世界前列,還要發(fā)射一系列遙感衛(wèi)星和其他衛(wèi)星,不僅發(fā)射中國(guó)的衛(wèi)星,還要有強(qiáng)大的接收能力,所在的遙感地球所的地面接收系統(tǒng)能覆蓋全國(guó),也能接收覆蓋亞洲將近70%的數(shù)據(jù)。最近還要在北極建站,實(shí)現(xiàn)一個(gè)理念,國(guó)家的利益延伸到哪,我們的空間信息保障能力就建立在哪。
15年前有記者問(wèn)我什么是數(shù)字地球?我說(shuō)我不懂,但是要讓我講給中學(xué)生聽(tīng),數(shù)字地球就是把我們的地球裝進(jìn)我的計(jì)算機(jī)。15年前過(guò)去了,現(xiàn)在從科學(xué)角度來(lái)講,你問(wèn)我什么是數(shù)字地球?我可以從一個(gè)角度來(lái)講,數(shù)字地球就是地球大數(shù)據(jù)。
依據(jù)這個(gè)新的觀點(diǎn),數(shù)字地球一些理念出來(lái)了,并且研究探討了數(shù)字地球的一系列科學(xué)問(wèn)題,包括大數(shù)據(jù)的動(dòng)態(tài)匯聚,數(shù)據(jù)密集型的地球計(jì)算,要素的呈現(xiàn)理論與方法等等。我們現(xiàn)在所做的理論研究、高技術(shù)發(fā)展,特別對(duì)我們這樣一個(gè)發(fā)展中國(guó)家來(lái)說(shuō),最終還是要用在經(jīng)濟(jì)社會(huì)發(fā)展的一些領(lǐng)域,那么將來(lái)新一代數(shù)字地球構(gòu)造起來(lái)是做什么呢?在此特別提煉五個(gè)重要的數(shù)字地球構(gòu)造發(fā)展方向:一是全球變化;二是減災(zāi)防災(zāi);三是新能源開(kāi)發(fā)利用;四是農(nóng)業(yè)食品安全;五是數(shù)字城市和智慧城市的發(fā)展。
因此,從大數(shù)據(jù)的理念來(lái)構(gòu)造新一代的數(shù)字地球,其實(shí)還是建立一個(gè)虛擬地球,虛擬地球事實(shí)上服務(wù)于未來(lái)的地球,使全球環(huán)境可持續(xù)發(fā)展。我們生活在這個(gè)地球上,都有責(zé)任和理念來(lái)建立未來(lái)的數(shù)字地球,讓人類的生活更加美好。
(以上內(nèi)容系根據(jù)郭華東院士在“2014第六屆中國(guó)云計(jì)算大會(huì)”上的演講整理而成)