一、大數(shù)據(jù)概念探討

大數(shù)據(jù)的應(yīng)用和技術(shù)是在互聯(lián)網(wǎng)快速發(fā)展中誕生的，起點(diǎn)可追溯到2000年前后。當(dāng)時(shí)互聯(lián)網(wǎng)網(wǎng)頁(yè)爆發(fā)式增長(zhǎng)，每天新增約 700 萬(wàn)個(gè)網(wǎng)頁(yè)，到 2000 年底全球網(wǎng)頁(yè)數(shù)達(dá)到 40 億，用戶檢索信息越來(lái)越不方便。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁(yè)的索引庫(kù)，開(kāi)始提供較為精確的搜索服務(wù)，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點(diǎn)。當(dāng)時(shí)搜索引擎要存儲(chǔ)和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無(wú)法應(yīng)對(duì)。為此，谷歌提出了一套以分布式為特征的全新技術(shù)體系，即后來(lái)陸續(xù)公開(kāi)的分布式文件系統(tǒng)(GFS，Google File System)、分布式并行計(jì)算(MapReduce)和分布式數(shù)據(jù)(BigTable)等技術(shù)，以較低的成本實(shí)現(xiàn)了之前技術(shù)無(wú)法達(dá)到的規(guī)模。這些技術(shù)奠定了當(dāng)前大數(shù)據(jù)技術(shù)的基礎(chǔ)，可以認(rèn)為是大數(shù)據(jù)技術(shù)的源頭。

伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。這啟發(fā)全社會(huì)開(kāi)始重新審視數(shù)據(jù)的巨大價(jià)值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開(kāi)始嘗試這種新的理念和技術(shù)，取得初步成效。與此同時(shí)，業(yè)界也在不斷對(duì)谷歌提出的技術(shù)體系進(jìn)行擴(kuò)展，使之能在更多的場(chǎng)景下使用。2011 年，麥肯錫、世界經(jīng)濟(jì)論壇等知名機(jī)構(gòu)對(duì)這種數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新進(jìn)行了研究總結(jié)，隨即在全世界興起了一股大數(shù)據(jù)熱潮。

雖然大數(shù)據(jù)已經(jīng)成為全社會(huì)熱議的話題，但到目前為止，“大數(shù)據(jù)”尚無(wú)公認(rèn)的統(tǒng)一定義。我們認(rèn)為，認(rèn)識(shí)大數(shù)據(jù)，要把握“資源、技術(shù)、應(yīng)用”三個(gè)層次。大數(shù)據(jù)是具有體量大、結(jié)構(gòu)多樣、時(shí)效強(qiáng)等特征的數(shù)據(jù)；處理大數(shù)據(jù)需采用新型計(jì)算架構(gòu)和智能算法等新技術(shù)；大數(shù)據(jù)的應(yīng)用強(qiáng)調(diào)以新的理念應(yīng)用于輔助決策、發(fā)現(xiàn)新的知識(shí)，更強(qiáng)調(diào)在線閉環(huán)的業(yè)務(wù)流程優(yōu)化。因此說(shuō)，大數(shù)據(jù)不僅“大”，而且“新”，是新資源、新工具和新應(yīng)用的綜合體。

二、大數(shù)據(jù)關(guān)鍵技術(shù)

(一) 大數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)處理技術(shù)體系提出挑戰(zhàn)

大數(shù)據(jù)來(lái)源于互聯(lián)網(wǎng)、企業(yè)系統(tǒng)和物聯(lián)網(wǎng)等信息系統(tǒng)，經(jīng)過(guò)大數(shù)據(jù)處理系統(tǒng)的分析挖掘，產(chǎn)生新的知識(shí)用以支撐決策或業(yè)務(wù)的自動(dòng)智能化運(yùn)轉(zhuǎn)。從數(shù)據(jù)在信息系統(tǒng)中的生命周期看，大數(shù)據(jù)從數(shù)據(jù)源經(jīng)過(guò)分析挖掘到最終獲得價(jià)值一般需要經(jīng)過(guò) 5 個(gè)主要環(huán)節(jié)，包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)存儲(chǔ)與管理、計(jì)算處理、數(shù)據(jù)分析和知識(shí)展現(xiàn)。每個(gè)環(huán)節(jié)都面臨不同程度的技術(shù)上的挑戰(zhàn)。

◆數(shù)據(jù)準(zhǔn)備環(huán)節(jié)：在進(jìn)行存儲(chǔ)和處理之前，需要對(duì)數(shù)據(jù)進(jìn)行清洗、整理，傳統(tǒng)數(shù)據(jù)處理體 系中稱為 ETL（Extracting，Transforming，Loading）過(guò)程。與以往數(shù)據(jù)分析相比，大數(shù)據(jù)的來(lái)源多種多樣，包括企業(yè)內(nèi)部數(shù)據(jù)庫(kù)、互聯(lián)網(wǎng)數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)，不僅數(shù)量龐大、格式不一，質(zhì)量也良莠不齊。這就要求數(shù)據(jù)準(zhǔn)備環(huán)節(jié)一方面要規(guī)范格式，便于后續(xù)存儲(chǔ)管理，另一方面要在盡可能保留原有語(yǔ)義的情況下去粗取精、消除噪聲。

◆數(shù)據(jù)存儲(chǔ)與管理環(huán)節(jié)：當(dāng)前全球數(shù)據(jù)量正以每年超過(guò) 50%的速度增長(zhǎng)，存儲(chǔ)技術(shù)的成本和性能面臨非常大的壓力。大數(shù)據(jù)存儲(chǔ)系統(tǒng)不僅需要以極低的成本存儲(chǔ)海量數(shù)據(jù)，還要適應(yīng)多樣化的非結(jié)構(gòu)化數(shù)據(jù)管理需求，具備數(shù)據(jù)格式上的可擴(kuò)展性。

◆計(jì)算處理環(huán)節(jié)：需要根據(jù)處理的數(shù)據(jù)類型和分析目標(biāo)，采用適當(dāng)?shù)乃惴Ｐ停焖偬幚頂?shù)據(jù)。海量數(shù)據(jù)處理要消耗大量的計(jì)算資源，對(duì)于傳統(tǒng)單機(jī)或并行計(jì)算技術(shù)來(lái)說(shuō)，速度、可擴(kuò)展性和成本上都難以適應(yīng)大數(shù)據(jù)計(jì)算分析的新需求。分而治之的分布式計(jì)算成為大數(shù)據(jù)的主流計(jì)算架構(gòu)，但在一些特定場(chǎng)景下的實(shí)時(shí)性還需要大幅提升。

◆數(shù)據(jù)分析環(huán)節(jié)：數(shù)據(jù)分析環(huán)節(jié)需要從紛繁復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)規(guī)律提取新的知識(shí)，是大數(shù)據(jù)價(jià)值挖掘的關(guān)鍵。傳統(tǒng)數(shù)據(jù)挖掘?qū)ο蠖嗍墙Y(jié)構(gòu)化、單一對(duì)象的小數(shù)據(jù)集，挖掘更側(cè)重根據(jù)先驗(yàn)知識(shí)預(yù)先人工建立模型，然后依據(jù)既定模型進(jìn)行分析。對(duì)于非結(jié)構(gòu)化、多源異構(gòu)的大數(shù)據(jù)集的分析，往往缺乏先驗(yàn)知識(shí)，很難建立顯式的數(shù)學(xué)模型，這就需要發(fā)展更加智能的數(shù)據(jù)挖掘技術(shù)。

◆知識(shí)展現(xiàn)環(huán)節(jié)：在大數(shù)據(jù)服務(wù)于決策支撐場(chǎng)景下，以直觀的方式將分析結(jié)果呈現(xiàn)給用戶，是大數(shù)據(jù)分析的重要環(huán)節(jié)。如何讓復(fù)雜的分析結(jié)果易于理解是主要挑戰(zhàn)。在嵌入多業(yè)務(wù)中的閉環(huán)大數(shù)據(jù)應(yīng)用中，一般是由機(jī)器根據(jù)算法直接應(yīng)用分析結(jié)果而無(wú)需人工干預(yù)，這種場(chǎng)景下知識(shí)展現(xiàn)環(huán)節(jié)則不是必需的。

總的來(lái)看，大數(shù)據(jù)對(duì)數(shù)據(jù)準(zhǔn)備環(huán)節(jié)和知識(shí)展現(xiàn)環(huán)節(jié)來(lái)說(shuō)只是量的變化，并不需要根本性的變革。但大數(shù)據(jù)對(duì)數(shù)據(jù)分析、計(jì)算和存儲(chǔ)三個(gè)環(huán)節(jié)影響較大，需要對(duì)技術(shù)架構(gòu)和算法進(jìn)行重構(gòu)，是當(dāng)前和未來(lái)一段時(shí)間大數(shù)據(jù)技術(shù)創(chuàng)新的焦點(diǎn)。

三、我國(guó)大數(shù)據(jù)發(fā)展?fàn)顩r

我國(guó)大數(shù)據(jù)發(fā)展的宏觀政策環(huán)境不斷完善。2012 年以來(lái)，科技部、發(fā)改委、工信部等部委在科技和產(chǎn)業(yè)化專項(xiàng)陸續(xù)支持了一批大數(shù)據(jù)相關(guān)項(xiàng)目，在推進(jìn)技術(shù)研發(fā)方面取得了積極效果。2013年6月工信部發(fā)布的《電信和互聯(lián)網(wǎng)用戶個(gè)人信息保護(hù)規(guī)定》，根據(jù)《全國(guó)人民代表大會(huì)常務(wù)委員會(huì)關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》，進(jìn)一步界定了個(gè)人信息的范圍，提出了個(gè)人信息的收集和使用規(guī)則、安全保障等要求，為大數(shù)據(jù)應(yīng)用中的個(gè)人信息保護(hù)設(shè)立了法律法規(guī)屏障。2014年《政府工作報(bào)告》明確提出，“以創(chuàng)新支撐和引領(lǐng)經(jīng)濟(jì)結(jié)構(gòu)優(yōu)化升級(jí)；設(shè)立新興產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新平臺(tái)”，在新一代移動(dòng)通信、集成電路、大數(shù)據(jù)等方面趕超先進(jìn)，引領(lǐng)未來(lái)產(chǎn)業(yè)發(fā)展。

地方政府積極推動(dòng)大數(shù)據(jù)發(fā)展，2013年以來(lái)陸續(xù)出臺(tái)了推進(jìn)計(jì)劃。總體上看各地大數(shù)據(jù)發(fā)展政策各有側(cè)重，形成了不同的模式。

模式一是強(qiáng)調(diào)研發(fā)及公共領(lǐng)域應(yīng)用。如上海市《推進(jìn)大數(shù)據(jù)研究與發(fā)展三年行動(dòng)計(jì)劃》提出，將在三年內(nèi)選取醫(yī)療衛(wèi)生、食品安全、終身教育、智慧交通、公共安全、科技服務(wù) 6 個(gè)有基礎(chǔ)的領(lǐng)域，建設(shè)大數(shù)據(jù)公共服務(wù)平臺(tái)。

模式二是強(qiáng)調(diào)以大數(shù)據(jù)引領(lǐng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。如北京中關(guān)村《關(guān)于加快培育大數(shù)據(jù)產(chǎn)業(yè)集群推動(dòng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)的意見(jiàn)》提出，要充分發(fā)揮大數(shù)據(jù)在工業(yè)化與信息化深度融合中的關(guān)鍵作用，推動(dòng)中關(guān)村國(guó)家自主創(chuàng)新示范區(qū)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。

模式三是強(qiáng)調(diào)建立大數(shù)據(jù)基地，吸納企業(yè)落戶。如重慶、貴州、陜西、湖北等地都提出建設(shè)大數(shù)據(jù)產(chǎn)業(yè)基地的計(jì)劃，力圖將大數(shù)據(jù)培育成本地的支柱產(chǎn)業(yè)。在地方積極推動(dòng)大數(shù)據(jù)發(fā)展的同時(shí)，也應(yīng)警惕將“大數(shù)據(jù)”簡(jiǎn)單等同于“大數(shù)據(jù)中心”、盲目上馬大規(guī)模園區(qū)建設(shè)的潛在過(guò)熱風(fēng)險(xiǎn)。

總體上，我國(guó)的大數(shù)據(jù)產(chǎn)業(yè)具備良好基礎(chǔ)，發(fā)展前景廣闊。

一是一批世界級(jí)的互聯(lián)網(wǎng)公司在大數(shù)據(jù)應(yīng)用上不斷推陳出新，智能搜索、廣告、電商、社交等借助大數(shù)據(jù)技術(shù)持續(xù)進(jìn)化，互聯(lián)網(wǎng)金融、O2O（online to offline）等應(yīng)用借助大數(shù)據(jù)向線下延伸。

二是大數(shù)據(jù)技術(shù)緊跟國(guó)際先進(jìn)水平，具備建設(shè)和運(yùn)營(yíng)世界最大規(guī)模大數(shù)據(jù)平臺(tái)的能力，單集群規(guī)模達(dá) 5000 到 10000 臺(tái)服務(wù)器，數(shù)據(jù)管理規(guī)模達(dá)到 EB（1EB=10 18 B）級(jí)別，在機(jī)器學(xué)習(xí)等方面也有所突破。

三是當(dāng)前和未來(lái)一段時(shí)間，我國(guó)面臨著經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型升級(jí)、政府和公共服務(wù)改進(jìn)提升等緊迫任務(wù)，這些方面大數(shù)據(jù)都有廣闊的應(yīng)用前景。

四、問(wèn)題與政策思考

(一) 我國(guó)大數(shù)據(jù)發(fā)展面臨的問(wèn)題

應(yīng)該認(rèn)識(shí)到，大數(shù)據(jù)在全球的發(fā)展還都處于初期，技術(shù)、制度、觀念等方面都需要改變。對(duì)我國(guó)來(lái)說(shuō)，數(shù)據(jù)資源不豐富、技術(shù)差距大和法律法規(guī)不完善是當(dāng)前大數(shù)據(jù)發(fā)展面臨的主要問(wèn)題。

一是我國(guó)數(shù)據(jù)源不夠豐富，數(shù)據(jù)開(kāi)放程度較低。豐富的高質(zhì)量數(shù)據(jù)資源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。近幾年在互聯(lián)網(wǎng)產(chǎn)業(yè)及金融、電信信息化快速發(fā)展的帶動(dòng)下，我國(guó)數(shù)據(jù)資源總量有了快速增長(zhǎng)，已達(dá)到全球的 13%，但其他行業(yè)受信息化水平制約，數(shù)據(jù)儲(chǔ)量仍不豐富。已有數(shù)據(jù)資源還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況。

同時(shí)，我國(guó)政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)中受到各種因素制約，形成了眾多“信息孤島”，數(shù)據(jù)開(kāi)放程度嚴(yán)重滯后。建立良性發(fā)展的數(shù)據(jù)資源儲(chǔ)備與共享體系，是我國(guó)大數(shù)據(jù)發(fā)展的首要問(wèn)題。

二是我國(guó)大數(shù)據(jù)技術(shù)存在水平不高，技術(shù)擴(kuò)散不暢的問(wèn)題。我國(guó)大數(shù)據(jù)技術(shù)的發(fā)展模式也與全球類似，互聯(lián)網(wǎng)企業(yè)具備快速將國(guó)際先進(jìn)的開(kāi)源大數(shù)據(jù)技術(shù)整合到自身系統(tǒng)中的能力，并構(gòu)建了單集群上萬(wàn)節(jié)點(diǎn)的大型系統(tǒng)，但仍缺乏原創(chuàng)技術(shù)，對(duì)開(kāi)源社區(qū)的貢獻(xiàn)不足，進(jìn)而對(duì)前沿技術(shù)路線的影響比較微弱。同時(shí)，由于本土開(kāi)源社區(qū)等產(chǎn)業(yè)組織發(fā)育滯后，國(guó)內(nèi)領(lǐng)先企業(yè)在大數(shù)據(jù)方面的技術(shù)創(chuàng)新也難以向社會(huì)擴(kuò)散。

三是大數(shù)據(jù)相關(guān)的法律法規(guī)有待進(jìn)一步完善。隨著大數(shù)據(jù)挖掘分析將越來(lái)越精準(zhǔn)、應(yīng)用領(lǐng)域不斷擴(kuò)展，個(gè)人隱私保護(hù)和數(shù)據(jù)安全變得非常緊迫。在隱私保護(hù)方面，現(xiàn)有的法律體系面臨著兩個(gè)方面的挑戰(zhàn)：

一是法律保護(hù)的個(gè)人隱私主，要體現(xiàn)為“個(gè)人可識(shí)別信息（PII，Personally identifiable information”，但隨著技術(shù)的推進(jìn)，以往并非 PII的數(shù)據(jù)也可能會(huì)成為 PII，使得保護(hù)范圍變得模糊。

二是以往建立在“目的明確、事先同意、使用限制”等原則之上的個(gè)人信息保護(hù)制度，在大數(shù)據(jù)場(chǎng)景下變得越來(lái)越難以操作。而我國(guó)個(gè)人信息保護(hù)、數(shù)據(jù)跨境流動(dòng)等方面的法律法規(guī)尚不健全，這成為制約大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的重要原因之一。需要結(jié)合我國(guó)法治建設(shè)的實(shí)際情況，探索通過(guò)行業(yè)自律等方式彌補(bǔ)法律體系不完善的弊端。

(二) 推動(dòng)我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的對(duì)策思考

在總體思路上，需要首先明確我國(guó)大數(shù)據(jù)發(fā)展的戰(zhàn)略目標(biāo)和戰(zhàn)略重點(diǎn)，統(tǒng)籌謀劃大數(shù)據(jù)應(yīng)用、關(guān)鍵技術(shù)研發(fā)與產(chǎn)業(yè)培育、數(shù)據(jù)開(kāi)放與數(shù)據(jù)保護(hù)、市場(chǎng)監(jiān)管、法律法規(guī)等關(guān)鍵布局，引導(dǎo)國(guó)內(nèi)各地大數(shù)據(jù)發(fā)展方向，避免一哄而上的盲目發(fā)展。

在大數(shù)據(jù)應(yīng)用上，一是政務(wù)和公共服務(wù)領(lǐng)域的應(yīng)用，重點(diǎn)面向改善民生服務(wù)和城市治理等方面，積極推動(dòng)環(huán)保、醫(yī)療、教育、交通等關(guān)鍵領(lǐng)域的大數(shù)據(jù)整合與集成應(yīng)用，進(jìn)一步提高政務(wù)和公共服務(wù)效率。

二是市場(chǎng)化應(yīng)用方面，重點(diǎn)在跨行業(yè)的大數(shù)據(jù)應(yīng)用方面出臺(tái)推動(dòng)政策，促進(jìn)互聯(lián)網(wǎng)、電信、金融等企業(yè)與其他行業(yè)開(kāi)展大數(shù)據(jù)融合與應(yīng)用創(chuàng)新，帶動(dòng)全社會(huì)大數(shù)據(jù)應(yīng)用不斷深化。

在技術(shù)創(chuàng)新上，一是要加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā)方向的前瞻性和系統(tǒng)性，近期重點(diǎn)支持深度學(xué)習(xí)與人工智能、實(shí)時(shí)大數(shù)據(jù)處理、海量數(shù)據(jù)存儲(chǔ)管理、交互式數(shù)據(jù)可視化和應(yīng)用相關(guān)的分析技術(shù)。二是要聚集產(chǎn)學(xué)研用力量形成合力，力爭(zhēng)在大數(shù)據(jù)平臺(tái)級(jí)軟件上實(shí)現(xiàn)突破，以此為核心發(fā)展開(kāi)源生態(tài)。三是創(chuàng)新科研項(xiàng)目支持方式，將開(kāi)源和開(kāi)放標(biāo)準(zhǔn)作為考核指標(biāo)，通過(guò)直接補(bǔ)助或后補(bǔ)助方式激勵(lì)企業(yè)和科研機(jī)構(gòu)參與開(kāi)源技術(shù)發(fā)展，促進(jìn)大數(shù)據(jù)技術(shù)擴(kuò)散。

在政府?dāng)?shù)據(jù)開(kāi)放上，建議推進(jìn)政府和公用事業(yè)領(lǐng)域數(shù)據(jù)資源的普查工作，并按照相關(guān)法規(guī)制定政府和公共數(shù)據(jù)開(kāi)放中的安全和隱私保護(hù)檢查表，對(duì)可能涉及國(guó)家安全和公民隱私的風(fēng)險(xiǎn)點(diǎn)進(jìn)行嚴(yán)格控制。

在此基礎(chǔ)上，按敏感性對(duì)政府和公共數(shù)據(jù)進(jìn)行分類，確定開(kāi)放優(yōu)先級(jí)，制定分步驟的數(shù)據(jù)開(kāi)放路線圖。同時(shí)，政府也應(yīng)積極規(guī)范和引導(dǎo)商業(yè)化的大數(shù)據(jù)交易活動(dòng)，為數(shù)據(jù)資源的流通創(chuàng)造有利條件。

在個(gè)人信息保護(hù)上，國(guó)際上一些機(jī)構(gòu)提出，為了釋放大數(shù)據(jù)潛力， 監(jiān)管的重點(diǎn)應(yīng)該“從數(shù)據(jù)收集環(huán)節(jié)，轉(zhuǎn)移數(shù)據(jù)使用環(huán)節(jié)”。我們要密切關(guān)注國(guó)際上立法理念的演變趨勢(shì)，結(jié)合技術(shù)發(fā)展趨勢(shì)和我國(guó)國(guó)情對(duì)相關(guān)制度進(jìn)行前瞻性研究。同時(shí)，為了解決當(dāng)前個(gè)人信息和數(shù)據(jù)保護(hù)的緊迫需求，可依托行業(yè)組織及時(shí)總結(jié)業(yè)界的最佳實(shí)踐，逐步形成行業(yè)共識(shí)，在試點(diǎn)成熟后上升為標(biāo)準(zhǔn)或法律法規(guī)并推動(dòng)實(shí)施，為大數(shù)據(jù)的健康發(fā)展保駕護(hù)航。

（摘自工業(yè)和信息化部電信研究院大數(shù)據(jù)白皮書(shū)·2014）