●山西省標準化研究院 趙紅梅
2014,大數(shù)據(jù)開啟了重大的時代轉(zhuǎn)型,“大數(shù)據(jù)”時代已然走進了人們生活的方方面面。利用互聯(lián)網(wǎng)搜索信息,用微信、QQ維護社交關系,上網(wǎng)購物,商業(yè)、經(jīng)濟等等產(chǎn)生的海量數(shù)據(jù)目前正在以每18個月全球信息總量翻一番的速度膨脹。預計到2020年,中國一個普通家庭一年產(chǎn)生的數(shù)據(jù)相當于半個國家圖書館的信息儲量。同時,隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等采集數(shù)據(jù)的工具越來越多樣化,對物質(zhì)世界的描述越來越精確,擁有的數(shù)據(jù)量也越來越大,大數(shù)據(jù)的應用正逐步滲透到各個行業(yè)和領域,逐漸成為重要的生產(chǎn)要素和戰(zhàn)略資源,深刻改變著人們的生產(chǎn)生活方式,在經(jīng)濟發(fā)展中發(fā)揮著重要作用。
標準是大數(shù)據(jù)時代的重要技術支撐,標準化工作是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和應用的重要基礎。運用標準保障數(shù)據(jù)安全、推動技術創(chuàng)新、支撐大數(shù)據(jù)領域產(chǎn)業(yè)、應用和服務等有序、規(guī)?;l(fā)展是大數(shù)據(jù)時代的必然要求。
從廣義上講,大數(shù)據(jù)即海量數(shù)據(jù),是由數(shù)量巨大、結構復雜、類型眾多的數(shù)據(jù)構成的數(shù)據(jù)集合,是基于云計算的數(shù)據(jù)處理與應用模式,通過數(shù)據(jù)的集成共享,交叉復用形成的智力資源和知識服務能力。
從狹義上講,“大數(shù)據(jù)”是具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn),是數(shù)據(jù)分析的前沿技術。
大數(shù)據(jù)是科技發(fā)展的產(chǎn)物,隨著金融、商業(yè)、電信、貿(mào)易、期貨等領域的網(wǎng)絡電子化,互聯(lián)網(wǎng)終端、移動電話、銀行信用卡等海量數(shù)據(jù)信息出現(xiàn),各種數(shù)據(jù)庫的存儲出現(xiàn)了幾何級數(shù)增長。按照墨菲定律,在大數(shù)據(jù)時代,每隔半年,人類積累的數(shù)據(jù)就會翻一番。我們現(xiàn)在每年生產(chǎn)的數(shù)據(jù)幾乎是人類以往五千年生產(chǎn)的數(shù)據(jù)的一倍還多。
一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們,一天之中,互聯(lián)網(wǎng)產(chǎn)生的全部數(shù)據(jù)可以刻滿1.68億張DVD;發(fā)出的郵件有2 940億封之多(相當于美國兩年的紙質(zhì)信件數(shù)量);發(fā)出的社區(qū)帖子達200萬個(相當于《時代》雜志770年的文字量);賣出的手機為37.8萬臺,高于全球每天出生的嬰兒數(shù)量37.1萬……
截至2012年,數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級別躍升到PB(1 024TB=1PB)、EB(1 024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數(shù)據(jù)公司(IDC)的研究結果表明,2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB,2009年的數(shù)據(jù)量為0.8ZB,2010年增長為1.2ZB,2011年的數(shù)據(jù)量更是高達1.82ZB,相當于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而截止到2012年,人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB,全人類歷史上說過的所有話的數(shù)據(jù)量大約為5EB。IBM的研究稱,整個人類文明所獲得的全部數(shù)據(jù)中,有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年,全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到今天的44倍。
(1)數(shù)據(jù)量大。大數(shù)據(jù)的起始計量單位至少是P(1 000個T)、E(100萬個T)或Z(10億個T)。
(2)類型繁多。大數(shù)據(jù)包括網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等,多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。
(3)價值密度相對較低。隨著物聯(lián)網(wǎng)的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”,是大數(shù)據(jù)時代亟待解決的難題。
(4)處理速度快,時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。
當前,在經(jīng)濟全球一體化的形勢下,標準作為貿(mào)易的技術基礎和產(chǎn)業(yè)發(fā)展的關鍵要素,對于經(jīng)濟社會發(fā)展的支撐作用日益凸顯,加強技術標準化研究,幫助企業(yè)共同推進全球技術數(shù)據(jù)化標準應用,對于大數(shù)據(jù)時代轉(zhuǎn)型具有關鍵作用。建立大數(shù)據(jù)標準體系,推進大數(shù)據(jù)時代轉(zhuǎn)型發(fā)展勢在必行。
首先,要從數(shù)據(jù)的源頭開展標準化研究,確保數(shù)據(jù)質(zhì)量,推動行業(yè)進步。比如工業(yè)化大生產(chǎn)下的產(chǎn)品設計,應首要建立產(chǎn)品設計要素標準化,形成清單,并且明確使用、檢驗的標準,這樣對后期采購、驗收等流程都有重要意義。此外,對設計要素形成統(tǒng)一稱謂,使用標準名詞;依據(jù)不同行業(yè)的特點將數(shù)據(jù)按照一定的規(guī)則進行排列管理,以方便今后的工作使用等等,通過這些對產(chǎn)品設計等數(shù)據(jù)源頭標準化的管理,實現(xiàn)產(chǎn)品的標準化生產(chǎn)制作,進而促進行業(yè)發(fā)展。
當今時代,雖然網(wǎng)絡信息技術飛速發(fā)展,但零售業(yè)依然面臨各種商品、信息、格式和協(xié)議標準不統(tǒng)一的問題,由于企業(yè)在采購、運輸、消費等各個環(huán)節(jié)過程中需要處理大量不同的信息,商品從生產(chǎn)出來到消費者使用需要很長的時間等待,因此,只有把相關商品數(shù)據(jù)信息標準化,統(tǒng)一數(shù)據(jù)格式和交換協(xié)議才能有效解決當前零售業(yè)面臨的根本問題,這就更加凸顯了標準在信息化大數(shù)據(jù)時代的重要作用。建立完善商品數(shù)據(jù)信息標準,對于零售業(yè)發(fā)展繁榮以及經(jīng)濟發(fā)展有著不容低估的重要意義。
應堅持開放原則,匯聚各方力量(包括互聯(lián)網(wǎng)企業(yè)、數(shù)據(jù)服務企業(yè)、教育、醫(yī)療等各領域企業(yè))參與開展大數(shù)據(jù)標準化工作。在大數(shù)據(jù)標準研制的過程中,要注重結合行業(yè)應用、地方實際應用和企業(yè)應用,加強標準工作的試點、驗證和逐步完善,提高標準的可用性。
同時,在標準研制的基礎上,合作開展法規(guī)工作,為政府決策提供參考,做好公共技術平臺搭建,使大數(shù)據(jù)真正走向?qū)嵱茫瑸閿?shù)據(jù)“孤島”的解決提供具體方案,開展數(shù)據(jù)服務、數(shù)據(jù)評價和研究,并為數(shù)據(jù)服務方、提供方、適用方和政府監(jiān)管提供科學依據(jù)。
大數(shù)據(jù)時代是科學技術高度發(fā)展的必經(jīng)階段,同時也對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn),為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。開展大數(shù)據(jù)相關技術和標準研究,更新完善數(shù)據(jù)技術架構和路線,及時、高效地處理、反饋海量的有效數(shù)據(jù)信息,對于大數(shù)據(jù)時代轉(zhuǎn)型發(fā)展有著不可替代的重要作用。