馬彬程

?

當(dāng)前大數(shù)據(jù)發(fā)展及其對(duì)動(dòng)物科學(xué)影響的思考

馬彬程

長(zhǎng)江大學(xué)動(dòng)物科學(xué)學(xué)院，湖北 荊州 434025

數(shù)據(jù)、科學(xué)數(shù)據(jù)和大數(shù)據(jù)是數(shù)據(jù)科學(xué)發(fā)展的三個(gè)階段性概念名詞。數(shù)據(jù)科學(xué)的發(fā)展、計(jì)算機(jī)硬件和軟件技術(shù)的不斷進(jìn)步和社會(huì)經(jīng)濟(jì)發(fā)展的多元化和復(fù)雜化，已經(jīng)表明傳統(tǒng)的數(shù)據(jù)處理方式、數(shù)據(jù)分析方法已經(jīng)無(wú)法適應(yīng)滿足人類社會(huì)發(fā)展的需要。分析了大數(shù)據(jù)時(shí)代下動(dòng)物科學(xué)的發(fā)展勢(shì)頭及其思考，大數(shù)據(jù)時(shí)代下動(dòng)物科學(xué)影響巨大。

大數(shù)據(jù)；動(dòng)物科學(xué)；思考

引言

大數(shù)據(jù)時(shí)代是人類社會(huì)發(fā)展到一定階段的產(chǎn)物，經(jīng)濟(jì)的飛速發(fā)展、物質(zhì)文明和精神文明的日益繁榮使得計(jì)算機(jī)技術(shù)進(jìn)步呈現(xiàn)爆炸式的速度。最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫。麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)要素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！盵1]《紐約時(shí)報(bào)》2012年在一篇專欄中稱，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析作出，而并非基于經(jīng)驗(yàn)和直覺(jué)[2]。大數(shù)據(jù)時(shí)代的到來(lái)是時(shí)代的必然，這與計(jì)算機(jī)硬件成本的降低、網(wǎng)絡(luò)寬帶速度的提升、云計(jì)算的興起、網(wǎng)絡(luò)技術(shù)的發(fā)展、智能終端的普及和物聯(lián)網(wǎng)的飛速發(fā)展等因素是密不可分的，這些因素的出現(xiàn)使得當(dāng)今社會(huì)的各種各種信息呈現(xiàn)數(shù)字化的特征。

1 大數(shù)據(jù)時(shí)代的相關(guān)分析

1.1 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別

從理論研究角度上來(lái)看，傳統(tǒng)的數(shù)據(jù)分析方法和大數(shù)據(jù)分析的基礎(chǔ)是一樣的，即都是以數(shù)據(jù)為基礎(chǔ)。但是相對(duì)傳統(tǒng)數(shù)據(jù)而言，大數(shù)據(jù)在數(shù)據(jù)源、分析方法和思維方面有著更大的優(yōu)越性，甚至在某些方面有著本質(zhì)的區(qū)別。第一，規(guī)模。傳統(tǒng)的數(shù)據(jù)通常是以MB為單位，而大數(shù)據(jù)往往是以TB、PB和ZB為單位進(jìn)行處理。傳統(tǒng)的數(shù)據(jù)規(guī)模較小是因?yàn)樾枨蠛蜕鐣?huì)發(fā)展階段決定的，但是進(jìn)入21世紀(jì)以來(lái)，信息化的速度逐漸加快，原有的數(shù)據(jù)規(guī)模所能反映的問(wèn)題，以及運(yùn)用小規(guī)模的數(shù)據(jù)為基礎(chǔ)進(jìn)行情報(bào)研究，無(wú)法客觀反映現(xiàn)實(shí)情況。大數(shù)據(jù)之所以出現(xiàn)，是因數(shù)據(jù)規(guī)模變得非常巨大而引起的，只有采用更大規(guī)模的數(shù)據(jù)，即第二，數(shù)據(jù)類型。傳統(tǒng)數(shù)據(jù)處理的種類比較單一的結(jié)構(gòu)化數(shù)據(jù)，而大數(shù)據(jù)處理的是結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的復(fù)雜種類組成數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)組成結(jié)構(gòu)，是因?yàn)樾枨蟊容^簡(jiǎn)單，人們有意識(shí)的按照一些特征和規(guī)律選取相關(guān)數(shù)據(jù)，容易掌握在情報(bào)分析人員的可控制范圍內(nèi)。但是數(shù)據(jù)的爆炸式增長(zhǎng)，數(shù)據(jù)來(lái)源的日益復(fù)雜化和不規(guī)律性，不能再按照傳統(tǒng)的數(shù)據(jù)分析選取數(shù)據(jù)的類型，而應(yīng)考慮類型齊全的大數(shù)據(jù)，才能使得數(shù)據(jù)分析和情報(bào)研究科學(xué)化。第三，數(shù)據(jù)和模型的關(guān)系。傳統(tǒng)的數(shù)據(jù)分析是在先建立在使用者先期預(yù)設(shè)目標(biāo)，接著建立相關(guān)數(shù)據(jù)模型，在模型確立的基礎(chǔ)上再根據(jù)前提條件收集數(shù)據(jù)，這樣顯得主觀性過(guò)強(qiáng)，缺乏客觀性的把握。而大數(shù)據(jù)是在收集數(shù)據(jù)的過(guò)程中逐漸形成，數(shù)據(jù)與模型緊密結(jié)合，模型會(huì)隨著數(shù)據(jù)的收集進(jìn)度進(jìn)行不斷演變，最終形成科學(xué)且符合實(shí)際情況的數(shù)據(jù)模型。

1.2 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別

大數(shù)據(jù)在數(shù)據(jù)量、處理速度和數(shù)據(jù)來(lái)源多樣性上的無(wú)與倫比優(yōu)勢(shì)，使得大數(shù)據(jù)分析思維相對(duì)傳統(tǒng)數(shù)據(jù)分析思維有著明顯的優(yōu)勢(shì)?？梢暬治觥?shù)據(jù)挖掘、語(yǔ)義引擎和數(shù)據(jù)質(zhì)量管理是大數(shù)據(jù)分析方法的四個(gè)基本面。大數(shù)據(jù)通過(guò)對(duì)數(shù)據(jù)的科學(xué)整合，使得數(shù)據(jù)分析結(jié)果符合科學(xué)與現(xiàn)實(shí)，因此大數(shù)據(jù)的分析思維有著相對(duì)于傳統(tǒng)數(shù)據(jù)分析思維所不具備的巨大優(yōu)勢(shì)，使用大數(shù)據(jù)分析思維是非常必要的。

大數(shù)據(jù)時(shí)代的信息分析主要遵循以下三大理念：（1）使用全體數(shù)據(jù)而不是局部數(shù)據(jù)，大數(shù)據(jù)分析是非常宏觀信息分析方式，需要全面地分析總體數(shù)據(jù)的本質(zhì)特征、屬性、內(nèi)在規(guī)律和聯(lián)系，而僅僅選取局部數(shù)據(jù)會(huì)割裂了數(shù)據(jù)之間的聯(lián)系；（2）講究數(shù)據(jù)的相關(guān)性而不是按照事先預(yù)設(shè)的因果關(guān)系選取數(shù)據(jù)，在大數(shù)據(jù)時(shí)代面對(duì)海量數(shù)據(jù)的艱巨挑戰(zhàn)，選取能夠容納整體的數(shù)據(jù)比按照因果聯(lián)系局部選取一小部分?jǐn)?shù)據(jù)更加重要，海量信息根據(jù)大數(shù)據(jù)分析能夠明顯反映數(shù)據(jù)的趨勢(shì)，大數(shù)據(jù)分析的首要任務(wù)是通過(guò)相關(guān)性實(shí)現(xiàn)數(shù)據(jù)挖掘與預(yù)測(cè)分析。大數(shù)據(jù)分析強(qiáng)調(diào)發(fā)現(xiàn)先前未知的新模式和未知的數(shù)據(jù)相關(guān)關(guān)系；（3講究數(shù)據(jù)分析的效率性同時(shí)分析數(shù)據(jù)之間的關(guān)系，大數(shù)據(jù)分析以全體或總體為分析對(duì)象，不可能使用傳統(tǒng)的數(shù)據(jù)分析模型合來(lái)描述全體或總體的特征、規(guī)律、聯(lián)系，即使有時(shí)間和成本花費(fèi)代價(jià)昂貴，同時(shí)由于數(shù)據(jù)來(lái)源基礎(chǔ)的局部性也很難直接發(fā)現(xiàn)全體或總體的本質(zhì)屬性、特征、規(guī)律和聯(lián)系，但是大數(shù)據(jù)可以做到，既客觀又能夠科學(xué)的反映數(shù)據(jù)總體的本質(zhì)屬性、特征、規(guī)律和聯(lián)系。

大數(shù)據(jù)分析注重?cái)?shù)據(jù)量更大、數(shù)據(jù)來(lái)源多元化和復(fù)雜化形成了新的思維模式，那就是從因果分析到相關(guān)分析和知識(shí)發(fā)現(xiàn)，從模型擬合到數(shù)據(jù)挖掘，從邏輯推理到關(guān)聯(lián)規(guī)則制定整體宏觀分析。大數(shù)據(jù)以數(shù)據(jù)總體為分析對(duì)象，數(shù)據(jù)來(lái)源是核心和關(guān)鍵，從宏觀上研究大數(shù)據(jù)的本質(zhì)屬性、特點(diǎn)和規(guī)律。大數(shù)據(jù)以數(shù)據(jù)和先進(jìn)的計(jì)算機(jī)硬件技術(shù)、軟件技術(shù)和網(wǎng)絡(luò)技術(shù)為重點(diǎn)，以海量數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)庫(kù)為工具，重在發(fā)現(xiàn)數(shù)據(jù)隱含的規(guī)律。

1.3 大數(shù)據(jù)分析的關(guān)鍵性技術(shù)

大數(shù)據(jù)分析的核心是大數(shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)是指從各種復(fù)雜的非規(guī)律化類型的海量數(shù)據(jù)中快速獲得有價(jià)值信息并進(jìn)行分析的技術(shù)。大數(shù)據(jù)分析的關(guān)鍵技術(shù)主要有數(shù)據(jù)采集技術(shù)，如異構(gòu)數(shù)據(jù)抽取、清洗轉(zhuǎn)換、集成、加載等。數(shù)據(jù)存取技術(shù)，如關(guān)系數(shù)據(jù)庫(kù)等?；A(chǔ)架構(gòu)，如云存儲(chǔ)、分布式文件存等。數(shù)據(jù)處理技術(shù)，如自然語(yǔ)言處理、計(jì)算語(yǔ)言學(xué)、人工智能等。統(tǒng)計(jì)分析技術(shù)，如假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分曲線估計(jì)、因子分析、聚類分析、主成分分析、判別分析、對(duì)應(yīng)分析技術(shù)等。數(shù)據(jù)挖掘技術(shù)，如分類、估計(jì)、預(yù)測(cè)、相關(guān)性分組或關(guān)聯(lián)規(guī)則、聚類、描述和可視化、復(fù)雜數(shù)據(jù)類型挖掘等。模型預(yù)測(cè)技術(shù)，如預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。結(jié)果呈現(xiàn)技術(shù)，如云計(jì)算、標(biāo)簽云、關(guān)系圖等。

2 大數(shù)據(jù)背景下動(dòng)物科學(xué)應(yīng)用的思考

利用大數(shù)據(jù)發(fā)展動(dòng)物科學(xué)的將會(huì)起到重要的作用，因此在今后的過(guò)程中要積極利用大數(shù)據(jù)發(fā)展成果為動(dòng)物科學(xué)發(fā)展提供相應(yīng)的支撐。當(dāng)前，一個(gè)學(xué)科與另一個(gè)學(xué)科的嵌入是需要時(shí)間的，希望通過(guò)努力能夠爭(zhēng)取化解這一問(wèn)題，逐步解決該問(wèn)題。

[1]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013（25）：143-145.

[2]朱東華，張嶷，汪雪鋒，等.大數(shù)據(jù)環(huán)境下技術(shù)創(chuàng)新管理方法研究[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2013（4）：175-179.

F49；F124

A

1009-6434（2016）05-0080-01