王繼霞（大慶鉆探工程公司錄井一公司 信息中心，黑龍江 大慶 163411）

?

大數(shù)據(jù)研究的發(fā)展與趨勢(shì)分析
——基于數(shù)據(jù)庫(kù)角度

王繼霞
（大慶鉆探工程公司錄井一公司 信息中心，黑龍江 大慶 163411）

［摘 要］大數(shù)據(jù)是當(dāng)前熱門的IT技術(shù)，被廣泛應(yīng)用于各行業(yè)信息數(shù)據(jù)管理與分析工作中，本文以大數(shù)據(jù)的概念為切入點(diǎn)，從數(shù)據(jù)庫(kù)角度對(duì)大數(shù)據(jù)研究的技術(shù)發(fā)展方向與應(yīng)用趨勢(shì)做出相應(yīng)的分析探討，期望為當(dāng)前大數(shù)據(jù)研究工作提供給有益參考。

［關(guān)鍵詞］數(shù)據(jù)庫(kù)；大數(shù)據(jù)；發(fā)展趨勢(shì)

大數(shù)據(jù)是近年來(lái)由科學(xué)領(lǐng)域研究并逐步推廣應(yīng)用于社會(huì)各行業(yè)數(shù)據(jù)應(yīng)用的熱門信息技術(shù)概念。其中大數(shù)據(jù)在科學(xué)研究與IT產(chǎn)品領(lǐng)域發(fā)揮著愈發(fā)重要的數(shù)據(jù)分析作用，在我國(guó)的關(guān)注與應(yīng)用程度也與日俱增。因而本文對(duì)大數(shù)據(jù)這一熱點(diǎn)概念，進(jìn)行相應(yīng)的內(nèi)涵探討。同時(shí)因數(shù)據(jù)庫(kù)一直是數(shù)據(jù)管理研究領(lǐng)域的重要內(nèi)容與手段，故從數(shù)據(jù)庫(kù)角度出發(fā)對(duì)大數(shù)據(jù)研究的應(yīng)用與發(fā)展做相應(yīng)的探究。

1　大數(shù)據(jù)概論

大數(shù)據(jù)概念的產(chǎn)生最早出現(xiàn)于20世紀(jì)80年代末，但真正為人們所關(guān)注并形成理論則是在2011年之后。大數(shù)據(jù)的概念可用其特征4V來(lái)表述:Volume，由TB級(jí)別向更高級(jí)別躍升的數(shù)據(jù)量；Variety，指數(shù)據(jù)的類別與來(lái)源繁多復(fù)雜；Velocity，指快速的處理響應(yīng)速度；Veracity，則是指數(shù)據(jù)具備的可靠性與可用準(zhǔn)確性。這些特征表明大數(shù)據(jù)是具有多類優(yōu)勢(shì)、適應(yīng)于現(xiàn)代網(wǎng)絡(luò)信息需求的新式數(shù)據(jù)，只要是為應(yīng)用而將各種類別、質(zhì)量的數(shù)據(jù)做相應(yīng)的處理工作就可以視其為大數(shù)據(jù)。大數(shù)據(jù)原本應(yīng)用于科學(xué)研究領(lǐng)域，隨著其發(fā)展與推廣，現(xiàn)在大數(shù)據(jù)已應(yīng)用于各類社會(huì)生產(chǎn)與生活的數(shù)據(jù)范疇之中，無(wú)論是諸如軍事、天文、生物一類的科學(xué)實(shí)驗(yàn)用數(shù)據(jù)，還是互聯(lián)網(wǎng)、社交媒介、網(wǎng)絡(luò)傳感器等生活交流用數(shù)據(jù)，或電子商務(wù)領(lǐng)域數(shù)據(jù)都屬于大數(shù)據(jù)的范圍。

2　大數(shù)據(jù)研究的技術(shù)難題與發(fā)展方向

大數(shù)據(jù)是數(shù)據(jù)庫(kù)應(yīng)用的拓展延伸，也是數(shù)據(jù)管理技術(shù)的進(jìn)步體現(xiàn)。其研究主要涵蓋大數(shù)據(jù)的分類、周期管理與質(zhì)量管理三方面。由于其4V特性對(duì)處理速度、數(shù)量質(zhì)量?jī)?yōu)異、類型來(lái)源等方面的高要求，其研究目前主要存在對(duì)大數(shù)據(jù)語(yǔ)義建模、管理分析性能、數(shù)據(jù)處理的存儲(chǔ)系統(tǒng)三面技術(shù)提升的難題，這也是大數(shù)據(jù)研究未來(lái)發(fā)展的三大方向與目標(biāo)。語(yǔ)義建模是根據(jù)數(shù)據(jù)來(lái)源與結(jié)構(gòu)要求而需要做多種類型、來(lái)源數(shù)據(jù)的語(yǔ)義抽象工作，并將各數(shù)據(jù)之間的聯(lián)系做歸納考量。而對(duì)大數(shù)據(jù)數(shù)量與處理速度的特點(diǎn)需求，其研究基礎(chǔ)就是對(duì)數(shù)據(jù)管理分析性能的優(yōu)化權(quán)衡上，在這方面需要脫離傳統(tǒng)數(shù)據(jù)庫(kù)管理中以記賬（Billing）與訂票（Booking）為目標(biāo)進(jìn)行的OLTP功能，從高效實(shí)現(xiàn)數(shù)據(jù)分析與管理的角度出發(fā)，選用數(shù)據(jù)倉(cāng)庫(kù)或OLAP系統(tǒng)優(yōu)化大數(shù)據(jù)分析的性能。而對(duì)其數(shù)據(jù)處理存儲(chǔ)系統(tǒng)的技術(shù)要求，目前正在探索“內(nèi)存計(jì)算+列存儲(chǔ)”模式、MPP集群計(jì)算機(jī)系統(tǒng)的研究與應(yīng)用，但其存儲(chǔ)系統(tǒng)性能與可靠性還需做進(jìn)一步的完善和改進(jìn)。因此，以成熟可行的計(jì)算機(jī)系存儲(chǔ)系統(tǒng)的發(fā)展，支持當(dāng)今應(yīng)用形勢(shì)下大數(shù)據(jù)處理與管理需要解決技術(shù)上存在的難題。

3　基于數(shù)據(jù)庫(kù)下大數(shù)據(jù)研究的應(yīng)用分析與發(fā)展趨勢(shì)

數(shù)據(jù)分析是大數(shù)據(jù)研究的主要途徑與內(nèi)容，如前文所言，基于數(shù)據(jù)庫(kù)下的大數(shù)據(jù)分析主要應(yīng)用于社交媒體、互聯(lián)網(wǎng)、位置需求與電子商務(wù)智能等數(shù)據(jù)分析領(lǐng)域，其分析應(yīng)用又可分為對(duì)應(yīng)消費(fèi)者與對(duì)應(yīng)企業(yè)兩類，其中涉及到Web數(shù)據(jù)應(yīng)用的主要是消費(fèi)者需求，而商務(wù)智能應(yīng)用則大多應(yīng)企業(yè)需要。這兩類大數(shù)據(jù)應(yīng)用領(lǐng)域，各自的分析研究思路與發(fā)展趨勢(shì)也各不相同，對(duì)應(yīng)消費(fèi)者的數(shù)據(jù)分析其應(yīng)用基礎(chǔ)是信息服務(wù)，即由各類新式的信息服務(wù)吸引消費(fèi)者進(jìn)而予以互聯(lián)網(wǎng)瀏覽與應(yīng)用，這其中大數(shù)據(jù)分析就是將客戶在互聯(lián)網(wǎng)中的流量與應(yīng)用轉(zhuǎn)化為可償性數(shù)據(jù)信息并產(chǎn)生利潤(rùn)。其應(yīng)用思路是信息服務(wù)提供商為消費(fèi)者提供新式的服務(wù)信息（如新產(chǎn)品的推薦），再引導(dǎo)客戶瀏覽消費(fèi)的商業(yè)應(yīng)用模式。大數(shù)據(jù)分析在其中起著分析計(jì)算消費(fèi)者信息、產(chǎn)品商家信息的作用，由于其數(shù)據(jù)處理與計(jì)算的響應(yīng)速度需求極大，大數(shù)據(jù)研究能很好地適應(yīng)各類新型Web應(yīng)用，成為未來(lái)互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用領(lǐng)域最主要的數(shù)據(jù)分析手段。對(duì)應(yīng)企業(yè)應(yīng)用的商務(wù)智能數(shù)據(jù)分析其適用主體和數(shù)據(jù)庫(kù)應(yīng)用的主體相同，均為較大型的企事業(yè)單位，其對(duì)數(shù)據(jù)分析的運(yùn)行可靠性與系統(tǒng)的獨(dú)立性有專門的需求。而傳統(tǒng)的商務(wù)智能數(shù)據(jù)分析系統(tǒng)大多自成系統(tǒng)，因其平臺(tái)封閉性難以與數(shù)據(jù)庫(kù)資料相銜接，影響企業(yè)對(duì)數(shù)據(jù)分析的需求實(shí)現(xiàn)，此類研究背景給了大數(shù)據(jù)分析在企業(yè)商務(wù)智能系統(tǒng)應(yīng)用的契機(jī)，利用大數(shù)據(jù)研究快速分析大量、多類型數(shù)據(jù)的特點(diǎn)，對(duì)數(shù)據(jù)庫(kù)予以直接的分析處理應(yīng)用，是未來(lái)大數(shù)據(jù)研究在商務(wù)智能領(lǐng)域發(fā)展的主要趨勢(shì)之一。

4　結(jié) 語(yǔ)

大數(shù)據(jù)是以應(yīng)用為基礎(chǔ)誕生的數(shù)據(jù)分析概念，對(duì)數(shù)據(jù)的分析應(yīng)用是其存在與研究的前提。要了解并研究大數(shù)據(jù)的發(fā)展與趨勢(shì)，就要以數(shù)據(jù)庫(kù)技術(shù)為前提，從其實(shí)際在各領(lǐng)域的應(yīng)用出發(fā)，系統(tǒng)探索大數(shù)據(jù)研究的發(fā)展方向與應(yīng)用前景，筆者期望通過(guò)對(duì)其的探討分析，為大數(shù)據(jù)研究的進(jìn)步與推廣提供助力。

主要參考文獻(xiàn)

［1］李戰(zhàn)懷，王國(guó)仁，周傲英.從數(shù)據(jù)庫(kù)視角解讀大數(shù)據(jù)的研究進(jìn)展與趨勢(shì)［J］.計(jì)算機(jī)工程與科學(xué)，2013（10）.

［2］于兆吉，魏闖.大數(shù)據(jù)下主題數(shù)據(jù)庫(kù)的研究現(xiàn)狀與展望［J］.沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2014（3）.

doi:10.3969/j.issn.1673-0194.2016.12.120

［中圖分類號(hào)］TP311.13

［文獻(xiàn)標(biāo)識(shí)碼］A

［文章編號(hào)］1673-0194（2016）12-0180-01

［收稿日期］2016-05-12