張海浪
摘要:隨著我國科技的發(fā)展,高科技的應(yīng)用越來越廣泛,尤其是大數(shù)據(jù)的應(yīng)用,已逐漸的擴(kuò)大到商業(yè)、金融以及建筑等各個領(lǐng)域中。大數(shù)據(jù)視角下的信息管理主要是收集、整理、匯總以及分析一些數(shù)據(jù),并且隨著我國經(jīng)濟(jì)的發(fā)展,對數(shù)據(jù)信息的使用有了更高的要求,也就對信息系統(tǒng)的關(guān)鍵技術(shù)有了更高的要求。因此本文就對大數(shù)據(jù)背景下的,信息系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行研究,以此來滿足我國現(xiàn)階段社會工作的需求。
關(guān)鍵詞:大數(shù)據(jù);信息系統(tǒng);關(guān)鍵技術(shù)
中圖分類號:TP311.13 文獻(xiàn)標(biāo)識碼:A 文章編號:1007-9416(2018)01-0067-01
隨著我國網(wǎng)絡(luò)技術(shù)的發(fā)展,其已逐漸的深入到我們的日常生活和工作中,成為了必不可少的一部分。目前各種信息的匯集,都已經(jīng)讓數(shù)據(jù)共享到每一個行業(yè)中,標(biāo)志著大數(shù)據(jù)時代的到來。在這樣的背景下,一定要重視大數(shù)據(jù)信息系統(tǒng)的關(guān)鍵技術(shù),以此來推動大數(shù)據(jù)時代下各個行業(yè)的發(fā)展,促進(jìn)我國社會的發(fā)展。
1 大數(shù)據(jù)的相關(guān)概述
1.1 大數(shù)據(jù)的概念
大數(shù)據(jù)主要是指海量的數(shù)據(jù)系統(tǒng),利用計(jì)算機(jī)將其收集、整理以及分析。在互聯(lián)網(wǎng)行業(yè)中,其主要是指信息數(shù)據(jù)的流通,將其應(yīng)用到人們?nèi)粘I畹念I(lǐng)域中,就是需要對其進(jìn)行收集、整理以及分析等,從能做出最正確的判斷和決策。
1.2 大數(shù)據(jù)的特征
大數(shù)據(jù)視角下,數(shù)據(jù)具有價值密度低、速度快、時效高、以及類型多的特點(diǎn)。首先,在大數(shù)據(jù)視角下,信息的收集速度和處理速度不斷的加快,因此相關(guān)人員必須要有極強(qiáng)的信息收集能力和信息處理能力。其次在大數(shù)據(jù)視角下,信息共享的會更加的方便,因此相關(guān)人員必須要重視團(tuán)隊(duì)的合作,及時的掌握最新的相關(guān)技術(shù),如云端儲存、云端共享等。同時大數(shù)據(jù)視角下,還要重視數(shù)據(jù)的挖掘、分析,因此大數(shù)據(jù)下,各種信息都能得到很高的融合,使得信息管理的范圍就會特別的廣,因此各種信息必須要做到專業(yè)[1]。
1.3 大數(shù)據(jù)的技術(shù)
(1)數(shù)據(jù)采集技術(shù)。大數(shù)據(jù)信息的數(shù)據(jù)采集技術(shù),主要是從不同的數(shù)據(jù)庫信息接收信息,如產(chǎn)品客戶端、網(wǎng)絡(luò)站點(diǎn)、以及傳感器等。在采集過程中,常常會遇到高并發(fā)數(shù)的問題,因此為了提升其分析效率,需要導(dǎo)入分布式數(shù)據(jù)庫,其可以滿足不同數(shù)據(jù)的采集需求和傳輸?shù)男枨?。?)數(shù)據(jù)存儲技術(shù)。大數(shù)據(jù)下的數(shù)據(jù)存儲模塊中主要是應(yīng)用Pastgre SQL,這種技術(shù)以人機(jī)互動為目標(biāo),滿足了使用者的所有存儲需求。也有的企業(yè)會使用SQL Server來進(jìn)行數(shù)據(jù)的存儲,但是其屬于存儲的格式,可以用來更改、刪除數(shù)據(jù)庫信息,不能統(tǒng)計(jì)和分析信息。(3)基礎(chǔ)架構(gòu)技術(shù)。目前數(shù)據(jù)存儲過程中,數(shù)據(jù)重復(fù)率將近90%,因此為了刪除這些重復(fù)的數(shù)據(jù),出現(xiàn)了基礎(chǔ)架構(gòu)技術(shù),也就是分布式重復(fù)數(shù)據(jù)刪除技術(shù)。其由客戶端、元數(shù)據(jù)服務(wù)器以及數(shù)據(jù)服務(wù)器,其中客戶端,主要是用來對外信息的交互,并在交互過程中對信息進(jìn)行預(yù)處理,如提取指紋、劃分?jǐn)?shù)據(jù)塊等。而元數(shù)據(jù)服務(wù)器主要是用來維護(hù)管理元數(shù)據(jù)的存儲和集群,用來均衡負(fù)載。而數(shù)據(jù)服務(wù)器主要是用來引擎數(shù)據(jù)、存儲數(shù)據(jù)以及管理數(shù)據(jù)。(4)數(shù)據(jù)處理技術(shù)。數(shù)據(jù)處理技術(shù)主要是處理信息,讓其產(chǎn)生商業(yè)技術(shù)。其起源于hadoop數(shù)據(jù)處理架構(gòu),采用的是分布式文件系統(tǒng)HDFS,其可以處理千兆以內(nèi)的數(shù)據(jù),主要是通過服務(wù)器來分布數(shù)據(jù)和處理數(shù)據(jù),但是這種處理技術(shù)比較低效,而且編程也比較復(fù)雜。因此又產(chǎn)生了Skytree結(jié)合機(jī)器學(xué)習(xí)算法,其可以對信息進(jìn)行高級的分析,目前已廣泛的應(yīng)用在預(yù)測分析、市場細(xì)分以及異常識別等領(lǐng)域。同時還有Spark,一種基于Mapreduxe算法的分布式計(jì)算方式,其可以對數(shù)據(jù)進(jìn)行高效的運(yùn)算,也可以更好的用來挖掘信息。
2 基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)分析
2.1 分布式文件管理技術(shù)
大數(shù)據(jù)的基礎(chǔ)就是存儲數(shù)據(jù)和管理數(shù)據(jù),目前基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)的分布式文件管理技術(shù)已廣泛的應(yīng)用在各大企業(yè)中。如Google提出的GFS文件管理技術(shù),采用了價格比較低廉的服務(wù)器,又設(shè)置了一個具有高拓展性的文件管理系統(tǒng),以此來將信息存儲到不同的服務(wù)器中,在通過共享、連接等方式來對數(shù)據(jù)進(jìn)行管理[2]。
2.2 分布式數(shù)據(jù)處理技術(shù)
大數(shù)據(jù)下采用分布式數(shù)據(jù)處理技術(shù),可以為用戶提供跨越時間、空間的服務(wù),用戶可以隨時來對信息進(jìn)行檢索和分析,該技術(shù)分為批處理技術(shù)和流處理技術(shù)。其中批處理技術(shù)是先將處理的數(shù)據(jù)存儲起來,然后在按著一定的方式將其進(jìn)行分割,并交給多個服務(wù)器來進(jìn)行處理,其淡化了數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,提高了數(shù)據(jù)的集群性。而流處理技術(shù),主要是實(shí)時的進(jìn)入處理系統(tǒng)來對數(shù)據(jù)進(jìn)行處理,并將處理結(jié)果反饋回去,有效的提高數(shù)據(jù)處理的時效性。
2.3 分布式數(shù)據(jù)庫技術(shù)
分布式數(shù)據(jù)庫技術(shù)也是大數(shù)據(jù)下信息系統(tǒng)中常用的一種技術(shù),其主要是用來管理數(shù)據(jù)庫。大數(shù)據(jù)下數(shù)據(jù)庫不但容量大,而且數(shù)據(jù)類型也比較大,因此在處理過程中難免會有一些差錯,在加上大數(shù)據(jù)的價值密度比較低,因此必須要做好數(shù)據(jù)庫的管理。分布式數(shù)據(jù)庫技術(shù)主要是采用了模型來對數(shù)據(jù)信息進(jìn)行管理,其將所管理的信息看成一串字符,但是不直接對字符進(jìn)行解釋,有效的簡化了數(shù)據(jù)庫系統(tǒng)[3]。
3 結(jié)語
綜上所述,大數(shù)據(jù)信息系統(tǒng)下,其關(guān)鍵技術(shù)可以有效的做好數(shù)據(jù)的挖掘、分析、以及處理,從而為相應(yīng)的人提供數(shù)據(jù)上的參考。未來隨著我國信息技術(shù)的發(fā)展,相信大數(shù)據(jù)下信息系統(tǒng)的關(guān)鍵技術(shù),還會不斷的優(yōu)化,以此來為每一位用戶提供針對性的服務(wù)。
參考文獻(xiàn)
[1]禹祿君.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].湖南郵電職業(yè)技術(shù)學(xué)院學(xué)報,2015,(3):40-42.
[2]方世敏.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].無線互聯(lián)科技,2013,(10):117.
[3]朱攀.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].電子技術(shù)與軟件工程,2014,(4):216-216.