惠新麗 洛陽(yáng)市財(cái)政支出績(jī)效管理中心
大數(shù)據(jù)的定義:利用數(shù)據(jù)庫(kù)工具等技術(shù)手段,對(duì)方方面面的數(shù)據(jù)采集之后使用新型信息處理方式進(jìn)行系統(tǒng)處理。大數(shù)據(jù)的特征有如下四個(gè)方面:一是大規(guī)模。數(shù)據(jù)處理的內(nèi)容十分龐大。二是多樣化。處理的信息類型多種多樣。三是及時(shí)性。大數(shù)據(jù)對(duì)需要處理的信息能及時(shí)處理完畢。四是信息密度低。大數(shù)據(jù)時(shí)代是信息化高新技術(shù)迅速發(fā)展下的我們所處的時(shí)代概括性描述。在大數(shù)據(jù)背景下,龐大的數(shù)據(jù)庫(kù),為用戶日后的信息查詢提供有效的途徑。大數(shù)據(jù)設(shè)計(jì)學(xué)科領(lǐng)域廣泛,而計(jì)算機(jī)信息處理技術(shù)是其基礎(chǔ)。大數(shù)據(jù)的發(fā)展就處在信息化行業(yè)的風(fēng)口,它的規(guī)模和速度在近些年得到了很大進(jìn)展,促進(jìn)社會(huì)的繁榮發(fā)展,保障數(shù)據(jù)信息維護(hù),對(duì)國(guó)民經(jīng)濟(jì)作用極為重要。
處于大數(shù)據(jù)時(shí)代背景之下,選擇大力推廣使用先進(jìn)的計(jì)算機(jī)信息處理技術(shù),能夠持續(xù)保障不同類型數(shù)據(jù)存儲(chǔ)、應(yīng)用的安全性,令數(shù)據(jù)信息的應(yīng)用價(jià)值得以全方位呈現(xiàn)。至于大數(shù)據(jù)時(shí)代下計(jì)算機(jī)處理技術(shù)的常見(jiàn)類型則表現(xiàn)為:
有關(guān)EEP WEB數(shù)據(jù)獲取技術(shù),可以說(shuō)是我國(guó)現(xiàn)代信息技術(shù)體系中的關(guān)鍵性結(jié)構(gòu)單元,其功能就是方便快速處理批量化的數(shù)據(jù)信息,并細(xì)致化呈現(xiàn)有關(guān)動(dòng)態(tài)變化細(xì)節(jié),從而維持?jǐn)?shù)據(jù)信息應(yīng)用的科學(xué)性、高效率性。除此之外,這類技術(shù)還保留分布性覆蓋和靈活性訪問(wèn)等功能優(yōu)勢(shì),確保用戶能夠透過(guò)不同路徑獲取并井然有序地整合所需信息,從而有機(jī)改善數(shù)據(jù)信息的處理效率和水平。
目前流行的GFS技術(shù),原理就是借助分布式形式來(lái)存儲(chǔ)一系列計(jì)算機(jī)數(shù)據(jù)信息,當(dāng)中的基礎(chǔ)便是BIM技術(shù),存儲(chǔ)形式則是行列混合式,在確保增加各類數(shù)據(jù)信息的使用量、提升數(shù)據(jù)信息的處理效率前提下,節(jié)約對(duì)應(yīng)操作需要消耗的時(shí)間精力。換句話說(shuō),應(yīng)用這類技術(shù),能夠在數(shù)據(jù)信息查詢方面省去不少的時(shí)間,令磁盤空間得到妥善開發(fā)應(yīng)用,并適當(dāng)減少數(shù)據(jù)信息在磁盤當(dāng)中的實(shí)際占比,從而同步改善數(shù)據(jù)信息的存儲(chǔ)、處理、應(yīng)用實(shí)效。
顧名思義,大數(shù)據(jù)時(shí)代背景下會(huì)產(chǎn)生海量的數(shù)據(jù),用戶想要予以靈活性檢索和使用,就要依靠于BIGTABLE技術(shù)。用戶只要依照該類技術(shù)的一系列指定程序進(jìn)行操作,就會(huì)獲取想要的結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu),從而滿足后續(xù)的具體應(yīng)用要求。需要注意的是,這類技術(shù)還可以篩選確認(rèn)檢索結(jié)果中的最優(yōu)數(shù)據(jù),并分析其獨(dú)特的應(yīng)用價(jià)值。
在使用計(jì)算機(jī)來(lái)挖掘數(shù)據(jù)過(guò)程中,通常我們都習(xí)慣借助網(wǎng)絡(luò)搜索功能。實(shí)際上,我們還能夠利用排序?qū)W習(xí)算法來(lái)全方位檢索、分析有關(guān)數(shù)據(jù),了解當(dāng)中的文本特征,令數(shù)據(jù)挖掘工作得以快速深入性地進(jìn)行下去。
信息處理環(huán)節(jié)的首要部分就是信息采集與加工想要確保計(jì)算機(jī)信息處理的質(zhì)量。大數(shù)據(jù)時(shí)代下產(chǎn)生的信息大多是駁雜無(wú)用的信息,想要獲取有效信息就要有技術(shù)層面的篩選,接著大數(shù)據(jù)信息處理與運(yùn)行維護(hù)的基礎(chǔ),一切都是所篩選的信息,這個(gè)環(huán)節(jié)的關(guān)鍵程度不言而喻。我們所有收集的信息將會(huì)被兩種模式所加工處理,那就是在線處理和離線處理。假如我們對(duì)數(shù)據(jù)的比對(duì)分析的要求較高,那么我們就需要使用在線處理模式,可以使用Spark,Storm等工具。假如單純的想要數(shù)據(jù)分析之后的內(nèi)容與結(jié)果,不需要過(guò)程描述,那就選用離線處理,例如先將日志數(shù)據(jù)采集到HDFS中,再使用Map Reduce,Hive等進(jìn)行進(jìn)一步分析。
隨著大數(shù)據(jù)時(shí)代的到來(lái),互聯(lián)網(wǎng)數(shù)據(jù)爆炸式增長(zhǎng),曾經(jīng)傳統(tǒng)的信息存儲(chǔ)技術(shù)已經(jīng)過(guò)時(shí)了,無(wú)法適應(yīng)當(dāng)前的需要,而且傳統(tǒng)技術(shù)讓大量的資源被浪費(fèi)的同時(shí)也無(wú)法滿足大數(shù)據(jù)處理時(shí)代的工作質(zhì)量以及獲取信息的效率。大數(shù)據(jù)時(shí)代意味著需要比傳統(tǒng)存儲(chǔ)平臺(tái)更多的數(shù)據(jù),起始計(jì)算量至少是PB。而數(shù)據(jù)呈現(xiàn)方式眾多,結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化,導(dǎo)致數(shù)據(jù)時(shí)代的處理壓力增大且處理方式復(fù)雜。我們采集了巨量的信息后,存儲(chǔ)問(wèn)題仍然困擾著人們。因?yàn)橛?jì)算機(jī)要處理的數(shù)據(jù)更多更加復(fù)雜化,數(shù)據(jù)統(tǒng)一管理的難度可想而知。
在大數(shù)據(jù)環(huán)境下的信息有一個(gè)較為獨(dú)特的特性就是沒(méi)有孤立性,數(shù)據(jù)和數(shù)值兩者之間通過(guò)簡(jiǎn)易的交換便建立了關(guān)聯(lián)性,二者之間甚至產(chǎn)生相互影響。雖然使用者更迅速獲知數(shù)據(jù),但是在數(shù)據(jù)傳輸過(guò)程中,如果信息傳遞產(chǎn)生異常,就會(huì)引起連鎖反應(yīng),接下來(lái)的數(shù)據(jù)也出現(xiàn)異常,后果損失會(huì)不可估量。管理者若想保證數(shù)據(jù)信息的安全,應(yīng)當(dāng)確保需要保護(hù)的數(shù)據(jù)及有關(guān)聯(lián)的全部數(shù)據(jù)的安全,相對(duì)地工作量跟技術(shù)難度也會(huì)攀升。因此,首要地就是研發(fā)因地制宜因時(shí)而異的信息安全體系構(gòu)架,同時(shí)加強(qiáng)有關(guān)部門員工的管培,定期培訓(xùn)與開展指導(dǎo),持續(xù)開展完善信息安全技術(shù)。
面對(duì)大數(shù)據(jù)遇到的難題,傳統(tǒng)信息處理技術(shù)落伍了,已經(jīng)無(wú)法提供有效支持了。處理信息的過(guò)程中,如果比作個(gè)輪軸結(jié)構(gòu)的話,那么必然不能缺少的重要環(huán)節(jié)就是信息加工。信息加工技術(shù)重要體現(xiàn)在什么地方呢?它可以大海撈針般的難度下,在龐大駁雜的數(shù)據(jù)庫(kù)中,找出人們想要的信息,保證信息的價(jià)值。它能在信息讀取的過(guò)程中,有效地優(yōu)化其讀取速度的同時(shí)確保數(shù)據(jù)不丟包,確保信息安全。當(dāng)前我國(guó)互聯(lián)網(wǎng)應(yīng)用的大范圍的計(jì)算方式,依然是云計(jì)算技術(shù),這種技術(shù)相當(dāng)成熟,依托互聯(lián)網(wǎng)虛擬的環(huán)境,提供虛擬化、動(dòng)態(tài)伸縮化的信息,讓用戶的資源和數(shù)據(jù)互聯(lián)互通,開放的內(nèi)容形成共享的資源。
在大數(shù)據(jù)時(shí)代的背景下,信息處理要進(jìn)行集中的形式,為此,就給計(jì)算機(jī)信息處理技術(shù)提出了很高的規(guī)定和要求,其中有計(jì)算機(jī)的各種硬件,還有計(jì)算機(jī)在應(yīng)用中的各種軟件。為此,要想適應(yīng)時(shí)代的進(jìn)步和發(fā)展,人們要針對(duì)計(jì)算機(jī)的各種硬件以及軟件方面采取研究,在大數(shù)據(jù)時(shí)代下,云技術(shù)就是一項(xiàng)產(chǎn)物。大數(shù)據(jù)時(shí)代針對(duì)計(jì)算機(jī)技術(shù)的需求,云數(shù)據(jù)正好給予了填充,讓人們的生活質(zhì)量提高,同時(shí)應(yīng)用的渠道更廣泛。另外,利用云技術(shù),可以讓信息實(shí)現(xiàn)集中的處理,其中計(jì)算機(jī)出現(xiàn)的難題得到了有效地緩解,從根源將計(jì)算機(jī)處理能力大幅提高。當(dāng)下,大數(shù)據(jù)時(shí)代的到來(lái),讓計(jì)算機(jī)在實(shí)際運(yùn)行中運(yùn)行的工作效率低,速度很慢等情況發(fā)生,云技術(shù)的應(yīng)用就讓這種情況得到改善。
在計(jì)算機(jī)信息處理技術(shù)中,信息的有效獲取是其中一項(xiàng)最重要的內(nèi)容。在大數(shù)據(jù)時(shí)代背景下,信息呈現(xiàn)了多種多樣的趨勢(shì),在不同類型上信息不斷地進(jìn)行了篩選,針對(duì)信息才能做到有效地整合,也是當(dāng)下最需要關(guān)注的重點(diǎn)問(wèn)題。為此,在信息采集、加工和傳輸上要不斷地研發(fā),也就是要將有用的信息采取監(jiān)控,同時(shí)挑選出有用的數(shù)據(jù),將各種數(shù)據(jù)采取收集,同時(shí)將整合工作做好,方便日后的正常使用,這也是信息工作中十分關(guān)鍵的一項(xiàng)內(nèi)容。與此同時(shí),在數(shù)據(jù)庫(kù)中,加工信息包含著很多的信息內(nèi)容需要采取統(tǒng)一規(guī)劃和整理,此時(shí)要進(jìn)行分析工作,利用計(jì)算機(jī)信息處理技術(shù),將各種信息采取有效地分類,可以讓信息內(nèi)容清晰的展示出來(lái),可以隨時(shí)隨地將需要的信息及時(shí)查找,快速地獲取各項(xiàng)信息內(nèi)容。信息的傳輸對(duì)象就是用戶,用戶要想查找信息,就要利用信息傳輸技術(shù),才能將信息實(shí)現(xiàn)快速的獲取。
在大數(shù)據(jù)時(shí)代下,商人為了將經(jīng)濟(jì)效益得到的高,將互聯(lián)網(wǎng)中的漏洞加以利用,同時(shí)借助了計(jì)算機(jī)信息處理技術(shù)的不足,在網(wǎng)絡(luò)中發(fā)布了虛假的各種信息,給互聯(lián)網(wǎng)的環(huán)境營(yíng)造了一個(gè)不安全性。此時(shí),若尚未將互聯(lián)網(wǎng)這些惡意信息作出處理,就會(huì)給互聯(lián)網(wǎng)帶來(lái)嚴(yán)重的影響,威脅著人們的信息安全。為此,面對(duì)這種環(huán)境,就需要計(jì)算機(jī)信息處理技術(shù),將各種信息內(nèi)容采取篩選和整合,讓互聯(lián)網(wǎng)的安全得到提高。另外,企業(yè)在發(fā)展中,要將計(jì)算機(jī)網(wǎng)絡(luò)安全系統(tǒng)進(jìn)行完善和優(yōu)化,將計(jì)算機(jī)的防護(hù)大大提高,防止有病毒入侵;在計(jì)算機(jī)專業(yè)人才的培養(yǎng)力度上加強(qiáng);針對(duì)計(jì)算機(jī)硬件和軟件的資金投入上要給予支持,將計(jì)算機(jī)處理信息內(nèi)容的的準(zhǔn)確性大幅提高,實(shí)際運(yùn)行的效率也明顯提高,防止有虛假信息的上傳。在大數(shù)據(jù)時(shí)代的背景下,不僅給人們的日常生活提供了豐富的信息,同時(shí)也提供了便利的條件,網(wǎng)絡(luò)安全問(wèn)題也隨之出現(xiàn),如果網(wǎng)絡(luò)存在安全問(wèn)題,人們就無(wú)法享受到高質(zhì)量、高品質(zhì)的服務(wù)。由此,就要將計(jì)算機(jī)信息處理能力提升,加強(qiáng)網(wǎng)絡(luò)安全的有效監(jiān)管。
在大數(shù)據(jù)時(shí)代的背景下,各種資源會(huì)有不同程度的浪費(fèi)問(wèn)題,要想將這個(gè)問(wèn)題得到處理,計(jì)算機(jī)軟件就需要進(jìn)行創(chuàng)新,要實(shí)現(xiàn)模擬技術(shù),利用物質(zhì)以及條件采取預(yù)判和分析,將數(shù)據(jù)庫(kù)中各種資料結(jié)合,才能將發(fā)展的計(jì)劃和軌道制定,與此同時(shí),計(jì)算機(jī)技術(shù)的發(fā)展,在實(shí)驗(yàn)誤差上有所降低。在城市的建設(shè)和規(guī)劃中,可以利用計(jì)算機(jī)軟件技術(shù)采取處理,可以讓大量的時(shí)間節(jié)省,同時(shí)可以利用計(jì)算機(jī)試驗(yàn)獲得結(jié)果和數(shù)據(jù),資源做到了有效地利用,防止了浪費(fèi)。
大數(shù)據(jù)時(shí)代的到來(lái),人民生活更加便捷,同時(shí)這個(gè)時(shí)代也給計(jì)算機(jī)信息技術(shù)的革新帶來(lái)了過(guò)硬的硬件實(shí)力的基礎(chǔ)和人才智力資源,也給未來(lái)的技術(shù)發(fā)展之路布置了重重險(xiǎn)阻。人們對(duì)大數(shù)據(jù)技術(shù)的要求越來(lái)越高標(biāo)準(zhǔn),甚至以嚴(yán)苛的要求對(duì)計(jì)算機(jī)數(shù)據(jù)處理的速度要快,精度要準(zhǔn),處理的信息量要大,讓人們使用的更加簡(jiǎn)便想要滿足這一系列要求,讓技術(shù)真正為人所用,有效服務(wù)于這個(gè)時(shí)代的各個(gè)行業(yè)建設(shè),增加國(guó)民生產(chǎn)總值。這就需要我們廣大計(jì)算機(jī)人才們貢獻(xiàn)才智,肯坐冷板凳去優(yōu)化技術(shù),敢為人先,敢于創(chuàng)新技術(shù),從而有效推動(dòng)行業(yè)發(fā)展,讓計(jì)算機(jī)技術(shù)之光點(diǎn)亮整個(gè)時(shí)代。