孟祥富
【摘要】本文在對大數(shù)據(jù)的定義及主要特征進行綜合闡述的基礎上,介紹了幾種大數(shù)據(jù)的關鍵技術,并說明了大數(shù)據(jù)技術在計算機信息系統(tǒng)中的具體應用,以期為相關人士提供借鑒和參考。
【關鍵詞】數(shù)據(jù)備份;云計算;Hadoop
隨著社會的不斷發(fā)展和生產(chǎn)力的不斷提高,大數(shù)據(jù)技術在計算機信息系統(tǒng)中的應用越來越廣泛,成為一種必然的發(fā)展趨勢。大數(shù)據(jù)技術的應用,使得人們可以通過計算機的信息系統(tǒng),分析事物的發(fā)展趨勢,從而不斷提升自身的知識層次和價值觀念。因此,大數(shù)技術在計算機信息系統(tǒng)的應用,具有十分重要的現(xiàn)實意義。
一、大數(shù)據(jù)的基本概述
大數(shù)據(jù)指的是無法在短時間內(nèi)進行捕捉、處理和分析的數(shù)據(jù)組合,通過運用嶄新的數(shù)據(jù)處理模式,采用較為方便的算法,利用強大的洞察能力獲取有價值的信息資產(chǎn)。大數(shù)據(jù)的來源較為廣泛,例如,網(wǎng)上交易記錄、監(jiān)控視頻等,都屬于大數(shù)據(jù)的范疇。大數(shù)據(jù)主要有以下四個特征:首先,大數(shù)據(jù)具有多樣性的特點,由于數(shù)據(jù)的來源渠道不同,數(shù)據(jù)的形式也多種多樣,例如:圖片、視頻、音頻等。其次,大數(shù)據(jù)的存儲能力和計算能力都很強大,能夠完成常規(guī)軟件無法完成的數(shù)據(jù)計算和存儲。第三,大數(shù)據(jù)的發(fā)展速度較快,目前已被應用于包括計算機信息系統(tǒng)在內(nèi)的各個領域。最后,由于大數(shù)據(jù)的信息量巨大,導致了其實用價值降低,篩選真正有價值信息的難度增大。
二、大數(shù)據(jù)的關鍵技術
(一)云計算技術。云計算技術是一種通過分布式、并行式的計算方法對計算機數(shù)據(jù)進行梳理,綜合網(wǎng)絡上的所有信息資源,包括數(shù)據(jù)、存儲等相關計算資源都進行并行式網(wǎng)格化計算,以此來實現(xiàn)對各種資源的分配調(diào)度。通過云計算技術對大數(shù)據(jù)時代下的信息進行系統(tǒng)管理和處理。云計算技術不斷發(fā)展的同時也推動著計算機處理數(shù)據(jù)的方式帶來革命性的創(chuàng)新,將信息產(chǎn)業(yè)的模式推向一種全新的并行交互化發(fā)展模式。隨著云計算技術的不斷革新,數(shù)據(jù)處理過程中可以容納的信息量不斷增加,可以處理的領域不斷擴展,云計算技術帶來了第三次計算機數(shù)據(jù)處理的變革浪潮。
(二)數(shù)據(jù)備份技術。大數(shù)據(jù)時代下的信息保護也受到各界的重視,計算機信息數(shù)據(jù)備份的重要性日益凸顯,數(shù)據(jù)備份技術可以幫助企業(yè)保護企業(yè)信息,為企業(yè)數(shù)據(jù)資源建立一個安全的儲存環(huán)境。信息化的不斷發(fā)展給全球帶來巨大的技術進步的同時也造成了信息泄露、個人企業(yè)的私人信息受到極大的威脅。一份完整的數(shù)據(jù)可以保障企業(yè)業(yè)務順利運作,有效避免因為突發(fā)意外情況而導致的數(shù)據(jù)丟失,數(shù)據(jù)備份系統(tǒng)一定要做到和企業(yè)的信息操作系統(tǒng)完全兼容,這樣才能保證事故發(fā)生時,能夠快速恢復企業(yè)信息。
(三)Hadoop。Hadoop系統(tǒng)是一個綜合性處理信息資源的平臺,可以綜合多種信息處理技術工具,其中包括多種功能零部件,比如HDFS分布式文件系統(tǒng)、MapReduce并行計算框架、Hbase分布式NoSQL列式數(shù)據(jù)庫、Hive數(shù)據(jù)倉庫工具、 Flume日志收集工具等許多關鍵技術工具。Hadoop系統(tǒng)中的每個相關技術工具都擁有高性能、高容錯率這樣的優(yōu)點,可靠地對大數(shù)據(jù)進行管理和應用。
三、大數(shù)據(jù)技術在計算機信息系統(tǒng)中的應用
(一)云計算技術在計算機信息系統(tǒng)中的應用。想要應用云計算技術在計算機信息系統(tǒng)中進行數(shù)據(jù)處理,通過云計算的分布式網(wǎng)格計算,對整個資源進行數(shù)據(jù)處理,首先要構建相關模型。云計算模型的構建可以讓全部數(shù)據(jù)都遷移到云端,合理有效地降低計算機系統(tǒng)在信息處理上的經(jīng)濟費用。在云計算下,技術服務軟件利用無線局域網(wǎng)自動產(chǎn)生了相應的傳輸移動數(shù)據(jù)的網(wǎng)格,面向大數(shù)據(jù)信息構建出了一個的閉環(huán)反饋信息處理模型。在云計算處理數(shù)據(jù)的過程中,云計算又以一個有向無環(huán)的數(shù)據(jù)流圖展示出來,流圖為G=(V,E),在此基礎之上根據(jù)云計算的并行式的計算方法,生成了由一系列的組和一系列的傳輸遠程數(shù)據(jù)所用的隱性通道組成了云計算的計算服務模式,其中模式中組和隱形通道的公式分別為和,此外還需要出口節(jié)點用來生成輸出的對應數(shù)據(jù)。在C/S的架構下,如果云計算數(shù)據(jù)流模型的傳輸范圍被控制在這個范圍內(nèi):
在此范圍內(nèi)傳輸數(shù)據(jù)時,云計算技術處理大數(shù)據(jù)信息時所應用的數(shù)據(jù)流圖上的關鍵組成部位也要采用有向圖模型來表示,即為,云計算模式中最重要的交叉通道承載物理節(jié)點集和鏈路集在公式中分別以VP和EP表示,而公式中的SCAP則代表了不同組件中物理節(jié)點的不同數(shù)據(jù)單元的具體數(shù)量。另行設置輸入數(shù)據(jù)所用的無向圖模式,實現(xiàn)云計算對數(shù)據(jù)資源的動態(tài)資源配置管理處理,最終云計算的整體架構可以通過下式表示出來:
這種云計算的整體架構是結合多方信息進行數(shù)據(jù)整合加速處理的云計算技術,根據(jù)不斷的應用模擬試驗得知,將此種云計算方法應用到計算機系統(tǒng)中的數(shù)據(jù)處理中,可以大幅度增加數(shù)據(jù)的容納量,減少數(shù)據(jù)處理的能量損耗和所需時間,并且由于其能夠?qū)?shù)據(jù)上傳至云端,還可以達到資源共享和提高計算機系統(tǒng)處理效率等目的。上述云計算的模型不僅能夠進行多數(shù)據(jù)集中計算,還支持多個用戶計算資源的共享,減少同類型數(shù)據(jù)的重復運算率,一套較為基礎、普遍的云計算技術,可以在全國范圍內(nèi)進行推廣,解決絕大部分數(shù)據(jù)計算問題,因此云計算技術在計算機信息系統(tǒng)中的應用具有極大的市場前景。
(二)數(shù)據(jù)備份技術在計算機信息系統(tǒng)中的應用。新時代背景下,商業(yè)環(huán)境越發(fā)復雜化,企業(yè)要從多種方面來加強對數(shù)據(jù)的保護,包括數(shù)據(jù)的備份恢復系統(tǒng)無休運行以及提高系統(tǒng)的容錯率,在企業(yè)建立數(shù)據(jù)備份的同時,應該建立數(shù)據(jù)備份系統(tǒng)的容災系統(tǒng),建立對信息數(shù)據(jù)的最優(yōu)備份方案,即“數(shù)據(jù)備份加數(shù)據(jù)保險庫”?,F(xiàn)階段大部分企業(yè)對數(shù)據(jù)備份的重要性沒有足夠的認識,導致應用數(shù)據(jù)備份系統(tǒng)的企業(yè)只有20%,而被應用的數(shù)據(jù)備份系統(tǒng)中含有容災系統(tǒng)的只有5%-6%,應該在國內(nèi)大力推廣實施數(shù)據(jù)備份技術,加強對企業(yè)信息的保護,讓企業(yè)家認識到數(shù)據(jù)保護對企業(yè)的幫助。想要從根本上保障企業(yè)的信息安全,除了要做到對數(shù)據(jù)的定期備份之外,還應該強化備份細節(jié),部分企業(yè)認為拷貝數(shù)據(jù)到移動儲存就是數(shù)據(jù)備份,這樣的觀念,給企業(yè)信息資源留下了極大的隱患。endprint
實現(xiàn)數(shù)據(jù)備份的方式多種多樣,首先備份的存儲介質(zhì)要使用磁帶、移動硬盤、U盤等設備備份,還要做到異地存放,在存放的地點安裝完整的計算機、互聯(lián)網(wǎng)等相關通信設備,確保意外發(fā)生后,能夠立刻啟動備份數(shù)據(jù)系統(tǒng)。再將備份數(shù)據(jù)系統(tǒng)與企業(yè)系統(tǒng)相連接,以此恢復企業(yè)本部系統(tǒng)數(shù)據(jù)。除了要將數(shù)據(jù)存儲到可移動設備上,還要將數(shù)據(jù)傳輸至遠程備份中心,制作成光盤,雙重保證企業(yè)信息安全。企業(yè)都會建立相關企業(yè)信息數(shù)據(jù)庫,因此,在做到信息詳細內(nèi)容備份的同時,還應該在備份機上建立對應的備份數(shù)據(jù)庫,通過通信系統(tǒng),保持主數(shù)據(jù)庫和備份數(shù)據(jù)庫同步更新,在事故發(fā)生時,備份數(shù)據(jù)庫就可以立即代替主數(shù)據(jù)庫,恢復企業(yè)相關信息,減少企業(yè)因為數(shù)據(jù)丟失造成的經(jīng)濟損失。數(shù)據(jù)備份還可以應用對主數(shù)據(jù)庫和重要文件的監(jiān)控和跟蹤,在備份機中生成對應的更新日志,備份系統(tǒng)會根據(jù)更新日志,自動對備份磁盤進行數(shù)據(jù)更新。綜上所述,企業(yè)可以根據(jù)企業(yè)的實際情況,按照企業(yè)的需求,制定出對企業(yè)最佳的數(shù)據(jù)備份方案,保證系統(tǒng)的可實施性。
(三)Hadoop在計算機信息系統(tǒng)中的應用。Hadoop系統(tǒng)由于自身具有的極高的擴展性能和低成本,被廣泛應用在各行各業(yè)中,并且對于Hadoop來說無論是怎樣的數(shù)據(jù)都可以快速大量地儲存信息數(shù)據(jù),能夠做到和絕大部分的數(shù)據(jù)倉庫系統(tǒng)完美融合不出現(xiàn)排斥現(xiàn)象。以鐵路貨運為例,鐵路運輸存在數(shù)據(jù)類型多、數(shù)據(jù)資源難以進行整合、運用其他系統(tǒng)成本較高等諸多實際問題,而Hadoop則從根本上解決了鐵路運輸信息的問題,滿足鐵路運輸中絕大部分類型的數(shù)據(jù),Hadoop系統(tǒng)和鐵路運輸?shù)臄?shù)據(jù)倉庫系統(tǒng)一起構成了貨運信息的大數(shù)據(jù)分析平臺,Hadoop系統(tǒng)在平臺上對數(shù)據(jù)存儲備份進行管理,兩個系統(tǒng)互相配合,使得數(shù)據(jù)信息的整合和管理變得簡單便捷。從鐵輪貨運系統(tǒng)對Hadoop系統(tǒng)的應用可以看出,Hadoop系統(tǒng)在針對復雜數(shù)據(jù)的整合儲存、集中管理方面的優(yōu)異性,Hadoop系統(tǒng)的各個零部件在運行過程中發(fā)揮各自功能的同時能做到相互協(xié)作,給數(shù)據(jù)資源處理提供所需的功能,目前Hadoop系統(tǒng)的開發(fā)逐漸步入完善階段,各個功能部件的功能分工明確,細致劃分,逐漸形成一套功能豐富、作用完善的大數(shù)據(jù)信息分析平臺應用系統(tǒng)。
四、結論
綜上所訴,當今世界信息知識蓬勃發(fā)展,大數(shù)據(jù)技術已經(jīng)被廣泛應用到各行各業(yè)中去,隨之帶動相關信息行業(yè)規(guī)模擴大,給相關行業(yè)帶去大數(shù)據(jù)中具有極高行業(yè)價值的數(shù)據(jù)信息,幫助行業(yè)解決實際問題的同時,因為行業(yè)需求不同,對計算機系統(tǒng)的要求也在不斷提高,促進其快速發(fā)展,未來大數(shù)據(jù)技術會被更多地應用在計算機信息系統(tǒng)中。
【參考文獻】
[1]陳小莉.基于大數(shù)據(jù)的計算機數(shù)據(jù)挖掘技術在檔案管理系統(tǒng)中的研究應用[J].激光雜志,2017(02):142-145.
[2]徐勝杰.大數(shù)據(jù)技術在指揮信息系統(tǒng)中的應用與發(fā)展[J].電子技術與軟件工程,2017(06):168.
[3]李春林.大數(shù)據(jù)技術及其計算機信息系統(tǒng)中的運用探討[J].科技經(jīng)濟市場,2016(09):42-43.endprint