摘 要：本文以大數(shù)據(jù)背景為核心的計算機處理技術(shù)發(fā)展分析，從技術(shù)趨勢、技術(shù)優(yōu)勢及技術(shù)發(fā)展載體等多個方面進行內(nèi)容探究，并從技術(shù)優(yōu)化及技術(shù)應(yīng)用的角度，提出大數(shù)據(jù)容器化與容器編排、數(shù)據(jù)湖與數(shù)據(jù)倉庫搭建及大數(shù)據(jù)分布式計算框架建設(shè)等基礎(chǔ)策略，以期提升大數(shù)據(jù)在計算機信息技術(shù)發(fā)展中的應(yīng)用有效性。

關(guān)鍵詞：大數(shù)據(jù)；計算機；信息處理技術(shù)；發(fā)展水平

中圖分類號：TP311文獻標(biāo)識碼：A文章編號：2095-9052（2024）05-0181-03

引言

現(xiàn)今，大數(shù)據(jù)技術(shù)應(yīng)用為計算機信息處理技術(shù)的發(fā)展指明新的方向。新時期大數(shù)據(jù)技術(shù)的發(fā)展，將逐步基于計算機信息處理技術(shù)的性能、可靠性及安全性等特征，實現(xiàn)對技術(shù)水平、技術(shù)適用性及技術(shù)成果轉(zhuǎn)化能力的提升，促使大數(shù)據(jù)技術(shù)能在更多場景得到廣泛應(yīng)用，實現(xiàn)對計算機處理技術(shù)及大數(shù)據(jù)技術(shù)發(fā)展?jié)摿﹄p向提升。

一、大數(shù)據(jù)背景下計算機信息處理技術(shù)發(fā)展趨勢

（一）低功耗與小型化

近年來，依托大數(shù)據(jù)技術(shù)應(yīng)用的計算機處理技術(shù)發(fā)展，逐漸面向低功耗、小型化進行技術(shù)創(chuàng)新。在大數(shù)據(jù)技術(shù)應(yīng)用的早期階段，由于硬件系統(tǒng)設(shè)備相對較為繁雜，加之大數(shù)據(jù)技術(shù)應(yīng)用系統(tǒng)生態(tài)尚未完善，導(dǎo)致計算機設(shè)備性能相對較低。而基于多設(shè)備并聯(lián)的數(shù)據(jù)信息處理模式，也會提升設(shè)備耗電量及系統(tǒng)功耗，降低設(shè)備使用壽命。譬如，傳統(tǒng)的服務(wù)器HDFS分布式文件系統(tǒng)對計算機設(shè)備功耗要求超過1500瓦，計算機設(shè)備在高負(fù)載情況下系統(tǒng)發(fā)熱較為嚴(yán)重，促使硬件系統(tǒng)設(shè)備使用壽命大幅縮短。最近幾年，依托GlusterFS的Hadoop的HBase、Apache Cassandra、MongoDB等數(shù)據(jù)庫系統(tǒng)應(yīng)用，則極大地降低計算機系統(tǒng)功耗，使單一計算機設(shè)備功耗在800瓦左右即可滿足設(shè)備基本使用需求，并能延長設(shè)備使用壽命［1］。同時，部分系統(tǒng)的兼容性設(shè)計，也讓設(shè)備體積進一步減小，滿足多種不同條件下的大數(shù)據(jù)技術(shù)應(yīng)用需求。例如，企業(yè)級移動NAS數(shù)據(jù)存儲系統(tǒng)，實際體積僅為傳統(tǒng)計算機設(shè)備的一半，充分提升對設(shè)備應(yīng)用的便攜性。

（二）多路徑協(xié)同與技術(shù)多元融合

多路徑協(xié)同技術(shù)概念的運用，為大數(shù)據(jù)技術(shù)融合發(fā)展提供重要的技術(shù)保障。所謂多路徑協(xié)同是指在數(shù)據(jù)處理過程中，同時使用多條路徑來處理數(shù)據(jù)，以提高數(shù)據(jù)處理的效率和準(zhǔn)確性、魯棒性，進一步強化設(shè)備性能及計算機設(shè)備復(fù)雜數(shù)據(jù)運算能力。多路徑協(xié)同主要基于數(shù)據(jù)分割、數(shù)據(jù)合并、數(shù)據(jù)校驗、數(shù)據(jù)糾錯及數(shù)據(jù)整合五項流程進行數(shù)據(jù)處理。其中，多路徑協(xié)同的技術(shù)融合，先利用數(shù)據(jù)分割將具有相同數(shù)據(jù)信息屬性的數(shù)據(jù)內(nèi)容進行分割，再利用并行處理將數(shù)據(jù)統(tǒng)一進行歸類，每個單元與線程均能處理不同類別的數(shù)據(jù)信息內(nèi)容［2］。而后，再利用數(shù)據(jù)合并將提升數(shù)據(jù)信息結(jié)構(gòu)的完整性，按照計算機數(shù)據(jù)處理指令，對數(shù)據(jù)信息進行平均值、最大值等數(shù)據(jù)內(nèi)容的計算。若數(shù)據(jù)信息存在一定的誤差，則需要利用數(shù)據(jù)校驗與糾錯，針對數(shù)據(jù)信息內(nèi)容進行驗證，提升數(shù)據(jù)精度。所以，多路徑協(xié)同的技術(shù)多元融合，讓大數(shù)據(jù)技術(shù)不再獨立基于計算機單一模塊功能進行系統(tǒng)管理，而是能采用集成化設(shè)計思路將計算機設(shè)備中不同模塊的功能進行優(yōu)化，使其能基于統(tǒng)一數(shù)據(jù)處理指令進行運行。以此，滿足大數(shù)據(jù)技術(shù)的應(yīng)用需求。

（三）交叉數(shù)據(jù)加密與信息安全管理

數(shù)據(jù)信息加密與數(shù)據(jù)安全，逐漸成為近階段大數(shù)據(jù)技術(shù)應(yīng)用發(fā)展的關(guān)鍵。其中，基于交叉數(shù)據(jù)價值的信息安全管理技術(shù)，則是計算機處理技術(shù)發(fā)展中對大數(shù)據(jù)技術(shù)應(yīng)用提供的重要安全保障。交叉數(shù)據(jù)加密一般面向存儲型XSS、反射型XSS、DOM-based XSS提供數(shù)據(jù)安全加密支持。譬如，反射型XSS主要是攻擊者通過將惡意腳本作為URL參數(shù)或請求數(shù)據(jù)的一部分發(fā)送給Web應(yīng)用程序，應(yīng)用程序?qū)⒃摂?shù)據(jù)反射到響應(yīng)中，用戶在訪問特定URL時會執(zhí)行攻擊腳本，從而，盜取相應(yīng)的數(shù)據(jù)信息。交叉數(shù)據(jù)加密，則可運用輸入驗證的信息過濾、轉(zhuǎn)義輸入、HTTP Only標(biāo)志、CSP及最小權(quán)限原則五項基礎(chǔ)流程針對安全風(fēng)險進行控制，促使攻擊者無法獲取相應(yīng)的數(shù)據(jù)信息，通過針對攻擊腳本信息進行數(shù)據(jù)標(biāo)記。隨著計算機信息處理安全管理技術(shù)的發(fā)展，大數(shù)據(jù)技術(shù)在計算機系統(tǒng)中的運用逐漸面向安全化管理發(fā)展，有效解決系統(tǒng)應(yīng)用、程序應(yīng)用、數(shù)據(jù)應(yīng)用與技術(shù)應(yīng)用的安全風(fēng)險問題，為計算機處理技術(shù)發(fā)展及大數(shù)據(jù)技術(shù)的運用提供切實的安全保障。

二、基于大數(shù)據(jù)背景下計算機信息處理技術(shù)優(yōu)勢

（一）數(shù)據(jù)信息高效化處理

在大數(shù)據(jù)應(yīng)用的早期階段，計算機處理技術(shù)主要在數(shù)據(jù)存儲、數(shù)據(jù)傳輸?shù)确矫婢哂幸欢ǖ膬?yōu)勢，在高負(fù)載的數(shù)據(jù)處理條件下，計算機峰值性能較差問題，對于大數(shù)據(jù)技術(shù)的應(yīng)用形成部分限制。近年來，計算機中央處理器、圖像處理器、內(nèi)存、存儲設(shè)備性能的提升，進一步破除數(shù)據(jù)運算的性能限制，促使大數(shù)據(jù)技術(shù)能基于計算機處理技術(shù)應(yīng)用，滿足數(shù)據(jù)分析、數(shù)據(jù)整合與云計算等多個方面需求。譬如，在大數(shù)據(jù)技術(shù)應(yīng)用的早期階段，計算機單通道內(nèi)存帶寬僅為10GB/s。當(dāng)前，計算機服務(wù)器單通道內(nèi)存的數(shù)據(jù)傳輸帶寬，則達到120GB/s以上。由此可見，計算機處理技術(shù)的高速發(fā)展，為大數(shù)據(jù)技術(shù)應(yīng)用提升高效化處理支持。正是在高性能計算設(shè)備的影響下，使利用設(shè)備冗余性能開展數(shù)據(jù)計算的邊緣計算技術(shù)得到廣泛普及，為大數(shù)據(jù)技術(shù)發(fā)展夯實基礎(chǔ)。

（二）大數(shù)據(jù)技術(shù)功能的拓展

以往，大數(shù)據(jù)技術(shù)應(yīng)用主要面向大型企業(yè)級客戶提供技術(shù)支持。隨著技術(shù)的進一步更迭，計算機處理技術(shù)應(yīng)用成本的下降，讓大數(shù)據(jù)技術(shù)應(yīng)用逐步的面向中小型企業(yè)級用戶及個人用戶進行開放，促使大數(shù)據(jù)技術(shù)能在教育、醫(yī)療、交通管理、社會保障、商業(yè)服務(wù)等多個領(lǐng)域發(fā)揮核心技術(shù)優(yōu)勢，有效拓展大數(shù)據(jù)技術(shù)的應(yīng)用功能，使其能在更多層面為行業(yè)、經(jīng)濟及社會發(fā)展等提供支持。此外，計算機處理技術(shù)對于部分個性化服務(wù)的支持，也進一步提升大數(shù)據(jù)技術(shù)功能的適用性，使其能滿足不同形式下的技術(shù)應(yīng)用需求。譬如，利用計算機處理技術(shù)的個性化服務(wù)支持，面向圖像繪制提供高性能圖像處理計算，提升圖像繪制信息密度及信息內(nèi)容完整性［3］。大數(shù)據(jù)背景下的計算機處理技術(shù)應(yīng)用，能夠充分提升各類數(shù)據(jù)應(yīng)用的廣泛性，為未來大數(shù)據(jù)技術(shù)內(nèi)容的發(fā)展延伸提供充分的技術(shù)保障。

三、新時期大數(shù)據(jù)背景下計算機處理技術(shù)發(fā)展載體

（一）技術(shù)創(chuàng)新發(fā)展生態(tài)

發(fā)展高新技術(shù)產(chǎn)業(yè)，推進高新技術(shù)創(chuàng)新，是我國構(gòu)建產(chǎn)業(yè)新生態(tài)的重要戰(zhàn)略布局。國外部分發(fā)達國家也將大數(shù)據(jù)技術(shù)、計算機處理技術(shù)等作為發(fā)展先進技術(shù)的內(nèi)在支撐。技術(shù)創(chuàng)新發(fā)展生態(tài)的形成，對于計算機處理技術(shù)發(fā)展形成內(nèi)在驅(qū)動力，讓計算機處理技術(shù)迭代周期進一步縮短。譬如，我國企業(yè)級中央處理器龍芯3A5000、3A6000等國產(chǎn)處理器芯片在國內(nèi)市場的應(yīng)用，迫使Intel至強Gold處理器與AMD EPYC霄龍服務(wù)器處理器相應(yīng)提升設(shè)備性能，并促使Intel與AMD逐漸面向企業(yè)級處理器中端設(shè)備市場邁進，打破傳統(tǒng)模式下國外計算機設(shè)備巨頭僅向高端服務(wù)器市場提供硬件設(shè)備支持的格局。由此可見，技術(shù)創(chuàng)新發(fā)展生態(tài)的形成，對于促進計算機處理技術(shù)的發(fā)展起到推進作用，使服務(wù)器端的企業(yè)級計算機設(shè)備，能為大數(shù)據(jù)技術(shù)的應(yīng)用提供更高水平的技術(shù)支持。

（二）產(chǎn)業(yè)發(fā)展資源支持

計算機處理技術(shù)應(yīng)用需要大量的經(jīng)濟資源、市場資源及技術(shù)資源支持。根據(jù)某國外計算機設(shè)備設(shè)計制造巨頭于2022年第四季度公布的財報數(shù)據(jù)。該企業(yè)僅Q1季度與Q2季度研發(fā)總投入超過62億美元。由此可見，計算機處理技術(shù)的發(fā)展，需要大量的資源投入。我國在計算機處理技術(shù)的應(yīng)用方面，為突破國外技術(shù)封鎖，進一步基于政策扶持與產(chǎn)業(yè)建設(shè)，推進計算機處理技術(shù)的應(yīng)用發(fā)展，并重點面向企業(yè)提供大數(shù)據(jù)計算開發(fā)與應(yīng)用支持，促使計算機技術(shù)發(fā)展對于大數(shù)據(jù)技術(shù)的兼容能力不斷提升。所以，產(chǎn)業(yè)發(fā)展資源的支持，決定計算機處理技術(shù)發(fā)展水平與發(fā)展?jié)摿Γ瑫r對大數(shù)據(jù)技術(shù)應(yīng)用產(chǎn)生潛在影響。從未來計算機處理技術(shù)的發(fā)展趨勢來看，依托大數(shù)據(jù)技術(shù)的獨立模塊開發(fā)，逐漸成為產(chǎn)業(yè)發(fā)展的新內(nèi)容。對于更好提升計算機處理技術(shù)水平及技術(shù)適用性奠定良好根基。

四、大數(shù)據(jù)背景下計算機信息處理技術(shù)發(fā)展應(yīng)用路徑

（一）大數(shù)據(jù)容器化與容器編排

大數(shù)據(jù)容器化與容器編排是現(xiàn)代應(yīng)用部署與管理的重要技術(shù)內(nèi)容之一，有助于簡化應(yīng)用的開發(fā)、部署、維護與擴展，對于拓展大數(shù)據(jù)技術(shù)在計算機設(shè)備中的應(yīng)用功能具有一定的幫助。其中，容器、Docker及容器編排是實現(xiàn)容器化的基礎(chǔ)。首先，容器是輕量級的、獨立的執(zhí)行環(huán)境，主要內(nèi)容包括應(yīng)用程序、其依賴項與配置。容器技術(shù)允許將應(yīng)用程序及其所有依賴項封裝在一個容器。從而，使應(yīng)用程序在不同的環(huán)境中具有一致的運行方式。其次，Docker在大數(shù)據(jù)容器化方面的運用，允許開發(fā)人員將應(yīng)用程序與環(huán)境打包成容器鏡像，進一步幫助提升內(nèi)容兼容性，使其不同鏡像可以在各類計算機主機上進行運行，確保應(yīng)用程序的一致性與可移植性［4］。最后，容器編排則需要運用Kubernetes、Docker Swarm及Apache Mesos等拓展環(huán)境與容器編排平臺提供支持，進一步滿足大數(shù)據(jù)的應(yīng)用需求。譬如，針對Kubernetes容器編排平臺的應(yīng)用程序部署、拓展與管理，則能面向用戶提供自動負(fù)載均衡、容器伸縮、自動修復(fù)、滾動升級、服務(wù)發(fā)現(xiàn)與配置管理。以此提升技術(shù)應(yīng)用有效性與功能的豐富性。

（二）計算機數(shù)據(jù)湖與數(shù)據(jù)倉庫搭建

數(shù)據(jù)湖與數(shù)據(jù)倉庫是兩種用于存儲與管理數(shù)據(jù)的不同方法，其中，數(shù)據(jù)倉庫在特定環(huán)境及結(jié)構(gòu)性數(shù)據(jù)存儲方面具有一定的優(yōu)勢，能基于固定模式進行數(shù)據(jù)信息檢索、查詢與數(shù)據(jù)應(yīng)用，并能利用ETL流程為大數(shù)據(jù)技術(shù)運用提供數(shù)據(jù)清洗、提取、轉(zhuǎn)換及加載等相關(guān)支持，實現(xiàn)對各類數(shù)據(jù)信息應(yīng)用的準(zhǔn)確性及時效性。數(shù)據(jù)湖則更傾向于動態(tài)化的數(shù)據(jù)信息存儲，能針對不同種類的數(shù)據(jù)進行結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)處理，并可以采用原始數(shù)據(jù)查詢的方式進行數(shù)據(jù)處理，極大地提升大數(shù)據(jù)技術(shù)中數(shù)據(jù)信息內(nèi)容的應(yīng)用靈活性，可以為企業(yè)建立動態(tài)化數(shù)據(jù)管理、分析模型，能為非固定環(huán)境下數(shù)據(jù)處理提供多方面支持。所以，在計算機數(shù)據(jù)庫與數(shù)據(jù)倉庫的搭建方面，要根據(jù)大數(shù)據(jù)技術(shù)應(yīng)用需求及數(shù)據(jù)信息的使用需求，有針對性地進行技術(shù)內(nèi)容的篩選，確保各類技術(shù)的運用能發(fā)揮計算機信息處理的核心優(yōu)勢，使大數(shù)據(jù)技術(shù)應(yīng)用水平能得到穩(wěn)步提升。

（三）大數(shù)據(jù)分布式計算框架建設(shè)

分布式計算框架的建設(shè)，同樣對大數(shù)據(jù)技術(shù)應(yīng)用提供核心技術(shù)支持。分布式計算框架是用于處理大規(guī)模數(shù)據(jù)與執(zhí)行分布式計算任務(wù)的軟件工具、平臺?；A(chǔ)數(shù)據(jù)框架的設(shè)計，允許任務(wù)分解成多個子任務(wù)，并在多臺計算機上并行執(zhí)行。從而，進一步提高計算性能、可伸縮性與容錯性。目前，較為常用的大數(shù)據(jù)分布式計算框架主要包括Apache Hadoop、Apache Spark、Apache Flink、Apache Storm及HPC集群計算等。其中，不同的分布式計算框架技術(shù)特點及技術(shù)需求各不相同。以Apache Hadoop及Apache Spark為例。Apache Hadoop是開源的分布式計算框架，主要用于批量處理任務(wù)與大規(guī)模數(shù)據(jù)存儲?；谙到y(tǒng)程序的Hadoop分布式文件系統(tǒng)及MapReduce分布式數(shù)據(jù)處理系統(tǒng)，對系統(tǒng)程序運行提供支持，同時，Hadoop生態(tài)系統(tǒng)對SQL查詢、數(shù)據(jù)流編程、列式數(shù)據(jù)庫等組件的運用，也大幅提升分布式計算框架的運行效率［5］。Apache Spark則是快速且通用的分布式計算引擎，能在流處理、機器學(xué)習(xí)及圖計算任務(wù)等方面提供技術(shù)支持。Apache Spark的高級API，實現(xiàn)對Spark SQL、MLlib及GraphX的有效運用，充分簡化分布式計算任務(wù)的開發(fā)，為大數(shù)據(jù)技術(shù)應(yīng)用提供技術(shù)保障。

（四）計算機大數(shù)據(jù)存儲技術(shù)

計算機大數(shù)據(jù)存儲技術(shù)與消費級計算機設(shè)備數(shù)據(jù)存儲的技術(shù)邏輯基本一致，但技術(shù)內(nèi)容截然不同。計算機大數(shù)據(jù)存儲技術(shù)，一般采用分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫、時間序列數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫、對象存儲等多種存儲方式及技術(shù)內(nèi)容提供支持。從數(shù)據(jù)存儲方式與平臺建設(shè)的角度來看，計算機大數(shù)據(jù)存儲技術(shù)能針對各類數(shù)據(jù)信息的類型、數(shù)據(jù)特征及數(shù)據(jù)模塊信息進行數(shù)據(jù)顆粒的打磨，根據(jù)數(shù)據(jù)內(nèi)容的差異對其進行歸類，相比于消費級計算機的設(shè)備存儲，計算機大數(shù)據(jù)存儲并非粗暴地將數(shù)據(jù)信息分布存儲于各個數(shù)據(jù)模塊，而是在各個不同類型的存儲介質(zhì)及設(shè)備中加入單獨的數(shù)據(jù)存儲信息映射模塊，使其能直接通過數(shù)據(jù)特征進行數(shù)據(jù)信息的抓取。計算機大數(shù)據(jù)存儲技術(shù)在數(shù)據(jù)安全、數(shù)據(jù)傳輸速度、數(shù)據(jù)存儲持久性及數(shù)據(jù)可用性等方面具有諸多優(yōu)勢，能為大數(shù)據(jù)技術(shù)提供更多形式的數(shù)據(jù)信息存儲支持。因此，計算機大數(shù)據(jù)存儲技術(shù)的運用，讓固態(tài)硬盤、氦氣硬盤及機械硬盤等各類不同存儲介質(zhì)，能實現(xiàn)一體化數(shù)據(jù)信息并聯(lián)，充分提升數(shù)據(jù)信息存儲的穩(wěn)定性，為數(shù)據(jù)信息的應(yīng)用與管理做好充分的技術(shù)鋪墊。

結(jié)語

綜上所述，計算機信息處理技術(shù)的發(fā)展，為大數(shù)據(jù)技術(shù)應(yīng)用提供多方面支持。大數(shù)據(jù)技術(shù)的普及，也為計算機信息處理能力及處理技術(shù)的創(chuàng)新提供幫助，進一步實現(xiàn)技術(shù)發(fā)展的多元互補與多元融合。依托大數(shù)據(jù)時代的計算機信息處理技術(shù)發(fā)展，勢必要以提升數(shù)據(jù)信息處理能力、數(shù)據(jù)安全性及數(shù)據(jù)傳輸效率等作為主要的技術(shù)方向，充分滿足大數(shù)據(jù)技術(shù)應(yīng)用需求，為大數(shù)據(jù)的技術(shù)創(chuàng)新及計算機信息處理技術(shù)水平的提升提供充分的技術(shù)保障。

參考文獻：

［1］魏蓉.大數(shù)據(jù)背景下計算機信息處理技術(shù)研究［J］.信息與電腦（理論版），2020，32（02）：207-208.

［2］曲濱鵬，繆佳，朱麗娜.大數(shù)據(jù)背景下的計算機信息處理技術(shù)應(yīng)用與實踐［J］.電子技術(shù)與軟件工程，2020（01）：109-110.

［3］郭航航，袁初曉.大數(shù)據(jù)時代背景下計算機信息處理技術(shù)分析［J］.信息與電腦（理論版），2020，32（01）：23-25.

［4］董春龍.大數(shù)據(jù)時代背景下計算機信息處理技術(shù)［J］.電子技術(shù)與軟件工程，2019（24）：121-122.

［5］牟琪.淺談大數(shù)據(jù)背景下的計算機信息處理技術(shù)應(yīng)用與實踐［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（11）：65-66.