黃紫青 徐云娟

摘 要：在大數(shù)據(jù)技術(shù)普及的背景之下，計(jì)算機(jī)信息處理技術(shù)的生態(tài)系統(tǒng)越來(lái)越復(fù)雜化、多樣化，企業(yè)在信息化轉(zhuǎn)型的過(guò)程中，面對(duì)各類多計(jì)算引擎和云處理平臺(tái)，必須根據(jù)企業(yè)自身的需求，選擇適合的多計(jì)算引擎和云處理平臺(tái)。文章對(duì)其中主要的幾類多計(jì)算引擎和云處理平臺(tái)進(jìn)行了探究，分析了各自不同的適用場(chǎng)景以及各自存在的優(yōu)劣，為企業(yè)決策提供輔助信息。

關(guān)鍵詞：大數(shù)據(jù);多計(jì)算引擎;云處理平臺(tái)

0? ? 引言

大數(shù)據(jù)的技術(shù)受到了國(guó)家的政策支持，已經(jīng)不僅僅是企業(yè)組織用于分析市場(chǎng)經(jīng)營(yíng)活動(dòng)的技術(shù)工具，現(xiàn)在它被用于生活生產(chǎn)的方方面面。在大數(shù)據(jù)技術(shù)普及的背景之下，計(jì)算機(jī)信息處理技術(shù)也發(fā)生著由單一處理向多引擎處理，單機(jī)處理向集群處理，私有處理向云上處理，抽樣處理向全量處理，因果關(guān)系向相關(guān)關(guān)系，低質(zhì)量分析向高質(zhì)量智能化，無(wú)隱私性向高安全性的方向發(fā)展。其他信息處理技術(shù)如云計(jì)算、人工智能、區(qū)塊鏈等在大數(shù)據(jù)技術(shù)的發(fā)展下也進(jìn)行著深層次的融合，信息處理技術(shù)的生態(tài)系統(tǒng)的復(fù)合性和規(guī)?；潭纫渤尸F(xiàn)出不斷加強(qiáng)的趨勢(shì)。

1? ? 多計(jì)算引擎

隨著互聯(lián)網(wǎng)的發(fā)展，海量的數(shù)據(jù)需要處理，傳統(tǒng)的單一機(jī)器處理這些數(shù)據(jù)顯得力不從心，各式各樣的數(shù)據(jù)計(jì)算處理引擎層出不窮?？偟膩?lái)說(shuō)，分為傳統(tǒng)的DBMS數(shù)據(jù)處理引擎、鍵值數(shù)據(jù)處理引擎、列數(shù)據(jù)處理引擎、文檔型數(shù)據(jù)處理引擎、圖數(shù)據(jù)處理引擎。這些數(shù)據(jù)處理引擎有著各自的應(yīng)用場(chǎng)景。

1.1? DBMS數(shù)據(jù)處理引擎

DBMS數(shù)據(jù)處理引擎支持外鍵對(duì)事務(wù)的支持很好，事務(wù)的提交、回滾和崩潰恢復(fù)都有其對(duì)應(yīng)的工具和完整的方法。它的存儲(chǔ)不以單獨(dú)的引擎模塊存在，基本日常的事務(wù)處理一般是OLTP進(jìn)行數(shù)據(jù)處理，統(tǒng)計(jì)分析的業(yè)務(wù)查詢通常交給其對(duì)應(yīng)的OLAP系統(tǒng)進(jìn)行聯(lián)機(jī)處理，OLTP和OLAP所依賴的底層的存儲(chǔ)可以根據(jù)具體的業(yè)務(wù)場(chǎng)景選擇按一行行地進(jìn)行存儲(chǔ)數(shù)據(jù)或者按一列列地存儲(chǔ)數(shù)據(jù)。通用的SQL語(yǔ)言是DBMS數(shù)據(jù)處理引擎默認(rèn)的接口語(yǔ)言，可以支持很多復(fù)雜場(chǎng)景下的業(yè)務(wù)需求，關(guān)系型數(shù)據(jù)處理引擎的關(guān)系代數(shù)模式為了維護(hù)ACID的強(qiáng)一致性以及其必須預(yù)先定義的固定二維表的結(jié)構(gòu)缺乏一定的靈活性和容錯(cuò)性。

1.2? 鍵值數(shù)據(jù)處理引擎

鍵值數(shù)據(jù)處理引擎的存儲(chǔ)結(jié)構(gòu)比較簡(jiǎn)單，數(shù)據(jù)的存取都直接通過(guò)定義好的key。在不需要傳統(tǒng)DBMS的事務(wù)支持，完善的統(tǒng)一的查詢引擎和固定的模式的情況下，注重對(duì)大數(shù)據(jù)量的數(shù)據(jù)高并發(fā)的讀寫(xiě)性能的提升，目前主要的KV類型的數(shù)據(jù)庫(kù)無(wú)中心節(jié)點(diǎn)協(xié)調(diào)，支持?jǐn)?shù)據(jù)的復(fù)制和單節(jié)點(diǎn)的故障恢復(fù)，有常見(jiàn)的列表類型，數(shù)據(jù)支持自動(dòng)的跨區(qū)移動(dòng)，所有的KV都存于內(nèi)存之中，速度很快，支持主從同步，適用于消息隊(duì)列、實(shí)時(shí)系統(tǒng)和高頻讀低頻寫(xiě)的場(chǎng)景。

1.3? 列數(shù)據(jù)處理引擎

列數(shù)據(jù)處理引擎出現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)查詢密集型的OLAP場(chǎng)景下，因?yàn)榇藞?chǎng)景對(duì)表的數(shù)據(jù)處理，一般是取其中的某幾列的數(shù)據(jù)，對(duì)數(shù)據(jù)表的讀取按行讀非常消耗網(wǎng)絡(luò)的性能，并不是需要行中的所有數(shù)據(jù)。一般列存儲(chǔ)都可以將數(shù)據(jù)塊放在內(nèi)存中并行的計(jì)算，也方便做分布式的存儲(chǔ)同時(shí)列存儲(chǔ)可以對(duì)相同數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行壓縮但在增加刪除修改數(shù)據(jù)頻繁的OLTP場(chǎng)景下不太適用。列存儲(chǔ)通常會(huì)根據(jù)不同的數(shù)據(jù)特征來(lái)做數(shù)據(jù)的壓縮，減少數(shù)據(jù)移動(dòng)和必須讀的成本，傳統(tǒng)RDBMS應(yīng)對(duì)復(fù)雜關(guān)系運(yùn)算、關(guān)系挖掘能力有限，列存儲(chǔ)可以讓服務(wù)器具備橫向擴(kuò)展的能力，在批處理下可以顯著地減少CPU的使用率。

1.4? 圖數(shù)據(jù)處理引擎

圖數(shù)據(jù)處理引擎適用于需要多對(duì)多關(guān)系表示和模式挖掘的時(shí)候，使用上述任意的一種存儲(chǔ)結(jié)構(gòu)都不能很好地表示多對(duì)多的實(shí)體之間的關(guān)系，且底層的關(guān)系模型、列模型等都制約了業(yè)務(wù)應(yīng)用的性能。Graph模型是基于圖論的點(diǎn)和邊表達(dá)數(shù)據(jù)之間關(guān)系的模型，是多對(duì)多自然符合人類思維模式的一類存儲(chǔ)方式，專注于數(shù)據(jù)對(duì)象之間的關(guān)聯(lián)關(guān)系的存儲(chǔ)和表達(dá)。知識(shí)圖譜、社交關(guān)系等都依賴圖模型的表示，其適用于模式挖掘、推薦系統(tǒng)等業(yè)務(wù)場(chǎng)景。

2? ? 云處理平臺(tái)

信息處理技術(shù)的生態(tài)系統(tǒng)越來(lái)越復(fù)雜化、多樣化，傳統(tǒng)的私有化的處理方式只能將數(shù)據(jù)放到企業(yè)政府各自的數(shù)據(jù)中心進(jìn)行處理。云計(jì)算平臺(tái)的出現(xiàn)使得計(jì)算機(jī)處理信息的地點(diǎn)發(fā)生了轉(zhuǎn)變，目前各類業(yè)務(wù)都需要移動(dòng)化、線上化、網(wǎng)絡(luò)化，這必須借助云計(jì)算處理平臺(tái)強(qiáng)大的資源虛擬能力和彈性計(jì)算能力。云處理平臺(tái)通常提供3種大類的服務(wù)：IaaS，PaaS和SaaS服務(wù)，IaaS服務(wù)主要虛擬服務(wù)器的硬件資源，PaaS服務(wù)主要虛擬中間件資源，SaaS服務(wù)主要虛擬服務(wù)器的軟件資源。

2.1? IaaS服務(wù)

基礎(chǔ)設(shè)施即服務(wù)[1]，這類提供云計(jì)算處理計(jì)算機(jī)的信息的方式主要是提供虛擬化的硬件服務(wù)，它包含云爆發(fā)、多租戶計(jì)算、資源共用和虛擬機(jī)監(jiān)控程序這幾個(gè)方面的內(nèi)容。云爆發(fā)指的是企業(yè)政府組織為了擴(kuò)展內(nèi)部部署工作負(fù)載并將部分或全部業(yè)務(wù)遷移到公共云中的過(guò)程，應(yīng)對(duì)業(yè)務(wù)峰值需求，側(cè)重于將整個(gè)應(yīng)用程序或應(yīng)用程序組永久性地移動(dòng)到公共云中，是IaaS的初級(jí)服務(wù)模式;多租戶計(jì)算和資源共用指的是多用戶的環(huán)境下共用相同的程序組件且各自相互的隔離用戶的數(shù)據(jù)資源計(jì)算處理信息，云上系統(tǒng)對(duì)接主要考慮租戶的隔離，虛擬機(jī)監(jiān)控程序是快速管理IaaS服務(wù)的一種軟件，能查看VM的執(zhí)行狀態(tài)，動(dòng)態(tài)修改元數(shù)據(jù)做到快速管理。IaaS服務(wù)使得企業(yè)和政府無(wú)須投資利用率很低的服務(wù)器，它獨(dú)立于平臺(tái)，基礎(chǔ)的設(shè)施被多個(gè)租戶共享，但使用這類云計(jì)算服務(wù)需要集中式的管理，以應(yīng)對(duì)虛擬硬件所帶來(lái)的安全隱私方面的挑戰(zhàn)。

2.2? PaaS服務(wù)

平臺(tái)即服務(wù)[2]，這類提供云計(jì)算處理計(jì)算機(jī)的信息的方式主要是提供虛擬化的平臺(tái)服務(wù)，PaaS服務(wù)對(duì)應(yīng)的用戶是應(yīng)用的開(kāi)發(fā)者和運(yùn)維人員。PaaS并不是IaaS的擴(kuò)展特性，它們的區(qū)別是IaaS虛擬化的基本單元是硬件如服務(wù)器、磁盤(pán)、內(nèi)存、帶寬等，而PaaS服務(wù)虛擬化的基本單元是平臺(tái)應(yīng)用，如DBMS數(shù)據(jù)處理引擎應(yīng)用、郵件應(yīng)用、Spring、.NET等。PaaS的服務(wù)通常有APaaS和IPaaS兩大類，APaaS是面向IT機(jī)構(gòu)和企業(yè)的開(kāi)發(fā)部署平臺(tái)，提供的是直接的應(yīng)用，如開(kāi)發(fā)的運(yùn)行環(huán)境和數(shù)據(jù)存儲(chǔ)的平臺(tái)環(huán)境，而IPaaS針對(duì)的是各類PaaS云平臺(tái)之間的集成，提供的是建構(gòu)復(fù)合應(yīng)用的平臺(tái)。目前APaaS提供商提供的是云容器和各類IaaS之上的平臺(tái)，通過(guò)buildpack擴(kuò)展運(yùn)行不同平臺(tái)的應(yīng)用，即使沒(méi)有豐富的計(jì)算機(jī)專業(yè)知識(shí)和代碼能力，它也能讓非IT技術(shù)人員簡(jiǎn)單地構(gòu)建業(yè)務(wù)應(yīng)用，但這些通用軟件不是特別符合某些企業(yè)的需求，且軟件之間的數(shù)據(jù)無(wú)法打通，IT運(yùn)維成本也提高了，IPaaS可以很好地解決集成平臺(tái)IT運(yùn)維成本高的問(wèn)題?？傊?，PaaS服務(wù)可以使用云基礎(chǔ)架構(gòu)服務(wù)敏捷項(xiàng)目，但需要按人員的專業(yè)能力選擇適合自身的平臺(tái)。

2.3? SaaS服務(wù)

軟件即服務(wù)[3]，這類云計(jì)算服務(wù)采用最新的技術(shù)虛擬化處理計(jì)算機(jī)的信息，直接提供軟件，囊括了應(yīng)用軟件許可證費(fèi)、軟件維護(hù)費(fèi)以及技術(shù)支持費(fèi)，只需要繳納租金即可開(kāi)箱使用處理企業(yè)內(nèi)部的信息，極大地方便了企業(yè)，不再需要花費(fèi)大量的人力物力財(cái)力去投資硬件、軟件、人員，只需要租賃軟件獲取云服務(wù)。它可以靈活地根據(jù)業(yè)務(wù)需求進(jìn)行快速的迭代更新，擁抱變化，對(duì)快速變化的業(yè)務(wù)需求快速響應(yīng)和迭代，但其服務(wù)的業(yè)務(wù)效率和生產(chǎn)力極大地依賴供應(yīng)商的能力。

3? ? 結(jié)語(yǔ)

大數(shù)據(jù)云計(jì)算技術(shù)逐步成為數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施，規(guī)?；?、業(yè)務(wù)化、智能化的海量信息的處理需要多計(jì)算引擎和逐步地搬移到云上。本文研究了當(dāng)前各類多計(jì)算引擎處理信息的不同應(yīng)用場(chǎng)景和云處理平臺(tái)對(duì)信息處理的3種模式，企業(yè)組織可以根據(jù)自身的業(yè)務(wù)發(fā)展需要靈活的選擇對(duì)應(yīng)的信息處理技術(shù)，降低企業(yè)信息化進(jìn)程中的門(mén)檻與風(fēng)險(xiǎn)。

[參考文獻(xiàn)]

[1]PATEL Y S，MALWI Z，NIGHOJKAR A，et al.Truthful online double auction based dynamic resource provisioning for multi-objective trade-offs in IaaS clouds[J].Cluster Computing，2021（3）：1-25.

[2]符涵，張之江.基于PaaS平臺(tái)的定制化教學(xué)管理功能開(kāi)發(fā)研究[J].工業(yè)控制計(jì)算機(jī)，2020（3）：110-112.

[3]王炯賢，孔令輝.基于軟件即服務(wù)的高校學(xué)生事務(wù)實(shí)務(wù)中信息服務(wù)的設(shè)計(jì)及實(shí)現(xiàn)[J].教育教學(xué)論壇，2020（13）：145-148.

（編輯 何 琳）

Analysis of computer information processing technology

under the background of Big Data

Huang Ziqing， Xu Yunjuan

（Suzhou Top Institute of Information Technology， Kunshan 215311， China）

Abstract：Under the background of the popularization of Big Data technology， the ecosystem of computer information processing technology is becoming more and more complex and diversified. In the process of information transformation， facing all kinds of multi computing engines and cloud processing platforms， enterprises must choose suitable multi computing engines and cloud processing platforms according to their own needs. This paper explores the main types of multi computing engines and cloud processing platforms， analyzes their different application scenarios and their advantages and disadvantages， and provides auxiliary information for enterprise decision-making.

Key words：Big Data; multi computing engine; cloud processing platform