金天驕，栗蔚

1. 中國移動通信集團浙江有限公司，浙江 杭州 310030 2. 中國信息通信研究院，北京 100191

引 言

隨著社會信息化和網(wǎng)絡(luò)化的發(fā)展，數(shù)據(jù)爆炸式增長，全球數(shù)據(jù)總量正在持續(xù)增長，預(yù)計2025年將達到163ZB[1]。大數(shù)據(jù)被譽為是“21世紀的鉆石礦”，一方面對國家治理能力、經(jīng)濟運行機制、社會生活方式以及各領(lǐng)域的生產(chǎn)、 流通、分配、消費等活動產(chǎn)生重要影響；另一方面幫助人類通過相關(guān)關(guān)系重新認識世界[2]。大數(shù)據(jù)已廣泛應(yīng)用于醫(yī)療、生產(chǎn)、城市治理、民生改善等多領(lǐng)域，大幅提高了人們的生產(chǎn)效率和生活水平。合理收集、分析、使用各行業(yè)產(chǎn)生的數(shù)據(jù)，已成為現(xiàn)代化社會的趨勢。

數(shù)字經(jīng)濟時代，數(shù)據(jù)已成為企業(yè)乃至國家的重要資產(chǎn)，國家之間的核心競爭力將圍繞數(shù)據(jù)、算力和算法展開[3]。信息技術(shù)的發(fā)展和應(yīng)用推動數(shù)據(jù)成為繼能源之后的重要戰(zhàn)略資源[4]。但數(shù)據(jù)資源的價值只有經(jīng)過充分計算、分析后才能夠體現(xiàn)其真正的價值。基于大數(shù)據(jù)計算結(jié)果的數(shù)據(jù)分析、決策分析等已成為各行各業(yè)重要的數(shù)據(jù)依托。而云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)的迅猛發(fā)展，引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長和數(shù)據(jù)模式的高度復(fù)雜化，如何對爆發(fā)式增長的數(shù)據(jù)進行有效存儲和及時分析已經(jīng)成為亟待解決的問題。

由數(shù)字信息科技引領(lǐng)的“第四次產(chǎn)業(yè)革命”已將當代社會推向以“數(shù)據(jù)+算法+算力”為新型構(gòu)架的“數(shù)權(quán)世界”[5]。近年來，隨著5G、人工智能等技術(shù)的不斷普及，數(shù)據(jù)信息不斷增長，算法模型不斷更新，新型數(shù)據(jù)中心開始成為支撐上述產(chǎn)業(yè)不斷發(fā)展的重要基礎(chǔ)設(shè)施[6]。

根據(jù)中國信息通信研究院發(fā)布的《數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展指數(shù)》顯示，我國數(shù)據(jù)中心產(chǎn)業(yè)總體規(guī)模已接近2,000億元，一線城市等熱點地區(qū)指數(shù)相對較高。圖1體現(xiàn)了2017年至2021年國內(nèi)數(shù)據(jù)中心機架規(guī)模情況，根據(jù)相關(guān)數(shù)據(jù)可以發(fā)現(xiàn)總機架數(shù)量每年大約以30%的比例穩(wěn)步增長，其中大型以上數(shù)據(jù)中心機架規(guī)模增長更為迅速，機架規(guī)模達到420萬架，占比達80%。機架規(guī)模不斷增長的背后表明我國各企業(yè)用戶對算力存在海量需求[7]。因此，隨著數(shù)字時代的發(fā)展，國內(nèi)數(shù)據(jù)中心總體算力將面臨較大的算力缺口。相較于中西部地區(qū)的算力需求增長，東部地區(qū)由于供電、能耗等指標的影響，算力可擴展空間有限，未來將面臨算力短缺的狀況[8]。

圖1 2017-2021年中國數(shù)據(jù)中心機架規(guī)模情況Fig.1 Scale of data center racks in China from 2017 to 2021

1 大數(shù)據(jù)算力現(xiàn)狀分析

1.1 數(shù)據(jù)量不斷增長，需求算力越來越多

當前人類社會進入數(shù)智化時代，全球數(shù)據(jù)總量快速增長，根據(jù)國際調(diào)研機構(gòu)IDC發(fā)布的《數(shù)據(jù)時代2025》預(yù)測，全球數(shù)據(jù)總量將從18年的33ZB增至7年后的175ZB[9]，增長超過5倍（圖2）；中國平均增速快于全球3%，預(yù)計到2025年將增至48.6ZB，占全球數(shù)據(jù)圈的比例由23.4%提升至27.8%。其中，中國企業(yè)級數(shù)據(jù)量將從2015年占中國數(shù)據(jù)量的49%增長到2025年的69%。數(shù)據(jù)量的不斷增長同時意味著算力需求的增長，但受制于CPU晶體管的制造工藝，摩爾定律正在失效，單芯片的算力增長逐漸變緩。在傳統(tǒng)大數(shù)據(jù)計算平臺架構(gòu)模式中，受限于節(jié)點計算資源（CPU核數(shù)、內(nèi)存大小等）的限制，算力資源更顯得彌足珍貴，數(shù)據(jù)計算的成本隨著數(shù)據(jù)量的增長不斷上升，已成為所有企業(yè)乃至國家不得不考慮的問題。

圖2 全球數(shù)據(jù)的年度規(guī)模Fig.2 Annual size of global data

1.2 異構(gòu)算力需求增長明顯

應(yīng)用系統(tǒng)的日益發(fā)展對計算芯片提出了更高的要求，而通用處理器由于晶體管集成的限制，單芯片的制造成本不斷升高，而算力的增幅比例則開始下降[7]。同時，大數(shù)據(jù)計算已經(jīng)向多元化發(fā)展，數(shù)據(jù)量呈現(xiàn)爆炸式的增長[10]，數(shù)據(jù)結(jié)構(gòu)越加多樣化，非結(jié)構(gòu)化數(shù)據(jù)不斷涌現(xiàn)。因此，越來越多場景已經(jīng)引入DPU、DSP、GPU、ASIC、FPGA等多種異構(gòu)計算單元來進行加速計算。異構(gòu)算力能力適配當前面臨的多元數(shù)據(jù)形態(tài)，滿足各種上層應(yīng)用對基礎(chǔ)算力資源多樣化的需求[11]。當企業(yè)新增異構(gòu)資源計算需求時，現(xiàn)有計算資源往往不能滿足新業(yè)務(wù)的多元化需求，而當企業(yè)自主增加異構(gòu)算力資源池時，往往帶來異構(gòu)算力與上層應(yīng)用無法完全適配、應(yīng)用移植優(yōu)化難、軟件生態(tài)少等問題。應(yīng)用遷移后往往無法發(fā)揮硬件資源優(yōu)勢，無法實現(xiàn)算力靈活、高效的調(diào)度。

1.3 邊緣計算場景增加

當前的大數(shù)據(jù)計算業(yè)務(wù)場景越來越多樣化，常見的一種業(yè)務(wù)場景是計算結(jié)果需要快速反饋的低時延應(yīng)用場景（如實時計算），計算結(jié)果要在第一時間返回到目標終端，為達到上述目標，節(jié)點之間的通信需要具備高帶寬、低時延的特性，而滿足這類業(yè)務(wù)場景需求，需要將計算節(jié)點靠近終端側(cè)部署。尤其對于某些銀行、金融機構(gòu)等企業(yè)，出于數(shù)據(jù)安全原因，要求數(shù)據(jù)不出域，只能調(diào)度本地域或本地機房的算力資源，從而避免服務(wù)器在處理數(shù)據(jù)時將數(shù)據(jù)一次性全部上傳至云端，以此保證數(shù)據(jù)安全，防止數(shù)據(jù)泄露。

面對以上痛點，傳統(tǒng)的解決方法是根據(jù)經(jīng)驗或業(yè)務(wù)實際需求，由集群管理員擴容集群普通計算節(jié)點或異構(gòu)計算節(jié)點，增加平臺計算資源，以滿足突發(fā)或新增的業(yè)務(wù)需求。但此方法擴容周期長，響應(yīng)慢，靈活性低。并且隨著我國數(shù)字經(jīng)濟蓬勃發(fā)展，東西部算力供需關(guān)系的失衡也正在逐漸顯現(xiàn)。東部算力缺口大，而西部算力需求少，在物理空間上，算力基礎(chǔ)設(shè)施與相關(guān)產(chǎn)業(yè)需平衡發(fā)展。新型數(shù)據(jù)中心的建設(shè)不能僅局限于單一節(jié)點計算能力的提升，更要著眼全局，實現(xiàn)對各算力中心的統(tǒng)一調(diào)度能力。

2 通過算力網(wǎng)絡(luò)解決大數(shù)據(jù)算力痛點

面對日益增長的大數(shù)據(jù)算力需求，傳統(tǒng)的大數(shù)據(jù)架構(gòu)模式已無法解決當前情形下的痛點問題。而算力網(wǎng)絡(luò)通過專業(yè)、彈性、協(xié)作方式完成的高效云-邊-端算力的整合，利用其對各級資源靈活調(diào)配的特性，可以解決大數(shù)據(jù)計算分析領(lǐng)域業(yè)務(wù)場景多元化、算力需求多樣性、算力利用率低下的問題。

2.1 調(diào)度全網(wǎng)算力，滿足算力需求

算力網(wǎng)絡(luò)的核心便是云-邊-端的三級算力架構(gòu)，是實現(xiàn)云-邊-端算力高效利用的有效手段。如今，算力網(wǎng)絡(luò)通過精準策略調(diào)度、靈活算力連接、充分算力協(xié)同，整合全網(wǎng)資源池的所有算力（包括異構(gòu)算力），由算網(wǎng)大腦為客戶智能調(diào)度分配合適算力資源，通過算力標識和資源感知實現(xiàn)具體應(yīng)用的計算任務(wù)與多樣化算力基礎(chǔ)設(shè)施之間智能調(diào)度，從而提升任務(wù)計算效率、提高算力資源的利用率[8]，為用戶實現(xiàn)隨取隨用、透明無感的使用體驗。

例如針對GPU計算場景，基于算力網(wǎng)絡(luò)，將中心區(qū)域企業(yè)的GPU計算任務(wù)調(diào)度至邊緣地區(qū)的異構(gòu)資源池的算力中心，提升計算效率、降低計算成本；針對實時計算，基于算力網(wǎng)絡(luò)，將實時交互類計算任務(wù)調(diào)度至離用戶最佳的邊緣節(jié)點進行計算分析，實時推送到終端，實現(xiàn)跨終端、可交互、沉浸式的訪問。算力網(wǎng)絡(luò)通過對多樣化的算力協(xié)同調(diào)度處理，消除各算力資源池在應(yīng)用層使用上的差異，實現(xiàn)全網(wǎng)資源調(diào)度并提升用戶使用體驗[12]。

2.2 利用西部低成本算力，降低離線批處理成本

近年來我國東、中、西部算力資源快速發(fā)展。為貫徹落實國家戰(zhàn)略部署，統(tǒng)籌引導(dǎo)新型數(shù)據(jù)中心建設(shè)，構(gòu)建良好的算力生態(tài)體系，實現(xiàn)數(shù)據(jù)中心建設(shè)的高質(zhì)量快速發(fā)展，工業(yè)和信息化部發(fā)布了《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021—2023 年）》，標志著“東數(shù)西算”工程正式啟動。

“東數(shù)西算”是基于算力網(wǎng)絡(luò)的重點應(yīng)用場景，其中算力網(wǎng)絡(luò)實現(xiàn)了在云、邊、端等多維度邏輯空間上的統(tǒng)一納管[13]。算力網(wǎng)絡(luò)依賴無處不在的彈性網(wǎng)絡(luò)，通過“聯(lián)接+計算”實現(xiàn)算網(wǎng)一體。中國移動接連發(fā)布《算力感知網(wǎng)絡(luò)技術(shù)白皮書》、《中國移動算力網(wǎng)絡(luò)白皮書》，全面闡釋了面向算力網(wǎng)絡(luò)發(fā)展愿景和規(guī)劃, 在十四五時期網(wǎng)絡(luò)演進的背景、核心理念、演進目標、實現(xiàn)路徑、具體工作舉措等，系統(tǒng)性介紹了五層技術(shù)架構(gòu)和六大關(guān)鍵舉措[14]，促進以算力為中心的應(yīng)用規(guī)模落地。

同時，降本增效是大多數(shù)企業(yè)不斷追求的目標，而算力網(wǎng)絡(luò)中彈性伸縮的特性可為企業(yè)用戶大幅降低硬件成本投入[8]。單一的數(shù)據(jù)中心在后期運營過程中容易出現(xiàn)資源孤島現(xiàn)象，算力需求過高或者過低都不利于后期發(fā)展，而算力網(wǎng)絡(luò)的應(yīng)用則可以聯(lián)通全網(wǎng)資源節(jié)點，統(tǒng)一調(diào)度，提升資源池利用率[15]。

2021年5月，國家提出并布局建設(shè)全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點[16]，其中包括能源價格較低地區(qū)，如貴州、甘肅、寧夏、內(nèi)蒙古等地。充分發(fā)揮規(guī)?；⒓s化優(yōu)勢，建設(shè)綠色節(jié)能的新型算力基礎(chǔ)設(shè)施，實現(xiàn)“東數(shù)西算”整體目標[17]。最終通過全國數(shù)據(jù)中心統(tǒng)一調(diào)度，實現(xiàn)算力需求與算力資源的最佳匹配，從整體上降低算力總成本。

3 基于算力網(wǎng)絡(luò)的大數(shù)據(jù)資源調(diào)度方法

3.1 基于算力網(wǎng)絡(luò)的大數(shù)據(jù)計算體系

為了滿足當前多樣性的大數(shù)據(jù)業(yè)務(wù)場景下的計算資源需求，提高各資源池計算資源利用率，本文提出一種基于算力網(wǎng)絡(luò)的大數(shù)據(jù)計算資源智能調(diào)度分配方法，結(jié)合容器化技術(shù)、存算分離技術(shù)，對各資源池內(nèi)的計算資源進行整合，統(tǒng)一規(guī)劃調(diào)度，實現(xiàn)各資源池計算資源的高效利用。使用存算分離技術(shù)，可將計算和存儲分別彈性擴展、按需分配，降低了系統(tǒng)部署和擴展成本，同時將CPU和磁盤充分調(diào)度起來，解決了資源利用不均衡的問題，提高了資源利用率，降低運營成本，并有助于實現(xiàn)全國算力網(wǎng)絡(luò)統(tǒng)一布局；基于容器化技術(shù)，利用其可移植性、可伸縮性、高效性、安全性及快速響應(yīng)性的特點，根據(jù)業(yè)務(wù)繁忙程度，靈活快速地擴縮容計算資源，提高數(shù)據(jù)計算單元的創(chuàng)建速度。同時可利用各類算力資源的多樣性特征，提升整體服務(wù)能力。例如對時延敏感型的應(yīng)用可調(diào)度端側(cè)算力；對精度敏感型應(yīng)用可調(diào)度中心算力；對價格敏感型用戶可調(diào)度西部算力；對時效敏感型用戶可調(diào)度異構(gòu)算力。

基于算力網(wǎng)絡(luò)的大數(shù)據(jù)計算體系總體架構(gòu)從邏輯上分為業(yè)務(wù)應(yīng)用層、平臺層、資源編排層、基礎(chǔ)算力層，如圖3所示。

圖3 基于算力網(wǎng)絡(luò)的大數(shù)據(jù)計算體系架構(gòu)圖Fig.3 Architecture diagram of big data computing system based on computing force network

（1）業(yè)務(wù)應(yīng)用層為不同業(yè)務(wù)場景提供豐富的個性化服務(wù)，提供適用于各種個性化大數(shù)據(jù)場景的優(yōu)化解決方案，支持主流大數(shù)據(jù)計算相關(guān)軟件及 框 架，如Spark、Flink、HBase、Hive、Presto、Elasticsearch等。用戶通過平臺提供的統(tǒng)一可視化界面和接口，根據(jù)自身業(yè)務(wù)特性及計算類型，選擇適配的計算方案后，即可一鍵提交計算任務(wù)。

（2）平臺層用于用戶任務(wù)需求解析，將用戶提交的任務(wù)進行算力分解，將業(yè)務(wù)需求換成為資源需求并添加相關(guān)標識，該標識可用于劃分業(yè)務(wù)等級并根據(jù)優(yōu)先級進行排列。資源需求信息確定后，會根據(jù)用戶所選算力類型、用戶任務(wù)預(yù)估運行時間等情況進行任務(wù)計費以及調(diào)度工作，將用戶任務(wù)所需的計算資源需求提交至算網(wǎng)大腦，由整個算力網(wǎng)絡(luò)分配最優(yōu)解的算力資源。

（3）資源編排層對外提供算力編排、統(tǒng)一調(diào)度、資源封裝、統(tǒng)一管理能力，是算力網(wǎng)絡(luò)最重要的核心能力。對于云、邊、端等多模式、多層次的算力網(wǎng)絡(luò)架構(gòu)，算力的管理和分配至關(guān)重要，資源編排層首先將分散的計算、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施資源進行抽象、聚合、池化和分組，將不同資源池內(nèi)的硬件資源、軟件資源進行封裝，統(tǒng)一注冊到算網(wǎng)大腦，形成彈性的組網(wǎng)服務(wù)和算力資源調(diào)度，從而實現(xiàn)跨地域、跨數(shù)據(jù)中心的操作算力，使不同資源池算力間可以相互協(xié)同，統(tǒng)一調(diào)度，數(shù)據(jù)也可以在不同資源池間安全傳遞。

（4）基礎(chǔ)算力層主要包括網(wǎng)絡(luò)基礎(chǔ)設(shè)施，邊緣/核心計算節(jié)點基礎(chǔ)設(shè)施(例如數(shù)據(jù)中心和多接入邊緣計算節(jié)點)，用于異構(gòu)算力資源的生成與連接?；A(chǔ)算力層通過基礎(chǔ)設(shè)施的連接，將中心云核心算力、邊緣算力以及端算力融合在一起，構(gòu)筑成跨區(qū)域、跨層級的云邊端立體泛在的算力體系，能夠滿足低時延、數(shù)據(jù)不出域、異構(gòu)算力等豐富的業(yè)務(wù)需求，是算力網(wǎng)絡(luò)大數(shù)據(jù)服務(wù)的堅實底座。

3.2 大數(shù)據(jù)計算資源智能調(diào)度分配方法

為更清晰闡述本方案，本章節(jié)通過基于算力網(wǎng)絡(luò)的大數(shù)據(jù)體系業(yè)務(wù)流程進行說明。在本實施例中，平臺層根據(jù)用戶提交的任務(wù)屬性（任務(wù)優(yōu)先級、任務(wù)類型、作業(yè)時間等）將多個用戶提交的任務(wù)進行解析，并將解析后的資源需求提交至資源編排層，由資源編排層根據(jù)任務(wù)屬性，分配/調(diào)度最合適的算力資源進行數(shù)據(jù)的計算。業(yè)務(wù)流程如圖4所示。

圖4 基于算力網(wǎng)絡(luò)的大數(shù)據(jù)計算體系業(yè)務(wù)流程圖Fig.4 Business flow chart of big data computing system based on computing force network

（1）在流程①中，用戶A、B、C在用戶界面提交任務(wù)后，平臺層解析用戶任務(wù)，解析結(jié)果為用戶A為實時計算/快速計算任務(wù)，需要100C、500G高性能計算資源；用戶B為低時延視頻分析任務(wù)，需要50C、200G近端計算資源，并且需要使用到異構(gòu)計算資源GPU；用戶C為安全計算任務(wù)，數(shù)據(jù)不出特定域，計算資源也需要在指定域內(nèi)，需要100C、300G計算資源。平臺層將用戶提交的任務(wù)解析完成后，根據(jù)計算任務(wù)的需要，向算網(wǎng)大腦（資源編排層）請求實際的算力資源（流程②）。

（2）流程③中，算網(wǎng)大腦在收到算力資源請求后，使用混合群優(yōu)化算法中的粒子群算法（PSO）[18]，尋找、計算最符合各任務(wù)計算需求的算力資源。利用粒子群算法，算網(wǎng)大腦可以計算出資源調(diào)度分配的最優(yōu)節(jié)點，使資源分配達到最優(yōu)平衡，基于粒子間的相互工作來完成整個算力網(wǎng)絡(luò)中計算節(jié)點的搜索。

以下是粒子群算法基本實現(xiàn)：若算力網(wǎng)絡(luò)已接入R個算力節(jié)點，D維空間中有N個粒子，D維表示算力網(wǎng)絡(luò)平臺上提交的任務(wù)個數(shù)，粒子i位置，表示在粒子群個數(shù)范圍內(nèi)。將x代入中求適應(yīng)值，粒子i速度， 最終在第d(1<=d<=D)維的位置變化范圍通常限定在之間，而速度變化范圍一般限定在之間。 表示粒子距離目標最近的解；則表示整個種群中離目標最近的解。粒子i的第d維速度更新公式：

粒子i的第d維位置更新公式為：

取值范圍在[0，1]內(nèi)；w為慣性權(quán)重，用于調(diào)節(jié)對解空間的搜索范圍。影響權(quán)重的因素包括集群信息、計算信息、網(wǎng)絡(luò)信息、存儲信息、價格信息等屬性信息。

算法流程如圖5所示。

圖5 粒子群優(yōu)化算法流程圖Fig.5 Particle Swarm Optimization Algorithm Flowchart

具體實驗將任務(wù)集設(shè)置100個調(diào)度任務(wù)，實驗結(jié)果發(fā)現(xiàn)該粒子群算法在迭代24次后收斂；任務(wù)集有200個任務(wù)的情況下，迭代次數(shù)與100個任務(wù)時相差不大。

實驗過程中為了使任務(wù)能夠跳出局部解，因此當粒子陷入局部最優(yōu)的情況下，進一步利用混沌搜索來優(yōu)化粒子的速度和位置?；煦缡且环N非線性系統(tǒng)現(xiàn)象，具有隨機性、遍歷性和規(guī)律性等特點。本文是利用混沌搜索在一定局部范圍內(nèi)，不重復(fù)遍歷所有狀態(tài)的特性，使粒子跳出局部最優(yōu)解，以避免粒子群算法早熟。原理是在當某個粒子陷入局部最優(yōu)解時，就隨機生成一個與粒子群搜索空間同維的空間，并利用映射關(guān)系得到一個混沌粒子序列，然后通過適應(yīng)度計算出序列中的最優(yōu)粒子與局部早熟的粒子哪個更優(yōu)，若序列中的粒子優(yōu)于早熟粒子，則使用序列中的粒子替換掉早熟粒子使粒子跳出局部解。

實驗后發(fā)現(xiàn)當任務(wù)集有100個任務(wù)時，優(yōu)化后粒子群算法迭代了58次后收斂，但是總體調(diào)度時間比優(yōu)化前要短，節(jié)省了大約23秒。當任務(wù)集再次設(shè)置200個任務(wù)時，優(yōu)化后的迭代次數(shù)與設(shè)置100次時仍相差不大，但總調(diào)度時間節(jié)省了106秒。

圖6 任務(wù)數(shù)為100時的完成時間Fig.6 Finish time that the task numberis 100

總體來說，若粒子群算法存在局部早熟，在算力調(diào)度過程中，會使算力資源池出現(xiàn)資源利用率較低等問題，通過該優(yōu)化算法可有效提高任務(wù)調(diào)度效率。

圖7 任務(wù)數(shù)為200時的完成時間Fig.7 Finish time that the task numberis 200

（3）任務(wù)在獲得由算網(wǎng)大腦分配的最優(yōu)計算資源后，開始任務(wù)的執(zhí)行。A任務(wù)需要高性能的實時計算資源，算網(wǎng)大腦在經(jīng)過計算后，將資源分配在了資源池Ⅰ中，A任務(wù)在獲取實時計算資源后，使用容器化技術(shù)，直接啟動所需大數(shù)據(jù)組件（流程④-A），并以存算分離方式訪問共享存儲上的數(shù)據(jù)（流程⑤-A），進行實時計算分析。B任務(wù)需要低時延、近端的計算資源，且需要用到GPU設(shè)備。算網(wǎng)大腦將資源分配在了資源池Ⅲ中。B任務(wù)在獲取近端計算資源后，使用容器化技術(shù)，直接啟動所需大數(shù)據(jù)組件（流程④-B），并以存算分離方式訪問共享存儲上的數(shù)據(jù)（流程⑤-B），進行低時延近端計算分析。C任務(wù)出于業(yè)務(wù)數(shù)據(jù)主權(quán)的原因，計算數(shù)據(jù)不能出域，因此算網(wǎng)大腦將計算資源分配在數(shù)據(jù)所在域的資源池Ⅱ（④-C)。C任務(wù)在獲取計算資源后，使用容器化技術(shù)，直接啟動所需大數(shù)據(jù)組件，并以存算分離方式訪問域內(nèi)隱私數(shù)據(jù)（⑤-C），進行數(shù)據(jù)的安全計算。

（4）用戶完成計算任務(wù)后，任務(wù)節(jié)點釋放算力資源，這些被釋放出來的算力資源會被算網(wǎng)大腦重新統(tǒng)一封裝注冊，再次參與算力的匹配調(diào)度。在匹配到合適的新計算任務(wù)時，算網(wǎng)大腦會將這些計算資源重新分配用于新任務(wù)的計算工作。

4 結(jié)束語

本文提出了基于算力網(wǎng)絡(luò)的大數(shù)據(jù)計算資源智能調(diào)度分配方法，依靠算網(wǎng)大腦的智能調(diào)度分配資源特性，解決了計算環(huán)境下資源分配過程中的資源調(diào)度時效性、資源利用率以及負載均衡等問題。用戶只需要通過業(yè)務(wù)應(yīng)用層，提交大數(shù)據(jù)業(yè)務(wù)場景對應(yīng)的計算需求，算網(wǎng)大腦就會根據(jù)用戶任務(wù)的算力需求自動匹配整個算力網(wǎng)絡(luò)中最合適的算力資源，用戶無須關(guān)注算力提供節(jié)點的真實物理位置，只需關(guān)注數(shù)據(jù)計算業(yè)務(wù)本身的資源需求，所有合理匹配算力資源的工作都由算力網(wǎng)絡(luò)完成，幫助業(yè)務(wù)真正實現(xiàn)了按需在全網(wǎng)范圍內(nèi)第一時間獲取所需的大數(shù)據(jù)資源。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。