鐘運琴 朱月琴 焦守濤

(*中國科學院大學中國科學院大數(shù)據(jù)挖掘與知識管理重點實驗室 北京 100190)

(**國務院發(fā)展研究中心信息中心 北京 100010)

(***中國地質調查局發(fā)展研究中心 北京 100037)

(****自然資源部地質信息工程技術創(chuàng)新中心 北京 100037)

0 引言

隨著5G 應用的推廣,實時大數(shù)據(jù)分析應用場景不斷增多,涌現(xiàn)了基于大數(shù)據(jù)訓練的智能分析預測算法模型,這些算法模型的訓練過程通常利用強大的云計算能力訓練海量結構化和非結構化數(shù)據(jù)集,從而達到準確預測的目的[1-5]。云算力是遠程云中心執(zhí)行大數(shù)據(jù)分析任務,適用于非實時、長周期歷史數(shù)據(jù)、全局決策的應用場景[6-8]。但是,針對實時性、短周期數(shù)據(jù)、本地化決策等場景,云上執(zhí)行大數(shù)據(jù)分析任務的模式就表現(xiàn)不好,尤其在5G 控制、物聯(lián)網(wǎng)傳感器數(shù)據(jù)、監(jiān)控流數(shù)據(jù)、無人駕駛等應用領域[9-13],如果將實時數(shù)據(jù)回傳到遠程的云中心去處理,將會造成響應延遲大、分析預測準確率低,而且在大數(shù)據(jù)場景下的成本開銷大[13-18]。針對這類應用問題,本文提出了邊緣側大數(shù)據(jù)分析預測建模方法,數(shù)據(jù)的分析預測需要在邊緣側本地數(shù)據(jù)計算后立即做出響應,而不需要通過網(wǎng)絡傳輸?shù)却浦行哪Ｐ拖掳l(fā)和服務反饋,充分利用邊緣計算能力分而治之、化整為零地將分布在各個場景的數(shù)據(jù)進行本地化處理,在實時性、短周期數(shù)據(jù)和本地決策等場景方面具有不可替代的作用。

本文針對復雜場景的大數(shù)據(jù)分析預測任務,提出邊緣側大數(shù)據(jù)分析方法既有大數(shù)據(jù)樣本訓練而成的通用模型預測能力,也具有邊緣小樣本訓練而成的特定預測能力。云計算和邊緣計算的范式不同,云計算的演化過程是將分布在各地的數(shù)據(jù)集匯聚到云上利用云的算力進行集中式分析處理,它是中央處理的模式。邊緣計算的核心是將各地(分中心)的數(shù)據(jù)在邊緣側的服務器上處理,在實時數(shù)據(jù)處理方面顯示出很大的性能優(yōu)勢。它可以將收集的實時數(shù)據(jù)集如傳感器數(shù)據(jù)、監(jiān)控流數(shù)據(jù),在邊緣計算平臺上進行預處理、清洗、訓練小數(shù)據(jù)樣本模型和預測任務,無需將全量數(shù)據(jù)通過網(wǎng)絡傳輸?shù)竭h程的云平臺上處理,僅需將各個邊緣側清洗處理后的小樣本數(shù)據(jù)集共享到云平臺。同時,多個邊緣側的數(shù)據(jù)集匯聚成了邊緣大數(shù)據(jù)保存在遠程的云端,通過邊云協(xié)同網(wǎng)絡下發(fā)到邊緣平臺,因而,邊緣側不僅獲得了云端模型的通用分析預測能力,還具備了邊緣側特定小樣本訓練而構建的精確場景分析能力。

本文的主要貢獻為:(1)提出了邊緣側和云端協(xié)同的大數(shù)據(jù)分析處理框架,定義了在處理大數(shù)據(jù)分析任務時邊緣側訓練和云端訓練的邊界和邊云協(xié)同大數(shù)據(jù)分析理論框架,該理論框架能夠統(tǒng)一處理包括實時、短周期、本地決策分析任務,以及非實時、長周期和全局決策型分析任務。(2)提出了邊緣側大數(shù)據(jù)分析訓練的分布式機器學習建模方法,分布在各個地方的邊緣計算平臺以多接入方式連接云平臺,在云平臺上訓練大樣本數(shù)據(jù)生成模型參數(shù),然后將模型下發(fā)到邊緣計算平臺。邊緣側收集到的特殊的小樣本數(shù)據(jù)通過遷移學習的方式共享云端模型參數(shù),本文設計了遷移學習方式在邊緣側對小樣本數(shù)據(jù)進行模型訓練,將云端模型參數(shù)作為邊緣側分析訓練的初始參數(shù),邊緣計算平臺輸入小樣本數(shù)據(jù),使用深度學習神經(jīng)網(wǎng)絡(deep learning neural network,DLNN)分類算法進行訓練,在邊緣側更新模型參數(shù)生成新的更加準確的DLNN 模型用于分析預測任務。(3)實現(xiàn)了邊緣側大數(shù)據(jù)分析預測系統(tǒng)原型(edge big data analysis and predicate system prototype,EDAP)。EDAP 系統(tǒng)將實時大數(shù)據(jù)預測任務在邊緣側就地執(zhí)行,基于遷移學習方式在本地訓練更新模型,無需將全量數(shù)據(jù)回傳到云端,能有效降低網(wǎng)絡開銷和時間成本,也提高了預測精度。實驗結果顯示,EDAP 邊緣側大數(shù)據(jù)建模訓練的效率平均提升了3.95 倍,網(wǎng)絡傳輸量平均減少了88.7%,在特定場景下訓練出來的模型AUC 評估指標值從云端模型精度的72.6%提升到了98.6%,邊緣側協(xié)同訓練模型的預測準確率、召回率和F1 值比傳統(tǒng)訓練方法可以提升3%～9%;請求預測的響應延遲平均降低了67.5%。因此,本文方法在科學計算、智能金融、決策控制等領域具有一定的借鑒價值。

1 邊緣側和云端協(xié)同的大數(shù)據(jù)分析處理范式框架

本文面向多源、異構、區(qū)域分散的多個分中心采集到的大數(shù)據(jù),設計了邊緣側和云端協(xié)同(簡稱“邊云協(xié)同”)(edge-cloud processing,ECP)的大數(shù)據(jù)分析處理范式框架,分析預測響應時間通常為毫秒級到秒級。ECP 邊云協(xié)同框架能夠有效提升大數(shù)據(jù)分析應用性能,并在邊緣側添加小樣本數(shù)據(jù)訓練建模能力,由此更好地支撐實時分析和移動分析應用。

ECP 邊緣大數(shù)據(jù)處理框架如圖1 所示。ECP 范式框架由3 大部分組成:應用側、邊緣計算側、云數(shù)據(jù)中心側。這3 個部分以邊緣計算側為橋梁,縮小應用側和云數(shù)據(jù)中心側的鴻溝。

圖1 ECP 邊緣大數(shù)據(jù)處理范式框架

邊緣計算側大數(shù)據(jù)分析平臺有多個邊緣計算節(jié)點和邊緣管理節(jié)點組成的邊緣大數(shù)據(jù)分析集群,邊緣計算節(jié)點用來執(zhí)行大數(shù)據(jù)分析處理任務,并且由邊緣管理節(jié)點將訓練任務和推理預測任務采用分治算法進行劃分,按任務類型分階段調度到邊緣節(jié)點處理。邊緣側大數(shù)據(jù)分析平臺的處理方法包括以下4 個步驟。

(1)將采集到的物聯(lián)網(wǎng)數(shù)據(jù)、傳感器數(shù)據(jù)和實時數(shù)據(jù),匯聚到邊緣節(jié)點,一個邊緣節(jié)點接入多個實時數(shù)據(jù)采集端,同時由多個邊緣節(jié)點并行分析處理。

(2)邊緣節(jié)點將所管理的實時數(shù)據(jù)信息的元數(shù)據(jù)發(fā)送到邊緣管理節(jié)點,由邊緣管理節(jié)點執(zhí)行元操作(metaoperation)。元操作包括設置大數(shù)據(jù)分析訓練任務中機器學習算法的超參數(shù)和動態(tài)參數(shù)。超參數(shù)(super parameters)是用啟發(fā)式算法在模型外部配置的變量參數(shù);動態(tài)參數(shù)是歷史數(shù)據(jù)訓練學習到的變量參數(shù)。當在邊緣側針對特定問題調整機器學習算法時,使用網(wǎng)絡搜索或隨機搜索時將調整模型或命令的超參數(shù),以發(fā)現(xiàn)一個可以使模型預測最熟練的模型參數(shù)。訓練任務由邊緣計算節(jié)點執(zhí)行,邊緣管理節(jié)點保存邊緣節(jié)點每一步訓練后的模型參數(shù),讓模型參數(shù)和超參數(shù)在所有邊緣節(jié)點之間共享與復用。邊緣計算節(jié)點的系統(tǒng)運行狀態(tài)會以心跳方式主動報告給邊緣管理節(jié)點。

(3)邊緣管理節(jié)點承擔任務劃分、任務調度和容錯處理。邊緣管理節(jié)點將模型參數(shù)和超參數(shù)發(fā)送到邊緣結算節(jié)點,邊緣計算節(jié)點作為工作節(jié)點,在上一輪參數(shù)的基礎上執(zhí)行損失函數(shù)最優(yōu)化算法訓練運算得到本輪的參數(shù)。邊緣管理節(jié)點根據(jù)評估樣本數(shù)據(jù)集計算準確率(precision,P)、召回率(recall,R)、AUC 值(area under curve),以及損失函數(shù)值(loss function value,LFV),在分類模型和回歸模型訓練中,不斷地更新模型參數(shù)和超參數(shù),直到損失函數(shù)值LFV 小于δ(δ 趨近于零),P 值、R 值和AUC 值無限接近于1,其中P,R,AUC ∈(0,1),表示訓練的模型的預測效果更優(yōu)。

(4)邊緣管理節(jié)點發(fā)送數(shù)據(jù)處理和建模訓練程序指令給邊緣計算節(jié)點,邊緣計算節(jié)點執(zhí)行數(shù)據(jù)加載、數(shù)據(jù)清洗、特征工程、特性屬性選擇、特征值處理、歸一化、算法訓練、建模、評估、推理、預測。多個邊緣計算節(jié)點上存儲了訓練樣本數(shù)據(jù)和評估樣本數(shù)據(jù)。機器學習訓練算法根據(jù)數(shù)據(jù)并行策略同時在多個邊緣計算節(jié)點執(zhí)行,每個邊緣計算節(jié)點模型參數(shù)均共享自遠程云數(shù)據(jù)中心的預訓練模型參數(shù),因而,邊緣計算節(jié)點執(zhí)行遷移學習算法,輸入初始模型參數(shù),訓練后的新模型文件用于后續(xù)推理與預測。各個邊緣計算節(jié)點訓練后的模型文件傳輸至邊緣管理節(jié)點,由邊緣管理節(jié)點存儲和分發(fā)模型。

經(jīng)過以上4 個步驟,邊緣計算側的大數(shù)據(jù)分析的最終任務執(zhí)行結果——模型文件和評估結果,均匯聚到邊緣管理節(jié)點,并由邊緣管理節(jié)點作為入口與應用側和云數(shù)據(jù)中心執(zhí)行程序交互。

邊緣計算側的大數(shù)據(jù)分析和云數(shù)據(jù)中心側的主要交互過程是:(1)邊緣側把數(shù)據(jù)質量審核后的小樣本數(shù)據(jù)上傳到云數(shù)據(jù)中心,多個邊緣側的樣本數(shù)據(jù)回傳到云數(shù)據(jù)中心形成大樣本數(shù)據(jù)集?；诖髽颖緮?shù)據(jù)集訓練機器學習算法形成通用模型文件,該通用模型文件針對某類問題具有很好的泛化。(2)在云端進行訓練算法,擬合出一個泛化能力較強的模型,并將通用模型保存在云端。(3)當有新增樣本進入云端,云端自動啟動訓練程序迭代更新模型文件,并將模型下發(fā)到邊緣側,邊緣側的模型定期地同步云端的模型。因此,邊緣側和云端就形成了良好的交互,云端的預訓練模型定期分發(fā)到邊緣側的管理節(jié)點,由管理節(jié)點分發(fā)至邊緣計算節(jié)點,由邊緣計算節(jié)點根據(jù)預訓練模型和特定小樣本在本地訓練形成特定的訓練模型,最終每個邊緣計算節(jié)點套用其訓練模型執(zhí)行推理和分析預測任務。

應用側包括物聯(lián)網(wǎng)應用、決策分析和實時流應用,交互過程是:(1)邊緣側將訓練好的模型文件以接口形式進行封裝,應用側通過邊緣網(wǎng)關調用接口進行推理和分析預測。(2)應用側將實時采集到的數(shù)據(jù)輸入到模型中運算得到實時結果,并以接口服務形式返回。

2 邊緣側大數(shù)據(jù)分析與分布式機器學習訓練算法

針對邊緣大數(shù)據(jù)分析訓練任務提出了邊緣側機器學習(edge machine learning,EML)算法。EML 算法是一類在邊緣側實現(xiàn)的分布式機器學習算法,將機器學習任務運算分布在多個邊緣計算節(jié)點協(xié)同執(zhí)行,每個邊緣計算節(jié)點均攤機器學習訓練和推理預測工作負載。EML 算法解決了由于邊緣側設備算力性能低于云計算能力而不能訓練大數(shù)據(jù)樣本的問題。

在EML 算法框架中,大樣本數(shù)據(jù)集用于訓練全局通用模型(global common model,GCM),由于邊緣側采集特定場景的新數(shù)據(jù),因此邊緣側采集的小樣本數(shù)據(jù)集在經(jīng)過清洗、過濾和特征工程操作后,可以用來訓練專用領域模型(specific domain model,SDM)。

全局的GCM 模型和特定領域的SDM 模型的關系是:兩者的訓練算法完全一致,并且都是有監(jiān)督學習模型;SDM 是在GCM 模型參數(shù)的基礎上采用遷移學習訓練而成;GCM 在多個邊緣側匯聚的大樣本量下使用機器學習算法訓練,而SDM 通常利用單個邊緣側的小樣本量使用機器學習算法訓練而成;SDM 輸入特定場景的標注數(shù)據(jù)集,根據(jù)有監(jiān)督學習算法訓練生成分類分析模型。

EML 邊緣分布式機器學習算法框架如圖2 所示,該算法框架的主要執(zhí)行步驟包括7 步。

圖2 EML 邊緣機器學習算法框架

(1)將輸入數(shù)據(jù)集通過分布式消息系統(tǒng)推送至邊緣側處理,邊緣側的多個邊緣計算節(jié)點分布式地對各自分區(qū)的輸入數(shù)據(jù)集進行清洗、轉化、歸一化、空缺值填充、特征選擇等數(shù)據(jù)處理操作,同時計算預測目標字段和目標值分布,形成標注數(shù)據(jù)集。

(2)結合IDS 數(shù)據(jù)集和LDS 標注數(shù)據(jù)集,調用數(shù)據(jù)質量審核接口對LDS 標注數(shù)據(jù)集的質量進行評估,評估的維度主要包括:缺失值比例要低于10%,聚類法剔除異常值,指數(shù)平滑法對特征字段中的時序數(shù)據(jù)進行加權平均提升其預測的平穩(wěn)程度。同時,對歸一化的數(shù)據(jù)字段進行正態(tài)分布驗證,離群值剔除操作和標準差檢測,審核LDS 標注數(shù)據(jù)集,并將評分在85%以上的LDS 數(shù)據(jù)樣本作為最終的標注數(shù)據(jù)集用于后續(xù)的機器學習訓練。

(3)將審核后的標注數(shù)據(jù)集加載到邊緣計算節(jié)點學習訓練,向邊緣管理節(jié)點注冊并記錄機器學習訓練程序的任務執(zhí)行狀態(tài)。邊緣側機器學習算法主要有分類分析算法,卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)算法。

(4)通過邊緣側數(shù)據(jù)訓練,結合云端的GCM 模型參數(shù)作為邊緣側SDM 模型的初始參數(shù),再利用卷積神經(jīng)網(wǎng)絡中的反向傳播(back propagation,BP)算法進行迭代,迭代至損失函數(shù)交叉熵值趨近于零收斂,生成邊緣SDM 模型。

(5)將多個邊緣側接入的邊緣SDM 模型和標注數(shù)據(jù)集回傳到云計算側,數(shù)據(jù)在多個邊緣側周期性地回傳匯聚到云端形成大樣本數(shù)據(jù)集,云計算側具有較強的運算能力,支持分布式機器學習任務的并行執(zhí)行,能夠對大數(shù)據(jù)樣本進行高效訓練。

(6)利用云平臺算力加載大數(shù)據(jù)樣本到神經(jīng)網(wǎng)絡深度學習訓練程序,經(jīng)過多輪迭代收斂,生成全局通用的GCM 模型,GCM 模型是一類深度學習模型,兼容CNN 模型。

(7)更新參數(shù)后的云端側GCM 模型實時同步到邊緣側,并且邊緣模型的初始參數(shù)來源于更新后的GCM 模型參數(shù),邊緣節(jié)點啟動訓練任務,將各個邊緣側收斂后的最新參數(shù)作為新的邊緣SDM 模型參數(shù),用于邊緣側推理和預測分析應用。

EML 算法框架經(jīng)過以上7 個步驟的執(zhí)行,從應用側輸入數(shù)據(jù)集,邊緣側的數(shù)據(jù)處理、數(shù)據(jù)標注、機器學習算法執(zhí)行、邊緣SDM 模型訓練,以及云端訓練GCM 模型。通過GCM 模型做通用的分析預測,并且將特定場景的分析預測任務交由SDM 模型完成。

3 邊緣側大數(shù)據(jù)分析預測原型EDAP系統(tǒng)

根據(jù)所設計邊緣側大數(shù)據(jù)分析預測建模方法實現(xiàn)了邊緣側大數(shù)據(jù)分析預測原型系統(tǒng)(edge big data analysis and predicate prototype system,EDAP),EDAP 系統(tǒng)實現(xiàn)了在邊緣側和云端協(xié)同訓練DLNN深度學習算法模型。EDAP 系統(tǒng)實現(xiàn)了云端和邊緣側算法訓練與預測程序。

EDAP 原型系統(tǒng)的DLNN 深度學習訓練算法工作原理如算法1 所示。

EDAP 原型系統(tǒng)輸入訓練數(shù)據(jù)集,傳輸?shù)剿惴?程序中進行訓練執(zhí)行,生成DLNN 模型參數(shù)文件,訓練的超參數(shù)由系統(tǒng)設定的組合自動選擇一套最優(yōu)的參數(shù)。多個邊緣側的數(shù)據(jù)集匯聚后的大樣本數(shù)據(jù)集的訓練過程在云端完成,模型保存在云端,并且定期將模型下發(fā)到邊緣側。在云端模型參數(shù)的基礎上,邊緣側根據(jù)自身采集的數(shù)據(jù)集基于遷移學習方式進行優(yōu)化模型訓練,該過程在邊緣計算節(jié)點完成,并在邊緣管理節(jié)點保存邊緣模型文件。

EDAP 原型系統(tǒng)的邊緣智能預測通過遷移學習技術來實現(xiàn),如圖3 所示的EDAP 原型系統(tǒng)原理架構,首先基于云端服務器集群的基礎數(shù)據(jù)集訓練一個基礎模型,將重要特征遷移到邊緣側目標模型,并以邊緣計算節(jié)點上收集的目標標注數(shù)據(jù)集進行建模訓練。在云端預先訓練一個大規(guī)模通用預訓練模型;然后通過遷移學習方式在邊緣集群結合本地數(shù)據(jù)集與邊緣計算節(jié)點資源進行輕量級的目標模型訓練和部署。EDAP 原型系統(tǒng)能夠顯著降低DLNN 深度學習模型在網(wǎng)絡邊緣訓練的資源消耗,能夠大幅減少網(wǎng)絡通信量和計算資源消耗。

圖3 EDAP 原型系統(tǒng)原理架構

4 實驗結果分析

本文設計了5 個實驗來驗證邊緣大數(shù)據(jù)分析方法的有效性和性能。實驗平臺為:(1)云端服務器20 臺,每個節(jié)點的配置為16 核CPU,32 GB 內存和2 TB高速硬盤存儲空間;(2)邊緣節(jié)點30 個,每個節(jié)點的物理配置是4 核低功耗CPU,8 GB 內存和200 GB 固態(tài)硬盤;(3)軟件包括Linux 系統(tǒng)以及scikit-learn 和PyTorch 機器學習與深度學習框架,Python 3 編程語言。

本文實驗對比的數(shù)據(jù)包括:(1) 訓練樣本為59 307張圖片標注數(shù)據(jù)集(image datasets),共10 類標簽,存儲在圖片鍵值存儲系統(tǒng);(2) 310 297 條結構化金融行為標注數(shù)據(jù)集(structured financial datasets),共10 類標簽,存儲在對象關系數(shù)據(jù)庫中。測試評估樣本為28 963 張標注圖片數(shù)據(jù)集,120 393 條結構化數(shù)據(jù)集。

4.1 邊緣側大數(shù)據(jù)訓練的性能效率

本實驗使用結構化數(shù)據(jù)集訓練隨機森林(random forest,RF)算法模型,使用圖片數(shù)據(jù)集訓練卷積神經(jīng)網(wǎng)絡CNN 算法模型。比較的實驗環(huán)境包括云端(Cloud)和邊緣側協(xié)同(Edge-Cloud) 訓練隨機森林和卷積神經(jīng)網(wǎng)絡模型的性能效率,并且驗證了訓練學習的性能效率與邊云集群節(jié)點規(guī)模的擴展性。訓練性能的實驗結果如圖4 所示,RF Cloud 表示云端訓練隨機森林,RF Edge-Cloud 表示邊緣側協(xié)同訓練隨機森林;CNN Cloud 表示云端訓練CNN 模型,CNN Edge-Cloud 表示邊緣側協(xié)同訓練CNN 模型。

圖4 云端和邊緣側分別訓練隨機森林和卷積神經(jīng)網(wǎng)絡模型的性能效率

4.2 邊緣側大數(shù)據(jù)分析模型的精度評估結果

本文運用測試樣本數(shù)據(jù)集對邊緣側RF 和CNN兩類算法模型進行實驗評估,評估指標均使用準確率(Precision,P),召回率(Recall,R) 和F1 值,RF 和CNN 模型文件生成后調用預測接口加載測試樣本,將每個樣本的預測值和實際值進行比較,統(tǒng)計得出評估指標值。如圖5 所示實驗結果如下。

圖5 邊緣側和云端訓練的模型測試評估結果

(1) RF Cloud 模型的P 值、R 值和F1 值分別為91.83%、93.27%、92.54%;

(2) RF Edge-Cloud 模型的P 值、R 值和F1 值分別為97.35%、98.32%、97.83%;

(3) CNN Cloud 模型的P 值、R 值和F1 值分別為93.78%、95.27%、94.52%;

(4) CNN Edge-Cloud 模型的P 值、R 值和F1 值分別為96.58%、96.37%、96.47%。

從圖5 展示的模型評估結果可以看出,邊云協(xié)同訓練的算法模型,RF 模型和CNN 模型其準確率、召回率和F1 值均比純云端訓練模型的預測效果要更好,模型的準確度提升了3%～9%,在特定場景下訓練出來的模型AUC 評估指標值由72.6%提升到了99.6%。邊云協(xié)同訓練模型的準確度均在96%以上,而且邊緣側模型的泛化能力很好,驗證數(shù)據(jù)集上泛化誤差均小于2%。

4.3 不同方法訓練模型任務的網(wǎng)絡通信與I/O 讀寫性能測試結果

本文設計實驗對比純云端訓練模型和邊云協(xié)同訓練模型任務的網(wǎng)絡通信與I/O 讀寫量,如圖6 所示,邊云協(xié)同訓練(Edge Cloud) 方法比純云端(Cloud Only)訓練方法的網(wǎng)絡通信量與I/O 讀寫量總和平均減少了93.7%。在大數(shù)據(jù)驅動的機器學習算法訓練任務中,網(wǎng)絡傳輸與I/O 讀寫的時間占整個訓練時間的比重通常比較大,因此邊云協(xié)同訓練方法優(yōu)化了網(wǎng)絡與I/O 讀寫性能,訓練任務執(zhí)行時間降低了3.78 倍,大幅提升了訓練性能和效率。

圖6 不同訓練方法的網(wǎng)絡通信量與I/O 讀寫量性能比較

4.4 模型預測任務在不同環(huán)境并發(fā)訪問量下的響應性能結果

本文基于純云端環(huán)境和邊云協(xié)同環(huán)境設計了不同并發(fā)訪問量場景下的模型預測任務,實驗結果如圖7 所示。在10～160 個并發(fā)用戶請求模型預測場景下,邊云協(xié)同方法比純云端方法的并發(fā)訪問響應時間降低了5.78～7.35 倍,邊云協(xié)同預測方法的平均請求響應時間均在10 ms 以內,因此對移動應用端使用模型預測具有很好的實用性。

圖7 模型預測任務在不同環(huán)境并發(fā)訪問量下請求響應性能比對

5 結論

綜上所述,邊云協(xié)同大數(shù)據(jù)分析建模方法能夠有效提升海量數(shù)據(jù)集的訓練效率、預測性能和預測準確率。在大數(shù)據(jù)應用中海量異構多源的結構化數(shù)據(jù)、文本數(shù)據(jù)和圖片數(shù)據(jù)集分布在各個數(shù)據(jù)中心,可以通過邊云協(xié)同建模方法進行統(tǒng)一建模,形成邏輯上集中大數(shù)據(jù)分析平臺和統(tǒng)一的分析預測模型調用服務平臺。隨著邊緣計算、云計算和大數(shù)據(jù)分析的進一步融合,邊緣智能和云端智能將是支撐泛在智能分析應用的重要基石。未來邊云智能協(xié)同架構、算力調度、高速互聯(lián)、邊云AI 模型自動設計、分布式AI 模型機制等也將是重要的研究方向。