劉倫琿 吳麗萍

（昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院）

5G時(shí)代是數(shù)據(jù)流量爆發(fā)式增長的時(shí)代，用戶需求不斷增加，用戶通信業(yè)務(wù)體驗(yàn)要求也不斷提高，移動(dòng)應(yīng)用的數(shù)量和種類不斷增加，使得通信網(wǎng)絡(luò)線路中數(shù)據(jù)和鏈路負(fù)載相對于前4G時(shí)代有了質(zhì)的變化。而邊緣緩存技術(shù)是應(yīng)對當(dāng)前5G網(wǎng)絡(luò)大數(shù)據(jù)高負(fù)載問題的有效解決途徑之一，受到許多學(xué)者的關(guān)注。 邊緣緩存技術(shù)即在邊緣網(wǎng)絡(luò)節(jié)點(diǎn)基站上增加緩存空間， 緩存流行度較高的內(nèi)容，可以緩解用戶發(fā)起內(nèi)容請求時(shí)從遠(yuǎn)端服務(wù)器到用戶之間的高通信代價(jià)問題，以及由于內(nèi)容過多導(dǎo)致的用戶請求延時(shí)過高問題。 然而，因?yàn)橛邢薜木彺婵臻g和有限的計(jì)算資源不能緩存受大眾歡迎的全部內(nèi)容，因此在有限的緩存空間上研究更高效的緩存策略及算法模型是有意義和有價(jià)值的。

如今邊緣主動(dòng)緩存技術(shù)所面臨的挑戰(zhàn)主要有以下幾個(gè)方面：

a. 在性能方面， 用戶請求數(shù)量迅速增加，用戶體驗(yàn)需求不斷增高， 請求內(nèi)容也更加復(fù)雜多樣，現(xiàn)有緩存策略很難取得很好的性能表現(xiàn)；

b. 受到有限緩存空間和計(jì)算資源的約束；

c. 用戶的移動(dòng)性和地區(qū)差異性也為邊緣主動(dòng)緩存技術(shù)帶來挑戰(zhàn)。

為優(yōu)化當(dāng)用戶請求內(nèi)容不在緩存空間時(shí)所造成的通信高負(fù)載問題，同時(shí)使緩存更貼合用戶偏好，筆者提出基于深度學(xué)習(xí)方法的分層緩存模型， 該方法將深度興趣進(jìn)化網(wǎng)絡(luò) （Deep Interest Evolution Network，DIEN） 中的興趣進(jìn)化單元與DeepFM模型相結(jié)合，利用興趣進(jìn)化單元中的興趣抽取層分析用戶興趣時(shí)間序列，提取用戶隱藏興趣狀態(tài)，再通過興趣進(jìn)化層對用戶興趣隱藏狀態(tài)變化過程建模，得到最終的用戶興趣狀態(tài)。 最后利用DeepFM模型對用戶最終興趣狀態(tài)和用戶信息、 目標(biāo)內(nèi)容信息和內(nèi)容特征信息進(jìn)行分析，以得到最終結(jié)果。

該策略的優(yōu)勢在于考慮了用戶興趣狀態(tài)隨時(shí)間和外部環(huán)境變化而變化的情況，使推薦緩存內(nèi)容更加符合用戶興趣偏好，能夠更好地應(yīng)對用戶興趣大范圍轉(zhuǎn)變的情況，同時(shí)具有較強(qiáng)的泛化能力和學(xué)習(xí)能力，也能夠更好地應(yīng)對用戶的移動(dòng)性和地區(qū)間的差異性。

1 相關(guān)工作

1.1 傳統(tǒng)邊緣主動(dòng)緩存技術(shù)

MüLLER S等提出一種基于文本感知算法的主動(dòng)緩存策略，通過分析關(guān)聯(lián)用戶的相關(guān)請求內(nèi)容，學(xué)習(xí)特定的上下文信息，得出網(wǎng)絡(luò)中流行度較高的內(nèi)容，并進(jìn)行主動(dòng)緩存［1］。 ZEYDAN E等提出基于大數(shù)據(jù)框架的體系結(jié)構(gòu)，利用協(xié)同過濾方法，對大量數(shù)據(jù)進(jìn)行內(nèi)容流行度預(yù)測，將預(yù)測內(nèi)容緩存至基站，以此來達(dá)到更好的用戶體驗(yàn)和更低的回程負(fù)載［2］。ZHOU S等則更加注重?cái)?shù)據(jù)交付過程中的能量消耗，為了用更低的能量滿足更高的用戶體驗(yàn)需求， 提出新的綠色交付框架［3］。CHANG Z等利用大數(shù)據(jù)分析，從數(shù)據(jù)中獲得用戶流行內(nèi)容偏好，設(shè)計(jì)邊緣主動(dòng)緩存策略，使邊緣緩存性能提高［4］。BASTUG E等認(rèn)為利用用戶終端的存儲(chǔ)空間和資源也是一個(gè)十分有效的方法，利用社交網(wǎng)絡(luò)采用終端數(shù)據(jù)共享， 即終端到終端（Device-to-Device，D2D） 通信技術(shù)讓緩存內(nèi)容能在用戶間共享，減少了基站緩存空間和計(jì)算資源消耗，同時(shí)利用上下文信息豐富了模型對內(nèi)容特征的提取，進(jìn)而制定了一個(gè)新的邊緣緩存策略［5］。

1.2 基于深度學(xué)習(xí)的主動(dòng)緩存技術(shù)

目前，深度學(xué)習(xí)方法在很多領(lǐng)域都取得了不俗的成績，其較強(qiáng)的學(xué)習(xí)能力能更好地應(yīng)對復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)以及大量多樣的數(shù)據(jù)。 GASTUG E等提出一種基于強(qiáng)化學(xué)習(xí)的多時(shí)間維度框架，該方法能使邊緣節(jié)點(diǎn)基站更有效地利用有限的緩存空間資源，緩存用戶更加偏好的內(nèi)容，使用戶使用體驗(yàn)度得到提升。

ALE L等提出將卷積層和雙向RNN（BRNN）相結(jié)合的方法來提高預(yù)測內(nèi)容的準(zhǔn)確度，預(yù)測用戶時(shí)間序列下一時(shí)刻可能的請求內(nèi)容，并更新緩存在邊緣節(jié)點(diǎn)上［6］。 DOAN K N等則利用卷積神經(jīng)網(wǎng)絡(luò)提取輸入層特征，訓(xùn)練預(yù)測流行內(nèi)容并緩存，以獲得更高的用戶體驗(yàn)度得分和更低的回程負(fù)載［7］。

綜上所述，目前的邊緣緩存技術(shù)雖然考慮了用戶的行為時(shí)間序列，但并未考慮用戶行為序列中并非每一個(gè)行為都對最終預(yù)測產(chǎn)生影響的情況，同時(shí)也不能很好地應(yīng)對用戶興趣大范圍轉(zhuǎn)移的情況，且采用的深度學(xué)習(xí)模型雖具有很強(qiáng)的學(xué)習(xí)能力，但其泛化能力不足。

DeepFM模型既具有深度學(xué)習(xí)模型的強(qiáng)學(xué)習(xí)能力， 也整合了機(jī)器學(xué)習(xí)的泛化能力， 若利用DeepFM模型進(jìn)行預(yù)測并加入對用戶興趣變化的考慮， 則有可能獲得更符合大眾喜好的緩存內(nèi)容。

2 融合興趣進(jìn)化單元的DeepFM主動(dòng)緩存模型

通信網(wǎng)絡(luò)中用戶的興趣具有多樣性，用戶興趣是驅(qū)使用戶行為的關(guān)鍵因素，若能獲取用戶行為背后的潛在興趣狀態(tài)，則能為用戶提供更感興趣的內(nèi)容。 但用戶興趣總是隨著很多因素的改變而動(dòng)態(tài)變化。 在融合了深度興趣進(jìn)化單元的DeepFM模型中，利用興趣提取層獲取用戶的潛在興趣并引入輔助損失值，來監(jiān)督興趣提取過程中的每一步潛在狀態(tài)。 在興趣進(jìn)化層中利用加入注意力機(jī)制的GRU來獲取用戶與內(nèi)容間的興趣進(jìn)化過程， 改變不同時(shí)間點(diǎn)用戶的興趣影響權(quán)重，并將該值與目標(biāo)內(nèi)容和用戶信息記錄輸入至DeepFM。 根據(jù)最終結(jié)果判斷該內(nèi)容是否會(huì)被用戶在未來時(shí)刻請求。

2.1 深度興趣進(jìn)化網(wǎng)絡(luò)

興趣進(jìn)化單元源自阿里公司于2019年提出的深度興趣進(jìn)化網(wǎng)絡(luò)， 在深度興趣進(jìn)化網(wǎng)絡(luò)中，研究人員設(shè)計(jì)了興趣提取層獲取用戶歷史行為中的興趣偏好。 用戶興趣具有多樣性，因此研究人員又在DIEN中加入興趣進(jìn)化層，用來對用戶興趣演變進(jìn)行建模、提取用戶興趣變化特征，并在其中嵌入注意力機(jī)制加強(qiáng)了相關(guān)興趣對預(yù)測的影響，同時(shí)也削弱了不相關(guān)用戶興趣對結(jié)果的負(fù)面影響［8］。

深度興趣網(wǎng)絡(luò)首先通過嵌入層轉(zhuǎn)化所有類別特征，將用戶信息和內(nèi)容信息映射到向量空間中表示。 接下來對用戶興趣進(jìn)化過程進(jìn)行建模：首先通過興趣提取層對用戶歷史行為記錄進(jìn)行興趣特征提??； 再通過興趣進(jìn)化層模型提取用戶對目標(biāo)內(nèi)容相關(guān)的興趣進(jìn)化過程特征； 最后將得出的最終興趣嵌入表示向量與用戶信息特征和內(nèi)容信息特征進(jìn)行拼接， 并將該向量輸入至MLP中進(jìn)行最終結(jié)果的預(yù)測，其模型如圖1所示，其中b（1）表示用戶行為序列中的第1個(gè)用戶行為。

圖1 深度興趣進(jìn)化網(wǎng)絡(luò)結(jié)構(gòu)

興趣進(jìn)化單元包含興趣抽取層和興趣進(jìn)化層，在興趣提取層中，主要通過對用戶歷史行為的分析，提取出用戶一系列的興趣狀態(tài)。 利用門循環(huán)單元（Gate Recurrent Unit，GRU）對行為間的依賴關(guān)系進(jìn)行建模，將有序行為序列輸入GRU中得到隱藏的興趣狀態(tài)。 GRU克服了循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的梯度消失問題，并且相較于LSTM而言有更快的運(yùn)算速度，因此更加符合5G大數(shù)據(jù)時(shí)代高運(yùn)算速度的要求。

GRU的公式如下：

其中，ut為加入注意力機(jī)制的得分；Uu為原始更新門；bu為更新門的偏置參數(shù)；Wu、Wr及Wh分別為更新門、 重置門以及輸出最終狀態(tài)的權(quán)重參數(shù)，Wu、Wr、Wh∈RnH×nI（nH是隱藏向量大小，nI是輸入向量大小）；rt為重置門最終得分；Ur為原始重置門；br、bh為偏置值；?代表矩陣中對應(yīng)元素相乘；it是GRU的輸入向量，代表用戶行為序列中的第i次行為向量；ht是第t次的隱藏狀態(tài)。

然而僅獲取用戶行為之間依賴關(guān)系的隱藏狀態(tài)并不能有效表示用戶興趣，因此研究人員提出利用輔助損失值來監(jiān)督對于興趣狀態(tài)的學(xué)習(xí)。利用用戶b+1次來監(jiān)督b次興趣狀態(tài)是否準(zhǔn)確，同時(shí)根據(jù)誤差值對隱藏興趣狀態(tài)進(jìn)行更新和改變。在輔助損失值的幫助下每個(gè)隱藏狀態(tài)都足以表示用戶采取行為后的興趣狀態(tài)。 有序的T個(gè)用戶歷史行為對應(yīng)著所有T個(gè)興趣狀態(tài)的序列，即［h1，h2，h3，…，hT］，可以利用該興趣序列模擬興趣進(jìn)化過程。

而在興趣進(jìn)化層中，通過對興趣抽取層中獲得的用戶對請求內(nèi)容的興趣偏好序列進(jìn)行分析，在注意力機(jī)制局部激活后，利用門循環(huán)單元分析興趣進(jìn)化過程，提取用戶行為背后的最終興趣狀態(tài)。 在興趣進(jìn)化層中同樣用it和ht表示輸入向量和隱藏狀態(tài)。 其中，下一個(gè)GRU的輸入對應(yīng)的是上一個(gè)興趣提取層中的興趣狀態(tài)，即it=ht-1，并且最終的hT表示最終的興趣狀態(tài)。 在興趣抽取層中使用的注意力機(jī)制表示為：

其中，at表示注意得分；ea是候選目標(biāo)內(nèi)容的拼接向量；W∈RnH×nA，nH是隱藏向量的維度，nA是目標(biāo)內(nèi)容的嵌入向量維度。

注意力得分可以反映該興趣狀態(tài)與目標(biāo)內(nèi)容間的關(guān)系，若用戶的某個(gè)隱藏興趣狀態(tài)對目標(biāo)內(nèi)容影響較大，則在興趣進(jìn)化層中能獲得更高的注 意 力 得 分。 因 此， 使 用AUGRU（Attention Update Gate Recurrent Unit）對用戶興趣變化過程進(jìn)行建模，其公式如下：

其中，u1t表示原本門循環(huán)單元中更新門的結(jié)果。

AUGRU的結(jié)構(gòu)如圖2所示，其中r是一個(gè)循環(huán)單元。

圖2 AUGRU結(jié)構(gòu)

在AUGRU中保留了原始維度信息，因此考慮了每一個(gè)維度大小的重要性。 在差異化信息的基礎(chǔ)上利用注意力機(jī)制對GRU更新門中的所有向量維度進(jìn)行增大或減小，帶來的影響就是興趣狀態(tài)越小對隱藏狀態(tài)影響越小，興趣狀態(tài)越大對隱藏狀態(tài)影響越大。AUGRU有效緩解了用戶興趣大范圍變化的影響，并且合適準(zhǔn)確地對用戶興趣發(fā)展進(jìn)行建模，為后續(xù)模型得到最終緩存結(jié)果提供基礎(chǔ)。

2.2 DeepFM模型

DeepFM模型由GUO H F于2017年首次提出，DeepFM 可以看成是因子分解機(jī)（Factorization Machines，F(xiàn)M） 的衍生， 該方法將深度神經(jīng)網(wǎng)絡(luò)（DNN）與FM相結(jié)合，利用FM挖掘低階組合特征的同時(shí)， 利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高階特征信息，通過并行方式將二者組合。 模型框架如圖3所示。

圖3 DeepFM框架

由圖3可以看出，DeepFM由FM和DNN兩部分構(gòu)成，模型的最終輸出也由這兩部分構(gòu)成，具體為：

因子分解機(jī)是由Rendle提出的一種和支持向量機(jī)（SVM）類似的預(yù)測器，但因子分解機(jī)能更好地應(yīng)對數(shù)據(jù)稀疏的情況，即使在數(shù)據(jù)高稀疏的情況下也能估計(jì)得到可靠的參數(shù)，并且FM具有線性復(fù)雜度，在學(xué)習(xí)了低階特征的同時(shí)，能考慮到特征之間的相互關(guān)系及特征組合的影響情況。 普通的線性模型為：

線性模型獨(dú)立地考慮了每個(gè)特征的影響，但對于特征組合的情況并未考慮，因此因子分解機(jī)針對這一問題進(jìn)行了改進(jìn)，考慮了二階及以上的交叉情況：

其中，n表示輸入數(shù)據(jù)經(jīng)過嵌入層嵌入后的數(shù)據(jù)維度；xi表示第i個(gè)特征；wij是特征組合情況的參數(shù)， 為了能更好地得到特征參數(shù)wij，F(xiàn)M對于每一個(gè)特征xi引入了輔助向量Vi=（vi1，vi2，vi3，…，vik），然后利用向量之間的內(nèi)積得到特征組合參數(shù)w，輔助向量V的計(jì)算式為：

引用輔助向量使求解的參數(shù)數(shù)量減少，從本來的n×（n-1）/2個(gè)參數(shù)變成了n×k個(gè)參數(shù)，并且削弱了高階參數(shù)間的數(shù)據(jù)獨(dú)立性；k值越大向量對特征的表現(xiàn)能力越強(qiáng)， 而較小的k值能使模型具有更好的泛化能力。

在DNN部分，DNN的作用就是構(gòu)造和學(xué)習(xí)高維的特征，其輸入是和FM層一樣經(jīng)嵌入層處理后的輸入數(shù)據(jù)，經(jīng)過FM層對不同特征域的嵌入數(shù)據(jù)進(jìn)行兩兩交叉后，將FM和DNN的輸出一同輸入到最后的輸出層與最后的目標(biāo)進(jìn)行擬合。

在Google公司提出了Wide&Deep模型之后，很多模型都采用了雙模型組合的結(jié)構(gòu)，DeepFM也是其中之一， 但相較于Wide&Deep模型而言，DeepFM方法用FM部分替換了Wide部分， 加強(qiáng)了淺層網(wǎng)絡(luò)部分特征組合的能力， 并且不需要像Wide&Deep模型在特征輸入前需要進(jìn)行人工特征標(biāo)注處理。 因此，融合了LDA主題模型的DeepFM方法在第1層緩存上對大部分用戶可能喜歡的內(nèi)容進(jìn)行預(yù)測和篩選。

2.3 基于融合興趣進(jìn)化單元的DeepFM模型

利用興趣進(jìn)化單元中的興趣抽取層提取用戶興趣狀態(tài)，利用興趣進(jìn)化層對用戶興趣動(dòng)態(tài)變化進(jìn)行建模，來獲得最終用戶未來興趣狀態(tài)。 將該興趣狀態(tài)與用戶信息向量以及目標(biāo)內(nèi)容向量拼接后輸入至DeepFM模型中， 利用DeepFM模型的泛化能力和學(xué)習(xí)能力提取興趣狀態(tài)與用戶信息特征以及目標(biāo)內(nèi)容信息特征之間的相互關(guān)系獲得最終緩存結(jié)果。融合興趣進(jìn)化單元的DeepFM模型結(jié)構(gòu)如圖4所示。

圖4 融合興趣進(jìn)化單元的DeepFM模型結(jié)構(gòu)

輸入層。 首先通過數(shù)據(jù)預(yù)處理后提取出每一個(gè)用戶的行為序列（如用戶在兩周內(nèi)的內(nèi)容請求記錄）、個(gè)人信息特征（如性別、年齡、職業(yè)等）和內(nèi)容特征信息（如內(nèi)容分類、請求記錄量等），將用戶行為序列、目標(biāo)內(nèi)容、目標(biāo)內(nèi)容特征和用戶特征作為輸入輸入模型中。

嵌入層。 將輸入層輸入的數(shù)據(jù)向量化，將向量化后的用戶行為序列向量輸入到興趣抽取層中，將目標(biāo)內(nèi)容向量、內(nèi)容特征向量和用戶特征向量輸入到DeepFM模型中的FM層和DNN部分，同時(shí)將目標(biāo)內(nèi)容向量輸入到興趣進(jìn)化層中。

興趣抽取層。 將用戶行為向量輸入到GRU中， 通過GRU挖掘用戶行為記錄間的依賴性，提取用戶興趣點(diǎn)。 最終得到用戶行為序列中每一個(gè)行為對應(yīng)的隱藏興趣狀態(tài)，將隱藏的興趣狀態(tài)輸入到興趣進(jìn)化層中。

興趣進(jìn)化層。 將興趣抽取層中提取出的用戶隱藏興趣狀態(tài)輸入到AUGRU結(jié)構(gòu)中，描述用戶興趣動(dòng)態(tài)變化過程，利用注意力得分監(jiān)督隱藏興趣狀態(tài)的更新，保留原始GRU結(jié)構(gòu)中更新門中所有向量維度， 與目標(biāo)內(nèi)容擬合， 將注意力機(jī)制與GRU結(jié)構(gòu)結(jié)合，獲得最終的興趣狀態(tài)，并輸入到DeepFM模型中的FM部分和DNN部分進(jìn)行后續(xù)模型分析。

FM層。 FM層主要利用因子分解機(jī)來考慮特征間的交叉情況。 相對于線性回歸模型，F(xiàn)M模塊結(jié)合了SVM與分解模型的優(yōu)點(diǎn)，對所有變量間的聯(lián)系使用分解參量建模。 其優(yōu)勢在于，首先因子分解機(jī)能夠很好地應(yīng)對數(shù)據(jù)稀疏情況，其次FM的復(fù)雜度是線性的，具有很好的優(yōu)化效果。 將興趣進(jìn)化層中提取出的用戶最終興趣狀態(tài)向量、目標(biāo)內(nèi)容向量、用戶信息向量和內(nèi)容特征向量輸入到DeepFM中的FM部分，提取其中的交叉影響情況，為最終預(yù)測提供支撐，將最終輸出的結(jié)果與DNN模塊得到的最終結(jié)果進(jìn)行Sigmoid激活，獲得最終的輸出結(jié)果。

DNN層。 在DeepFM中DNN部分與FM部分是并發(fā)進(jìn)行的，同樣是將興趣進(jìn)化層中提取出的用戶最終興趣狀態(tài)向量、目標(biāo)內(nèi)容向量、目標(biāo)內(nèi)容特征向量和用戶信息特征向量拼接后輸入到DNN層。 DNN部分和Google公司提出的Wide&Deep模型中的Deep部分類似，都是簡單的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。 利用DNN部分的強(qiáng)學(xué)習(xí)能力，進(jìn)一步挖掘輸入特征之間的依賴關(guān)系，以及輸入特征中隱藏的有用信息。

輸出層。輸出聯(lián)合FM部分和DNN部分的最終預(yù)測值。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

實(shí)驗(yàn)選用的MovieLens100K數(shù)據(jù)集中包含了943個(gè)用戶對1 682部電影的評分記錄， 總計(jì)10萬條。 為了能更好地模擬5G通信的情景，對數(shù)據(jù)集進(jìn)行預(yù)處理：數(shù)據(jù)集中的每一條記錄包含用戶信息、評論時(shí)間、電影標(biāo)簽及用戶評分等特征，一條記錄對應(yīng)著一個(gè)用戶對該部電影的評分行為。 在5G通信場景中，不論評分高低都代表該用戶請求這部電影內(nèi)容的行為，即數(shù)據(jù)集中所有記錄都為用戶請求過的歷史內(nèi)容記錄。 所以還需要對每個(gè)用戶未請求的內(nèi)容部分進(jìn)行添加和完善，首先為數(shù)據(jù)集中的每一條記錄添加一個(gè)Tag標(biāo)簽（1表示用戶已請求，0代表用戶未請求）； 其次給定每個(gè)用戶對電影的請求數(shù)目K， 用戶已經(jīng)請求的電影數(shù)目為M， 需在用戶未曾請求的數(shù)據(jù)集中隨機(jī)選擇K-M個(gè)電影和用戶信息拼接，并且加上是否請求標(biāo)簽0，重復(fù)上述操作完成數(shù)據(jù)集的填充工作。

所有實(shí)驗(yàn)均在一臺(tái)8 GB RAM 3.6 Hz Intel（R）Core（TM）CPU的機(jī)器上運(yùn)行。

本次實(shí)驗(yàn)主要驗(yàn)證以下幾個(gè)方面：

a. 深度學(xué)習(xí)方法在5G推薦緩存的任務(wù)上能取得相對于機(jī)器學(xué)習(xí)方法更高的用戶體驗(yàn)滿意度和更低的回程負(fù)載；

b. 雙層緩存結(jié)構(gòu)相較于單層邊緣緩存的網(wǎng)絡(luò)結(jié)構(gòu)，在有更好的性能表現(xiàn)的同時(shí)，也能降低回程負(fù)載和通信成本；

c. 在第1層緩存上利用DeepFM模型，能取得相較于CNN和其他深度學(xué)習(xí)模型更好的用戶體驗(yàn)度和更低的回程負(fù)載；

d. 通過LDA主題模型對全部內(nèi)容進(jìn)行建模，挖掘其中的隱藏主題信息并作為特征輸入DeepFM模型中的方法能夠提高模型性能的上限。

3.2 評價(jià)指標(biāo)

為了評估模型在5G通信過程中的性能，采用兩個(gè)評分標(biāo)準(zhǔn)進(jìn)行評估，分別為用戶體驗(yàn)度得分（QOE_Score）和回程負(fù)載（TrafficLoad）：

其中，Ri代表用戶i真實(shí)請求的內(nèi)容集合；Pi代表模型預(yù)測的用戶i請求內(nèi)容的集合；users代表在當(dāng)前網(wǎng)絡(luò)中所有用戶集合；Ri∩Pi則表示模型所預(yù)測的用戶請求內(nèi)容在實(shí)際用戶請求內(nèi)容集合中的數(shù)量，若大于平均請求個(gè)數(shù)θ則為1分，因此QOE_Score指標(biāo)用于評估模型對用戶預(yù)測內(nèi)容的準(zhǔn)確度和與用戶期待的體驗(yàn)相符合的程度。‖Ri-Pi‖表示模型未預(yù)測到的用戶請求內(nèi)容情況，若模型沒有預(yù)測到用戶真實(shí)請求的內(nèi)容則需要到遠(yuǎn)端服務(wù)器提取出相應(yīng)內(nèi)容，因此增加了線路負(fù)載和成本， 所以TrafficLoad是為了描述模型在5G通信網(wǎng)絡(luò)中所造成的線路負(fù)載情況和成本。

3.3 融合興趣進(jìn)化單元的DeepFM與邊緣主動(dòng)緩存模型實(shí)驗(yàn)對比

該實(shí)驗(yàn)主要驗(yàn)證在同樣緩存空間下，基于融合深度興趣進(jìn)化單元的DeepFM 模型（DIEN DeepFM） 與基于深度進(jìn)化網(wǎng)絡(luò) （DIEN）， 基于DeepFM，基于物品的協(xié)同過濾算法（ItemCF），以及基于用戶的協(xié)同過濾算法的邊緣主動(dòng)緩存模型（UserCF）在用戶體驗(yàn)度得分和回程負(fù)載的表現(xiàn)情況。

深度興趣進(jìn)化網(wǎng)絡(luò)。 深度興趣進(jìn)化網(wǎng)絡(luò)是深度興趣網(wǎng)絡(luò)的改進(jìn)版本，強(qiáng)調(diào)用戶興趣的多樣性，利用注意力模型獲取用戶對目標(biāo)內(nèi)容的興趣。 同時(shí)深度興趣網(wǎng)絡(luò)關(guān)注興趣的變化過程， 并利用新的結(jié)構(gòu)對用戶興趣動(dòng)態(tài)變化過程進(jìn)行建模。

DeepFM模型。 DeepFM模型的優(yōu)勢在于共享FM模塊和DNN部分的參數(shù)，能夠?qū)W習(xí)到高階的組合特征影響，同時(shí)也不再需要提前人工進(jìn)行專業(yè)的特征工程， 相對于Wide&Deep模型來說具有訓(xùn)練更加快速且預(yù)測結(jié)果更精確的優(yōu)勢。

基于物品的協(xié)同過濾算法。 基于物品的協(xié)同過濾方法的原理為利用矩陣分解的方法緩存用戶過去請求過的內(nèi)容， 它適用于有較多用戶、較少緩存內(nèi)容且有明確用戶喜好的場景，主要描述用戶和內(nèi)容間的交互關(guān)系，其優(yōu)勢在于有一定的預(yù)測能力、能夠應(yīng)對新用戶且具有可解釋性。 但在5G大數(shù)據(jù)的通信場景中，基于物品的協(xié)同過濾算法有著很高的計(jì)算成本，當(dāng)有新內(nèi)容加入到網(wǎng)絡(luò)中后無法處理，同時(shí)該方法也沒有考慮用戶請求內(nèi)容的順序特性。

基于用戶的協(xié)同過濾算法。 基于用戶的協(xié)同過濾算法是根據(jù)用戶歷史請求內(nèi)容的行為，為用戶尋找興趣相近的用戶，然后緩存用戶未請求且與用戶興趣相近的內(nèi)容。 該方法用于用戶較少、有較多內(nèi)容且用戶具有隱藏興趣偏好的情況。 基于用戶的協(xié)同過濾算法主要考慮了用戶與內(nèi)容交互的情況，具有足夠的內(nèi)容預(yù)測能力，當(dāng)有新的內(nèi)容加入時(shí)可以有效應(yīng)對。 但算法的可解釋性不足， 并且和基于物品的協(xié)同過濾算法一樣，數(shù)據(jù)量很大時(shí)需要很高的計(jì)算成本，并且該方法也無法處理新用戶，也沒有考慮內(nèi)容的屬性特征。

實(shí)驗(yàn)結(jié)果如圖5、6所示。

圖5 用戶體驗(yàn)度得分對比結(jié)果

圖6 回程負(fù)載的對比結(jié)果

基于深度學(xué)習(xí)方法的邊緣主動(dòng)緩存模型相較于機(jī)器學(xué)習(xí)方法（如基于物品和基于用戶的協(xié)同過濾方法）能取得更高的用戶體驗(yàn)度得分和更低的回程負(fù)載。當(dāng)緩存為100%時(shí)，基于DeepFM模型的邊緣主動(dòng)緩存模型取得了79.1%的用戶體驗(yàn)度得分， 而基于用戶的協(xié)同過濾算法則取得了60.2%的用戶體驗(yàn)度得分， 較前者低了約18.9%。在回程負(fù)載方面，基于DeepFM的邊緣主動(dòng)緩存模型為48.6%， 而基于用戶的協(xié)同過濾方法則為72.3%，較前者高了23.7%。由此可以看出，基于深度學(xué)習(xí)方法的邊緣主動(dòng)緩存模型相較于基于機(jī)器學(xué)習(xí)方法的邊緣主動(dòng)緩存模型能取得更高的用戶體驗(yàn)度得分以及更低的回程負(fù)載消耗。

基于融合深度興趣進(jìn)化單元的DeepFM的邊緣主動(dòng)緩存模型，能在基于原DeepFM模型以及基于深度興趣網(wǎng)絡(luò)的邊緣主動(dòng)緩存模型的基礎(chǔ)上，提高用戶體驗(yàn)度得分并降低回程負(fù)載消耗。 當(dāng)緩存空間為100%時(shí)，基于融合深度興趣進(jìn)化單元的DeepFM模型能取得83.4%的用戶體驗(yàn)度得分和21.3%的回程負(fù)載，DeepFM以及深度進(jìn)化網(wǎng)絡(luò)分別取得了79.1%和81.5%的用戶體驗(yàn)度得分以及48.6%和38.3%的回程負(fù)載消耗。 由此可以看出，在DeepFM模型的基礎(chǔ)上融合深度興趣進(jìn)化單元，能夠有效提高模型性能。當(dāng)緩存空間從100%減少至60%時(shí)，基于融合深度興趣進(jìn)化單元的DeepFM模型用戶體驗(yàn)度得分僅下降5.3%， 而基于DeepFM模型和基于深度興趣進(jìn)化網(wǎng)絡(luò)的用戶體驗(yàn)度得分在緩存空間從100%下降至60%的過程中分別下降了11.3%和12.4%，由此可知，基于融合深度興趣進(jìn)化單元的DeepFM 模型相較于DeepFM和深度進(jìn)化網(wǎng)絡(luò)來說具有更好的抗衰減性能。

4 結(jié)束語

為了高效利用邊緣基站上有限的緩存空間和計(jì)算資源，需要合適的緩存結(jié)構(gòu)和更優(yōu)的篩選方法。 考慮到實(shí)際應(yīng)用中用戶興趣總是隨著時(shí)間動(dòng)態(tài)變化的情況，利用興趣進(jìn)化單元對其進(jìn)行建模，獲得最終的用戶興趣狀態(tài)，通過DeepFM模型挖掘交叉特征以及高階特征，并最終得到符合用戶偏好的緩存內(nèi)容。 經(jīng)實(shí)驗(yàn)證明，該模型不僅取得了更高的用戶體驗(yàn)度得分，也在相同條件下降低了網(wǎng)絡(luò)中的回程負(fù)載。