陳步華,梁潔,陳戈,莊一嶸,唐宏
(中國電信股份有限公司廣州研究院,廣東 廣州 510630)
人工智能(Artificial Intelligence,AI)泛指讓機(jī)器具有人類智能的一類技術(shù)[1]。人工智能在1956年被正式提出,期間經(jīng)過多次起伏。近年來,得益于深度神經(jīng)網(wǎng)絡(luò)、大規(guī)模訓(xùn)練數(shù)據(jù)、高密度計算能力的同時發(fā)展,人工智能又一次迎來了發(fā)展的高峰,在多個技術(shù)領(lǐng)域都取得了突破性進(jìn)展。人工智能作為目前最具沖擊力的學(xué)科發(fā)展方向之一,為各行各業(yè)帶來了巨大變革。目前,在圖像、語音、文本處理等領(lǐng)域,越來越多的智能化產(chǎn)物日漸成熟。
隨著AI算法與技術(shù)的發(fā)展,AI逐漸在越來越多的復(fù)雜場景下可以做出比人類更優(yōu)的決策,也能夠為內(nèi)容分發(fā)網(wǎng)絡(luò)(Content Distribution Network,CDN)的智能化發(fā)展提供思路。因此,未來的CDN必然需要人工智能協(xié)助推出解決方案,CDN的內(nèi)容中心和邊緣節(jié)點(diǎn)可以部署AI模塊,通過智能化服務(wù),提高CDN的性能。
隨著寬帶網(wǎng)絡(luò)和流媒體技術(shù)的興起,內(nèi)容分發(fā)網(wǎng)絡(luò)通過采用各種緩存服務(wù)器,將這些緩存服務(wù)器分布到靠近用戶的區(qū)域,利用內(nèi)容調(diào)度和分發(fā)功能,用戶可以在邊緣側(cè)獲得所需內(nèi)容,減少網(wǎng)絡(luò)擁塞,提高用戶的訪問響應(yīng)速度。CDN的關(guān)鍵技術(shù)是內(nèi)容存儲、調(diào)度和分發(fā)技術(shù)。下面按照圖1簡要介紹CDN的基本組網(wǎng)架構(gòu)和這三大關(guān)鍵技術(shù)[2]。
(1)內(nèi)容存儲是指從源站點(diǎn)注入內(nèi)容到CDN網(wǎng)絡(luò),并存儲在CDN網(wǎng)絡(luò)的過程。
(2)內(nèi)容調(diào)度是指用戶向網(wǎng)站發(fā)起訪問請求,最終把用戶引導(dǎo)到最佳的有內(nèi)容的CDN節(jié)點(diǎn)的過程。
(3)內(nèi)容分發(fā)是當(dāng)用戶向網(wǎng)站發(fā)起請求時,對于用戶想要的內(nèi)容,一個部分被預(yù)先直接推送給邊緣緩存節(jié)點(diǎn),但當(dāng)邊緣節(jié)點(diǎn)沒有用戶期望的內(nèi)容時,就必須通過上層節(jié)點(diǎn)(內(nèi)容中心)將內(nèi)容拉放出來,為用戶提供服務(wù)。
圖1 CDN的基本組網(wǎng)架構(gòu)
隨著社會各行業(yè)均向數(shù)字化、網(wǎng)絡(luò)化發(fā)展,大規(guī)模海量數(shù)據(jù)存儲系統(tǒng)是其必不可少的支持。并且,在CDN的內(nèi)容中心和邊緣緩存節(jié)點(diǎn)作為以硬盤為主體的存儲系統(tǒng),硬盤頻繁損壞帶來的損失不容忽視。尤其在4K/8K工作流程中,對數(shù)據(jù)的流通要求非常高,因此,需要支持大規(guī)模容量的可擴(kuò)展共享存儲以及穩(wěn)定的運(yùn)行,這就要求CDN的存儲性能具有高可靠性和穩(wěn)定性。研究表明,硬盤是數(shù)據(jù)中心替換率最高的硬件,一旦硬盤發(fā)生不可恢復(fù)的故障必然會造成數(shù)據(jù)丟失,將給整個CDN系統(tǒng)帶來不可估量的損失。
目前,已有很多學(xué)者就這個問題展開了研究,并取得了一定的成果,主要包括磁盤陣列RAID技術(shù)、冗余編碼、可靠性分析等被動容錯技術(shù)。糾刪碼用于原始數(shù)據(jù)在數(shù)據(jù)丟失時根據(jù)校驗進(jìn)行重建。與HDFS等采用的三副本機(jī)制相比,糾刪碼具有更高的存儲空間利用率,但其數(shù)據(jù)重構(gòu)代價也更為昂貴。針對硬盤的塊級和扇區(qū)級的數(shù)據(jù)損壞,有人提出了磁盤清洗的方法來查找扇區(qū)錯誤,并對數(shù)據(jù)塊進(jìn)行遷移和重構(gòu)。綜上所述,傳統(tǒng)的高可靠性存儲系統(tǒng)的研究主要是針對硬盤失效后數(shù)據(jù)恢復(fù)技術(shù)的解決方案,屬于一種被動容錯的思路。
然而,在CDN系統(tǒng)中,根據(jù)業(yè)務(wù)的需要,集群合并、分割、新建、刪除、機(jī)房搬遷、硬盤更換、上線等都是很平常的事情。有必要建立硬盤故障預(yù)測模型,對可能出現(xiàn)的硬盤故障進(jìn)行主動預(yù)測,并對潛在的故障硬盤數(shù)據(jù)建立及時的遷移保護(hù)策略。
現(xiàn)在,大多數(shù)硬盤都能很好地支持SMART技術(shù),能夠在硬盤上獲取監(jiān)控指令,分析比較磁頭、磁盤和電路的運(yùn)行狀態(tài)、歷史記錄和預(yù)置安全閾值,這對硬盤故障智能預(yù)測的研究奠定了堅實的基礎(chǔ)。
基于人工智能的故障處理機(jī)制的前提是保證硬盤故障預(yù)測模型的高精度,圖2展示了一個典型的CDN中使用人工智能來預(yù)測硬盤存儲故障的框架,其對應(yīng)的建模步驟如下:
(1)對現(xiàn)網(wǎng)各地SMART磁盤信息進(jìn)行監(jiān)控,采集部分現(xiàn)網(wǎng)數(shù)據(jù)用于訓(xùn)練模型。
(2)將采集到的現(xiàn)網(wǎng)數(shù)據(jù)按照區(qū)域、業(yè)務(wù)分別進(jìn)行預(yù)處理(如清洗、篩選、特征提取等),生成訓(xùn)練樣本。
(3)對算法庫中的多種預(yù)測模型進(jìn)行訓(xùn)練,獲得當(dāng)前網(wǎng)絡(luò)各區(qū)域、各業(yè)務(wù)的最佳預(yù)測算法。
(4)根據(jù)現(xiàn)網(wǎng)預(yù)測需求,選擇最佳算法模型進(jìn)行回歸推理預(yù)測。
(5)輸出磁盤狀態(tài)信息預(yù)測值。
(6)根據(jù)預(yù)測出的磁盤狀態(tài)信息值,提前設(shè)定對應(yīng)的故障處理策略。
(7)當(dāng)該故障處理策略在CDN中執(zhí)行時,對優(yōu)化執(zhí)行結(jié)果進(jìn)行監(jiān)控反饋,實現(xiàn)算法的進(jìn)一步迭代優(yōu)化。
硬盤故障預(yù)測重點(diǎn)關(guān)注故障檢測率(F a l s e Discovery Rate,F(xiàn)DR)和誤報率(False Alarm Rate,F(xiàn)AR)。檢測率是指實際故障磁盤中,被預(yù)測為出現(xiàn)故障的磁盤數(shù)量占所有故障磁盤的比;誤報率是實際正常磁盤中,被預(yù)測為出現(xiàn)故障的磁盤數(shù)量占所有正常磁盤的比。在硬盤故障預(yù)測模型中,需要確保故障檢測率足夠高,然而,為了減少誤報和額外處理成本對系統(tǒng)性能的影響,還必須確保模型誤報率相對較低。
因此,在實際部署中,通常需要在FDR和FAR之間權(quán)衡。智能預(yù)警處理模塊部署在CDN系統(tǒng)的每個節(jié)點(diǎn)上,智能化的故障數(shù)據(jù)分析解決方案,綜合運(yùn)用了大量機(jī)器學(xué)習(xí)和磁盤故障細(xì)節(jié)知識,對磁盤故障進(jìn)行監(jiān)測預(yù)警,并根據(jù)資源和業(yè)務(wù)負(fù)載狀況規(guī)劃提前修復(fù)數(shù)據(jù)。利用人工智能技術(shù)實現(xiàn)精準(zhǔn)故障預(yù)測,能夠消除因磁盤故障而出現(xiàn)不可預(yù)期的服務(wù)質(zhì)量波動,同時,提升數(shù)據(jù)可靠性和資源效率。
CDN調(diào)度系統(tǒng)實現(xiàn)了CDN的內(nèi)容路由功能,可以將用戶的請求引導(dǎo)到整個CDN網(wǎng)絡(luò)中最優(yōu)的節(jié)點(diǎn)?,F(xiàn)有最優(yōu)節(jié)點(diǎn)的選擇可以基于各種策略,如最近距離、最輕節(jié)點(diǎn)負(fù)荷等。然而,互聯(lián)網(wǎng)與視頻直播業(yè)務(wù)的快速發(fā)展,使得網(wǎng)絡(luò)中的數(shù)據(jù)量急劇膨脹,這就為CDN的調(diào)度可靠性提出了更高的要求。當(dāng)用戶向CDN節(jié)點(diǎn)請求內(nèi)容時,節(jié)點(diǎn)間的負(fù)載均衡是衡量CDN能力的重要指標(biāo)。
當(dāng)某一時刻,產(chǎn)生了突發(fā)性網(wǎng)絡(luò)流量或者用戶請求數(shù)量劇增時,CDN不能及時處理大量突發(fā)性用戶請求,使得部分節(jié)點(diǎn)壓力過高,造成CDN節(jié)點(diǎn)間的負(fù)載不均衡。因此,突發(fā)的高峰流量會造成網(wǎng)絡(luò)堵塞、響應(yīng)速度慢等問題,從而影響用戶的體驗質(zhì)量。
對于此類問題,現(xiàn)有CDN服務(wù)商通過提高節(jié)點(diǎn)數(shù)量、服務(wù)器數(shù)量來避免節(jié)點(diǎn)間負(fù)載不均衡以及對網(wǎng)絡(luò)流量的控制,但這也帶來了CDN資源消耗和浪費(fèi)的問題?;谝陨显颍绾螠?zhǔn)確預(yù)測設(shè)備負(fù)載和網(wǎng)絡(luò)流量非常重要,建立基于人工智能的負(fù)載和流量預(yù)測機(jī)制是十分有意義的。
網(wǎng)絡(luò)流量預(yù)測與TCP/IP流量的大小和延遲有關(guān)。服務(wù)器負(fù)載的預(yù)測包含CPU、內(nèi)存、硬盤空間等資源利用情況。典型的基于CDN負(fù)載和流量利用人工智能進(jìn)行內(nèi)容調(diào)度的框架如圖3所示,其對應(yīng)的建模步驟如下:
(1)對現(xiàn)網(wǎng)各地網(wǎng)絡(luò)以及設(shè)備狀態(tài)數(shù)據(jù)進(jìn)行監(jiān)控,采集部分現(xiàn)網(wǎng)數(shù)據(jù)用于訓(xùn)練模型。
(2)將采集到的現(xiàn)網(wǎng)數(shù)據(jù)按照區(qū)域、業(yè)務(wù)分別進(jìn)行預(yù)處理(如清洗、篩選、特征提取等),生成訓(xùn)練樣本。
圖2 CDN硬盤存儲智能故障處理框架
圖3 CDN智能內(nèi)容調(diào)度框架
(3)對算法庫中的多種預(yù)測模型進(jìn)行訓(xùn)練,同時考慮疊加節(jié)假日等因子來修正模型參數(shù),獲得當(dāng)前網(wǎng)絡(luò)各區(qū)域、各業(yè)務(wù)的最佳預(yù)測算法。
(4)根據(jù)現(xiàn)網(wǎng)預(yù)測需求,選擇最佳算法模型進(jìn)行回歸推理預(yù)測。
(5)輸出網(wǎng)絡(luò)流量或負(fù)載預(yù)測值。
(6)根據(jù)預(yù)測出的網(wǎng)絡(luò)流量或負(fù)載值,提前設(shè)定對應(yīng)的調(diào)度策略。
(7)當(dāng)該調(diào)度策略在CDN中執(zhí)行時,對優(yōu)化執(zhí)行結(jié)果進(jìn)行監(jiān)控反饋,實現(xiàn)算法的進(jìn)一步迭代優(yōu)化。
隨著未來CDN網(wǎng)絡(luò)規(guī)模和復(fù)雜度的持續(xù)增長,在調(diào)度路徑規(guī)劃和流量調(diào)度方面,需要能夠滿足高吞吐、低時延、隨需而動的需求。傳統(tǒng)的調(diào)度方法很難根據(jù)鏈路的動態(tài)情況實時地給出最優(yōu)的流量調(diào)度和路徑優(yōu)化方案?;谌斯ぶ悄艿恼{(diào)度方法,可以利用眾多項目和場景所積累的多維歷史數(shù)據(jù),進(jìn)行數(shù)據(jù)分析和算法探索,并結(jié)合某個實際網(wǎng)絡(luò)的需求,進(jìn)行流量預(yù)測和負(fù)載優(yōu)化推理以及動態(tài)資源調(diào)度等。
內(nèi)容分發(fā)是一種內(nèi)容從內(nèi)容中心緩存到CDN邊緣的過程。目前來看,主流的內(nèi)容分發(fā)技術(shù)有兩種:拉放(PULL)技術(shù)和推送(PUSH)技術(shù)。PULL作為一種被動分發(fā)技術(shù),當(dāng)用戶希望獲取的內(nèi)容沒有被緩存在本地邊緣節(jié)點(diǎn)(未命中)時,將回源返回到上級節(jié)點(diǎn)拉取內(nèi)容。然而,大量的回源請求,會給網(wǎng)絡(luò)傳輸造成流量壓力。
與PULL相比,PUSH是一種主動分發(fā)技術(shù)。主動分發(fā)的內(nèi)容通常是用戶請求量大的熱度內(nèi)容,直接緩存在邊緣節(jié)點(diǎn)上。當(dāng)用戶發(fā)起訪問請求時,將向用戶直接提供服務(wù),減少響應(yīng)時間。然而,緩存服務(wù)器的存儲空間是有限的,并且,過度部署緩存服務(wù)器會造成資源和成本的浪費(fèi)。在這種情況下,精準(zhǔn)地確定熱點(diǎn)內(nèi)容,并分發(fā)到邊緣,能夠降低骨干網(wǎng)絡(luò)流量,并且起到減少服務(wù)器資源成本的作用。對于精準(zhǔn)地確定熱點(diǎn)內(nèi)容,實際上是分發(fā)策略設(shè)定。例如,PUSH內(nèi)容分發(fā)的內(nèi)容可以根據(jù)用戶訪問的統(tǒng)計信息,將超過熱度閾值的內(nèi)容主動推送到邊緣節(jié)點(diǎn)。
上述CDN預(yù)分發(fā)策略應(yīng)用,對于CDN在預(yù)分發(fā)時的策略是靜止的,存在一定的盲目性。分發(fā)程度和分發(fā)級別等參數(shù)設(shè)定也只是人工設(shè)定的,難以針對不同特點(diǎn)的內(nèi)容采用不同的預(yù)分發(fā)策略,缺乏一定的靈活性。為了克服這個弊端,可以用人工智能算法在預(yù)分發(fā)前對未來總體訪問量、各地區(qū)和節(jié)點(diǎn)訪問量等情況進(jìn)行預(yù)測,從而個性化設(shè)置此項內(nèi)容的分發(fā)程度、分發(fā)級別以及在各節(jié)點(diǎn)的分布。這樣就可以大大降低預(yù)分發(fā)的盲目性,使得分發(fā)有的放矢,這樣主動分發(fā)就可以大大提高效率。
圖4 CDN智能內(nèi)容分發(fā)框架
典型的CDN利用人工智能進(jìn)行內(nèi)容主動分發(fā)的框架如圖4所示,其對應(yīng)的建模步驟如下:
(1)對現(xiàn)網(wǎng)用戶服務(wù)終端進(jìn)行探測、監(jiān)控,采集部分現(xiàn)網(wǎng)數(shù)據(jù)用于訓(xùn)練模型。
(2)將采集到的現(xiàn)網(wǎng)數(shù)據(jù)按照區(qū)域、業(yè)務(wù)分別進(jìn)行預(yù)處理(如清洗、篩選、特征提取等),生成訓(xùn)練樣本。
(3)對算法庫中的多種預(yù)測模型進(jìn)行訓(xùn)練,同時考慮疊加大型賽事等特殊熱度因子修正模型參數(shù),獲得當(dāng)前CDN中內(nèi)容的熱度最佳預(yù)測算法。
(4)根據(jù)現(xiàn)網(wǎng)預(yù)測需求,選擇最佳算法模型進(jìn)行回歸推理預(yù)測。
(5)輸出CDN中的內(nèi)容的熱度預(yù)測值。
(6)根據(jù)預(yù)測出的內(nèi)容熱度值,提前設(shè)定對應(yīng)的分發(fā)策略。
(7)當(dāng)該分發(fā)策略在CDN中執(zhí)行時,對優(yōu)化執(zhí)行結(jié)果進(jìn)行監(jiān)控反饋,實現(xiàn)算法的進(jìn)一步迭代優(yōu)化。
網(wǎng)絡(luò)需求是變化的,各節(jié)點(diǎn)的情況經(jīng)過人工智能計算及時反饋后,采用智能自適應(yīng)和自組織機(jī)制進(jìn)行動態(tài)調(diào)節(jié),可以使分發(fā)控制和負(fù)載均衡控制更有效率。
(1)智能磁盤故障預(yù)測的可行性試驗
現(xiàn)有對智能存儲的研究中,文獻(xiàn)[3]利用BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)(SVM)預(yù)測磁盤故障。文獻(xiàn)[4]提出了一種改進(jìn)的樸素貝斯方法,文獻(xiàn)[5]提出了TSP模型,均對預(yù)測磁盤故障起到了良好效果。
下面通過介紹經(jīng)典SVM算法和BPNN算在磁盤故障預(yù)測上的實驗結(jié)果[3],來說明智能存儲方案的可行性。
SVM是一種從最大間隔出發(fā),最終轉(zhuǎn)化為求對變量凸二次規(guī)劃問題的模型。BPNN是一種利用誤差反向傳播進(jìn)行訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),通過梯度下降等方法,求解網(wǎng)絡(luò)參數(shù),獲得與期望輸出值的誤差均方差最小的實際輸出值。這兩種方法得出的故障檢測率(FDR)的結(jié)果,如圖5所示。BPNN方法在不同的時間窗口條件下,F(xiàn)DR相對穩(wěn)定在93%左右,對于SVM方法,當(dāng)時間窗口增加大于24h后,預(yù)測率由67%增加到97.3%并穩(wěn)定下來。
圖6中誤報率(FAR)刻畫了出現(xiàn)錯誤預(yù)測結(jié)果的可能性。誤報率越低,證明方法的有效性越好。可以看出,SVM方法的誤報率最低值僅有0.05%,最高值也只有0.1%。而BPNN方法的誤報率變化浮動較大,最低值為0.1%,最高值可以達(dá)到1%。
圖5 BPNN和SVM方法的磁盤故障檢測率
圖6 BPNN和SVM方法的磁盤故障誤報率
圖7給出了SVM和BPNN的準(zhǔn)確率結(jié)果??梢钥闯?,BPNN方法從一開始就保持了99%以上的預(yù)測準(zhǔn)確率,而當(dāng)時間窗口大于24h后,SVM方法的預(yù)測準(zhǔn)確率也穩(wěn)定在99%以上。
圖7 BPNN和SVM方法的磁盤故障預(yù)測準(zhǔn)確率
(2)智能磁盤故障預(yù)測與傳統(tǒng)方法效果對比
存儲性能的重要衡量指標(biāo)是磁盤可靠性,MTTDL表示整個大規(guī)模磁盤系統(tǒng)的平均崩潰時間,通常被用來表示磁盤系統(tǒng)的可靠性。如圖8所示,在RAID5的基礎(chǔ)上,采用SVM模型和BPNN模型與僅采用RAID5的傳統(tǒng)方法對比,能夠把存儲系統(tǒng)的MTTDL(圖8中MTTDL的單位為百萬年)提升了好幾個數(shù)量級,說明了故障預(yù)測模型對提高系統(tǒng)可靠性的巨大作用。
圖8 傳統(tǒng)方法與智能故障預(yù)測方法的磁盤系統(tǒng)可靠性結(jié)果對比
(1)智能調(diào)度的可行性試驗
現(xiàn)有對智能調(diào)度的研究中,文獻(xiàn)[6]和文獻(xiàn)[7]分別利用ARIMA模型預(yù)測網(wǎng)絡(luò)流量和設(shè)備資源利用情況。文獻(xiàn)[8]提出了一種MLPNN模型,文獻(xiàn)[9]提出了一種HQENN模型,這兩種模型對網(wǎng)絡(luò)流量和設(shè)備資源利用情況的預(yù)測效果良好。
下面通過介紹經(jīng)典的ARIMA模型對網(wǎng)絡(luò)流量和設(shè)備資源利用情況預(yù)測的實驗結(jié)果[6-7]來說明智能調(diào)度方案的可行性。
ARIMA模型是指將非平穩(wěn)時間序列轉(zhuǎn)化為平穩(wěn)時間序列,然后根據(jù)相關(guān)變量的滯后值和隨機(jī)誤差項的現(xiàn)值和滯后值建立的回歸模型。使用ARIMA模型對未來24h的網(wǎng)絡(luò)流量進(jìn)行預(yù)測,預(yù)測結(jié)果如圖9所示:
圖9 ARIMA模型對網(wǎng)絡(luò)流量的預(yù)測結(jié)果
預(yù)測精度92.85%,平均相對誤差7.15%。從圖9中可以看出,對于ARIMA的網(wǎng)絡(luò)流量預(yù)測,其預(yù)測的準(zhǔn)確度比較高,因此,該模型可用于預(yù)測網(wǎng)絡(luò)流量。
圖10顯示了ARIMA模型對某設(shè)備集群資源利用率(CPU使用率、內(nèi)存使用率和磁盤空間使用率等相關(guān)指標(biāo)的加權(quán)值)的預(yù)測結(jié)果。通過使用ARIMA模型對某信息系統(tǒng)資源利用率進(jìn)行3天的預(yù)測,其平均預(yù)測誤差為2.57%,具有較佳的預(yù)測性能。
圖10 ARIMA模型對資源利用率的預(yù)測結(jié)果
(2)智能調(diào)度與傳統(tǒng)方法實例對比分析
智能調(diào)度在實際應(yīng)用中,主要對設(shè)備資源合理利用和用戶請求分流起著重要作用。以目前中國最火的電商網(wǎng)站——淘寶為例,以前未使用智能調(diào)度方案時,在“雙十一”促銷事件中,由于用戶請求數(shù)量極速增長,淘寶網(wǎng)站的各CDN節(jié)點(diǎn)出現(xiàn)大面積宕機(jī)。但是,從2015年開始,阿里巴巴采用自主研發(fā)的iGraph自動化流量預(yù)測及大規(guī)模數(shù)據(jù)智能調(diào)度系統(tǒng)后,已經(jīng)平穩(wěn)經(jīng)歷了3次“雙十一”大促的歷練,極大程度地提升了服務(wù)質(zhì)量與用戶體驗。
(1)智能分發(fā)的可行性試驗
現(xiàn)有對智能分發(fā)的研究中,文獻(xiàn)[10]利用貝葉斯網(wǎng)絡(luò)預(yù)測視頻內(nèi)容的熱度情況。文獻(xiàn)[11]提出了一種COX比例風(fēng)險回歸模型,文獻(xiàn)[12]提出了一種深度卷積模型,這兩種模型均對視頻內(nèi)容熱度預(yù)測效果良好。
下面通過介紹經(jīng)典的貝葉斯網(wǎng)絡(luò)模型對視頻內(nèi)容熱度預(yù)測的實驗結(jié)果,來說明智能調(diào)度方案的可行性[10]。
貝葉斯網(wǎng)絡(luò)用來表示和推理不確定的條件,可用圖表對不同特征的概率關(guān)系進(jìn)行建模。貝葉斯網(wǎng)絡(luò)的模型如圖11所示,包括熱度、導(dǎo)演、演員三個特征。
圖11 貝葉斯網(wǎng)絡(luò)的模型
利用貝葉斯網(wǎng)絡(luò)方法對視頻熱度的預(yù)測準(zhǔn)確率(Precision)和召回率(Recall)如表1所示。對于特別熱、熱、一般、冷這四種熱度級別的內(nèi)容,其中,特別熱的內(nèi)容預(yù)測準(zhǔn)確度高達(dá)99.4%,提前分發(fā)這些內(nèi)容,能夠大大提升預(yù)緩存策略的有效性。對于其他熱度級別的內(nèi)容,預(yù)測準(zhǔn)確率也尚可接受,且召回率良好。
表1 貝葉斯網(wǎng)絡(luò)的視頻內(nèi)容熱度預(yù)測結(jié)果
(2)智能分發(fā)與傳統(tǒng)方法效果對比
CDN分發(fā)能力的重要衡量指標(biāo)是邊緣節(jié)點(diǎn)緩存命中率。表2展示了傳統(tǒng)方法與采用人工智能方案分發(fā)的緩存命中率對比[13]。在一定時間內(nèi),隨著系統(tǒng)緩存數(shù)據(jù)量的增加,智能預(yù)測分發(fā)方法的本地命中率在緩存了總數(shù)據(jù)量的10%時,命中率就達(dá)到90%,這說明用戶請求的數(shù)據(jù)中,90%的內(nèi)容都已經(jīng)推送到本地邊緣服務(wù)器,遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的達(dá)到分發(fā)閾值后,采用的內(nèi)容先進(jìn)先出(First In First Out,F(xiàn)IFO)方法對于用戶請求內(nèi)容的75%的本地命中率,體現(xiàn)了智能分發(fā)策略的優(yōu)勢。
表2 傳統(tǒng)方法與智能分發(fā)緩存命中結(jié)果對比 %
傳統(tǒng)方法沒有考慮內(nèi)容的未來熱度,只對內(nèi)容的當(dāng)前熱度進(jìn)行了估計,而沒有考慮熱度變化的趨勢,因此,導(dǎo)致了較多數(shù)量的用戶請求在邊緣未命中。
CDN為提高網(wǎng)絡(luò)響應(yīng)速度減少網(wǎng)絡(luò)擁塞起到了重要作用,但是還有很多有待完善的地方,其中最重要的是要引入人工智能機(jī)制。本文通過現(xiàn)有研究的實驗結(jié)果描述了CDN關(guān)鍵技術(shù)中引入人工智能框架的優(yōu)勢,并說明了建立一個真正的智能系統(tǒng)將大大提高CDN的性能,使CDN在存儲、調(diào)度和分發(fā)方面通過預(yù)測來減少盲目性。此外,在CDN的控制機(jī)制上,可以自動實時調(diào)整,針對環(huán)境特征,智能地實現(xiàn)CDN節(jié)點(diǎn)的負(fù)載均衡和自組織優(yōu)化。