,,,,

(1.中國科學(xué)院聲學(xué)研究所 國家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心,北京 100190; 2.中國科學(xué)院大學(xué),北京 100190)

0 概述

目前,在線視頻服務(wù)越來越流行,國內(nèi)在線視頻服務(wù)月度覆蓋人數(shù)已達(dá)5億人,有效使用時(shí)間占所有網(wǎng)絡(luò)服務(wù)使用時(shí)間的33%,占據(jù)網(wǎng)民的最主要上網(wǎng)時(shí)間,2014年,其市場規(guī)模達(dá)到245億元[1]。同時(shí),提供在線視頻服務(wù)的內(nèi)容提供商也越來越多。國內(nèi)的在線視頻服務(wù)網(wǎng)站已有上百家,很多網(wǎng)站都能提供相似的視頻服務(wù),例如,一部當(dāng)前熱播的電視劇,可能在多個(gè)在線視頻網(wǎng)站都可進(jìn)行觀看,但由于各網(wǎng)站的CDN數(shù)目和位置分布不同,調(diào)度策略也不同,不同時(shí)間的網(wǎng)絡(luò)狀況會(huì)有波動(dòng),各網(wǎng)站對(duì)同一內(nèi)容的服務(wù)能力也會(huì)有所差異,并且這種差異性會(huì)隨著時(shí)間有所變化。

因?yàn)橛脩艟W(wǎng)絡(luò)本身具有異構(gòu)性和動(dòng)態(tài)性,而視頻網(wǎng)絡(luò)服務(wù)質(zhì)量受到網(wǎng)絡(luò)狀況的影響又十分顯著,所以對(duì)用戶觀看視頻服務(wù)時(shí)的服務(wù)質(zhì)量進(jìn)行預(yù)測是一件具有挑戰(zhàn)性的工作。海服務(wù)是一種融合用戶端資源的服務(wù)系統(tǒng),是與云服務(wù)互為補(bǔ)充的新型服務(wù)架構(gòu)[2]。利用海服務(wù)的分布式、異構(gòu)式特性,可以有效地預(yù)測和模擬用戶的訪問行為。由其地理分布式特點(diǎn)可以更好地貼近用戶,針對(duì)性地預(yù)測來自不同地區(qū)的用戶訪問時(shí)的服務(wù)質(zhì)量,并提供實(shí)時(shí)的反饋。據(jù)此,本文設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于海服務(wù)的在線視頻網(wǎng)站服務(wù)質(zhì)量測量和推薦系統(tǒng)。該系統(tǒng)可以對(duì)訪問各視頻網(wǎng)站時(shí)的網(wǎng)絡(luò)情況進(jìn)行測量,根據(jù)測量結(jié)果評(píng)估各網(wǎng)站的服務(wù)能力,并且針對(duì)性地給出用戶體驗(yàn)最優(yōu)的網(wǎng)站。此外,該測量系統(tǒng)也可以作為測量工具向第三方應(yīng)用直接提供服務(wù)。

1 相關(guān)研究

本節(jié)主要介紹關(guān)于在線視頻服務(wù)質(zhì)量影響因素和相關(guān)測量的研究。

由于在線視頻服務(wù)的流行,目前有很多在線視頻服務(wù)網(wǎng)絡(luò)特征的相關(guān)研究,對(duì)可能影響用戶QoE的因素進(jìn)行測量和探討。文獻(xiàn)[3]研究了YouTube上QoE降低的一些情況。通過對(duì)手機(jī)用戶YouTube流量軌跡的分析,指出一個(gè)主要CDN的緩存策略可能會(huì)對(duì)最終用戶的QoE造成明顯影響,而不是把QoE下降全部歸因于ISP的流量策略。文獻(xiàn)[4]介紹了不同視頻質(zhì)量參數(shù)對(duì)于用戶參與度的影響,并指出在所有的視頻類型和比特率中,緩沖率對(duì)用戶參與度的影響最大,以及直播中平均碼率的影響要大于其在點(diǎn)播中的影響。文獻(xiàn)[5]指出,在HTTP視頻流服務(wù)中,再緩沖的頻率是影響用戶最終QoE體驗(yàn)的主要因素。文獻(xiàn)[6]研究了PPTV上設(shè)備類型、無線網(wǎng)絡(luò)連接類型和視頻質(zhì)量對(duì)用戶觀看行為和網(wǎng)絡(luò)流量的影響。文獻(xiàn)[7]提出一種偽主觀質(zhì)量評(píng)估(Pseudo Subjective Quality Assessment,PSQA)工具來解決針對(duì)SVC視頻編碼的實(shí)時(shí)QoE測量,并利用隨機(jī)神經(jīng)網(wǎng)絡(luò)來建模視頻編碼參數(shù)和QoE之間的非線性關(guān)系。文獻(xiàn)[8]考察了視頻點(diǎn)播服務(wù)器的性能測試方法。文獻(xiàn)[9]開發(fā)了一套純軟件的分布式視頻會(huì)議系統(tǒng),并能有效地根據(jù)可用帶寬的變化調(diào)整音視頻傳輸?shù)乃俾?以保持終端的播放QoS和同步性。

還有一些研究則特別考慮了在線視頻服務(wù)的CDN情況。文獻(xiàn)[10]提出一個(gè)互聯(lián)網(wǎng)視頻QoE預(yù)測模型,并據(jù)此提出了一個(gè)基于此模型選擇CDN和比特率的交付系統(tǒng)框架,其考慮了各種不同情況下用戶的容忍能力變化來提高整體用戶參與度,與原有方法相比,可以實(shí)現(xiàn)整體用戶參與度超過20%的改善。文獻(xiàn)[11]研究了YouTube的CDN選擇策略,發(fā)現(xiàn)用戶和數(shù)據(jù)中心之間的RTT在視頻服務(wù)器選擇過程中扮演了重要角色,其他可能的影響因素還包括負(fù)載均衡和晝夜影響等。文獻(xiàn)[12]研究了Netflix的體系結(jié)構(gòu)和服務(wù)策略,對(duì)Netflix的CDN情況進(jìn)行了測量,他們采用一種數(shù)據(jù)中心和CDN混合交付的策略,并提出了一種基于自適應(yīng)CDN選擇和多CDN的視頻傳輸策略,可以顯著提高用戶的平均帶寬,另外,還對(duì)Hulu進(jìn)行了類似的研究[13],發(fā)現(xiàn)Hulu會(huì)頻繁地更換優(yōu)先CDN,但是一旦為用戶選定了某個(gè)CDN,即使其性能明顯下降,也會(huì)繼續(xù)由該CDN服務(wù)。文獻(xiàn)[14]則對(duì)Netflix和Hulu的CDN策略進(jìn)行了比較,并提出了基于自適應(yīng)和多CDN的優(yōu)化建議。

上述研究大多集中在對(duì)每個(gè)在線視頻服務(wù)網(wǎng)站的單獨(dú)研究,或是對(duì)不同視頻網(wǎng)站進(jìn)行一些架構(gòu)設(shè)計(jì)和策略上的比較,相較于上述研究,為了向用戶推薦,本文對(duì)提供同一內(nèi)容的不同在線視頻服務(wù)網(wǎng)站進(jìn)行比較性的研究。而且,這些研究幾乎都是基于Youtube、Netflix等國外流行視頻網(wǎng)站,本文研究則主要針對(duì)中國大陸常見的視頻網(wǎng)站,更加重視中國用戶的特點(diǎn)。相對(duì)于國外的在線視頻用戶,中國用戶在地理上分布較為集中,海外訪問比例較低,地理分布情況相對(duì)簡單。但是,由于使用移動(dòng)終端訪問視頻服務(wù)的比例更高,導(dǎo)致了更加復(fù)雜的網(wǎng)絡(luò)和地理環(huán)境變化。另外,中國在線視頻用戶數(shù)量大,用戶密度也遠(yuǎn)遠(yuǎn)大于國外,這一方面導(dǎo)致用戶相互之間的干擾更大,預(yù)測時(shí)需要考慮其他用戶的因素,另一方面相似度較大的用戶也會(huì)更多,有利于協(xié)同預(yù)測。

此外,這些研究通常將同一在線視頻服務(wù)網(wǎng)站的內(nèi)容不加區(qū)分地視為一體,或是粗略地按照直播/點(diǎn)播,亦或是長視頻/短視頻等屬性進(jìn)行分類,而本文研究中的測量系統(tǒng)在測量過程中更加重視不同視頻的不同特征,并將在后續(xù)研究中探索和視頻服務(wù)質(zhì)量的特征關(guān)系更加緊密的分類模式。

2 基于海服務(wù)架構(gòu)的視頻服務(wù)測量系統(tǒng)

本節(jié)將介紹海服務(wù)的概念及本文所設(shè)計(jì)實(shí)現(xiàn)的基于海服務(wù)架構(gòu)的視頻服務(wù)測量系統(tǒng)的基本架構(gòu)。

2.1 海服務(wù)

文獻(xiàn)[2]提出了海服務(wù)的架構(gòu)。海服務(wù)即在充分考慮網(wǎng)絡(luò)和服務(wù)特性的基礎(chǔ)上,利用網(wǎng)絡(luò)邊緣設(shè)備提供的現(xiàn)場(on-Site)、彈性(Elastic)、自治的(Autonomous)服務(wù)。該服務(wù)可以用于構(gòu)建以用戶為中心的需要滿足在線實(shí)時(shí)、準(zhǔn)實(shí)時(shí)要求的應(yīng)用。

目前在移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)服務(wù)中,一方面,用戶和各類端設(shè)備會(huì)產(chǎn)生大量的數(shù)據(jù)和請(qǐng)求,另一方面,各種應(yīng)用對(duì)于實(shí)時(shí)性的要求越來越高,所以,迫切需要更加現(xiàn)場性的服務(wù)。海服務(wù)的提出就是為了探索如何解決越來越大的數(shù)據(jù)處理需求和越來越高的實(shí)時(shí)響應(yīng)要求之間的矛盾。

在海服務(wù)架構(gòu)中,網(wǎng)絡(luò)中的邊緣設(shè)備被視為“?！倍?而傳統(tǒng)的數(shù)據(jù)中心模式則作為“云”端。對(duì)于實(shí)時(shí)性要求高、涉及到的數(shù)據(jù)地理分布集中的請(qǐng)求,直接在海端進(jìn)行響應(yīng)。而對(duì)于實(shí)時(shí)性要求較低,涉及到的數(shù)據(jù)地理分布廣泛,如關(guān)于大規(guī)模數(shù)據(jù)的模型構(gòu)建等需求,則匯總到云端處理。文獻(xiàn)[15]研究了海云協(xié)同下的共性服務(wù)模式。

在海服務(wù)中,海端表現(xiàn)出物聯(lián)網(wǎng)系統(tǒng)所具有的異構(gòu)性、混雜性和超大規(guī)模特性。異構(gòu)性表現(xiàn)在海節(jié)點(diǎn)可能由不同制造商、不同擁有者、不同類型以及不同范疇的對(duì)象網(wǎng)絡(luò)組成;混雜性意味著網(wǎng)絡(luò)形態(tài)、組成、場景、服務(wù)和應(yīng)用等多方面的混雜;超大規(guī)模表現(xiàn)在海節(jié)點(diǎn)在全球范圍內(nèi)與用戶端的深度融合。

上述特性要求海服務(wù)平臺(tái)在數(shù)據(jù)管理和任務(wù)支持中必須采用不同的新技術(shù)來處理不同格式的大數(shù)據(jù),并且設(shè)計(jì)新的系統(tǒng)架構(gòu)來支持現(xiàn)在的多樣化需求,既能滿足依賴較少數(shù)據(jù)和計(jì)算資源任務(wù)的實(shí)時(shí)響應(yīng)服務(wù)的需求,也能滿足依賴大量數(shù)據(jù)和計(jì)算資源但不要求實(shí)時(shí)響應(yīng)的服務(wù)的需求。文獻(xiàn)[16]提出了一種面向大數(shù)據(jù)管理的海云協(xié)同模型。

而本文中提出的在線視頻網(wǎng)站服務(wù)質(zhì)量測量和推薦系統(tǒng),既需要實(shí)時(shí)響應(yīng),向用戶提供推薦結(jié)果,又需要大規(guī)模計(jì)算,生成預(yù)測和推薦模型。用戶節(jié)點(diǎn)和各類測量節(jié)點(diǎn)表現(xiàn)出了明顯的異構(gòu)性和混雜性,利用海服務(wù)的相關(guān)特性可以很好地支持該系統(tǒng)構(gòu)建。

2.2 基于海服務(wù)架構(gòu)的視頻服務(wù)測量系統(tǒng)構(gòu)建

本節(jié)將介紹本文設(shè)計(jì)和實(shí)現(xiàn)的在線視頻網(wǎng)站服務(wù)質(zhì)量測量和推薦系統(tǒng),并著重對(duì)下文所分析的數(shù)據(jù)的主要來源,即負(fù)責(zé)測量和推薦部分的設(shè)計(jì)和實(shí)現(xiàn)進(jìn)行詳細(xì)的介紹。

一個(gè)在線視頻網(wǎng)站服務(wù)質(zhì)量測量和推薦系統(tǒng)已經(jīng)被設(shè)計(jì)和實(shí)現(xiàn),該系統(tǒng)是基于海服務(wù)的架構(gòu)進(jìn)行設(shè)計(jì)的。

在該系統(tǒng)中,中心節(jié)點(diǎn)作為傳統(tǒng)的數(shù)據(jù)中心,將數(shù)據(jù)匯總到“云”端,并且負(fù)責(zé)需要大規(guī)模運(yùn)算的預(yù)測和推薦模型訓(xùn)練任務(wù)。中心服務(wù)器擁有多個(gè)位于網(wǎng)絡(luò)邊緣的代理服務(wù)器,用戶在訪問推薦服務(wù)時(shí)會(huì)被調(diào)度到網(wǎng)絡(luò)中距用戶最近的代理服務(wù)器,與代理服務(wù)器進(jìn)行直接交互。中心服務(wù)器訓(xùn)練的預(yù)測和推薦模型會(huì)被下發(fā)到代理服務(wù)器,代理服務(wù)器據(jù)此為用戶做出快速的推薦服務(wù)。

該系統(tǒng)中設(shè)置的測量節(jié)點(diǎn)分布于不同地區(qū)和運(yùn)營商,可以根據(jù)測量節(jié)點(diǎn)和用戶的位置關(guān)系為用戶提供個(gè)性化的視頻網(wǎng)站推薦。此外,該系統(tǒng)會(huì)被動(dòng)收集用戶觀看時(shí)的服務(wù)質(zhì)量參數(shù),并將用戶端直接收集到的服務(wù)質(zhì)量參數(shù)也匯總加入模型訓(xùn)練;用戶端也可以主動(dòng)地對(duì)在線視頻服務(wù)網(wǎng)站進(jìn)行掃描,測量延遲等可以快速簡易地測得服務(wù)質(zhì)量參數(shù)。由用戶端、測量節(jié)點(diǎn)和代理服務(wù)器共同構(gòu)成了該測量和推薦系統(tǒng)的“?！倍恕?/p>

基于海服務(wù)的架構(gòu),該系統(tǒng)可以繼承海服務(wù)平臺(tái)的數(shù)據(jù)管理和任務(wù)支持特性以支持多樣化的需求,既可以實(shí)時(shí)響應(yīng)向用戶提供推薦,也可以對(duì)歷史數(shù)據(jù)進(jìn)行大規(guī)模訓(xùn)練和學(xué)習(xí),不斷優(yōu)化推薦方式。測量節(jié)點(diǎn)之間可以完成彈性、自治的任務(wù)調(diào)度。例如,相似節(jié)點(diǎn)之間可以共享任務(wù),當(dāng)出現(xiàn)異常情況時(shí),測量節(jié)點(diǎn)間也可以互相通知。例如,當(dāng)A節(jié)點(diǎn)的任務(wù)過多無法完成時(shí),可以與A節(jié)點(diǎn)相似、任務(wù)較少的B節(jié)點(diǎn)協(xié)作,共同完成測量,減少測量時(shí)間;當(dāng)A節(jié)點(diǎn)測量到某視頻內(nèi)容x失效,即多次測量均無法獲得有效結(jié)果時(shí),可以通知與A節(jié)點(diǎn)不相似的C、D節(jié)點(diǎn)也對(duì)x進(jìn)行測量,驗(yàn)證其無效后上報(bào)云端處理。

基于海服務(wù)架構(gòu)的視頻服務(wù)測量系統(tǒng)功能結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)功能結(jié)構(gòu)

2.2.1 系統(tǒng)介紹

該測量和推薦系統(tǒng)主要分為3個(gè)部分:數(shù)據(jù)采集子系統(tǒng),網(wǎng)絡(luò)測量子系統(tǒng)和交互服務(wù)子系統(tǒng)。其中,數(shù)據(jù)采集子系統(tǒng)主要負(fù)責(zé)元數(shù)據(jù)的采集和匯聚,該子系統(tǒng)可以從各視頻網(wǎng)站上獲取視頻播放地址,以及視頻內(nèi)容名稱、視頻長度、影片海報(bào)、在原視頻網(wǎng)站上的點(diǎn)擊量、評(píng)論量等元數(shù)據(jù),并根據(jù)視頻內(nèi)容進(jìn)行匯聚。數(shù)據(jù)服務(wù)包括管理中心和執(zhí)行節(jié)點(diǎn),管理中心負(fù)責(zé)發(fā)布采集任務(wù),由執(zhí)行節(jié)點(diǎn)采集、抽取數(shù)據(jù)后進(jìn)行清洗,然后向管理中心發(fā)布數(shù)據(jù)采集結(jié)果,由管理中心匯總數(shù)據(jù),并具體進(jìn)行處理,然后向交互服務(wù)子系統(tǒng)進(jìn)行發(fā)布,具體工作流程如圖2所示。

圖2 數(shù)據(jù)采集系統(tǒng)工作流程

網(wǎng)絡(luò)測量子系統(tǒng)負(fù)責(zé)對(duì)各視頻網(wǎng)站進(jìn)行測量,并對(duì)測量結(jié)果進(jìn)行數(shù)據(jù)分析,根據(jù)相關(guān)的分析和預(yù)測結(jié)果提供服務(wù)源推薦。該子系統(tǒng)可以從交互服務(wù)子系統(tǒng)獲取由數(shù)據(jù)采集系統(tǒng)發(fā)布的元數(shù)據(jù),然后對(duì)所采集到的視頻進(jìn)行測量,并且對(duì)測量結(jié)果進(jìn)行分析和建模。當(dāng)交互服務(wù)子系統(tǒng)請(qǐng)求視頻時(shí),該子系統(tǒng)可以根據(jù)測量結(jié)果對(duì)具體視頻提供服務(wù)源推薦結(jié)果。

交互服務(wù)子系統(tǒng)負(fù)責(zé)與終端交互和信息匯總,包括根據(jù)元數(shù)據(jù)和測量結(jié)果向終端用戶提供影片列表、根據(jù)服務(wù)源推薦結(jié)果對(duì)該影片的服務(wù)源進(jìn)行排序、從用戶選中的服務(wù)源獲取影片并最終向用戶提供播放服務(wù)。在向用戶提供服務(wù)的過程中,視頻點(diǎn)播、多屏互動(dòng)、內(nèi)容上線、下線、更新可播性狀態(tài)等功能都需要經(jīng)由交互服務(wù)完成。數(shù)據(jù)服務(wù)定期把新采集數(shù)據(jù)或更新數(shù)據(jù)發(fā)布給內(nèi)容管理,由內(nèi)容管理向測量服務(wù)通知測試任務(wù),測量服務(wù)測試后把測試結(jié)果通知給內(nèi)容服務(wù)。

2.2.2 網(wǎng)絡(luò)測量子系統(tǒng)

網(wǎng)絡(luò)測量子系統(tǒng)主要負(fù)責(zé)對(duì)各視頻網(wǎng)站的服務(wù)等級(jí)進(jìn)行測量,并根據(jù)測量結(jié)果向用戶進(jìn)行推薦,其工作流程如圖3所示。

圖3 網(wǎng)絡(luò)測量系統(tǒng)工作流程

測量服務(wù)包括管理中心、服務(wù)代理和測量節(jié)點(diǎn)。測量節(jié)點(diǎn)又分成2類,即可播性測量節(jié)點(diǎn)、播放質(zhì)量測量節(jié)點(diǎn)。

管理中心從測量服務(wù)代理接收2類測試任務(wù)。對(duì)于可播性測量任務(wù),管理中心及時(shí)向可播性測量節(jié)點(diǎn)派遣測試任務(wù),可播性測試節(jié)點(diǎn)測試完畢后,預(yù)處理測試結(jié)果并向管理中心發(fā)布測試結(jié)果,管理中心匯總測試結(jié)果,發(fā)布給測量代理,由測量代理通知給內(nèi)容管理系統(tǒng);對(duì)于播放質(zhì)量測量,管理中心及時(shí)向播放質(zhì)量測量節(jié)點(diǎn)分配測試任務(wù),測量節(jié)點(diǎn)優(yōu)先執(zhí)行該任務(wù),在測試完畢后,預(yù)處理測試結(jié)果并向管理中心發(fā)布,管理中心匯總測試結(jié)果,并進(jìn)行最終發(fā)布。

測量服務(wù)代理完成從內(nèi)容管理系統(tǒng)接收測試任務(wù)、測試結(jié)果反饋,并為交互門戶提供點(diǎn)播源服務(wù)排名,測量代理統(tǒng)計(jì)熱度,管理中心定期獲取熱度,作為質(zhì)量探測優(yōu)先級(jí)參考。

為便于管理,測量節(jié)點(diǎn)不持久化測試結(jié)果,由中心統(tǒng)一持久化,且分為臨時(shí)存儲(chǔ)和持久存儲(chǔ),即從各測量節(jié)點(diǎn)收集的測量結(jié)果存儲(chǔ)到臨時(shí)存儲(chǔ)中,分析后的結(jié)果將存儲(chǔ)在持久存儲(chǔ)中。

為了減少對(duì)IP分析系統(tǒng)的請(qǐng)求壓力,測量服務(wù)代理和管理中心會(huì)緩存IP地址信息及有效時(shí)間,當(dāng)在有效時(shí)間內(nèi),不再向IP分析系統(tǒng)發(fā)起請(qǐng)求。

無論是可播性還是播放質(zhì)量測量節(jié)點(diǎn),當(dāng)收到測量請(qǐng)求時(shí),會(huì)先向解析服務(wù)請(qǐng)求URL解析,對(duì)視頻播放URL進(jìn)行分析,根據(jù)視頻服務(wù)網(wǎng)站的CDN調(diào)度,獲取相應(yīng)的視頻不同清晰度的真實(shí)下載地址。在獲得視頻下載地址后,測量節(jié)點(diǎn)會(huì)對(duì)各清晰度的視頻依次嘗試請(qǐng)求并進(jìn)行一段下載,記測量節(jié)點(diǎn)向視頻下載地址發(fā)出請(qǐng)求后,到獲得響應(yīng)的時(shí)間為視頻的請(qǐng)求延遲;記測量節(jié)點(diǎn)在進(jìn)行下載時(shí)的下載速率為視頻的下載速率,并將記錄的測量結(jié)果匯總到測量管理中心。

該系統(tǒng)設(shè)計(jì)的難點(diǎn)在于,為了做出最優(yōu)的推薦,系統(tǒng)需要收集來自多種終端和方式的測量結(jié)果。所收集的對(duì)象既有特意部署的測量節(jié)點(diǎn)進(jìn)行的規(guī)律性測量結(jié)果,也有智能網(wǎng)關(guān)收集到的被動(dòng)測量結(jié)果,還有用戶終端的觀看日志等。要對(duì)大量不同的結(jié)果進(jìn)行收集存儲(chǔ),并綜合處理用于預(yù)測和推薦。這些數(shù)據(jù)還要用于多種不同的服務(wù),既要用于快速地向用戶提供實(shí)時(shí)推薦結(jié)果,也要用于模型的訓(xùn)練和優(yōu)化,甚至進(jìn)一步用于深度挖掘。

要對(duì)這些大數(shù)據(jù)進(jìn)行不同級(jí)別的收集和處理,需要采用新的數(shù)據(jù)處理技術(shù)。本文研究中利用海服務(wù)的思想構(gòu)建該系統(tǒng),將多種測量終端統(tǒng)一作為“海端”,據(jù)此對(duì)這些數(shù)據(jù)進(jìn)行收集和管理。海服務(wù)平臺(tái)的特性使得該系統(tǒng)可以很好地支持多種服務(wù)場景。

3 數(shù)據(jù)集

本節(jié)將對(duì)已經(jīng)測量到的數(shù)據(jù)集進(jìn)行一個(gè)概括性的描述。首先介紹測量節(jié)點(diǎn)的部署與測量數(shù)據(jù)的結(jié)構(gòu);然后介紹測量數(shù)據(jù)的整體特征;最后對(duì)已集中測量的部分?jǐn)?shù)據(jù)形成的數(shù)據(jù)集進(jìn)一步分析測量數(shù)據(jù)的一些特點(diǎn)。

上述系統(tǒng)被部署在1個(gè)管理中心和50個(gè)測量節(jié)點(diǎn)上,并對(duì)15家視頻網(wǎng)站進(jìn)行了9個(gè)月的測量,獲得約150 GB的測量結(jié)果數(shù)據(jù)。

從上述所有的測量結(jié)果中,選擇了在12個(gè)節(jié)點(diǎn)上,對(duì)6個(gè)主要視頻網(wǎng)站的336個(gè)視頻節(jié)目測量的一個(gè)月的數(shù)據(jù)(測量時(shí)間為2015-08-01—2015-08-31),共計(jì)4 622 359條測量結(jié)果,形成下一步研究中所用的數(shù)據(jù)集。

3.1 測量數(shù)據(jù)格式

元數(shù)據(jù)信息由爬蟲子系統(tǒng)收集整理,已收集的元數(shù)據(jù)信息如表1所示。

表1 抓取到的視頻元數(shù)據(jù)信息

已部署的測量節(jié)點(diǎn)在測量過程中收集到的數(shù)據(jù)如表2所示。根據(jù)這些測量數(shù)據(jù)本文進(jìn)行了初步的分析和統(tǒng)計(jì)。

表2 測量到的數(shù)據(jù)項(xiàng)

在表2中,視頻的播放地址由內(nèi)容管理子系統(tǒng)傳入,即在線視頻服務(wù)網(wǎng)頁播放時(shí)的URL;測量時(shí)間為測量該條測量結(jié)果的時(shí)間,用Unix時(shí)間戳表示,精確到秒;延遲為訪問視頻到視頻開始播放之間的時(shí)間差;帶寬計(jì)算方法為:先下載一小段視頻(本文測量時(shí)設(shè)置為50 KB)并記錄下載時(shí)間,然后利用下載時(shí)間計(jì)算下載速率;清晰度為測量該條測量結(jié)果時(shí)所測量的清晰度,數(shù)據(jù)集中清晰度有4個(gè)取值(1-超清,2-高清,3-標(biāo)清,4-流暢)。

3.2 數(shù)據(jù)集統(tǒng)計(jì)信息

本節(jié)將對(duì)所使用的數(shù)據(jù)集的整體統(tǒng)計(jì)信息進(jìn)行討論,包括測量結(jié)果的分布以及不同地區(qū)、網(wǎng)站、ISP測量結(jié)果分布的異同。

3.2.1 不同地區(qū)的測量結(jié)果

本節(jié)按照測量節(jié)點(diǎn)所處的地區(qū)不同對(duì)測量結(jié)果進(jìn)行了分類統(tǒng)計(jì)。不同地區(qū)的測量節(jié)點(diǎn)測量到的測量結(jié)果概況如表3和圖4、圖5所示。

表3 不同地區(qū)的測量結(jié)果

圖4 不同地區(qū)的延遲概率密度分布

圖5 不同地區(qū)的帶寬概率密度分布

表3是不同地區(qū)的測量結(jié)果概況,在所整理的數(shù)據(jù)集中,包含位于8個(gè)不同城市的測量節(jié)點(diǎn),對(duì)于每個(gè)地區(qū)至少收集了30萬條有效測量結(jié)果。其中,沈陽的測量節(jié)點(diǎn)的平均延遲最小,鄭州的測量節(jié)點(diǎn)的平均延遲最大,所有節(jié)點(diǎn)的平均延遲均在0.1 s數(shù)量級(jí)。

在測量結(jié)果中,西安的平均下載速率最大,北京的平均下載速率最小,成都次之,且和北京的平均下載速率非常接近。所有地區(qū)的平均下載速率數(shù)量級(jí)均在103KB/s。

圖4是不同地區(qū)的延遲測量結(jié)果的概率密度分布(PDF)情況,從圖4中可以看出,大多數(shù)地區(qū)的延遲測量結(jié)果的概率密度呈單峰分布,如沈陽、深圳、杭州、大連、北京、成都,其中,沈陽、深圳、杭州、大連、北京的延遲集中在<0.1 s,成都的延遲則主要集中在0.1 s,沈陽的延遲測量結(jié)果最為集中,而北京的延遲測量結(jié)果則最為分散。鄭州和西安的測量結(jié)果的概率密度則呈現(xiàn)雙峰分布,鄭州的延遲測量結(jié)果主要集中在<0.1 s,即概率密度函數(shù)的最高峰,在0.6 s處有一個(gè)明顯的次高峰,也就是說也測到了大量0.6 s附近的延遲。西安的測量結(jié)果主要集中在0.1 s,次高峰位于0.5 s。

圖5是不同地區(qū)的下載速率測量結(jié)果的概率密度分布(PDF)情況。從測量結(jié)果來看,大多數(shù)地區(qū)的下載速率都呈現(xiàn)明顯的多峰分布。其中下載速率測量結(jié)果最為集中的是深圳地區(qū),下載速率集中在1 200 KB/s附近呈單峰分布,下載速率分布最為分散的則是杭州地區(qū)的測量結(jié)果,其峰值集中在1 500 KB/s,且在圖中可以明顯看到4個(gè)集中程度較低的峰值。

由圖5可知,不同地區(qū)的測量結(jié)果在統(tǒng)計(jì)特征和概率密度分布上都有明顯的差異,在后續(xù)的測量和預(yù)測中有必要考慮地區(qū)差異。由于不同地區(qū)的網(wǎng)絡(luò)鏈路不同,考慮網(wǎng)站分發(fā)策略和用戶網(wǎng)絡(luò)環(huán)境,使得不同地區(qū)的測量結(jié)果差異極大。

3.2.2 不同網(wǎng)站的測量結(jié)果

本節(jié)按照測量的視頻來自的在線視頻服務(wù)網(wǎng)站不同對(duì)測量結(jié)果進(jìn)行了分類統(tǒng)計(jì)。不同網(wǎng)站的測量節(jié)點(diǎn)測量到的測量結(jié)果如表4和圖6、圖7所示。

表4 不同網(wǎng)站的測量結(jié)果

圖6 不同網(wǎng)站的延遲概率密度分布

圖7 不同網(wǎng)站的帶寬概率密度分布

表4是不同網(wǎng)站的測量結(jié)果,在所整理的數(shù)據(jù)集中,包含位于6個(gè)不同在線視頻服務(wù)網(wǎng)站的測量節(jié)點(diǎn),對(duì)于每個(gè)網(wǎng)站至少收集了18萬條有效測量結(jié)果。其中,愛奇藝的平均延遲最小,華數(shù)網(wǎng)的平均延遲最大,除華數(shù)網(wǎng)外,所有網(wǎng)站的平均延遲均在0.1 s數(shù)量級(jí),華數(shù)網(wǎng)的平均延遲則在1 s數(shù)量級(jí)。

在測量結(jié)果中,樂視網(wǎng)的平均下載速率最大,土豆網(wǎng)的平均下載速率最小,優(yōu)酷網(wǎng)的平均下載速率僅略高于土豆網(wǎng)。所有視頻網(wǎng)站的平均下載速率數(shù)量級(jí)均在103KB/s。

圖6是不同在線視頻服務(wù)網(wǎng)站的延遲測量結(jié)果的概率密度分布(PDF)情況,從圖6中可以看出,除愛奇藝外,各網(wǎng)站的延遲測量結(jié)果的概率密度均呈單峰分布,其中,華數(shù)網(wǎng)的延遲測量結(jié)果集中在0.2 s附近,優(yōu)酷、土豆、搜狐、樂視的延遲測量結(jié)果均集中在<0.1 s,優(yōu)酷和土豆的延遲測量結(jié)果最為集中,搜狐略次之,而華數(shù)的延遲測量結(jié)果則最為分散。愛奇藝的延遲測量結(jié)果的概率密度呈現(xiàn)雙峰分布,延遲測量結(jié)果主要集中在<0.1 s,即概率密度函數(shù)的最高峰,次高峰位于0.7 s。

圖7是不同在線視頻服務(wù)網(wǎng)站的下載速率測量結(jié)果的概率密度分布(PDF)情況。從圖7中可以看出,所有網(wǎng)站的下載速率都呈現(xiàn)明顯的多峰分布,而且各網(wǎng)站PDF的3個(gè)最高峰都位于300 KB/s、700 KB/s和1 100 KB/s附近,但該3個(gè)峰值的排序不同。其中下載速率測量結(jié)果最為集中的是愛奇藝網(wǎng)站,下載速率PDF最高峰集中在300 KB/s附近,下載速率分布最為分散的則是樂視網(wǎng)的下載速率測量結(jié)果,其PDF最高峰集中在1 200 KB/s,且在圖7中可以明顯看到至少5個(gè)集中程度較低的峰值。

不同網(wǎng)站的測量結(jié)果統(tǒng)計(jì)信息也有明顯的差異,但是程度不及不同地區(qū)的測量結(jié)果差異高。其原因是不同網(wǎng)站的測量差別僅來源于網(wǎng)站的分發(fā),測量端的網(wǎng)絡(luò)環(huán)境相似。特別當(dāng)性能瓶頸處于測量端時(shí),不同網(wǎng)站的測量結(jié)果分布十分相似。

3.2.3 不同ISP的測量結(jié)果

本節(jié)按照測量節(jié)點(diǎn)所在的服務(wù)提供商(ISP)不同對(duì)測量結(jié)果進(jìn)行了分類統(tǒng)計(jì)。不同網(wǎng)站的測量節(jié)點(diǎn)測量到的測量結(jié)果如表5和圖8、圖9所示。

表5 不同ISP的測量結(jié)果

圖8 不同ISP的延遲概率密度分布

圖9 不同ISP的帶寬概率密度分布

表5是不同網(wǎng)絡(luò)服務(wù)提供商(ISP)的測量結(jié)果概況,在所整理的數(shù)據(jù)集中,包含位于4個(gè)不同網(wǎng)絡(luò)提供商網(wǎng)絡(luò)的測量節(jié)點(diǎn),對(duì)于每個(gè)網(wǎng)絡(luò)提供商至少收集了36萬條有效測量結(jié)果。其中,電信網(wǎng)絡(luò)中的測量節(jié)點(diǎn)的平均延遲最小,移動(dòng)網(wǎng)絡(luò)中的測量節(jié)點(diǎn)的平均延遲最大,所有ISP的平均延遲均在0.1 s數(shù)量級(jí)。

在測量結(jié)果中,聯(lián)通網(wǎng)絡(luò)中的平均下載速率最大,電信次之,光環(huán)新網(wǎng)中的平均下載速率最小,移動(dòng)次之。所有ISP的平均下載速率數(shù)量級(jí)均在103KB/s。

圖8是不同網(wǎng)絡(luò)服務(wù)提供商的延遲測量結(jié)果的概率密度分布(PDF)情況,從圖8中可以看出,各ISP的延遲測量結(jié)果的概率密度均呈單峰分布,其中,移動(dòng)的延遲測量結(jié)果集中在0.2 s附近,聯(lián)通、電信和光環(huán)新網(wǎng)的延遲測量結(jié)果均集中在<0.1 s,電信的延遲測量結(jié)果最為集中,移動(dòng)的延遲測量結(jié)果則最為分散。

圖9是不同網(wǎng)絡(luò)服務(wù)提供商的下載速率測量結(jié)果的概率密度分布(PDF)情況。從圖9中可以看出,除移動(dòng)外,各ISP的下載速率測量結(jié)果都呈現(xiàn)明顯的多峰分布。其中下載速率測量結(jié)果最為集中的是移動(dòng),下載速率PDF最高峰集中在200 KB/s附近呈單峰分布,其余3個(gè)ISP的下載速率分布均較為分散,包含至少4個(gè)明顯的峰值,且相互之間差異較大。

由上述結(jié)果可知,不同ISP的統(tǒng)計(jì)信息看起來差別不大,但概率密度分布有明顯區(qū)別,各ISP測量結(jié)果聚集的位置各不相同。在后續(xù)測量和預(yù)測中同樣需要考慮其差異性。

可以看出在已有的測量結(jié)果中,各運(yùn)營商、視頻網(wǎng)站、不同地區(qū)的測量結(jié)果均有明顯的差異。延遲的測量結(jié)果相對(duì)比較集中,相較而言,各分類下載速率的測量結(jié)果都有明顯的區(qū)分,而下載速率恰恰對(duì)用戶的觀看體驗(yàn)有較大的影響。上述測量結(jié)果說明,對(duì)測量數(shù)據(jù)進(jìn)行分析并向用戶推薦是十分有必要的。后續(xù)研究中將進(jìn)一步對(duì)這些性能差異進(jìn)行分析,為向用戶推薦服務(wù)源提供更多的理論依據(jù)。最終將根據(jù)數(shù)據(jù)分析的結(jié)果優(yōu)化推薦系統(tǒng)。

4 結(jié)束語

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)在線視頻網(wǎng)站服務(wù)質(zhì)量測量和推薦系統(tǒng)。該系統(tǒng)可以實(shí)現(xiàn)對(duì)多個(gè)在線視頻服務(wù)網(wǎng)站的網(wǎng)絡(luò)性能測量,在利用爬蟲獲取在線視頻服務(wù)視頻內(nèi)容列表的基礎(chǔ)上,對(duì)列表中的視頻內(nèi)容的網(wǎng)絡(luò)性能進(jìn)行測量。根據(jù)測量和數(shù)據(jù)分析的結(jié)果,針對(duì)用戶需要觀看的具體視頻內(nèi)容,可以向用戶提供服務(wù)源推薦,使用戶可以利用該系統(tǒng)獲得當(dāng)前網(wǎng)絡(luò)狀況下,對(duì)該視頻內(nèi)容最佳的觀看體驗(yàn)。使用已經(jīng)實(shí)現(xiàn)的測量和推薦系統(tǒng),利用多個(gè)測量節(jié)點(diǎn)對(duì)部分在線視頻服務(wù)網(wǎng)站進(jìn)行了測量,驗(yàn)證了該系統(tǒng)可以實(shí)現(xiàn)相關(guān)測量和推薦功能,并收集了大量的測量結(jié)果。下一步將對(duì)同一個(gè)視頻網(wǎng)站的不同視頻之間的性能差異進(jìn)行分析,同時(shí)研究視頻的網(wǎng)絡(luò)性能變化規(guī)律。

[1] 艾瑞咨詢.2015年中國在線視頻行業(yè)年報(bào)監(jiān)測報(bào)告[Z].2015.

[2] 王勁林,田 靜,尤佳莉,等.一種現(xiàn)場、彈性、自治的網(wǎng)絡(luò)服務(wù)系統(tǒng)——海服務(wù)系統(tǒng)研究與設(shè)計(jì)[J].中國科學(xué):信息科學(xué),2015,45(10):1237-1248.

[3] CASAS P,D’ALCONZ O,FIADINO P,et al.On the analysis of QoE-based performance degradation in YouTube traffic[C]//Proceedings of International Conference on Network and Service Management.Washington D.C.,USA:IEEE Press,2014:1-9.

[4] DOBRIAN F,SEKAR V,AWAN A,et al.Understanding the impact of video quality on user engagement[J].Communications of the ACM,2013,41(4):362-373.

[5] MOK R K P,CHAN E W W,CHANG R K C.Measuring the quality of experience of HTTP video streaming[C]//Proceedings of IEEE International Sympo-sium on Integrated Network Management.Dublin,Ireland:IEEE Press,2011:485-492.

[6] ZHOU C,GUO Y,CHEN Y,et al.Characterizing user watching behavior and video quality in mobile devices[C]//Proceedings of IEEE International Conference on Computer Communication and Networks.Washington D.C.,USA:IEEE Press,2014:125-134.

[7] MOHAMED S,RUBINO G.A study of real-time packet video quality using random neural networks[J].IEEE Transactions on Circuits & Systems for Video Technology,2002,12(12):1071-1083.

[8] 周應(yīng)超,苗彥超,郝 敏,等.視頻服務(wù)器性能測試研究[J].計(jì)算機(jī)工程,2004,30(14):133-135.

[9] 宋 玲,胡凡良.純軟件視頻會(huì)議系統(tǒng)視音頻QoS的研究與控制[J].計(jì)算機(jī)工程,2006,32(16):221-223.

[10] BALACHANDRAN A,SEKAR V,AKELLA A,et al.Developing a predictive model of quality of experience for internet video[J].ACM SIGCOMM Computer Communication Review,2013,43(4):339-350.

[11] LIEBHARDT H,STOLZ K,MORTL K,et al.Dissecting video server selection strategies in the YouTube CDN[C]//Proceedings of International Conference on Distributed Computing Systems.Washington D.C.,USA:IEEE Computer Society,2011:248-257.

[12] ADHIKARI V K,GUO Y,HAO F,et al.Unreeling netflix:understanding and improving multi-CDN movie delivery[C]//Proceedings of IEEE INFOCOM’12.Washington D.C.,USA:IEEE Press,2012:1620-1628.

[13] ADHIKARI V K,YANG G,FANG H,et al.A Tale of three CDNs:an active measurement study of hulu and its CDNs[C]//Proceedings of Computer Communica-tions Workshops.Washington D.C.,USA:IEEE Press,2012:7-12.

[14] ADHIKARI V K,GUO Y,HAO F,et al.Measurement study of Netflix,Hulu,and a tale of three CDNs[J].IEEE/ACM Transactions on Networking,2015,23(6):1984-1997.

[15] 封松林,寧德軍,張紅廣,等.面向海云協(xié)同的共性服務(wù)綜述[J].網(wǎng)絡(luò)新媒體技術(shù),2014,3(1):1-7.

[16] 趙永波,陳曙東,管江華,等.基于海云協(xié)同的物聯(lián)網(wǎng)大數(shù)據(jù)管理[J].集成技術(shù),2014(3):49-60.