文/楊春玲 張建偉 王勇超
構(gòu)建支持IPv6的視頻服務(wù)系統(tǒng)
——百萬(wàn)冊(cè)數(shù)字圖書系統(tǒng)IPv6技術(shù)升級(jí)視頻服務(wù)功能
文/楊春玲1張建偉2王勇超1
通過(guò)對(duì)P2P網(wǎng)絡(luò)性能的研究與優(yōu)化,包括對(duì)Track算法和P2P網(wǎng)絡(luò)激勵(lì)機(jī)制的研究,實(shí)現(xiàn)了百萬(wàn)冊(cè)數(shù)字圖書系統(tǒng)中視頻服務(wù)子功能的升級(jí)。
原百萬(wàn)冊(cè)數(shù)字圖書系統(tǒng)中的視頻服務(wù)是采用傳統(tǒng)的C/S架構(gòu)的視頻服務(wù)系統(tǒng),其并發(fā)量受視頻服務(wù)器接入帶寬限制,實(shí)踐表明,不能提供大規(guī)模(并發(fā)量>1000)視頻服務(wù);而目前支持IPv6的P2P視頻服務(wù)系統(tǒng),實(shí)效性和可控性太差;基于CDN的視頻服務(wù),需要構(gòu)建一定量的內(nèi)容分發(fā)服務(wù)器,實(shí)現(xiàn)難度較大。為實(shí)現(xiàn)IPv6下,大規(guī)??煽乜蓴U(kuò)展的視頻服務(wù)系統(tǒng),不同的團(tuán)隊(duì)做出了不同的嘗試。例如, 北郵王振華等通過(guò)P2P和CDN相結(jié)合的方式在CNGI-CERNET2上實(shí)現(xiàn)了大規(guī)模視頻點(diǎn)播與直播系統(tǒng),并且至少在7所高校部署了10~15臺(tái)內(nèi)容發(fā)布服務(wù)器。然而為了與百萬(wàn)冊(cè)數(shù)字圖書資源系統(tǒng)保持一致,跨學(xué)校部署服務(wù)器的方案并不適合浙江大學(xué)。我們通過(guò)對(duì)P2P網(wǎng)絡(luò)性能的研究與優(yōu)化,實(shí)現(xiàn)了百萬(wàn)冊(cè)數(shù)字圖書系統(tǒng)中視頻服務(wù)子功能的升級(jí)。
當(dāng)前主流的P2P視頻服務(wù)系統(tǒng)是基于BitTorrent的,我們?cè)趯?duì)基于BitTorrent的VOD系統(tǒng)進(jìn)行分析之后,開(kāi)展了對(duì)基于BitTorrent的P2P網(wǎng)絡(luò)的深入研究。我們的研究主要在兩個(gè)方面,一個(gè)是對(duì)本文提到的管理服務(wù)器的重要組成部分Track算法的研究;另一個(gè)是對(duì)P2P網(wǎng)絡(luò)激勵(lì)機(jī)制的研究,這項(xiàng)研究可應(yīng)用于媒體源服務(wù)器。
UC-track算法
在基于BitTorrent的P2P系統(tǒng)中,Tracker算法決定了節(jié)點(diǎn)間連接網(wǎng)絡(luò)的生成,進(jìn)而影響系統(tǒng)的整體性能。針對(duì)Tracker算法的改進(jìn)對(duì)于BitTorrent視頻服務(wù)系統(tǒng)效率的提升至關(guān)重要。我們提出UC-track算法使得在上傳帶寬接近的節(jié)點(diǎn)之間形成一定程度聚焦的同時(shí),在上傳帶寬差別較大的節(jié)點(diǎn)間保持一定數(shù)量的隨機(jī)連接。這個(gè)算法可以使播放同一個(gè)視頻的終端之間的連接具有小世界網(wǎng)絡(luò)的特點(diǎn),即低的平均最短路徑和較高的聚焦系數(shù),使得部分高帶寬節(jié)點(diǎn)直接與視頻源相連,快速獲取視頻片段為其余節(jié)點(diǎn)提供服務(wù),有利于數(shù)據(jù)交互效率的提高。如圖 1所示,使用UC-track算法,可使視頻終端和視頻源構(gòu)成的傳輸拓?fù)溆凶畲蟮木奂禂?shù)、最大的鄰居集合大小和最小的平均路徑長(zhǎng)度,其數(shù)據(jù)傳輸性能最優(yōu)。
圖1 UC-track不同參數(shù)以及原track性能對(duì)比
PU機(jī)制
在大多數(shù)基于BitTorrent的視頻服務(wù)系統(tǒng)中,都假定種子節(jié)點(diǎn)也就是我們系統(tǒng)中的視頻源自始至終提供服務(wù)。然而,在這種策略下,視頻源的帶寬消耗隨所服務(wù)的視頻文件量的增多呈線性增長(zhǎng),極大地限制了系統(tǒng)的服務(wù)能力。針對(duì)此,我們重構(gòu)了激勵(lì)機(jī)制,稱為“等比例上傳機(jī)制”簡(jiǎn)稱PU(Proportional Uploading)機(jī)制。
PU機(jī)制由帶寬限制策略和帶寬分配策略兩部分組成。帶寬限制策略作用在視頻源服務(wù)器上,當(dāng)多個(gè)用戶點(diǎn)播同一個(gè)文件時(shí),為充分利用播放終端的上傳帶寬,視頻源服務(wù)器使用如下上傳帶寬控制策略:在由播放同一個(gè)視頻的終端構(gòu)成的連接網(wǎng)絡(luò)中,源服務(wù)器上傳帶寬Us隨著連接網(wǎng)絡(luò)中視頻文件副本數(shù)據(jù)的增多以λ的比例下降,直到降為一個(gè)下限Umin,Umin可以保證一次傳送周期能傳輸一個(gè)完整的視頻片段。特別的,在連接網(wǎng)絡(luò)中視頻文件的副本小于1時(shí),視頻服務(wù)器使用smartseed片選算法,以使該連接網(wǎng)絡(luò)中盡早擁有1個(gè)視頻文件副本。帶寬分配策略作用于所有播放該視頻的終端,即一個(gè)特定的終端在連接網(wǎng)絡(luò)中獲取的下載帶寬和它的上傳帶寬在該網(wǎng)絡(luò)終端上傳帶寬的總和正相關(guān),這使得該終端的視頻播放體驗(yàn)和其接入網(wǎng)絡(luò)正相關(guān)。采用按比例上傳機(jī)制能夠在保證終端視頻質(zhì)量的同時(shí)有效降低服務(wù)器帶寬。
圖2 系統(tǒng)架構(gòu)拓?fù)?/p>
整個(gè)系統(tǒng)如圖2 所示,分為媒體源、管理服務(wù)器、Web服務(wù)器、視頻終端四個(gè)部分,視頻服務(wù)由媒體源、管理服務(wù)器和Web服務(wù)器聯(lián)動(dòng)提供服務(wù),用戶使用各類終端享用服務(wù)。用戶通過(guò)瀏覽Web門戶獲取視頻宣傳信息和索引信息,對(duì)感興趣的視頻進(jìn)行訪問(wèn)操作,此時(shí)激活該視頻的索引信息,用戶終端相應(yīng)程序解讀索引信息并與管理服務(wù)器聯(lián)系,管理服務(wù)器據(jù)該視頻屬性協(xié)調(diào)媒體源及終端的通信,向用戶提供所需的視頻服務(wù)。
媒體源意為各類視頻的源頭,是視頻資源生成和存儲(chǔ)的總和,包括直播源和點(diǎn)播源。直播源又分為實(shí)時(shí)直播和重播兩大類。實(shí)時(shí)直播源為錄制待直播活動(dòng)的攝像機(jī),重播源和點(diǎn)播源均為完整的視頻文件,由視頻服務(wù)器統(tǒng)一系統(tǒng)管理。
管理服務(wù)器有兩個(gè)職能,其一是提供視頻文件的索引服務(wù),其二是統(tǒng)計(jì)視頻服務(wù)流量,主要是當(dāng)前連接數(shù),各個(gè)視頻下載量等。
Web服務(wù)器上承載了視頻服務(wù)的門戶,屬于百萬(wàn)冊(cè)圖書IPv6系統(tǒng)的子門戶。
我們將部署好的系統(tǒng)置于“百萬(wàn)冊(cè)數(shù)字圖書服務(wù)系統(tǒng)IPv6技術(shù)升級(jí)”域名下面,成為該系統(tǒng)的一個(gè)子功能。該系統(tǒng)有“高清影片”和“傳統(tǒng)影片”兩個(gè)頻道,分別對(duì)應(yīng)了基于P2P的和基于傳統(tǒng)CS的兩種服務(wù)方式。CS的服務(wù)方式源于我們對(duì)原服務(wù)系統(tǒng)的IPv6升級(jí)。這使得原有系統(tǒng)的視頻服務(wù)不僅完成了從IPv4到IPv4/IPv6雙棧服務(wù)的升級(jí),還完成了從傳統(tǒng)的CS架構(gòu)到現(xiàn)在的P2P和CS雙重架構(gòu)的架構(gòu)升級(jí)。
(作者單位:1為浙江大學(xué)圖書與信息中心, 2為浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院)