雷德剛，林 舸，唐新宇，黃曉鋒，黃承海

廣西廣播電視信息網(wǎng)絡(luò)股份有限公司，廣西南寧 530028

廣電互動(dòng)電視CDN系統(tǒng)快速轉(zhuǎn)存推流技術(shù)

雷德剛，林 舸，唐新宇，黃曉鋒，黃承海

廣西廣播電視信息網(wǎng)絡(luò)股份有限公司，廣西南寧 530028

利用無(wú)差錯(cuò)TCP傳輸協(xié)議縮短視頻推流服務(wù)器到與IPQAM間UDP協(xié)議的傳輸距離，并結(jié)合內(nèi)存快速轉(zhuǎn)存服務(wù)器，設(shè)計(jì)一種新型的廣電互動(dòng)電視CDN架構(gòu)以及視頻推流方式。本文闡述了設(shè)計(jì)的思路、架構(gòu)和轉(zhuǎn)存推流技術(shù)內(nèi)容。

IPQAMUDP協(xié)議；TCP協(xié)議；快速轉(zhuǎn)存；分片算法；回源

廣電網(wǎng)絡(luò)的互動(dòng)點(diǎn)播系統(tǒng)由包括服務(wù)器、傳輸網(wǎng)絡(luò)、IPQAM、用戶接入網(wǎng)等多個(gè)環(huán)節(jié)組成，哪個(gè)環(huán)節(jié)出現(xiàn)故障都會(huì)給用戶播放造成不同程度的影響，其中在服務(wù)器與IPQAM之間的視頻數(shù)據(jù)傳輸是最長(zhǎng)的一個(gè)環(huán)節(jié)，這段距離的傳輸協(xié)議使用UDP協(xié)議，在傳輸過(guò)程中如有超過(guò)IPQAM所能承受范圍的網(wǎng)絡(luò)延時(shí)或者丟包現(xiàn)象，將會(huì)在用戶終端上出現(xiàn)點(diǎn)播馬賽克、卡頓等現(xiàn)象，極大影響用戶的體驗(yàn)。

為了解決現(xiàn)在實(shí)際推流環(huán)境下UDP協(xié)議長(zhǎng)距離傳輸易出現(xiàn)的網(wǎng)絡(luò)抖動(dòng)問(wèn)題，隔絕系統(tǒng)和網(wǎng)絡(luò)上的干擾，通過(guò)在CDN的邊緣節(jié)點(diǎn)布置大內(nèi)存且無(wú)存儲(chǔ)硬盤(pán)的快速轉(zhuǎn)存推流服務(wù)器，采用內(nèi)存作為中轉(zhuǎn)緩存，將快速轉(zhuǎn)存推流服務(wù)器前置到與分前端IPQAM同一交換機(jī)網(wǎng)絡(luò)內(nèi)，使得快速轉(zhuǎn)存推流服務(wù)器與上級(jí)服務(wù)器的內(nèi)容傳輸采用TCP可靠傳輸協(xié)議，轉(zhuǎn)存后向IPQAM以UDP協(xié)議繼續(xù)推流，這樣就大大縮短不可靠協(xié)議傳輸?shù)木嚯x，解決網(wǎng)絡(luò)抖動(dòng)引起的各種問(wèn)題。形成一套視頻內(nèi)容高速可靠傳輸、推流質(zhì)量明顯改善的快速轉(zhuǎn)存推流系統(tǒng)。

1 設(shè)計(jì)思路

1）根據(jù)現(xiàn)狀進(jìn)行改造，設(shè)計(jì)在邊緣節(jié)點(diǎn)推流服務(wù)器與IPQAM之間，增加快速轉(zhuǎn)存推流設(shè)備，同時(shí)將設(shè)備前置到分前端離IPQAM最近的點(diǎn)，通過(guò)交換機(jī)進(jìn)行連接。

2）設(shè)計(jì)快速轉(zhuǎn)存推流服務(wù)器采用高IO讀寫(xiě)內(nèi)存作為中轉(zhuǎn)緩存，不配置存儲(chǔ)內(nèi)容的硬盤(pán)，性能高，方便維護(hù)。

3）開(kāi)發(fā)內(nèi)存轉(zhuǎn)存推流技術(shù)，核心是使用內(nèi)存作為數(shù)據(jù)緩存設(shè)備，來(lái)進(jìn)行快速的數(shù)據(jù)讀取和發(fā)送。通過(guò)優(yōu)化內(nèi)存緩存算法，提高緩存的利用率，改善推流質(zhì)量和提高推流輸出能力。

2 系統(tǒng)架構(gòu)

2.1 架構(gòu)改造

2.1.1 邊緣城市節(jié)點(diǎn)推流網(wǎng)絡(luò)現(xiàn)狀

架構(gòu)改造前，邊緣帶存儲(chǔ)的推流服務(wù)器放置在各地級(jí)市內(nèi)中心機(jī)房，直接承載用戶的IPQAM分布式布放在各分前端（地級(jí)市下屬城區(qū)、縣、鎮(zhèn)）機(jī)房?jī)?nèi)，響應(yīng)到用戶點(diǎn)播請(qǐng)求后，推流服務(wù)器推送視頻TS流給IPQAM設(shè)備，由IPQAM轉(zhuǎn)成RF信號(hào)供給用戶機(jī)頂盒進(jìn)行接收和觀看。此種傳輸模式下，市中心機(jī)房與分前端的IPQAM間傳輸采用UDP協(xié)議，容易受到市中心機(jī)房到分前端的網(wǎng)絡(luò)環(huán)境距離長(zhǎng)、節(jié)點(diǎn)多的影響，傳輸穩(wěn)定性無(wú)法完全保證，在出現(xiàn)網(wǎng)絡(luò)抖動(dòng)及延時(shí)的情況下，用戶的收視體驗(yàn)較差。

2.1.2 改造后架構(gòu)

設(shè)計(jì)在邊緣推流服務(wù)器與分前端IPQAM間增加一層快速轉(zhuǎn)存推流設(shè)備，盡可能多地從上一級(jí)推流服務(wù)器回源拉取熱門(mén)視頻內(nèi)容，該設(shè)備與IPQAM一起放置在同一分前端機(jī)房?jī)?nèi)與交換機(jī)直連，長(zhǎng)距離的向上回源視頻內(nèi)容行為使用TCP協(xié)議（可靠協(xié)議），同局域網(wǎng)內(nèi)的向下推流采用UDP協(xié)議，以此減少網(wǎng)絡(luò)抖動(dòng)和延遲的影響。

3 快速轉(zhuǎn)存系統(tǒng)配置

根據(jù)轉(zhuǎn)存算法對(duì)CPU及內(nèi)存容量的需求，通過(guò)對(duì)不同硬件配置的服務(wù)器進(jìn)行測(cè)算，得出最佳的硬件配置組合。

3.1 內(nèi)存轉(zhuǎn)存推流原理

快速轉(zhuǎn)存服務(wù)器首先向上級(jí)推流服務(wù)器請(qǐng)求視頻數(shù)據(jù)緩存在服務(wù)器內(nèi)存中，若有用戶請(qǐng)求則高速讀取內(nèi)存中數(shù)據(jù)提供給外部請(qǐng)求，實(shí)現(xiàn)快遞轉(zhuǎn)存推流功能。

3.2 轉(zhuǎn)存介質(zhì)

與傳統(tǒng)存儲(chǔ)介質(zhì)硬盤(pán)對(duì)比，內(nèi)存讀寫(xiě)速度快，數(shù)據(jù)傳輸時(shí)延低，可有效改善推流輸出質(zhì)量，另外其故障率低的特點(diǎn)。

3.3 物理內(nèi)存分配設(shè)計(jì)

推流服務(wù)器基礎(chǔ)容量：推流程序未連接用戶時(shí)消耗內(nèi)存550MB，為使正常工作，預(yù)留1GB內(nèi)存。

并發(fā)內(nèi)存占用：是指每個(gè)連接上媒體服務(wù)器所消耗的單個(gè)連接內(nèi)存開(kāi)銷(xiāo)的總和。推流程序占用11.3%的內(nèi)存，該服務(wù)器內(nèi)存為64GB，則程序占用7405MB內(nèi)存。此時(shí)推流并發(fā)為217個(gè)，則每平均每個(gè)連接消耗34MB內(nèi)存，根據(jù)實(shí)際測(cè)試數(shù)據(jù)，純內(nèi)存或固態(tài)盤(pán)服務(wù)器可以支撐2000并發(fā)，所有我們?cè)O(shè)計(jì)每臺(tái)轉(zhuǎn)存服務(wù)器的并發(fā)數(shù)為2000，則需要消耗34MB×2000=68GB的內(nèi)存。

操作系統(tǒng)預(yù)留容量：為使正常工作，預(yù)留2GB內(nèi)存。

熱點(diǎn)分片緩存：在推流的同時(shí)，會(huì)將視頻內(nèi)容分片存儲(chǔ)在內(nèi)存磁盤(pán)上。若有多個(gè)用戶同時(shí)訪問(wèn)相同視頻內(nèi)容，則媒體服務(wù)器將一直將直接使用內(nèi)存磁盤(pán)上的視頻分片數(shù)據(jù)，并且這些數(shù)據(jù)分片保持為興奮狀態(tài)，不進(jìn)行刪除。

整個(gè)服務(wù)器內(nèi)存分配如下設(shè)計(jì)：操作系統(tǒng)預(yù)留：2GB

推流服務(wù)器基礎(chǔ)：1GB

并發(fā)占用內(nèi)存：34M×2000=68GB熱點(diǎn)分片緩存：64-128GB

3.4 快速轉(zhuǎn)存服務(wù)器選型

3.4.1 快速轉(zhuǎn)存服務(wù)器硬件配置

單臺(tái)快速轉(zhuǎn)存服務(wù)器使用雙至強(qiáng)1.70GHz的CPU和192G內(nèi)存情況下，CPU使用率為75%左右；推流輸出帶寬達(dá)到7.5Gbps時(shí)，機(jī)頂盒視頻播穩(wěn)定、畫(huà)面穩(wěn)定，超過(guò)這個(gè)數(shù)值將出現(xiàn)收視馬賽克現(xiàn)象，測(cè)試結(jié)果表面快速轉(zhuǎn)存的算法在192G以上內(nèi)存空間支撐時(shí)表現(xiàn)出最優(yōu)的推流輸出能力，為了費(fèi)效比的最優(yōu)，建議采用以下基本配置。

CPU配置：2×Intel(R) Xeon(R) CPU E5-2609 v4 @ 1.70GHz

內(nèi)存配置：6×32GB

網(wǎng)卡配置：4×1GB 網(wǎng)絡(luò)子卡、2×10GB 網(wǎng)絡(luò)子卡

3.4.2 成本分析

四級(jí)CDN架構(gòu)與三級(jí)CDN架構(gòu)對(duì)比，雖然需多投入快速轉(zhuǎn)存推流設(shè)備，但實(shí)際換算推流流量每Gbps輸出硬件成本為1.85萬(wàn)元，低于原架構(gòu)的2.51萬(wàn)元，加上只配置內(nèi)存無(wú)硬盤(pán)的服務(wù)器對(duì)維護(hù)要求不高，兩者綜合，經(jīng)濟(jì)效益十分突出。

4 轉(zhuǎn)存算法設(shè)計(jì)

4.1 轉(zhuǎn)存方式

分片算法采用定長(zhǎng)分片的方法，將媒體文件分割成大小一樣的片段，先系統(tǒng)中采用8M一個(gè)分片。采用該方法，能簡(jiǎn)單高效的定位用戶的請(qǐng)求、響應(yīng)用戶拖動(dòng)等操作，而且在進(jìn)行分片熱點(diǎn)計(jì)算的時(shí)候，能快速定位到每個(gè)分片。

分片0(8M) 分片1(8M) 分片2(8M) 分片3(8M) 分片4(8M)

4.2 緩存算法

熱點(diǎn)緩存算法能夠計(jì)算出熱點(diǎn)分片，通過(guò)緩存共享機(jī)制，提高用戶請(qǐng)求緩存命中率，可減少實(shí)時(shí)回源量，提升推流能力。具體算法如下。

4.2.1 熱點(diǎn)算法

使用分片訪問(wèn)頻率來(lái)作為分片熱點(diǎn)的計(jì)算方法，訪問(wèn)頻率越高則認(rèn)為該分片熱度越大，即后續(xù)被訪問(wèn)的機(jī)率就越大。故在做熱點(diǎn)計(jì)算的時(shí)候，不能完全將每個(gè)分片完全分離開(kāi)，各自獨(dú)立計(jì)算熱度，而應(yīng)該考慮其所處的位置，當(dāng)前被訪問(wèn)的分片及其所在視頻觀看的熱度。

4.2.2 預(yù)讀算法

當(dāng)用戶在訪問(wèn)分片n的時(shí)候，分片n+1將會(huì)有很大機(jī)率被訪問(wèn)，增加一個(gè)預(yù)讀機(jī)制，將分片n+1進(jìn)行預(yù)讀緩存，并且將分片n+1的熱度直接配置為1，即進(jìn)行熱點(diǎn)分片預(yù)寫(xiě)入。

4.2.3 更新算法

在進(jìn)行熱點(diǎn)文件替換的時(shí)候，按照熱度值從小到大進(jìn)行清理，即緩存熱度值高的分片數(shù)據(jù)，另外為了防止熱點(diǎn)分片被頻繁換出，需要記錄每個(gè)分片的緩存時(shí)間，并且為每個(gè)分片配置一個(gè)保護(hù)時(shí)長(zhǎng)，即在該時(shí)長(zhǎng)內(nèi)，熱點(diǎn)分片不會(huì)被換出。

5 結(jié)論

通過(guò)互動(dòng)點(diǎn)播CDN架構(gòu)的改造和快速轉(zhuǎn)存技術(shù)的開(kāi)發(fā)和測(cè)試，實(shí)現(xiàn)了使用TCP協(xié)議替代UDP協(xié)議進(jìn)行長(zhǎng)距離傳輸視頻流，解決了網(wǎng)絡(luò)抖動(dòng)、延時(shí)等因素引起的各種用戶收視體驗(yàn)不佳問(wèn)題，同時(shí)使用分片式內(nèi)存存儲(chǔ)轉(zhuǎn)發(fā)機(jī)制提升了內(nèi)存空間使用率，并提高了回源推流和轉(zhuǎn)存推流的帶寬輸出能力，通過(guò)成本核算，每Gbps推流流量成本得到較大的降低，最終可使快速轉(zhuǎn)存推流技術(shù)得以良好的應(yīng)用。

[1]W.Richard Stevens.TCP/IP詳解卷1：協(xié)議[M].北京：機(jī)械工業(yè)出版社，2016：107-269.

[2]梁潔，陳戈，等.內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)關(guān)鍵技術(shù)、架構(gòu)與應(yīng)用[M].北京：人民郵電出版社，2013：356-391.

TP3

A

1674-6708（2017）192-0054-02

雷德剛，廣西廣播電視信息網(wǎng)絡(luò)股份有限公司。林舸，廣西廣播電視信息網(wǎng)絡(luò)股份有限公司。唐新宇，廣西廣播電視信息網(wǎng)絡(luò)股份有限公司。黃曉鋒，廣西廣播電視信息網(wǎng)絡(luò)股份有限公司。黃承海，廣西廣播電視信息網(wǎng)絡(luò)股份有限公司。