亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        流媒體服務(wù)系統(tǒng)存儲架構(gòu)升級探析

        2018-07-19 07:29:38張智騫彭方翔
        傳媒論壇 2018年4期
        關(guān)鍵詞:存儲容量服務(wù)器節(jié)點

        張智騫 彭方翔

        (廣東南方新媒體股份有限公司,廣東 廣州 510012)

        全球信息化的發(fā)展,使得基于IP的業(yè)務(wù)必將成為信息產(chǎn)業(yè)的主流業(yè)務(wù)。IP網(wǎng)絡(luò)消除了傳統(tǒng)媒體(電視、廣播、報紙)之間,傳統(tǒng)信息產(chǎn)業(yè)(電信業(yè)、廣播電視業(yè))之間的邊界,促使它們之間更廣泛的融合,形成無所不包的全業(yè)務(wù)特性。同時,互聯(lián)網(wǎng)的廣泛應(yīng)用催生了一系列的新媒體。IP網(wǎng)絡(luò)的去邊界性決定了融合是新媒體行業(yè)發(fā)展的必然趨勢。媒體融合態(tài)勢下,傳統(tǒng)媒體與互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興媒體傳播渠道有效結(jié)合,實現(xiàn)資源共享、集中處理,能夠衍生出多種形式的信息產(chǎn)品,多渠道廣泛傳播給受眾?;谝陨习l(fā)展理念,南方新媒體提出構(gòu)建面向服務(wù)、面向融合的“廣電+”全業(yè)務(wù)融合云平臺(以下簡稱“融合云平臺”)來作為整體的基礎(chǔ)架構(gòu)平臺,從服務(wù)端實現(xiàn)已有業(yè)務(wù)系統(tǒng)的整合,從客戶端實現(xiàn)各垂直業(yè)務(wù)的統(tǒng)一支撐,達(dá)到多業(yè)務(wù)、多屏終端用戶統(tǒng)一平臺管理的目的,如圖1所示。

        圖1

        圖2 推流服務(wù)層級圖

        在融合云平臺中,流媒體服務(wù)系統(tǒng)作為流媒體應(yīng)用的核心系統(tǒng),是向用戶提供視頻服務(wù)的關(guān)鍵平臺。流媒體服務(wù)器的主要功能是對流媒體內(nèi)容進(jìn)行采集、緩存、調(diào)度和傳輸播放。流媒體服務(wù)系統(tǒng)的主要性能體現(xiàn)都取決于媒體服務(wù)器的性能和服務(wù)質(zhì)量。因此,流媒體服務(wù)器是流媒體應(yīng)用系統(tǒng)的基礎(chǔ),也是主要的組成部分,如圖2所示。

        一、系統(tǒng)現(xiàn)狀

        (一)內(nèi)容分發(fā)網(wǎng)絡(luò)

        談到流媒體系統(tǒng),就不得不談通常被稱為內(nèi)容分發(fā)網(wǎng)絡(luò)Content distribution network(以下簡稱“CDN”)。完整的CDN通常由四部分構(gòu)成:內(nèi)容路由系統(tǒng)、內(nèi)容分發(fā)系統(tǒng)、內(nèi)容存儲系統(tǒng)和內(nèi)容管理系統(tǒng)。其中,內(nèi)容路由系統(tǒng)負(fù)責(zé)將用戶的請求調(diào)度到適當(dāng)?shù)脑O(shè)備上,通過全局和本地負(fù)載均衡系統(tǒng)來調(diào)度,實現(xiàn)的主要方法包括DNS、應(yīng)用層重定向、傳輸層重定向。

        如果說內(nèi)容路由系統(tǒng)是幫助用戶找到合適的設(shè)備,那么內(nèi)容分發(fā)系統(tǒng)就是把用戶需要的內(nèi)容分發(fā)到不同服務(wù)節(jié)點的過程。通常,內(nèi)容分發(fā)網(wǎng)絡(luò)包括三個層級:邊緣節(jié)點層、中心節(jié)點層和源站節(jié)點層。

        內(nèi)容存儲系統(tǒng)是針對用戶對流媒體內(nèi)容的實際需求,在內(nèi)容分發(fā)網(wǎng)絡(luò)的三個層級節(jié)點實施相應(yīng)的內(nèi)容存儲策略,達(dá)到有效提高用戶請求的響應(yīng)時間、提高存儲空間的利用率、降低回源次數(shù)的目的。

        內(nèi)容管理平臺主要負(fù)責(zé)整個CDN系統(tǒng)的內(nèi)容注入、收錄、發(fā)布等。

        (二)流媒體服務(wù)系統(tǒng)

        融合云平臺的流媒體服務(wù)系統(tǒng)主要負(fù)責(zé)上線內(nèi)容的統(tǒng)一介質(zhì)存儲、統(tǒng)一切片、實現(xiàn)統(tǒng)一向公網(wǎng)提供點播視頻流。流媒體服務(wù)系統(tǒng)與多個廠家的CDN對接,實現(xiàn)多CDN回源與多CDN切換,如圖3所示。

        圖3 推流服務(wù)系統(tǒng)架構(gòu)圖

        按照完整CDN系統(tǒng)的技術(shù)概念,融合云平臺的流媒體服務(wù)系統(tǒng)屬于整個CDN系統(tǒng)的源站節(jié)點,負(fù)責(zé)內(nèi)容管理和源站節(jié)點層面的內(nèi)容存儲和內(nèi)容分發(fā);內(nèi)容路由、邊緣節(jié)點層和中心節(jié)點層的內(nèi)容存儲和內(nèi)容分發(fā)則通過租用服務(wù)的方式,對接CDN服務(wù)提供商的系統(tǒng)(以下簡稱“CDN”)來向用戶提供服務(wù)。

        流媒體服務(wù)系統(tǒng)第一期建設(shè)在2015年完成,由2臺DELL R730服務(wù)器作為硬件組成,每臺服務(wù)器掛22個1.8TB的SAS硬盤作為本地存儲。兩臺推流服務(wù)器以高可用集群(HA)的主從模式進(jìn)行工作,主從服務(wù)器之間通過心跳線相連以虛擬路由冗余協(xié)議(VRRP)來監(jiān)視和維護(hù)兩臺服務(wù)器的主從工作模式。

        流媒體服務(wù)系統(tǒng)軟件采用Apple HTTP Live Streaming(HLS)技術(shù)規(guī)范,與上游的媒資管理平臺通過接口方式以FTP注入點播媒資數(shù)據(jù)、以UDP注入直播媒資數(shù)據(jù),對視頻數(shù)據(jù)切片、存儲、索引、流化處理后輸出到CDN或用戶終端,讓用戶使用播放器觀看點播視頻。系統(tǒng)功能模塊如圖4所示。

        圖4 推流服務(wù)系統(tǒng)功能模塊圖

        流媒體服務(wù)系統(tǒng)采用TS封裝格式輸入輸出,視頻編碼格式為H.264,音編碼格式為AAC-LC。為用戶提供更好的體驗,因為采用分片的特點,HTTP streaming還可以實現(xiàn)媒體播放過程中的碼率切換(碼率自適應(yīng))。系統(tǒng)支持最多4000個應(yīng)用層并發(fā)連接,按平均每個并發(fā)連產(chǎn)生1200Kbps的碼流計算。

        經(jīng)過了兩年的使用,業(yè)務(wù)的積累使得流媒體服務(wù)系統(tǒng)的點播存儲空間使用率逐漸增加,兩臺推流服務(wù)器已經(jīng)掛滿了硬盤且存儲容量的使用率已達(dá)到90%。因此,本次系統(tǒng)升級應(yīng)解決以下問題:①根據(jù)業(yè)務(wù)規(guī)劃,系統(tǒng)存儲容量由17T擴(kuò)展到30T;②優(yōu)化系統(tǒng)存儲結(jié)構(gòu),簡化系統(tǒng)存儲容量的橫向擴(kuò)展。

        二、系統(tǒng)升級方案設(shè)計

        圍繞存儲擴(kuò)容和存儲結(jié)構(gòu)優(yōu)化兩個需求,在源站節(jié)點層面采用由單級源站架構(gòu)升級為源服務(wù)器節(jié)點和緩存服務(wù)器節(jié)點的兩級源站架構(gòu)。這個設(shè)計有以下兩個優(yōu)點:

        第一,將屬于內(nèi)容管理的內(nèi)容注入、收錄、發(fā)布功能和屬于內(nèi)容存儲的緩存服務(wù)功能分開,內(nèi)容管理功能放在源服務(wù)器節(jié)點,緩存服務(wù)功能放在緩存服務(wù)器節(jié)點。因為內(nèi)容管理和緩存服務(wù)都是對內(nèi)存和磁盤I/O高消耗的功能,將兩個功能放在不同的節(jié)點能夠提高推流服務(wù)系統(tǒng)的整體效率和穩(wěn)定性,同時便于將來的系統(tǒng)擴(kuò)容。

        在并購支付多元化的發(fā)展趨勢下,不同并購支付方式會對并購雙方股東產(chǎn)生什么影響,并購雙方應(yīng)如何選擇對企業(yè)最有利的并購支付方式,這些問題成為并購支付方式選擇時需要考慮的首要問題。本文通過實證研究來估計企業(yè)選擇并購支付方式的影響因素和不同并購方式對企業(yè)績效的影響。

        第二,在內(nèi)容存儲上,根據(jù)CDN的回源數(shù)據(jù),區(qū)分出媒資中的熱點數(shù)據(jù)并放在緩存服務(wù)器節(jié)點上。在兩級源站架構(gòu)下,當(dāng)CDN回源的時候,將首先訪問緩存服務(wù)器節(jié)點,緩存服務(wù)器節(jié)點沒有數(shù)據(jù)再將訪問請求重定向至源服務(wù)器節(jié)點。在緩存服務(wù)器節(jié)點配合使用緩存淘汰算法,可以使緩存服務(wù)器節(jié)點保持90%以上的訪問數(shù)據(jù)命中率,這樣就實現(xiàn)了熱點數(shù)據(jù)的區(qū)分,極大地提高數(shù)據(jù)的利用率。

        要實現(xiàn)兩級源站架構(gòu)的設(shè)計,有以下兩種可行的技術(shù)方案。

        (一)分布式集群文件系統(tǒng)

        已有的2臺流媒體服務(wù)器作為內(nèi)容存儲的緩存服務(wù)器,作為緩存服務(wù)器節(jié)點,負(fù)責(zé)向CDN的數(shù)據(jù)請求提供緩存服務(wù)。新增4臺服務(wù)器,作為源服務(wù)器節(jié)點,負(fù)責(zé)內(nèi)容管理服務(wù)的內(nèi)容注入、收錄、發(fā)布,同時還作為內(nèi)容存儲的源服務(wù)器,存儲所有注入的媒資文件。系統(tǒng)功能模塊如圖5所示。

        (二)網(wǎng)絡(luò)附屬存儲系統(tǒng)

        已有的2臺流媒體服務(wù)器作為內(nèi)容存儲的緩存服務(wù)器,作為緩存服務(wù)器節(jié)點,負(fù)責(zé)向CDN的數(shù)據(jù)請求提供緩存服務(wù)。新增4臺服務(wù)器,作為源服務(wù)器節(jié)點,負(fù)責(zé)內(nèi)容管理服務(wù)的內(nèi)容注入、收錄、發(fā)布。同時將已有的網(wǎng)絡(luò)附屬存儲系統(tǒng)(以下簡稱“NAS”)掛載在源服務(wù)器節(jié)點,存儲所有注入的媒資文件。系統(tǒng)功能模塊如圖6所示。

        (三)方案比較

        比較兩種方案,方案一著重于在源服務(wù)器搭建分布式集群文件系統(tǒng),源服務(wù)器使用SAS硬盤可以保證兩級節(jié)點都有高I/O性能,但是SAS硬盤的成本價格較高;方案二則選擇NAS系統(tǒng)上的硬盤分區(qū)掛載于源服務(wù)節(jié)點下,作為共享存儲型集群文件系統(tǒng),在存儲擴(kuò)容的時間和價格成本上體現(xiàn)了較大的優(yōu)越性,但NAS系統(tǒng)能否滿足CDN回源時產(chǎn)生的I/O壓力存在不確定性。

        經(jīng)過綜合考慮,方案二成了首選方案,NAS系統(tǒng)的I/O速率和網(wǎng)絡(luò)傳輸?shù)乃俣瘸蔀榱讼乱徊降臏y試中兩個重要的考量指標(biāo)。

        三、系統(tǒng)升級方案測試

        (一)CDN回源數(shù)據(jù)峰值流量模型

        根據(jù)半年的統(tǒng)計數(shù)據(jù),CDN全天的連接數(shù)平均在一億五千萬次,其中約10%的數(shù)據(jù)需要回源,在源服務(wù)器產(chǎn)生一千五百萬的連接數(shù),這其中的80%集中在20點至22點的2個小時以內(nèi);按照平均每個訪問的碼率為1.2Mb計算,在訪問量集中的時候,在目前的流媒體服務(wù)器產(chǎn)生峰值為2000Mbps的 I/O。

        回源數(shù)據(jù)中的80%集中占全部媒資數(shù)據(jù)的20%,剩下的20%分散在全部媒資數(shù)據(jù)的80%中,將集中占全部媒資數(shù)據(jù)的20%的回源數(shù)據(jù)看作是熱點數(shù)據(jù),即熱數(shù)據(jù)占全部數(shù)據(jù)的20%,熱點數(shù)據(jù)與非熱點數(shù)據(jù)的比例是1︰4。

        (二)熱點數(shù)據(jù)分析

        針對以上CDN回源數(shù)據(jù)的特征分析,根據(jù)源站服務(wù)器節(jié)點、緩存服務(wù)器節(jié)點的兩級存儲設(shè)計,在滿足緩存服務(wù)器節(jié)點存儲容量與源站服務(wù)器節(jié)點存儲容量的比例大于1︰4時,緩存服務(wù)器節(jié)點的I/O主要是來自熱點數(shù)據(jù)的訪問,NAS系統(tǒng)的I/O則是來自非熱點數(shù)據(jù)的訪問。按照目前回源數(shù)據(jù)的特征,非熱點數(shù)據(jù)的訪問占回源數(shù)據(jù)的20%,在訪問量集中的時候,緩存服務(wù)器節(jié)點向源服務(wù)器節(jié)點請求數(shù)據(jù)會在NAS系統(tǒng)對應(yīng)產(chǎn)生峰值為400Mbps的I/O,以NAS系統(tǒng)測算的2Gbps峰值 I/O,這完全可以滿足。

        另外,緩存服務(wù)器節(jié)點本地存儲17T,源站服務(wù)器節(jié)點使用NAS系統(tǒng)的存儲容量為30T,二者比例為1︰1.76,在這個比例達(dá)到1︰4,即源站服務(wù)器節(jié)點的NAS系統(tǒng)存儲容量在增加到85T之前,在當(dāng)前CDN回源數(shù)據(jù)峰值流量模型保持不變,都不會對NAS系統(tǒng)的I/O產(chǎn)生更大的壓力。如果NAS系統(tǒng)存儲容量擴(kuò)展超過85T,可以通過增加緩存服務(wù)器節(jié)點的存儲容量來控制兩個節(jié)點的存儲容量比例大于1︰4。因此,以NAS系統(tǒng)實現(xiàn)推流服務(wù)系統(tǒng)的兩級源站架構(gòu)在技術(shù)上是可行的。

        四、結(jié)束語

        本文針對流媒體服務(wù)系統(tǒng)的內(nèi)容存儲的升級需求,采用了基于NAS系統(tǒng)的“源站服務(wù)節(jié)點+緩存服務(wù)節(jié)點”的兩級存儲結(jié)構(gòu)設(shè)計,在滿足業(yè)務(wù)需求的同時降低了存儲擴(kuò)容的時間和經(jīng)濟(jì)成本,具有重要意義。

        圖5 方案一系統(tǒng)功能模塊圖

        圖6方案二系統(tǒng)功能模塊圖

        猜你喜歡
        存儲容量服務(wù)器節(jié)點
        CM節(jié)點控制在船舶上的應(yīng)用
        城市數(shù)字化管理中的信息通信技術(shù)研究
        安防科技(2021年1期)2021-11-12 13:18:50
        Analysis of the characteristics of electronic equipment usage distance for common users
        基于AutoCAD的門窗節(jié)點圖快速構(gòu)建
        通信控制服務(wù)器(CCS)維護(hù)終端的設(shè)計與實現(xiàn)
        得形忘意的服務(wù)器標(biāo)準(zhǔn)
        計算機網(wǎng)絡(luò)安全服務(wù)器入侵與防御
        抓住人才培養(yǎng)的關(guān)鍵節(jié)點
        淺析云盤技術(shù)及存儲原理
        最低16GB,“大肚”閃盤精選
        极品新娘高清在线观看| 青青草成人在线播放视频| 亚洲一区在线二区三区| 久久国产在线精品观看| 99无码精品二区在线视频| 午夜性色一区二区三区不卡视频| 久久99热久久99精品| 久久久久久免费毛片精品| 曰本极品少妇videossexhd| 呻吟国产av久久一区二区| JIZZJIZZ国产| av东京热一区二区三区| 一级一片内射视频网址| 看女人毛茸茸下面视频| 亚洲国产精品高清一区| 亚洲精品久久久www小说| 亚洲午夜无码av毛片久久| 国产精品久久久久久影视| 久久乐国产精品亚洲综合| 婷婷九月丁香| 综合色天天久久| 亚洲国产精品美女久久久| 中文字幕一区二区三区亚洲 | 国产av久久在线观看| 丰满少妇人妻无码专区| 日日av拍夜夜添久久免费| 丝袜足控一区二区三区| 日韩av在线毛片| 日韩精品av在线一区二区| 亚洲情久久久精品黄色| 一区二区三区精品免费| 亚洲av成人无码一二三在线观看| 野外亲子乱子伦视频丶| a级毛片高清免费视频就| 国产精品27页| 亚洲AV无码日韩一区二区乱| 大量老肥熟女老女人自拍| 一区二区在线观看视频高清| 国产二级一片内射视频播放| 天堂sv在线最新版在线| av毛片一区二区少妇颜射|