不可否認(rèn),互聯(lián)網(wǎng)已經(jīng)成為人們?nèi)粘I詈蜕鐣?jīng)濟(jì)正常發(fā)展不可或缺的部分。與此同時(shí),隨著各類移動智能終端的日益普及,以及各類無線移動接入技術(shù)的廣泛部署,移動互聯(lián)網(wǎng)正在成為新興的增長點(diǎn)。而云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等相關(guān)產(chǎn)業(yè)的興起,更是極大地?cái)U(kuò)展了互聯(lián)網(wǎng)的內(nèi)涵和外延。
現(xiàn)狀:流量持續(xù)增長 網(wǎng)絡(luò)面臨挑戰(zhàn)
互聯(lián)網(wǎng)規(guī)模的擴(kuò)大、業(yè)務(wù)種類的增多以及用戶數(shù)的攀升,直接導(dǎo)致了網(wǎng)絡(luò)流量的迅猛增長。根據(jù)Cisco Visual Networking Index (VNI) Forecast的預(yù)測,2015年全球互聯(lián)網(wǎng)總流量將是目前的四倍,達(dá)到每年約966 Exabytes,相當(dāng)于2.5億張DVD的容量。同時(shí),更多的視頻數(shù)據(jù)將在互聯(lián)網(wǎng)上傳輸,預(yù)計(jì)到2015年,每秒鐘將會通過互聯(lián)網(wǎng)傳輸100萬分鐘視頻,而傳送3D電視和高清視頻的流量,則會增長14倍。在用戶數(shù)方面,預(yù)計(jì)到2015年互聯(lián)網(wǎng)用戶將增長到30億戶。平板電腦、手機(jī)及其他智能終端設(shè)備的普及,使得2015年的網(wǎng)絡(luò)互聯(lián)設(shè)備總數(shù)將達(dá)到150億臺,而這又進(jìn)一步帶動移動互聯(lián)網(wǎng)的流量攀升。根據(jù)預(yù)測,2015年這一數(shù)字將達(dá)到2010年的26倍,每月高達(dá)6.4 Exabytes。
互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)業(yè)務(wù)規(guī)模與商業(yè)價(jià)值的快速擴(kuò)張,帶來了網(wǎng)絡(luò)流量的指數(shù)級激增,給傳統(tǒng)的網(wǎng)絡(luò)管理帶來了諸多的挑戰(zhàn)。
1. 網(wǎng)絡(luò)擁堵,QoS缺失。由于“帶寬殺手業(yè)務(wù)”(如P2P、視頻、下載等)的泛濫,大量數(shù)據(jù)在網(wǎng)絡(luò)上被無序重復(fù)傳輸,使得傳統(tǒng)依賴于互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)傳輸速率慢、用戶體驗(yàn)差、關(guān)鍵業(yè)務(wù)帶寬缺乏保障。而運(yùn)營商單純的網(wǎng)絡(luò)容量擴(kuò)容速度遠(yuǎn)遠(yuǎn)趕不上流量的增長,從而不能改善網(wǎng)絡(luò)擁堵的現(xiàn)狀。
2. 投資成本激增,網(wǎng)絡(luò)投資回報(bào)率低。新的互聯(lián)網(wǎng)業(yè)務(wù)和應(yīng)用,使得互聯(lián)網(wǎng)公司能夠從終端銷售、應(yīng)用下載、流量分成、廣告收益等多個方面獲得豐厚的回報(bào)。而與之形成鮮明對比的是,視頻、音樂、游戲占用了越來越多的網(wǎng)絡(luò)帶寬,運(yùn)營商為此支付了高額的建網(wǎng)與擴(kuò)容成本,投資回報(bào)率卻大幅降低。
3. 助長互聯(lián)網(wǎng)免費(fèi)經(jīng)濟(jì)模式,影響網(wǎng)絡(luò)健康發(fā)展?;ヂ?lián)網(wǎng)免費(fèi)經(jīng)濟(jì)模式造成了網(wǎng)絡(luò)經(jīng)濟(jì)產(chǎn)業(yè)鏈的嚴(yán)重失調(diào),“流量經(jīng)濟(jì)”得不到價(jià)值體現(xiàn)?;ヂ?lián)網(wǎng)的長期發(fā)展應(yīng)該創(chuàng)造對版權(quán)的保護(hù)、對信息流的定位及區(qū)分,從而為電信運(yùn)營商、內(nèi)容與服務(wù)提供商以及用戶等帶來經(jīng)濟(jì)效益。
探索:
流量優(yōu)化和應(yīng)用優(yōu)化
流量的無序激增和IP網(wǎng)絡(luò)天生的技術(shù)缺陷,加劇了網(wǎng)絡(luò)運(yùn)營商“管道化”趨勢,使網(wǎng)絡(luò)成為“啞”管道,嚴(yán)重影響了互聯(lián)網(wǎng)生態(tài)鏈的健康發(fā)展。為了解決流量增長帶來的問題,IT業(yè)界和學(xué)術(shù)界已經(jīng)開始探索網(wǎng)絡(luò)流量管理的辦法,并且通過運(yùn)用CDN、緩存及流量控制管理等技術(shù)手段,實(shí)現(xiàn)網(wǎng)絡(luò)流量從無序化向有序化發(fā)展,提升網(wǎng)絡(luò)帶寬的利用率和有效性,提高網(wǎng)絡(luò)投資回報(bào)率,推動互聯(lián)網(wǎng)絡(luò)健康發(fā)展。
現(xiàn)有主流的互聯(lián)網(wǎng)流量優(yōu)化技術(shù)主要包括內(nèi)容分發(fā)網(wǎng)絡(luò)(Content Delivery Network,CDN)和基于緩存的流量管理系統(tǒng)。
內(nèi)容分發(fā)網(wǎng)絡(luò)是美國麻省理工學(xué)院研究小組所提出的用于解決網(wǎng)絡(luò)擁塞的方案。研發(fā)者隨后在1998年成立了Akamai公司,目前這一公司已經(jīng)成為全球規(guī)模最為龐大的CDN服務(wù)商之一。CDN網(wǎng)絡(luò)的誕生,大大改善了互聯(lián)網(wǎng)的服務(wù)質(zhì)量,因此,傳統(tǒng)的大型網(wǎng)絡(luò)運(yùn)營商紛紛開始創(chuàng)建自己的CDN網(wǎng)絡(luò)。2000年,藍(lán)汛在國內(nèi)較早建立了專門的CDN服務(wù)網(wǎng)絡(luò)China Cache。截止目前,CDN網(wǎng)絡(luò)已經(jīng)被廣泛部署于全球各大骨干網(wǎng)絡(luò)中。
內(nèi)容分發(fā)網(wǎng)絡(luò)的目的,是通過在現(xiàn)有互聯(lián)網(wǎng)中增加一層新的網(wǎng)絡(luò)架構(gòu),將互聯(lián)網(wǎng)中的內(nèi)容推送到最接近用戶的網(wǎng)絡(luò)“邊緣”,使得用戶可以從具備更低延時(shí)、更高傳輸率以及更優(yōu)質(zhì)量特性的本地服務(wù)器中獲取到所需要的內(nèi)容,從而達(dá)到解決互聯(lián)網(wǎng)網(wǎng)絡(luò)擁塞狀況,提高用戶獲取資源效率,減少響應(yīng)時(shí)間的要求。作為新興的網(wǎng)絡(luò)加速技術(shù),CDN技術(shù)綜合采用了分布式緩存/復(fù)制、負(fù)載均衡、流量工程和訪問重定向等技術(shù)。國內(nèi)利用了CDN技術(shù)的網(wǎng)絡(luò)流量優(yōu)化廠商包括藍(lán)汛、網(wǎng)宿科技等。
內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)一般由內(nèi)容緩存設(shè)備、內(nèi)容交換機(jī)、內(nèi)容路由器、內(nèi)容管理系統(tǒng)等部分組成。
流量緩存技術(shù)最早應(yīng)用于互聯(lián)網(wǎng)web系統(tǒng)中,隨著網(wǎng)絡(luò)應(yīng)用類型和流量模型的變化,流量緩存技術(shù)也被廣泛應(yīng)用到了視頻服務(wù)、P2P服務(wù)等眾多領(lǐng)域中。2004年,英國的Cachelogic公司率先將流量緩存技術(shù)應(yīng)用于視頻服務(wù)、P2P服務(wù)等互聯(lián)網(wǎng)領(lǐng)域。2006年,以色列的OverSi、美國的PeerApp、中國的東方網(wǎng)信等公司相繼推出了各自的流量緩存技術(shù)產(chǎn)品。
流量緩存系統(tǒng)的基本思想就是以“存儲換帶寬”。這一設(shè)計(jì)理念是指在網(wǎng)絡(luò)“邊緣”部署緩存服務(wù)器,用以緩存互聯(lián)網(wǎng)內(nèi)容,并利用海量存儲實(shí)現(xiàn)流量的本地化。通過利用緩存內(nèi)容服務(wù)的后續(xù)請求,過濾掉重復(fù)的網(wǎng)絡(luò)流量,從而有效緩解互聯(lián)網(wǎng)出口流量壓力,并大幅提升用戶體驗(yàn),幫助運(yùn)營商從容應(yīng)對互聯(lián)網(wǎng)流量的沖擊。從技術(shù)原理上來分析,CDN解決的是可管理內(nèi)容在互聯(lián)網(wǎng)上有效傳輸?shù)接脩舻膯栴},而流量緩存解決的是用戶訪問互聯(lián)網(wǎng)海量內(nèi)容的流量優(yōu)化和本地加速問題。與采用CDN技術(shù)進(jìn)行流量優(yōu)化相比,緩存技術(shù)具有投資少、見效快的特點(diǎn),其適用的對象包括電信、廣電等寬帶運(yùn)營商,也包括網(wǎng)絡(luò)視頻等大型互聯(lián)網(wǎng)內(nèi)容運(yùn)營企業(yè)。
傳統(tǒng)的流量緩存系統(tǒng)主要是面對Web流量進(jìn)行緩存。隨著互聯(lián)網(wǎng)視頻以及P2P應(yīng)用的持續(xù)增長,現(xiàn)有的緩存系統(tǒng)也在不斷地向綜合化緩存方向發(fā)展,并能夠?qū)ヂ?lián)網(wǎng)上的主流Web、在線視頻和P2P等大流量應(yīng)用同時(shí)提供緩存。
一般來說,流量緩存系統(tǒng)可以采用旁路或者串入方式進(jìn)行部署,旁路部署的方式通常采用分光和鏡像兩種方法復(fù)制網(wǎng)絡(luò)流量。流量緩存系統(tǒng)通常和深度包檢測DPI(Deep Packet Inspection)設(shè)備進(jìn)行集成部署,從而為用戶提供“疏堵結(jié)合”的流量優(yōu)化方法。
CDN和流量緩存系統(tǒng)因其自身的特點(diǎn),在諸多的互聯(lián)網(wǎng)流量優(yōu)化技術(shù)中脫穎而出,獲得了較快的發(fā)展,已經(jīng)在運(yùn)營商和互聯(lián)網(wǎng)用戶中獲得了廣泛的部署。
技術(shù):
“推拉”機(jī)制
CDN能夠利用最近的網(wǎng)絡(luò)資源來服務(wù)用戶請求,加快遠(yuǎn)程訪問速度,減少遠(yuǎn)程訪問帶寬,分擔(dān)網(wǎng)絡(luò)流量,實(shí)現(xiàn)熱點(diǎn)內(nèi)容主動傳送、自動跟蹤和自動更新,且發(fā)布的內(nèi)容受到版權(quán)保護(hù)。
緩存技術(shù)的優(yōu)點(diǎn)是能夠利用緩存流量來減少網(wǎng)間重復(fù)流量,減輕網(wǎng)絡(luò)出口擁塞。緩存數(shù)據(jù)直接服務(wù)于用戶,加快了用戶請求的響應(yīng)時(shí)間,另外,緩存副本能夠保證在遠(yuǎn)程服務(wù)器發(fā)生故障的情況下繼續(xù)為用戶提供服務(wù),從而使得網(wǎng)絡(luò)具有高可用性。同時(shí),緩存系統(tǒng)的投資更低,各地運(yùn)營商也可自主部署。
CDN技術(shù)是一種將互聯(lián)網(wǎng)傳送內(nèi)容送達(dá)到最終用戶的機(jī)制,可簡稱為“推”機(jī)制;而緩存技術(shù)則代表了一種最終用戶從互聯(lián)網(wǎng)主動抓取內(nèi)容的機(jī)制,可簡稱為“拉”機(jī)制。隨著互聯(lián)網(wǎng)內(nèi)容的爆炸式增長,由于人工推送存在局限性,單純依靠主動推送方式是不能夠及時(shí)反映互聯(lián)網(wǎng)流量熱點(diǎn)狀況的,而采取用戶主動發(fā)起的“拉”機(jī)制,更能夠符合現(xiàn)有網(wǎng)絡(luò)發(fā)展的趨勢。此外,緩存系統(tǒng)的部署通常采用旁路方式,當(dāng)系統(tǒng)發(fā)生故障時(shí)也不會對原有網(wǎng)絡(luò)產(chǎn)生影響。
在可以預(yù)見的未來,移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及云計(jì)算將成為推動互聯(lián)網(wǎng)網(wǎng)絡(luò)流量及應(yīng)用優(yōu)化市場增長的主要驅(qū)動力。艾瑞咨詢數(shù)據(jù)顯示,2011年中國移動互聯(lián)網(wǎng)市場規(guī)模已經(jīng)達(dá)到393.1億元,同比增長97.5%,預(yù)計(jì)2015年市場規(guī)模將達(dá)到4252.7億元,2011~2015年年復(fù)合增長率將達(dá)到81.4%。根據(jù)工信部預(yù)測,我國物聯(lián)網(wǎng)市場規(guī)模在2015年將達(dá)到5000億元規(guī)模。在云計(jì)算領(lǐng)域,計(jì)世資訊發(fā)布的調(diào)研數(shù)據(jù)預(yù)測,2011年~2015年中國云計(jì)算市場年復(fù)合增長率在50%以上。移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計(jì)算的高速發(fā)展,將直接推動互聯(lián)網(wǎng)流量和應(yīng)用優(yōu)化服務(wù)需求的激增。受以上因素影響,2011年中國互聯(lián)網(wǎng)網(wǎng)絡(luò)流量及應(yīng)用優(yōu)化市場規(guī)模已經(jīng)達(dá)到了73.1億元,預(yù)計(jì)到2016年市場規(guī)模將達(dá)到211.2億元,2012~2016年復(fù)合增長率為23.6%。
CDN技術(shù)2000年前后就被引入國內(nèi),是目前應(yīng)用最廣泛的互聯(lián)網(wǎng)網(wǎng)絡(luò)流量優(yōu)化技術(shù)。網(wǎng)宿科技2011年CDN收入規(guī)模達(dá)到3.4億元,增長82.8%;藍(lán)汛在2011年的CDN業(yè)務(wù)收入規(guī)模也達(dá)到6.2億元,增長56.5%。這兩家廠商目前已經(jīng)占據(jù)了國內(nèi)整個CDN市場近50%的份額。
緩存技術(shù)雖然起步較晚,但是保持了爆發(fā)式的發(fā)展勢頭,在未來幾年將保持較快的增長速度。目前在國內(nèi)進(jìn)行緩存技術(shù)開發(fā)和應(yīng)用的企業(yè)中,東方網(wǎng)信起步較早,技術(shù)相對成熟,市場占有率較高。2009年后,隨著市場對緩存技術(shù)的逐漸認(rèn)可,國內(nèi)陸續(xù)有廠商進(jìn)入緩存市場,包括思朗特、阿爾卡特朗訊、美勛智、華為等。思朗特、美勛智企業(yè)規(guī)模較小,目前主要集中在中小ISP市場,產(chǎn)品基于國內(nèi)應(yīng)用環(huán)境開發(fā),本地化程度高。阿爾卡特朗訊在收購Velocix后,利用緩存技術(shù)彌補(bǔ)了其流控產(chǎn)品在市場競爭中的短板。華為也借助緩存技術(shù)實(shí)現(xiàn)了現(xiàn)有產(chǎn)品的優(yōu)化組合。
展望:內(nèi)容交換改變架構(gòu)
未來的互聯(lián)網(wǎng)需要具備更好的可擴(kuò)展性和高效率的內(nèi)容分發(fā)能力,因此,面向內(nèi)容的網(wǎng)絡(luò)將是未來網(wǎng)絡(luò)架構(gòu)演進(jìn)的一個重要方向,其優(yōu)勢主要有三點(diǎn)。
首先,將CDN、P2P系統(tǒng)中通過預(yù)設(shè)方式產(chǎn)生的內(nèi)容索引和內(nèi)容緩存,變?yōu)殡S著內(nèi)容產(chǎn)生和分發(fā)而在網(wǎng)絡(luò)上隨時(shí)進(jìn)行的行為。同時(shí),將針對特定應(yīng)用的CDN、P2P系統(tǒng),變?yōu)獒槍W(wǎng)絡(luò)上各種內(nèi)容的內(nèi)容存儲、緩存分發(fā)網(wǎng)絡(luò),提高了內(nèi)容的分發(fā)效率和范圍。
其次,打破了只能利用特定CDN、P2P系統(tǒng)內(nèi)已劃定副本的限制,使網(wǎng)絡(luò)上存在的內(nèi)容副本都能被利用,并遵循就近性、帶寬最大、負(fù)載最輕等原則,選擇合適位置的副本來實(shí)現(xiàn)內(nèi)容分發(fā)效率的最大化。
第三,嵌入網(wǎng)絡(luò)的緩存可以使路徑上傳輸過的內(nèi)容留下副本,減少網(wǎng)絡(luò)上所傳輸?shù)闹貜?fù)內(nèi)容。
目前,國內(nèi)已經(jīng)有學(xué)者提出了內(nèi)容交換網(wǎng)的概念。內(nèi)容交換網(wǎng)這個概念代表了更適合內(nèi)容分發(fā)的一種新型的網(wǎng)絡(luò)架構(gòu)。內(nèi)容交換網(wǎng)的核心思路是對內(nèi)容的交換,其本質(zhì)是通過對內(nèi)容的標(biāo)識、索引、查找、存儲和緩存實(shí)現(xiàn)內(nèi)容在節(jié)點(diǎn)之間的高效傳輸,利用P2P、CDN、Cache等技術(shù)的優(yōu)勢,實(shí)現(xiàn)具備分布式、高效、低成本、提升QoS、高可靠性、可管可控以及可擴(kuò)展特性的,基于IP層之上的應(yīng)用層內(nèi)容交換網(wǎng)絡(luò)。
在未來相當(dāng)長的一段時(shí)間內(nèi),受移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等產(chǎn)業(yè)的快速發(fā)展影響,傳統(tǒng)基礎(chǔ)數(shù)據(jù)網(wǎng)絡(luò)環(huán)境難以滿足爆發(fā)式網(wǎng)絡(luò)流量遞增的情況還將持續(xù)存在,互聯(lián)網(wǎng)網(wǎng)絡(luò)流量及應(yīng)用優(yōu)化市場也將隨之保持增長趨勢。內(nèi)容交換網(wǎng)絡(luò)作為結(jié)合了CDN和緩存技術(shù)優(yōu)點(diǎn)的下一代網(wǎng)絡(luò)流量優(yōu)化技術(shù),將逐步成為未來發(fā)展的主流。