騰訊科技網(wǎng)絡平臺部網(wǎng)絡解決方案架構師 | 馬志強

互聯(lián)網(wǎng)公司新一代骨干網(wǎng)架構探析

騰訊科技網(wǎng)絡平臺部網(wǎng)絡解決方案架構師 | 馬志強

信息的爆炸式增長已使互聯(lián)網(wǎng)公司的現(xiàn)有網(wǎng)絡架構難以適應形勢的發(fā)展，試探自建新型的骨干網(wǎng)成為新的焦點。

互聯(lián)網(wǎng)上有兩大主要元素“內容和眼球”，“內容”是互聯(lián)網(wǎng)公司（或稱ICP）提供的網(wǎng)絡服務，如網(wǎng)頁、游戲、即時通信等，“眼球”則是指海量的互聯(lián)網(wǎng)用戶。“內容”與“眼球”之間的橋梁是網(wǎng)絡運營商?；ヂ?lián)網(wǎng)公司的內容分布在運營商多地的IDC中，二者的合作密不可分。但信息爆炸使得網(wǎng)絡資源日趨緊張，互聯(lián)網(wǎng)公司與運營商之間的緊耦合關系弊端日益增多，嘗試新型網(wǎng)絡架構的自建模式成為互聯(lián)網(wǎng)企業(yè)的最新關注點。

國內互聯(lián)網(wǎng)公司的網(wǎng)絡架構

互聯(lián)網(wǎng)公司主要是根據(jù)用戶服務體驗的覆蓋經(jīng)驗，向運營商租用IDC機架和網(wǎng)絡出口資源，在不同的運營商、不同的省份/城市，批量部署業(yè)務服務器對外提供服務，并為業(yè)務模塊間通信而建立IDC內部網(wǎng)絡、城域網(wǎng)和廣域網(wǎng)，同時通過自建CDN或CDN專業(yè)服務公司對服務盲點進行覆蓋。其網(wǎng)絡架構如圖1所示。

IDC網(wǎng)絡通常用于承載上千臺服務器的通信，滿足日益增多的東西向通信需求，要求扁平化、易擴展，現(xiàn)階段較為流行的架構方式為CLOS架構，以“核心＋接入”的方式提供上千臺服務器的網(wǎng)絡接入，甚至無阻塞通信。

城域網(wǎng)主要是應分布在多個IDC中業(yè)務之間需要通信而產(chǎn)生的，通常由于其以匯聚出口帶寬為主要目的，采用大容量的以太網(wǎng)交換設備、通過租用運營商裸光纖實現(xiàn)互聯(lián)，更有超前的互聯(lián)網(wǎng)公司出于提高網(wǎng)絡可靠性和質量、降低投資成本等考慮，自行鋪設DWDM傳輸系統(tǒng)，基本上打造了運營商級別的傳輸系統(tǒng)。

廣域網(wǎng)主要是由于跨全國部署業(yè)務，滿足業(yè)務模塊間內網(wǎng)通信需求而鋪設的長途網(wǎng)絡，廣域網(wǎng)的范圍和網(wǎng)絡帶寬視互聯(lián)網(wǎng)公司業(yè)務規(guī)模和覆蓋模式不同而不同，有些互聯(lián)網(wǎng)公司業(yè)務眾多且部署范圍廣，那么通過租用運營商長途線路，組建2.5G/10G級別的廣域骨干網(wǎng)就非常重要。

CDN的形式有兩種，一是自建；二是外包，將CDN選址、網(wǎng)絡鋪設、服務器部署、CDN分發(fā)系統(tǒng)交由服務公司完成，雙方僅需簽訂服務合同。CDN是互聯(lián)網(wǎng)通過IDC之外改善用戶體驗的一種補充，對視頻、下載等業(yè)務具有非常重要的作用。

現(xiàn)有架構面臨三大瓶頸

圖1 互聯(lián)網(wǎng)公司網(wǎng)絡架構圖

在現(xiàn)有的架構下，內部基礎設施不僅要支持大規(guī)模服務器和網(wǎng)絡建設，更要能以更低、更精簡的團隊保障其良好運營，因此需對架構重新審視。同時，外部環(huán)境的變化，如運營商IDC資源供給速度放緩、運營商網(wǎng)絡擴容速度緩慢且網(wǎng)絡質量不穩(wěn)定、全球IPv4地址耗盡等，都要求我們對互聯(lián)網(wǎng)公司下一代網(wǎng)絡架構進行認真思考。

IDC資源日益匱乏

在飛速發(fā)展的互聯(lián)網(wǎng)時代，ICP面臨激烈競爭，公司業(yè)務要求“敏捷迭代、小步快跑”，對IDC資源、網(wǎng)絡資源的供給量要求非常大，同時供給速度必須保障足夠快，可稱之為“爆發(fā)式需求”。以某互聯(lián)網(wǎng)公司為例，2011年其服務器新建量就已與此前的服務器總量持平；再以某互聯(lián)網(wǎng)公司的合作伙伴業(yè)務服務器需求量為例，短短3個月時間里，其業(yè)務服務器需求量從0激增到了1000多臺，這給IDC機房、服務器、網(wǎng)絡帶寬等基礎設施造成了巨大沖擊。

在現(xiàn)有IDC供給模式和網(wǎng)絡架構下，需大量向運營商租用IDC資源（機房、服務器機架、網(wǎng)絡出口帶寬等），但從東南沿海到中西部城市，可快速批量供應的IDC數(shù)量并不充足，再加上長達3個月的建設周期，基本上無法滿足業(yè)務的爆發(fā)式需求。從現(xiàn)實情況看，IDC資源已成為互聯(lián)網(wǎng)公司業(yè)務發(fā)展瓶頸。

所以我們需要探討更好的網(wǎng)絡架構，以更快速支撐業(yè)務覆蓋。

運營商網(wǎng)絡強耦合困境

互聯(lián)網(wǎng)公司基本上不會通過一個運營商的IDC覆蓋全國用戶，因為現(xiàn)實情況是，國內運營商網(wǎng)絡間互聯(lián)互通質量不容樂觀。

即便是想在同一個運營商內，挑選優(yōu)質的運營商省網(wǎng)/城域網(wǎng)的IDC進行業(yè)務部署，用于覆蓋該運營商全國用戶，也并非易事，因為很多運營商省網(wǎng)/城域網(wǎng)發(fā)展并不均衡，擴容速度慢，通常以半年/年為擴容周期，省網(wǎng)/城域網(wǎng)出口帶寬、骨干網(wǎng)鏈路帶寬利用率普遍偏高，一旦長途傳輸鏈路中斷，必然會導致骨干鏈路擁塞，通信時延和丟包率急劇上升。

所以對于互聯(lián)網(wǎng)公司而言，用一個省網(wǎng)/城域網(wǎng)的IDC來覆蓋用戶，一旦遇到運營商網(wǎng)絡質量波動，基本上業(yè)務就會受到影響，而互聯(lián)網(wǎng)公司業(yè)務和網(wǎng)絡架構本身沒有手段可以進行冗余規(guī)避，只能等待運營商網(wǎng)絡故障盡快恢復。

所以同樣，我們需要探索更好的網(wǎng)絡架構，以擺脫對運營商網(wǎng)絡的強耦合依賴關系。

出口資源和IPv4資源緊縮

互聯(lián)網(wǎng)公司提供服務主要是通過租用租用運營商IDC機架、網(wǎng)絡出口、合法IP地址等資源。具體租用模式隨運營商和互聯(lián)網(wǎng)公司規(guī)模、雙方合作緊密程度等有所不同，通常租用IDC機架和網(wǎng)絡出口配備2～3個C甚至更多的合法IPv4地址。

然而全球合法IPv4地址正日益緊缺。2011年2月，IAIA宣布不再有任何IPv4地址可分配給五大區(qū)域互聯(lián)網(wǎng)注冊管理機構，而運營商骨干網(wǎng)、省網(wǎng)/城域網(wǎng)留存的合法IPv4地址數(shù)量預計也僅能堅持到2012年上半年，運營商開始收緊合法IPv4地址的發(fā)放。屆時，互聯(lián)網(wǎng)公司能否在國家政策、運營商整體改造就緒的情況下迅速向IPv6轉型，根據(jù)目前的趨勢判斷并不樂觀，勢必會面臨商務成本挑戰(zhàn)，合法IPv4地址的使用成本必將提升，而不是像現(xiàn)在一樣隨帶寬附帶購買或收取稍許費用。

所以，互聯(lián)網(wǎng)公司在國內國際的IDC出口網(wǎng)絡使用自行申請的合法IPv4地址與運營商進行BGP路由互聯(lián)，某種程度上可以緩解IPv4地址的壓力，但這無法從根本上解決IPv4地址稀缺的問題，而且互聯(lián)網(wǎng)公司通常擁有的合法IPv4地址數(shù)量并不多，所以全新的骨干網(wǎng)絡或互聯(lián)模式或許不能完全或長期解決IPv4地址不足的問題。

骨干網(wǎng)架構創(chuàng)新需求猛增

隨著互聯(lián)網(wǎng)公司及其業(yè)務的蓬勃發(fā)展，成本并不一定作為第一要素進行考慮，更多從更好地面向用戶提供服務、改善用戶體驗等方面出發(fā)。要緩解IDC資源、網(wǎng)絡等面臨的巨大壓力，必然要通過更加靈活的方式進行構建，擁有自己強健的骨干網(wǎng)絡，有能力承擔為改善用戶體驗而迂回流量，在運營商網(wǎng)絡出現(xiàn)質量下降時保障用戶服務的牽引流量，逐步走向ICP和ISP的混合體，這期間構建成本的適當增加是可預見的。

從技術的角度看，互聯(lián)網(wǎng)公司首先要擁有合法的AS號碼和IP地址，其次通過租用城域或長途專線構建自己的骨干網(wǎng)絡，我們稱之為ICP Internet Backbone，這區(qū)別于用于業(yè)務內部交互用的城域網(wǎng)和廣域網(wǎng)（當然，最終的組網(wǎng)模式可以是單獨的物理骨干網(wǎng)絡，也可以是在現(xiàn)有城域網(wǎng)和廣域網(wǎng)的基礎上形成的業(yè)務承載網(wǎng)，邏輯上形成單獨的骨干網(wǎng)），其特點是帶寬需求量大。另外更重要的是有能力，包括業(yè)務規(guī)模、業(yè)務吸引力、商務洽談等多方面能力，實現(xiàn)與運營商的BGP協(xié)議互聯(lián)，當然這個過程可以從與中小型運營商的互聯(lián)做起，隨著能力的增強逐步實現(xiàn)與大型運營商的互聯(lián)，或者通過IXP、NAP點等提供Public Peering的互聯(lián)點做起都可以，典型的例子就是Google（在大中型IXP的客戶列表中，Google常以自有AS號碼與ISP進行對等互聯(lián)）。

自建模式大幅降低成本

很多互聯(lián)網(wǎng)公司的同仁仍然堅信按照既有的“資源多點部署模式”，也就是在各處部署服務器資源更加合算。

在此模式下，如圖2所示，在運營商A城域網(wǎng)IDC部署業(yè)務X和Y，可輕松滿足城域網(wǎng)A或周邊省網(wǎng)/城域網(wǎng)的用戶訪問需求，如果要滿足省網(wǎng)/城域網(wǎng)B的通信需求，則需依賴于運營商城域網(wǎng)A和城域網(wǎng)B之間骨干網(wǎng)絡的帶寬情況、利用率情況、擴容頻度、穩(wěn)定性情況等諸多因素，如果用戶體驗不好，就需在城域網(wǎng)B的IDC中部署同樣一套的業(yè)務X和Y。對于互聯(lián)網(wǎng)公司而言，這里的成本就是在城域網(wǎng)B的IDC中部署業(yè)務X和Y所需的機架、服務器等方面的成本。

根據(jù)我們的經(jīng)驗，這種模式的初始投資比較大，包括租用機架費用、服務器費用，長期投資包括機架電力費用、運行維護費用等。

圖2 資源多點部署模式

但是，如果采用“自建骨干網(wǎng)模式”（圖3），其差異在于如圖紅星標出的位置，互聯(lián)網(wǎng)公司的IDC外網(wǎng)部分通過自己的骨干網(wǎng)互聯(lián)，各IDC仍然保持與運營商的互聯(lián)，形成多出口互聯(lián)的模式，并不要求IDC A和B部署的業(yè)務完全一樣，運營商用戶對不同業(yè)務的訪問，完全可以通過互聯(lián)網(wǎng)公司自己的骨干網(wǎng)或運營商骨干網(wǎng)進行合理引導，并且在運營商網(wǎng)絡質量不好時完全通過互聯(lián)網(wǎng)公司自己的骨干網(wǎng)進行迂回，保障用戶體驗。

圖3 自建骨干網(wǎng)模式

這種模式下，一次性和長期的投入只是骨干網(wǎng)鏈路成本，根據(jù)經(jīng)驗計算，假設部署業(yè)務X和Y所需的服務器數(shù)量為1000臺，每機架15臺服務器，每臺服務器對外服務吞吐流量5Mbit/s，模式一的初始投資和一年運營成本約合1400萬元，模式二的一年運營成本約合720萬元。

按需實現(xiàn)靈活業(yè)務調度

還有一點相當重要，就是合理的流量引導策略，不同的流量引導方式，會導致完全不同的用戶體驗和成本。

圖4 “冷土豆”模式

圖5 “熱土豆”模式

圖4和圖5展示了完全不同的流量引導方式，都是在鏈路和網(wǎng)絡質量正常情況下的流量引導，但是有“冷土豆”、“熱土豆”之分，這里用“土豆”比喻流量，實現(xiàn)了多地互聯(lián)的ISP和ICP骨干網(wǎng)，兩種流量模式實現(xiàn)了完全不同的效果。

“熱土豆”：由于是三地互聯(lián)，三地用戶對本地內容的訪問直接通過互聯(lián)鏈路穿透實現(xiàn)，而運營商三地對異地內容的訪問，例如運營商BJ用戶對互聯(lián)網(wǎng)公司GZ業(yè)務的訪問，不論ICP側如何進行策略引導，ISP側都會像持燙手的熱土豆一樣將流量從BJ的互聯(lián)點丟給ICP側，然后穿透ICP的骨干網(wǎng)到GZ業(yè)務去，這樣對ISP側骨干網(wǎng)的資源占用最少。

“冷土豆”：差別僅在于運營商對穿透骨干網(wǎng)的流量不太敏感，就像放在手心的冷土豆一樣，可以任由BJ用戶對互聯(lián)網(wǎng)公司GZ業(yè)務訪問的流量穿透自己的骨干網(wǎng)，再經(jīng)過GZ的互聯(lián)點進入到ICP側，這樣對ICP側骨干網(wǎng)的資源占用最少。

兩種流量引導模式?jīng)]有好壞之分，也不可能ISP側采用“冷土豆”而ICP側采用“熱土豆”，讓一方吃虧一方占便宜，是需要雙方本著對等和服務優(yōu)先的原則進行洽談，兩種模式都是在鏈路和網(wǎng)絡質量正常情況下，選擇更好的方式保障用戶服務和改善用戶體驗。

新型架構顯現(xiàn)三大優(yōu)勢

事實上，現(xiàn)有的“資源多點部署模式”沒有絕對的缺點，是互聯(lián)網(wǎng)公司經(jīng)過多年摸索形成的一種可行模式。但是隨著公司業(yè)務的發(fā)展，用戶體驗和靈活性成為重中之重，采用新型模式架構將帶來三大優(yōu)勢。

其一，極大地減輕對運營商網(wǎng)絡質量的依賴，提高業(yè)務流量的靈活調度能力。當遇到運營商骨干網(wǎng)絡故障或質量問題，可以及時切換到自有骨干網(wǎng)絡進行流量迂回。

其二，適當減輕了IDC資源的需求。當需要對某一特定運營商的特定區(qū)域進行用戶體驗改善時，無需等待IDC機房、電力、機架的建設，僅需簡單的網(wǎng)絡設備及專線即可完成，通過自有骨干網(wǎng)絡的承載完成業(yè)務覆蓋。

其三，當運營商無法提供充足的IPv4地址時，通過自有骨干網(wǎng)絡使用自有IPv4地址，一定程度上緩解了地址資源緊缺。

但是，互聯(lián)網(wǎng)公司建設骨干網(wǎng)絡，不會在短時間內建設完成，而必然是一定時期內兩種模式并存，逐步按需建設。最初驅動力可能是運營商網(wǎng)絡能力與互聯(lián)網(wǎng)公司業(yè)務需求差距巨大而不可調和、運營商IPv4地址嚴重緊缺而又沒有解決辦法、海外運營商充分競爭環(huán)境等情況，屆時，互聯(lián)網(wǎng)公司作為ICP與ISP的界限將更加模糊，而互聯(lián)網(wǎng)公司的業(yè)務靈活調度能力、用戶體驗改善情況將大幅提升。