蓋 玲

(江漢大學政法學院公共管理系 武漢430056)

1 引言

海量數(shù)字內(nèi)容已經(jīng)引發(fā)互聯(lián)網(wǎng)流量出現(xiàn)10倍甚至百倍的急速增長——互聯(lián)網(wǎng)數(shù)字洪水時代正式來臨！

未來5年，互聯(lián)網(wǎng)每年的流量增速將高達56%～80%，即相當5年的帶寬需求將增加10～20倍，通過對流量增長原因進行深入分析發(fā)現(xiàn)，P2P是占主導地位的增長因素，網(wǎng)絡(luò)視頻類業(yè)務(wù)也正在成為另一個非常重要的增長因素，而網(wǎng)絡(luò)視頻類業(yè)務(wù)又多是基于P2P及相關(guān)技術(shù)進行提供的，因此，深入剖析P2P相關(guān)技術(shù)及管控手段是解決數(shù)字洪水挑戰(zhàn)的關(guān)鍵。

P2P具有去中心化、疊加式網(wǎng)絡(luò)模型和對等性功能模型的特點，這使得P2P技術(shù)與傳統(tǒng)的C/S模式之間有本質(zhì)的區(qū)別，也正是在這些優(yōu)點讓P2P應(yīng)用迅速普及，應(yīng)用涉及的領(lǐng)域越來越廣，已經(jīng)從單一的大文件下載轉(zhuǎn)變?yōu)楦嗟男滦投嗝襟w應(yīng)用，例如P2P直播和P2P語音通信。但是，P2P快速發(fā)展所帶來的負面效應(yīng)也正在顯現(xiàn)，最突出的矛盾就是對網(wǎng)絡(luò)資源的濫用。不管運營商的網(wǎng)絡(luò)帶寬如何增加，P2P應(yīng)用總是會盡力搶占所有可用的帶寬，這種“黑洞效應(yīng)”直接影響到運營商網(wǎng)絡(luò)建設(shè)的投資積極性，同時也會導致其他用戶滿意度下降，引起用戶投訴或轉(zhuǎn)網(wǎng)，進而間接導致運營商的商業(yè)利益受損。

對P2P進行控制和管理已經(jīng)變得非常必要和緊迫，目前主要采用的手段是部署流量分析及控制設(shè)備，通過對P2P應(yīng)用進行分析和識別，采取阻斷或限速等措施。這種方案優(yōu)點是可以控制、管理、識別P2P應(yīng)用，以此來保證帶寬和其他業(yè)務(wù)的QoS；局限性也十分明顯，通過阻止用戶使用來緩解帶寬的擁擠，會導致用戶的使用體驗和滿意度下降。顯而易見，這種采取簡單“封堵”思路的解決方案并不是最佳選擇。

“疏堵結(jié)合，為我所用，一方面對非法的能夠想辦法疏堵的還是要堵一堵，否則電信的投資都白投了，另一方面爭取化害為利，為我們所用?！边@是中國電信集團的總工程師韋樂平先生對于管理P2P所給出的策略和建議?！笆瓒陆Y(jié)合”符合運營商、內(nèi)容提供商和最終用戶三方利益的“3Win”原則，是目前緩解數(shù)字洪水的最適合手段。“疏”是指實現(xiàn)流量的高度本地化，減輕骨干網(wǎng)絡(luò)的壓力和提升用戶使用體驗；“堵”是指對帶寬進行必要限制，保護運營商網(wǎng)絡(luò)投資的商業(yè)價值。

2 互聯(lián)網(wǎng)流量監(jiān)控疏堵技術(shù)的研究

2.1 互聯(lián)網(wǎng)流量監(jiān)控

對互聯(lián)網(wǎng)流量進行疏導或者封堵，首先需要對互聯(lián)網(wǎng)流量進行分析和識別，目前主流方式為采用DPI＋DFI檢測技術(shù)，通過7層特征檢測結(jié)合行為特征檢測技術(shù)保證流量識別的準確性，主要涉及的檢測方式包括端口檢測、應(yīng)用層特征分析、高速協(xié)議解析、關(guān)聯(lián)識別和基于行為特征的檢測。

（1）特征識別

特征識別可以分為單包匹配、多包匹配、多流匹配以及動態(tài)解密。

·單包匹配：對于大部分協(xié)議，通過一個報文的特征就能識別出該流協(xié)議類型。傳統(tǒng)方法需要在構(gòu)建完協(xié)議識別規(guī)則樹后，遍歷規(guī)則樹，將報文與每個規(guī)則進行逐一匹配。通過建立多模式匹配狀態(tài)機，對單個報文的一次掃描即可找到報文中的所有特征，大大提高了協(xié)議識別的性能。另外，華為公司通過專利技術(shù)對普通多模式匹配算法進行了優(yōu)化，進一步提高了協(xié)議識別的性能。

·多包匹配：對部分協(xié)議僅靠檢測單個報文無法準確識別該流的協(xié)議類型，這時需要分析一條流的多個報文才能準確識別出其協(xié)議類型。通過建立多包匹配規(guī)則，根據(jù)多個報文中的特征來綜合判斷某條流的協(xié)議類型。例如，對某VoIP軟件，如果符合連續(xù)3個包在幾個相應(yīng)位置的值滿足等差關(guān)系，即可識別該流的協(xié)議類型。

·多流匹配：對部分協(xié)議僅靠檢測單個流的特征無法準確識別該流的協(xié)議類型，這時需要分析多條流的多個報文才能準確識別出其協(xié)議類型。通過建立多流匹配規(guī)則，根據(jù)多個流中多個報文中的特征來綜合判斷多條流的協(xié)議類型。

·動態(tài)解密：對一些采用簡單加密技術(shù)的協(xié)議不能通過常規(guī)特征識別方式檢測出其協(xié)議類型，此時便可以采用動態(tài)解密技術(shù)幫助進行識別。例如，對于某網(wǎng)絡(luò)電視軟件的檢測，通過在報文中用動態(tài)解密算法取出一個字段用作動態(tài)密鑰，然后用此密鑰與該報文中的另一字段進行解密運算，根據(jù)運算結(jié)果便

可知道該流是否符合相關(guān)的協(xié)議類型。

（2）關(guān)聯(lián)識別

對部分協(xié)議，在信令流中動態(tài)協(xié)商其數(shù)據(jù)流通道，先通過特征識別識別出其信令流，然后通過解析其信令流得到其數(shù)據(jù)流的五元組信息。通過對數(shù)據(jù)流的關(guān)聯(lián)識別可準確地識別出該協(xié)議的數(shù)據(jù)流。例如，通過特征識別識別出FTP的信令流并加以解析，得到該FTP數(shù)據(jù)流的五元組信息，這樣就可以直接根據(jù)該流的五元組信息準確識別出該FTP的數(shù)據(jù)流。

（3）行為識別

對某些采用加密技術(shù)的協(xié)議，無法解密檢測其報文內(nèi)容，采用別的識別技術(shù)也無法識別其協(xié)議類型，這時可以根據(jù)流的行為特征識別其協(xié)議類型。例如，在一定的時間段，可以根據(jù)一條流的若干報文長度和發(fā)報頻率是否滿足一定規(guī)律來識別“電驢”協(xié)議。

由于互聯(lián)網(wǎng)發(fā)展日新月異，對互聯(lián)網(wǎng)應(yīng)用協(xié)議特征字的分析需要大量的人力投入和不斷的技術(shù)跟蹤，才能保證互聯(lián)網(wǎng)流量檢測的有效性和高效性。

2.2 互聯(lián)網(wǎng)流量緩存技術(shù)

互聯(lián)網(wǎng)緩存系統(tǒng)是“疏堵結(jié)合”中的“疏”，是對HTTP、P2P、在線視頻等主要流量進行網(wǎng)內(nèi)緩存。

互聯(lián)網(wǎng)緩存系統(tǒng)的基本工作原理是用戶請求進行過濾與分析，通過重定向、策略路由等方式將用戶的請求轉(zhuǎn)移到緩存系統(tǒng)。如果用戶請求的內(nèi)容屬于已經(jīng)緩存的熱點內(nèi)容，通過調(diào)度和緩存模塊的協(xié)同工作為用戶提供對應(yīng)資源。熱點內(nèi)容的生成基于對用戶行為的實時統(tǒng)計，相關(guān)判斷條件可以自定義。如果用戶的訪問請求無法由現(xiàn)有熱點內(nèi)容滿足，且訪問請求已累計至可緩存的閾值，則可以獲取、緩存相應(yīng)的熱點內(nèi)容，并為后續(xù)的用戶請求提供服務(wù)，最終達到將熱點內(nèi)容流量留在運營商網(wǎng)內(nèi)，消除相同熱點重復下載的目的。

該系統(tǒng)針對當前運營商優(yōu)化網(wǎng)絡(luò)流量、緩解出口帶寬壓力和提高用戶體驗的需求而設(shè)計，通常部署在運營商網(wǎng)絡(luò)出口處?；ヂ?lián)網(wǎng)緩存系統(tǒng)通常采用了以下技術(shù)。

（1）內(nèi)網(wǎng)P4P調(diào)度

以BT協(xié)議為例，BT協(xié)議的Tracker服務(wù)器在返回Peerlist時，并不能判斷哪些peer屬于內(nèi)網(wǎng)應(yīng)該優(yōu)先互相傳輸，而是隨機地將列表發(fā)送給客戶端，列表中既包含外網(wǎng)的用戶，也包含內(nèi)網(wǎng)的用戶。

部署采用P4P技術(shù)的緩存系統(tǒng)后，系統(tǒng)就會將內(nèi)網(wǎng)中保存有相同內(nèi)容的peer地址優(yōu)先傳輸給請求用戶，而不需要向外網(wǎng)peer進行請求。通過優(yōu)先調(diào)度內(nèi)網(wǎng)用戶之間進行數(shù)據(jù)傳輸，可以降低骨干網(wǎng)的傳輸壓力，提高改良文件傳輸?shù)男阅堋?/p>

（2）動態(tài)URL解析

基于安全性等因素的考慮，目前大部分在線視頻網(wǎng)站采用了動態(tài)URL技術(shù)，一些網(wǎng)站使用了一次性或者具有時間限制的URL，另外一些網(wǎng)站甚至把用戶的IP地址作為URL的一部分，所以不同用戶或者同一用戶在不同的時間訪問同一個資源，看到的URL是不一樣的。傳統(tǒng)的基于URL的緩存技術(shù)將無法正常地發(fā)揮作用，互聯(lián)網(wǎng)緩存系統(tǒng)采用智能緩存技術(shù)，通過分析資源的內(nèi)容或者特定網(wǎng)站的URL變化規(guī)律，采用正則表達式進行匹配，實現(xiàn)精確的緩存能力。

（3）緩存內(nèi)容防重復緩存

互聯(lián)網(wǎng)上內(nèi)容相同的資源經(jīng)常會出現(xiàn)在不同的網(wǎng)站上，而且文件名也不一樣。如果按照文件名和URL等信息來定位資源，將會造成內(nèi)容相同資源的重復下載，浪費寶貴的互聯(lián)網(wǎng)出口帶寬?；ヂ?lián)網(wǎng)緩存系統(tǒng)能夠準確地判斷互聯(lián)網(wǎng)資源的惟一性，避免重復緩存帶來的帶寬和緩存空間的浪費，其實現(xiàn)原理如圖1所示。系統(tǒng)自動將文件進行分片并預(yù)讀取每片的前面幾個字節(jié)，然后用Hash算法獲得一個惟一標識該資源的Hash值，確保緩存資源的惟一性，舉例如圖2所示。

（4）緩存內(nèi)容快速檢索

緩存系統(tǒng)運行一定的時間后，系統(tǒng)中會保存大量的緩存文件，對文件查找速度造成影響。緩存系統(tǒng)使用文件HASH值惟一地標識某一緩存文件，并根據(jù)該HASH值建立對應(yīng)的目錄結(jié)構(gòu)來存放緩存文件。

另外，緩存系統(tǒng)通過數(shù)據(jù)表映射、內(nèi)存查找等方式，進一步提高緩存文件的查找速度，加快緩存系統(tǒng)的響應(yīng)時間，更快捷地為用戶提供緩存服務(wù)。

（5）緩存內(nèi)容過期探測

在互聯(lián)網(wǎng)中，被緩存對象一段時間后會發(fā)生變化(如刪除、修改等)，緩存設(shè)備必須在它發(fā)生變化時更換過時的對象。緩存系統(tǒng)通過對不同類型的文件設(shè)定過期探測時間，超過此時間用戶再次訪問資源時，系統(tǒng)會啟動對發(fā)生變化資源的探測，如果發(fā)現(xiàn)資源變化，立即刪除過期資源并等待用戶再次訪問新資源，觸發(fā)緩存系統(tǒng)進行緩存。

2.3 互聯(lián)網(wǎng)流量干擾技術(shù)

互聯(lián)網(wǎng)流量干擾技術(shù)是“疏堵結(jié)合”中的“堵”，可以根據(jù)策略對某些特定流量進行靈活控制，如限速或者阻斷等。此功能通常集成在DPI設(shè)備上。

HTTP流量是與客戶感知度最密切的流量，通常被認為是被保護的流量，無需進行流量控制。對于P2P流量的控制通常采用發(fā)送控制報文的方式實現(xiàn)。實際P2P流量閾值超過策略設(shè)定的流量閾值時，即啟動P2P控制。當有新的P2P應(yīng)用建立時，DPI設(shè)備模擬P2P會話鏈路報文，向會話中插入模擬報文來達到拆除會話或降低會話帶寬的目的；同時對于已經(jīng)建立的P2P會話，DPI設(shè)備也會選擇性地插入控制報文進行控制，直到P2P流量低于控制閾值為止。

目前，P2P應(yīng)用的流量傳輸基本上分為兩類會話：控制會話和數(shù)據(jù)會話?？刂茣捦瓿上嗷フJ證以及數(shù)據(jù)會話的建立和維持；數(shù)據(jù)會話完成真正的數(shù)據(jù)傳輸。P2P應(yīng)用的傳輸采用TCP協(xié)議或UDP協(xié)議作為載體。

對于采用TCP方式傳輸?shù)腜2P應(yīng)用，系統(tǒng)可以通過拆TCP連接達到控制P2P流量的目的，當需要進行控制時，SPS模擬P2P會話鏈路報文，向P2P會話兩端發(fā)送有RST標志的TCP報文來拆除TCP連接。

對于采用UDP方式傳輸?shù)腜2P應(yīng)用，系統(tǒng)將根據(jù)具體的P2P協(xié)議構(gòu)造報文達到減緩或終止P2P會話的目的。系統(tǒng)采用分析P2P控制會話的方法，模擬諸如終止、取消、降低速率等關(guān)鍵字來干擾數(shù)據(jù)會話的正常通信，從而達到控制P2P流量的目的。例如對于BT的控制，系統(tǒng)通過在控制會話中插入Chock消息限制流量，插入Cancel消息限制連接數(shù)。

3 互聯(lián)網(wǎng)流量監(jiān)控與疏堵技術(shù)應(yīng)用

3.1 應(yīng)用情況簡介

國內(nèi)某運營商面臨互聯(lián)網(wǎng)數(shù)字洪水時代所帶來問題，而且由于歷史原因，網(wǎng)間互聯(lián)的問題制約著用戶體驗：其網(wǎng)內(nèi)資源較少，需要通過其他運營商網(wǎng)絡(luò)獲取資源，網(wǎng)間結(jié)算費用很高；出口帶寬出現(xiàn)瓶頸，且關(guān)口局的擴容是短期內(nèi)無法解決的問題。因此，即使用戶接入帶寬充足，用戶也不能得到很好的上網(wǎng)體驗，造成用戶下載文件慢、頁面打開緩慢或失敗、視頻播放卡等現(xiàn)象。

面對這樣的現(xiàn)狀，運營商部署了互聯(lián)網(wǎng)緩存系統(tǒng)以及專門面向電信級運營商和寬帶運營商的流量緩存加速解決方案，用于對P2P、HTTP、在線視頻等大流量應(yīng)用的網(wǎng)內(nèi)緩存，大幅提高了用戶上網(wǎng)體驗，并減少了出口流量。

3.2 系統(tǒng)架構(gòu)

互聯(lián)網(wǎng)緩存系統(tǒng)包含以下幾個模塊：流量監(jiān)控模塊、重定向子模塊、調(diào)度模塊、緩存模塊、管理模塊。

（1）流量監(jiān)控模塊

流量監(jiān)控模塊能支持主流的120多種協(xié)議的分析和識別。全網(wǎng)流量流向分析采用多種檢測分析技術(shù)對IP網(wǎng)絡(luò)的流量判定其數(shù)據(jù)包的協(xié)議類型、流向、流速和占用帶寬，能夠提供字節(jié)數(shù)、當前帶寬、峰值流量、新增連接數(shù)、最大并發(fā)連接數(shù)、當前并發(fā)連接數(shù)等一系列網(wǎng)絡(luò)流量實際測量的參數(shù)，并將其記錄到數(shù)據(jù)庫中。

（2）重定向模塊

采用分析重定向技術(shù)，完成內(nèi)網(wǎng)用戶HTTP下載、P2P下載、在線視頻播放請求的本地化。分析重定向技術(shù)是通過深度分析用戶行為和對用戶所請求的內(nèi)容進行解析，得出用戶行為分析結(jié)果，從而將用戶的請求定向控制在指定范圍內(nèi)，實現(xiàn)對流量的管理和控制。

該模塊包含流量采集分析模塊和重定向模塊兩個子模塊：流量采集分析模塊采集互聯(lián)網(wǎng)出口的流量，從中解析出用戶請求(P2P、HTTP、FLV等)，為重定向提供數(shù)據(jù)支持；重定向模塊進行用戶下載請求的重定向處理，引導用戶優(yōu)先獲得本地流量。

（3）調(diào)度模塊

調(diào)度模塊運用了負載均衡、緩存記錄搜索、熱點內(nèi)容管理調(diào)度等技術(shù)。作為整個緩存系統(tǒng)的調(diào)度控制中心，實現(xiàn)了標準BTTracker服務(wù)器的功能，接收內(nèi)網(wǎng)用戶所有的Get Announce的請求，調(diào)度模塊獲得用戶請求后，將含有內(nèi)網(wǎng)用戶IP和緩存模塊IP的地址列表返回給用戶。

除此之外，調(diào)度模塊還對部署的多臺緩存設(shè)備進行有效的負載管理，引導用戶和已經(jīng)存在緩存數(shù)據(jù)的緩存設(shè)備進行數(shù)據(jù)交互，增加緩存設(shè)備的命中率。調(diào)度模塊在向用戶發(fā)送peerlist時，優(yōu)先分發(fā)內(nèi)網(wǎng)的其他用戶節(jié)點，引導內(nèi)網(wǎng)用戶之間互連，降低網(wǎng)絡(luò)資源占用率，提高內(nèi)網(wǎng)資源的利用率。

（4）緩存模塊

緩存模塊是整個系統(tǒng)的重要部分，運用智能緩存技術(shù)，將互聯(lián)網(wǎng)熱點資源緩存下來，其具體功能如下：調(diào)度系統(tǒng)將用戶需要的BT、eMule/eDonkey、HTTP、在線視頻等資源請求送到緩存模塊，用戶在下載時可優(yōu)先從緩存模塊里獲取想要的資源，而不用連接到外部網(wǎng)絡(luò)。緩存模塊最大限度地節(jié)省了出口流量，讓內(nèi)網(wǎng)用戶在本地下載資源，極大地減少了網(wǎng)絡(luò)之間的流量，為運營商節(jié)約了帶寬，減少了網(wǎng)間結(jié)算費用。

（5）管理模塊

通過設(shè)置各種參數(shù)，提供多種管理策略，保證系統(tǒng)按照既定策略工作，同時可對運行狀態(tài)和各種數(shù)據(jù)進行監(jiān)控。當與流控設(shè)備進行對接時，實現(xiàn)統(tǒng)一入口、集中管理功能。管理模塊具體功能如下。

·狀態(tài)監(jiān)控：對調(diào)度模塊、緩存模塊、重定向模塊提供全面監(jiān)控，實時監(jiān)測各個系統(tǒng)的健康狀態(tài)，保障整個系統(tǒng)能處在一個正常的運行環(huán)境中。

·統(tǒng)計報表：管理模塊能夠記錄和分析系統(tǒng)產(chǎn)生的各種數(shù)據(jù)，生成日報、周報、季報等常規(guī)報表，支持數(shù)據(jù)的統(tǒng)計分析并生成曲線圖，能夠形象、真實地分析整個互聯(lián)網(wǎng)緩存系統(tǒng)的運營狀況，滿足管理的需要。

·告警管理：對系統(tǒng)中產(chǎn)生的告警進行統(tǒng)一收集、統(tǒng)計，根據(jù)告警的級別調(diào)用相應(yīng)的策略進行處理。

3.3 網(wǎng)絡(luò)部署

互聯(lián)網(wǎng)緩存系統(tǒng)可以采用直路部署和旁路部署兩種部署方式。

（1）直路部署

直路部署拓撲如圖3所示，其優(yōu)點是對流量的控制較為理想；缺點是直路設(shè)備增加了網(wǎng)絡(luò)的故障點。

（2）旁路部署

旁路部署拓撲如圖4所示，其優(yōu)點是不改變用戶原有網(wǎng)絡(luò)結(jié)構(gòu)，不影響現(xiàn)有網(wǎng)絡(luò)性能；缺點是對流量的控制不如直路設(shè)備理想。

3.4 部署效果

互聯(lián)網(wǎng)緩存系統(tǒng)上線后主要解決了5大方面的問題。

（1）解決帶寬需求效果

互聯(lián)網(wǎng)緩存系統(tǒng)上線后，省干出口流量有明顯變化，流量降低了480 Mbit/s，優(yōu)化幅度達到34.8%，大大降低了對骨干網(wǎng)帶寬的需求。

（2）解決資源缺乏效果

互聯(lián)網(wǎng)緩存系統(tǒng)部署前的流向如圖5所示。

表1 系統(tǒng)上線前后流量流向?qū)Ρ缺?/p>

互聯(lián)網(wǎng)緩存系統(tǒng)部署后的流向如圖6所示。

互聯(lián)網(wǎng)緩存系統(tǒng)上線后的流向比例變化情況見表1(運營商C為部署互聯(lián)網(wǎng)緩存系統(tǒng)的運營商)。

部署后，由于熱門資源緩存在網(wǎng)內(nèi)，運營商A、運營商B流入流量比例明顯下降，分別降低了5%和9%，合計下降了14%。

（3）解決P2P流量增長迅速效果

互聯(lián)網(wǎng)緩存系統(tǒng)部署前的協(xié)議分布如圖7所示（流量單位：kbit/s）。

互聯(lián)網(wǎng)緩存系統(tǒng)部署后的協(xié)議分布如圖8所示（流量單位：kbit/s）。

可以看出P2P流量由原來的66.8%下降為40%，而HTTP等高價值業(yè)務(wù)流量所占比例明顯上升。

（4）解決客戶體驗較差效果

互聯(lián)網(wǎng)緩存系統(tǒng)上線后，很好地解決了客戶體驗較差的問題，以下是一些客戶體驗的對比。

2010年年初，運營商在恩施、宜昌、咸寧等地市進行了主要針對客戶體驗提升的調(diào)研，見表2和表3。

表2 系統(tǒng)上線前后用戶體驗對比表(2 Mbit/s接入)

表3 系統(tǒng)上線前后用戶體驗對比表(10 Mbit/s接入)

（5）解決客戶投訴效果

經(jīng)過地市分公司的調(diào)研，投訴率變化如下。

·互聯(lián)網(wǎng)緩存系統(tǒng)部署前

投訴種類：P2P下載、HTTP下載、網(wǎng)頁瀏覽、游戲。

投訴數(shù)量：50～60。

·互聯(lián)網(wǎng)緩存系統(tǒng)部署后。

投訴種類：網(wǎng)頁瀏覽、游戲，集中在QQ游戲(偷菜等)。

投訴數(shù)量：40～50。

系統(tǒng)部署后投訴減少比例達20%。

1中國移動互聯(lián)網(wǎng)緩存系統(tǒng)現(xiàn)網(wǎng)測試報告，2010

2蘭剛，王瑞，公晨等.資源緩存方法、資源獲取方法及其裝置、系統(tǒng).中國發(fā)明專利，200910207231，2009-10-13

3李蕓.流量識別與管控技術(shù)應(yīng)用研究.信息通信技術(shù)，2008(5)