亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        電信IP網(wǎng)向SDN演進(jìn)的探討

        2014-02-28 06:18:10何曉明毛東峰
        電信科學(xué) 2014年6期
        關(guān)鍵詞:交換機(jī)虛擬化數(shù)據(jù)中心

        何曉明,冀 暉,毛東峰,唐 宏

        (1.中國電信股份有限公司廣東研究院 廣州510630;2.中國電信集團(tuán)公司 北京100032)

        1 當(dāng)前電信IP網(wǎng)面臨的問題

        電信IP網(wǎng)絡(luò)從最初僅能滿足互聯(lián)網(wǎng)應(yīng)用的“盡力而為”網(wǎng)絡(luò)發(fā)展到今天能夠提供具有服務(wù)質(zhì)量保證的語音、視頻、文本等多媒體業(yè)務(wù)的融合承載網(wǎng),IP網(wǎng)絡(luò)的功能和性能發(fā)生了巨大的變化。支撐IP網(wǎng)絡(luò)飛速發(fā)展的TCP/IP技術(shù)體系也在不斷地 “做加法”,變得日趨龐大和復(fù)雜,IETF組織正式發(fā)布的RFC文檔目前已超過7 000個。然而,這種基于分布式路由計(jì)算的網(wǎng)絡(luò)架構(gòu)并未發(fā)生本質(zhì)的變化。今天的IP網(wǎng)絡(luò)就像得了肥胖癥,并伴生出多種難以治愈的并發(fā)癥,如網(wǎng)絡(luò)設(shè)備更具多樣性和復(fù)雜性,由此導(dǎo)致的網(wǎng)絡(luò)運(yùn)維將不堪重負(fù);網(wǎng)絡(luò)不能適應(yīng)快速變化的業(yè)務(wù)和應(yīng)用需求等。下面從這些方面分別進(jìn)行闡述。

        1.1 網(wǎng)絡(luò)設(shè)備的多樣性和復(fù)雜性

        最初的IP組網(wǎng)設(shè)備僅有交換機(jī)和路由器兩種設(shè)備形態(tài),設(shè)備廠商也較為單一,基本上維持Cisco設(shè)備一統(tǒng)天下的局面。隨著IP技術(shù)發(fā)展以及市場競爭的加劇,越來越多的公司加入網(wǎng)絡(luò)設(shè)備研發(fā)隊(duì)列;與此同時,電信運(yùn)營商也需要更多地考慮建設(shè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的經(jīng)濟(jì)性和網(wǎng)絡(luò)運(yùn)營的安全性,多廠商設(shè)備組網(wǎng)已成為各大運(yùn)營商共識。另一方面,豐富多彩的網(wǎng)絡(luò)應(yīng)用也催生出更多的設(shè)備形態(tài)和種類,像以太網(wǎng)交換機(jī)、路由器、網(wǎng)關(guān)設(shè)備、寬帶接入服務(wù)器、防火墻、網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)設(shè)備、負(fù)載均衡設(shè)備這些標(biāo)準(zhǔn)化程度較高的設(shè)備都已廣泛部署在各大運(yùn)營商網(wǎng)絡(luò)。這些為滿足不同功能、運(yùn)行多種不同協(xié)議的設(shè)備組成的異構(gòu)網(wǎng)絡(luò)需要通過TCP/IP互聯(lián)起來,共同構(gòu)筑今天通達(dá)全球的信息高速公路。

        過去30多年來,IP技術(shù)在不斷滿足人類信息需求的過程中取得了巨大的成功,這種成功建立在對TCP/IP技術(shù)體系不斷豐富完善的基礎(chǔ)之上。層出不窮的網(wǎng)絡(luò)應(yīng)用對IP網(wǎng)絡(luò)的傳輸容量、可靠性和擴(kuò)展性、安全性提出了新的要求。每當(dāng)一個新的功能和性能需求提出時,需要有一種新的網(wǎng)絡(luò)協(xié)議與之相適應(yīng)。比如說,設(shè)備需要支持區(qū)分服務(wù)(DiffServ)或綜合服務(wù)(IntServ)協(xié)議以支撐網(wǎng)絡(luò)的差異化的QoS服務(wù);設(shè)備需要支持PIM(protocol independent multicast,協(xié)議無關(guān)多播)協(xié)議以提供網(wǎng)絡(luò)多播服務(wù);設(shè)備需要支持標(biāo)簽分發(fā)協(xié)議(LDP)和多協(xié)議邊界網(wǎng)關(guān)協(xié)議(M-iBGP),才能提供二、三層MPLS/VPN服務(wù)。每一次設(shè)備功能和性能的增強(qiáng)都是以設(shè)備復(fù)雜度的增加作為代價,網(wǎng)絡(luò)設(shè)備就在人們對網(wǎng)絡(luò)應(yīng)用需求永無止境的追求中積累著難以承受的復(fù)雜度。這種IP網(wǎng)絡(luò)和設(shè)備的復(fù)雜性根源于傳統(tǒng)分布式路由計(jì)算的網(wǎng)絡(luò)架構(gòu),只要傳統(tǒng)IP網(wǎng)絡(luò)架構(gòu)不發(fā)生革命性的變化,IP網(wǎng)絡(luò)和設(shè)備的復(fù)雜性就將會與日俱增。

        1.2 網(wǎng)絡(luò)運(yùn)維的艱巨性

        電信IP網(wǎng)絡(luò)的多廠商、多設(shè)備形態(tài)、多版本的設(shè)備組網(wǎng)特點(diǎn)帶給網(wǎng)絡(luò)運(yùn)維的復(fù)雜性不言而喻。不同設(shè)備形態(tài)、不同廠商、不同軟硬件版本的設(shè)備存在功能和性能差異,配置命令也互不相同,網(wǎng)絡(luò)運(yùn)維人員需要耗費(fèi)大量時間和精力熟悉多種設(shè)備的技術(shù)特點(diǎn)和配置命令。在實(shí)際網(wǎng)絡(luò)運(yùn)維中,運(yùn)維部門通常按照設(shè)備廠商、設(shè)備形態(tài)或版本型號配置相應(yīng)的技術(shù)人員,通過對管理界面適度分工的方式來緩解運(yùn)維壓力。這種分工協(xié)作的運(yùn)維管理模式也滋生出一種副作用,那就是負(fù)責(zé)不同廠商設(shè)備的專業(yè)技術(shù)人員難以就設(shè)備互聯(lián)互通問題進(jìn)行有效的溝通,導(dǎo)致業(yè)務(wù)開通及網(wǎng)絡(luò)排障的時效性差,飽受用戶和客戶詬病。

        與此同時,IP技術(shù)發(fā)展日新月異,設(shè)備需要同時運(yùn)行多種信令協(xié)議來支持不同的網(wǎng)絡(luò)應(yīng)用,網(wǎng)絡(luò)技術(shù)人員需要不斷熟悉和掌握IP新技術(shù),這也對網(wǎng)絡(luò)運(yùn)維人員的專業(yè)技能提出了更高要求。今天網(wǎng)絡(luò)的配置工作正變得日益繁重,通常需要在大型運(yùn)營商網(wǎng)絡(luò)設(shè)備上手工完成上千行配置命令,這對技術(shù)人員來說,是一件望而生畏的工作。隨著移動互聯(lián)網(wǎng)、云計(jì)算的廣泛應(yīng)用,網(wǎng)絡(luò)更趨向于動態(tài)化,相比于過去的靜態(tài)網(wǎng)絡(luò),今天網(wǎng)絡(luò)中的參數(shù)和配置命令更需要進(jìn)行動態(tài)配置和修改,比如說,網(wǎng)絡(luò)中增加、刪除或移動某臺設(shè)備時,運(yùn)維人員需要使用設(shè)備級的管理工具調(diào)整相關(guān)聯(lián)設(shè)備如交換機(jī)、路由器、防火墻、AAA認(rèn)證系統(tǒng)的網(wǎng)絡(luò)參數(shù),更新相關(guān)設(shè)備的訪問控制列表(ACL)、VLAN、QoS等配置命令。服務(wù)器虛擬化極大地增加了網(wǎng)絡(luò)互聯(lián)的主機(jī)數(shù)目,虛擬機(jī)(VM)遷移對傳統(tǒng)網(wǎng)絡(luò)的諸多方面提出了挑戰(zhàn),從尋址方案、命名空間到網(wǎng)絡(luò)分段和路由設(shè)計(jì)等,都對網(wǎng)絡(luò)的動態(tài)配置提出了很高的要求。由于應(yīng)用需求的動態(tài)變化、主機(jī)位置的移動、設(shè)備的添加和刪除隨時都可能發(fā)生,網(wǎng)絡(luò)配置也需要適應(yīng)這種動態(tài)變化的環(huán)境。傳統(tǒng)網(wǎng)絡(luò)基于設(shè)備級的手工配置方法不能適應(yīng)當(dāng)前動態(tài)變化的網(wǎng)絡(luò)環(huán)境,網(wǎng)絡(luò)配置的自動化更能適應(yīng)快速變化的業(yè)務(wù)和應(yīng)用需求,并能從根本上把網(wǎng)絡(luò)技術(shù)人員從繁重的運(yùn)維工作中解脫出來。

        1.3 網(wǎng)絡(luò)不能適應(yīng)快速變化的業(yè)務(wù)和應(yīng)用需求

        移動設(shè)備、存儲和服務(wù)器虛擬化的爆發(fā)以及云服務(wù)的興起迫使網(wǎng)絡(luò)工業(yè)重新審視傳統(tǒng)IP網(wǎng)絡(luò)架構(gòu)。傳統(tǒng)靜態(tài)的IP網(wǎng)絡(luò)架構(gòu)能較好地適應(yīng)以客戶機(jī)/服務(wù)器模式為主的網(wǎng)絡(luò)應(yīng)用,然而,這種靜態(tài)架構(gòu)不能很好地適配今天云數(shù)據(jù)中心對動態(tài)計(jì)算和存儲的需要。下面幾個關(guān)鍵因素正驅(qū)動著傳統(tǒng)網(wǎng)絡(luò)架構(gòu)的變革。

        (1)流量模型的變化

        今天的云數(shù)據(jù)中心,其流量模型正在發(fā)生重大變化。對比過去占統(tǒng)治地位的客戶機(jī)/服務(wù)器應(yīng)用,數(shù)據(jù)中心流量流向主要以南北向?yàn)橹?。在云?jì)算環(huán)境下,用戶對前端服務(wù)器訪問請求,會引起大量后端服務(wù)器的分布式計(jì)算,這種后端服務(wù)器群組的協(xié)同計(jì)算產(chǎn)生巨大突發(fā)的東西向流量。同時,以社交網(wǎng)絡(luò)和即時通信為代表的移動互聯(lián)網(wǎng)應(yīng)用的爆發(fā)正在改變著互聯(lián)網(wǎng)的流量模型,永遠(yuǎn)在線的移動終端無時無刻不在制造并向網(wǎng)絡(luò)注入海量內(nèi)容,改變了過去互聯(lián)網(wǎng)上下行流量嚴(yán)重不對稱現(xiàn)象。再者,許多企業(yè)數(shù)據(jù)中心的管理者正在考慮把傳統(tǒng)的企業(yè)數(shù)據(jù)中心轉(zhuǎn)變成私有云、公有云或混合云,這將產(chǎn)生更多的跨越廣域網(wǎng)的流量。

        (2)云服務(wù)的興起

        企業(yè)開始關(guān)注并對公有云和私有云服務(wù)產(chǎn)生興趣,導(dǎo)致云服務(wù)的迅速增長。企業(yè)希望以更加靈活的方式按需獲取互聯(lián)網(wǎng)應(yīng)用、基礎(chǔ)設(shè)施和IT資源。這對網(wǎng)絡(luò)的安全隔離性、策略一致性、審計(jì)等方面提出了更高要求。網(wǎng)絡(luò)在為計(jì)算、存儲和網(wǎng)絡(luò)資源提供更多彈性和可擴(kuò)展性的同時,還需部署自服務(wù)平臺,方便用戶隨時獲取所需資源。

        (3)大數(shù)據(jù)對網(wǎng)絡(luò)帶寬的彈性要求

        大數(shù)據(jù)正成為互聯(lián)網(wǎng)企業(yè)追逐的下一座金礦。大數(shù)據(jù)處理需要成百上千臺相互連接的服務(wù)器并行計(jì)算,如百度和Google搜索引擎就是一種典型的大數(shù)據(jù)應(yīng)用。根據(jù)權(quán)威機(jī)構(gòu)預(yù)測,隨著大數(shù)據(jù)應(yīng)用范圍的擴(kuò)展,計(jì)算節(jié)點(diǎn)之間交換的數(shù)據(jù)流量將達(dá)到PB量級。大數(shù)據(jù)時代要求網(wǎng)絡(luò)帶寬具有極大彈性和伸縮性,能夠動態(tài)提供從數(shù)十吉比特每秒到太比特每秒級的網(wǎng)絡(luò)帶寬,以滿足成千上萬臺服務(wù)器之間的高容量、低時延的網(wǎng)絡(luò)連接。

        (4)網(wǎng)絡(luò)虛擬化要求

        當(dāng)前電信運(yùn)營商網(wǎng)絡(luò)部署了大量種類各異的專用硬件設(shè)備,這些專用硬件設(shè)施是在不同時期為滿足特定業(yè)務(wù)而購置的。這些設(shè)備生命周期短,運(yùn)營維護(hù)成本高,為特定業(yè)務(wù)專門定制和獨(dú)享,利用效率低。隨著新業(yè)務(wù)層出不窮的涌現(xiàn),需要部署更多新的專用硬件,不僅開發(fā)周期長,影響業(yè)務(wù)的快速部署,不利于網(wǎng)絡(luò)和應(yīng)用創(chuàng)新,而且大大增加了電信運(yùn)營商的資本支出。電信運(yùn)營商迫切需要尋求一種通用的網(wǎng)絡(luò)基礎(chǔ)實(shí)施,支撐未來不斷變化的業(yè)務(wù)和應(yīng)用需求。計(jì)算和存儲的虛擬化技術(shù)的大量商用部署為網(wǎng)絡(luò)功能虛擬化打開了一扇門。網(wǎng)絡(luò)虛擬化的目標(biāo)是通過借助IT虛擬化技術(shù)把網(wǎng)絡(luò)基礎(chǔ)設(shè)施轉(zhuǎn)變成工業(yè)標(biāo)準(zhǔn)的大容量服務(wù)器、存儲設(shè)備和交換機(jī),而使業(yè)務(wù)的部署不再受具體物理設(shè)備及位置的限制。

        2 SDN對傳統(tǒng)網(wǎng)絡(luò)的變革

        傳統(tǒng)網(wǎng)絡(luò)架構(gòu)不能很好地適應(yīng)今天的企業(yè)、電信運(yùn)營商及用戶的需求。由開放網(wǎng)絡(luò)基金組織(ONF)發(fā)起的軟件定義網(wǎng)絡(luò)(SDN)正在變革傳統(tǒng)網(wǎng)絡(luò)架構(gòu)。根據(jù)ONF對SDN的定義,在SDN架構(gòu)中,控制平面和數(shù)據(jù)平面解耦,網(wǎng)絡(luò)智能和狀態(tài)邏輯集中,底層網(wǎng)絡(luò)基礎(chǔ)設(shè)施抽象于應(yīng)用。企業(yè)和電信運(yùn)營商能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)的自動化、編程和控制,網(wǎng)絡(luò)變得更加具有擴(kuò)展性、靈活性,更能適應(yīng)不斷變化的業(yè)務(wù)和應(yīng)用的需求。

        ONF提出的SDN架構(gòu)如圖1所示。SDN架構(gòu)分為3層,最上層為應(yīng)用層,包括了各種不同的業(yè)務(wù)和網(wǎng)絡(luò)應(yīng)用。應(yīng)用層根據(jù)網(wǎng)絡(luò)不同的應(yīng)用需求,調(diào)用與控制層相接的應(yīng)用編程接口(API),實(shí)現(xiàn)不同功能的應(yīng)用程序。利用API,業(yè)務(wù)應(yīng)用可以充分利用網(wǎng)絡(luò)的服務(wù)和能力,并在一個抽象的網(wǎng)絡(luò)上進(jìn)行操作,實(shí)現(xiàn)通常的網(wǎng)絡(luò)服務(wù),包括路由、多播、安全、訪問控制、帶寬管理、流量工程、服務(wù)質(zhì)量、計(jì)算和存儲優(yōu)化、能源管理、各種形式的策略管理以及客戶定制化服務(wù)等。

        SDN的控制層由控制軟件實(shí)現(xiàn),主要負(fù)責(zé)集中收集和維護(hù)網(wǎng)絡(luò)拓?fù)浼熬W(wǎng)絡(luò)狀態(tài)信息,實(shí)現(xiàn)不同業(yè)務(wù)特性的適配。利用控制/數(shù)據(jù)平面接口,控制層獲取底層網(wǎng)絡(luò)設(shè)備互聯(lián)及狀態(tài)信息,生成全局的網(wǎng)絡(luò)拓?fù)湟晥D,對底層網(wǎng)絡(luò)設(shè)備的資源進(jìn)行抽象,并通過API提供給上層應(yīng)用。因此,對于上層應(yīng)用程序來說,網(wǎng)絡(luò)呈現(xiàn)為一個單一的邏輯開關(guān)。通過這種軟件模式,網(wǎng)絡(luò)管理人員可以靈活配置、管理和優(yōu)化網(wǎng)絡(luò)資源,實(shí)現(xiàn)了網(wǎng)絡(luò)的可編程及靈活控制。

        SDN基礎(chǔ)設(shè)施層由網(wǎng)絡(luò)的底層轉(zhuǎn)發(fā)設(shè)備構(gòu)成,通過對底層設(shè)備及網(wǎng)絡(luò)資源進(jìn)行抽象,并通過開放標(biāo)準(zhǔn)的接口為控制層提供服務(wù)。底層設(shè)備只需關(guān)注數(shù)據(jù)的轉(zhuǎn)發(fā)性能,無需運(yùn)行網(wǎng)絡(luò)相關(guān)及應(yīng)用相關(guān)的各種復(fù)雜信令協(xié)議,通過接受控制器的指令,實(shí)現(xiàn)數(shù)據(jù)分組的轉(zhuǎn)發(fā)、丟棄或修改等操作。SDN極大簡化了網(wǎng)絡(luò)設(shè)備復(fù)雜性。

        從SDN架構(gòu)可以總結(jié)出SDN應(yīng)具有的四大基本特征。

        ·控制平面與數(shù)據(jù)平面完全分離。打破了傳統(tǒng)網(wǎng)絡(luò)設(shè)備垂直一體化設(shè)計(jì)架構(gòu),大大簡化了底層轉(zhuǎn)發(fā)設(shè)備復(fù)雜度。

        ·集中控制。由集中控制器實(shí)現(xiàn)全網(wǎng)拓?fù)涞淖詣影l(fā)現(xiàn)和路由計(jì)算,優(yōu)化網(wǎng)絡(luò)資源利用,實(shí)現(xiàn)全網(wǎng)流量工程。

        ·開放接口。通過開放南、北向接口,實(shí)現(xiàn)應(yīng)用和網(wǎng)絡(luò)的無縫集成,加快業(yè)務(wù)部署周期,提升用戶體驗(yàn)。

        ·網(wǎng)絡(luò)可編程。通過開放API,上層應(yīng)用與底層網(wǎng)絡(luò)良性互動,實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)的可定制化和可編程能力。

        在SDN架構(gòu)下,通過集中式的網(wǎng)絡(luò)配置和管理,大大簡化了傳統(tǒng)網(wǎng)絡(luò)設(shè)備配置的工作量。由于底層硬件采用工業(yè)標(biāo)準(zhǔn)化的通用轉(zhuǎn)發(fā)設(shè)備,有利于實(shí)現(xiàn)網(wǎng)絡(luò)功能虛擬化;新業(yè)務(wù)部署減少了對不同廠商設(shè)備的依賴程度,加速了網(wǎng)絡(luò)和應(yīng)用創(chuàng)新。同時,SDN實(shí)現(xiàn)了網(wǎng)絡(luò)智能和狀態(tài)邏輯集中,網(wǎng)絡(luò)管理人員可以通過一套動態(tài)、自動化的應(yīng)用程序?qū)崿F(xiàn)對網(wǎng)絡(luò)的靈活配置、管理、安全加固、資源優(yōu)化等。

        3 電信IP網(wǎng)向SDN的演進(jìn)

        SDN改變了傳統(tǒng)網(wǎng)絡(luò)架構(gòu),也改變了傳統(tǒng)網(wǎng)絡(luò)的運(yùn)維管理模式和業(yè)務(wù)部署方式,為企業(yè)和用戶提供更好業(yè)務(wù)體驗(yàn)的同時,期望能減少電信運(yùn)營商的資本支出和運(yùn)營支出。然而,SDN當(dāng)前仍面臨許多挑戰(zhàn)。本文對SDN滿足電信級要求的網(wǎng)絡(luò)性能、網(wǎng)絡(luò)擴(kuò)展性、網(wǎng)絡(luò)生存性3個方面進(jìn)行了探討和分析,并結(jié)合電信運(yùn)營商網(wǎng)絡(luò)現(xiàn)實(shí)需求,探索SDN在電信網(wǎng)的應(yīng)用與實(shí)踐。

        3.1 SDN網(wǎng)絡(luò)性能

        在移動互聯(lián)、云計(jì)算、大數(shù)據(jù)爆發(fā)的今天,網(wǎng)絡(luò)流量呈爆炸式增長。全球電信運(yùn)營商都倍感網(wǎng)絡(luò)擴(kuò)容壓力,目前中國電信集團(tuán)ChinaNet骨干網(wǎng)流量已超過40 Tbit/s,若流量按照40%的年增長速度計(jì)算,網(wǎng)絡(luò)容量每隔兩年增長一倍。單槽位100 Gbit/s平臺路由器剛進(jìn)入大規(guī)模商用期,許多大電信運(yùn)營商已開始考慮在骨干網(wǎng)部署400 Gbit/s平臺的核心路由器。SDN的底層數(shù)據(jù)轉(zhuǎn)發(fā)平面可能使用完全不同于傳統(tǒng)網(wǎng)絡(luò)設(shè)備的硬件架構(gòu),因此,SDN首先面臨的一個基本挑戰(zhàn)是怎樣應(yīng)對洶涌而來的數(shù)字洪流。這里有兩個方面的因素需要考慮:網(wǎng)絡(luò)性能與可編程/靈活性。

        本文中SDN網(wǎng)絡(luò)性能主要考察網(wǎng)絡(luò)設(shè)備的吞吐量和時延兩個指標(biāo)。網(wǎng)絡(luò)的可編程意味著網(wǎng)絡(luò)設(shè)備接受控制器下發(fā)的一系列指令,進(jìn)而改變數(shù)據(jù)流的轉(zhuǎn)發(fā)行為。靈活性是指網(wǎng)絡(luò)對新業(yè)務(wù)和應(yīng)用的適應(yīng)能力。通常來講,網(wǎng)絡(luò)性能與可編程/靈活性是一對矛盾,網(wǎng)絡(luò)的高性能需要犧牲網(wǎng)絡(luò)的靈活性作為代價。怎樣在網(wǎng)絡(luò)性能與可編程/靈活性之間取得平衡是SDN需要解決的問題。

        圖2給出了網(wǎng)絡(luò)處理的主要技術(shù)中性能與可編程性之間的關(guān)系。通用處理器(CPU/GPU)能夠提供極高的靈活性,高級編程語言和設(shè)計(jì)工具可對底層硬件進(jìn)行高度抽象,快速開發(fā)復(fù)雜的數(shù)據(jù)分組處理功能。受通用架構(gòu)約束,CPU的處理性能低,電能消耗大。類似Intel的Xeon系列多核處理器能夠達(dá)到幾十吉比特每秒的報(bào)文處理吞吐量。網(wǎng)絡(luò)處理器(NPU/NFP)的架構(gòu)專為處理數(shù)據(jù)流而優(yōu)化,專用硬件加速器及各種接口技術(shù)的使用可減少處理器能耗。由于需要定義數(shù)據(jù)分組/流的處理功能,其靈活性不如通用處理器。網(wǎng)絡(luò)處理器可達(dá)到100 Gbit/s的線速處理能力??删幊踢壿嬙O(shè)備(PLD)或現(xiàn)場可編程門陣列(FPGA)專為特定的網(wǎng)絡(luò)功能而設(shè)計(jì),具有高度并行處理數(shù)據(jù)分組/流的能力,當(dāng)前的PLD技術(shù)可以達(dá)到200 Gbit/s的線速處理能力。專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)是高性能網(wǎng)絡(luò)的里程碑,缺點(diǎn)是其靈活性不夠。ASSP主要應(yīng)用于物理層和鏈路層設(shè)備、交換機(jī)及無線產(chǎn)品。最近,Intel、Broadcom以及Marvell公司開始使用基于SDN的ASSP來設(shè)計(jì)高性能以太網(wǎng)交換機(jī),它們設(shè)計(jì)的OpenFlow交換機(jī)聲稱可支持500 Gbit/s的交換能力。專用集成電路(ASIC)專為廠商定制生產(chǎn),作為一種專有的解決方案,ASIC具有極高的性能、成本及能耗優(yōu)勢,但其靈活性也極為有限。

        SDN需要同時兼顧網(wǎng)絡(luò)性能和可編程/靈活性,容易想到一種軟件和硬件相結(jié)合的混合架構(gòu)更能適合SDN基礎(chǔ)設(shè)施層。例如,基于PLD/ASSP與NPU/NFP和CPU/GPU相結(jié)合的混合架構(gòu)構(gòu)建的底層轉(zhuǎn)發(fā)平面既能提供網(wǎng)絡(luò)可編程的靈活性,又能支持?jǐn)?shù)據(jù)流的高性能轉(zhuǎn)發(fā)。這種軟、硬件一體化的混合架構(gòu)有助于實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化目標(biāo)——開發(fā)出工業(yè)標(biāo)準(zhǔn)化的通用轉(zhuǎn)發(fā)設(shè)備。

        3.2 SDN的網(wǎng)絡(luò)擴(kuò)展性

        如果SDN數(shù)據(jù)轉(zhuǎn)發(fā)平面的性能問題可以通過混合式可編程架構(gòu)得到解決,另一個引起廣泛關(guān)注的問題是SDN的擴(kuò)展性。目前,對SDN的擴(kuò)展性研究主要集中在SDN控制平面可擴(kuò)展性。

        制約SDN控制平面可擴(kuò)展性的主要原因有以下幾點(diǎn)。

        ·流的細(xì)粒度處理需求使得控制器需要響應(yīng)更多的流請求事件。雖然控制器可以通過主動決策機(jī)制提前將控制邏輯下發(fā)到數(shù)據(jù)轉(zhuǎn)發(fā)單元,減少數(shù)據(jù)平面和控制器之間的處理開銷,但控制邏輯的變化通常是動態(tài)的,尤其是當(dāng)網(wǎng)絡(luò)拓?fù)涓淖兓蛘叽嬖谝苿庸?jié)點(diǎn)時。在基于OpenFlow的SDN中,提前安裝流表項(xiàng)也將使大量流表空間無法釋放,浪費(fèi)緩存資源,而實(shí)際上大部分流的持續(xù)時間是很短的。

        ·接入控制、負(fù)載均衡、資源遷移等新型應(yīng)用需求逐漸增加到控制平面中,控制器需要對日趨復(fù)雜的管控功能進(jìn)行有效整合,這進(jìn)一步增加了控制平面的處理開銷。

        ·傳統(tǒng)分布式網(wǎng)絡(luò)中每臺設(shè)備都是獨(dú)立自治的,每臺設(shè)備通過運(yùn)行路由協(xié)議獲取全局的網(wǎng)絡(luò)狀態(tài)信息并計(jì)算路由。而SDN控制平面需要維護(hù)全局的網(wǎng)絡(luò)狀態(tài)信息,為全網(wǎng)中的所有網(wǎng)絡(luò)設(shè)備計(jì)算數(shù)據(jù)轉(zhuǎn)發(fā)路徑,這使得控制平面的可擴(kuò)展性不僅需要考慮處理性能的需求,而且要考慮網(wǎng)絡(luò)狀態(tài)的一致性。

        ·在網(wǎng)絡(luò)規(guī)模增大、數(shù)據(jù)平面轉(zhuǎn)發(fā)設(shè)備數(shù)量增多的環(huán)境下,單控制器設(shè)備可能難以滿足性能需求。

        在基于OpenFlow的SDN中,每當(dāng)交換機(jī)收到一個新的數(shù)據(jù)流時,由于交換機(jī)還未安裝流表項(xiàng),首個分組需要上送控制器。在電信運(yùn)營商的大規(guī)模網(wǎng)絡(luò)中,會導(dǎo)致數(shù)據(jù)面和控制面之間的控制通道帶寬需求大、依賴首個分組反應(yīng)式的流表項(xiàng)建立時延大以及控制器需要頻繁響應(yīng)交換機(jī)請求等擴(kuò)展性問題。DIFANE方案結(jié)合了主動和被動兩種安裝流表的方式將數(shù)據(jù)流量保持在數(shù)據(jù)平面,從而減小控制器負(fù)載。通過在OpenFlow交換機(jī)中選出權(quán)威交換機(jī),由每個權(quán)威交換機(jī)管理一定區(qū)域內(nèi)的OpenFlow交換機(jī)。當(dāng)普通交換機(jī)產(chǎn)生新的數(shù)據(jù)流時,它根據(jù)自身的分區(qū)規(guī)則直接和自己分區(qū)內(nèi)的權(quán)威交換機(jī)進(jìn)行通信,由于權(quán)威交換機(jī)已提前部署了權(quán)威規(guī)則,因而可以向普通交換機(jī)安裝緩存規(guī)則,同時,直接將請求數(shù)據(jù)轉(zhuǎn)發(fā)給目的地而無須再返回給源交換機(jī),從而省去了流請求建立過程中首個分組經(jīng)過控制器的往返時延,也減少了控制器需要實(shí)時處理的控制流。DevoFlow方案借助于ASIC的支持,在OpenFlow交換機(jī)上提前安裝帶有通配符的流表項(xiàng),對于需要特殊處理的細(xì)粒度流才轉(zhuǎn)發(fā)到控制器,這樣能有效減少控制器的負(fù)載。針對單控制器無法從根本上解決處理性能瓶頸問題,Onix提出了一整套面向大規(guī)模網(wǎng)絡(luò)的分布式SDN部署方案,即通過多控制器對OpenFlow交換機(jī)進(jìn)行分域管理,這應(yīng)該是未來SDN面向大規(guī)模網(wǎng)絡(luò)部署可擴(kuò)展性研究的主要發(fā)展方向。

        3.3 SDN的網(wǎng)絡(luò)生存性

        電信運(yùn)營商網(wǎng)絡(luò)由于承載著大量實(shí)時交互性業(yè)務(wù),對網(wǎng)絡(luò)的生存性提出了很高的要求,如5個9的網(wǎng)絡(luò)可用性、多種方式的業(yè)務(wù)保護(hù)及網(wǎng)絡(luò)快速自愈能力。為了滿足電信級IP網(wǎng)絡(luò)的要求,IP網(wǎng)絡(luò)已形成一整套成熟完善的高可靠性和高可用性技術(shù),包括路由快速收斂技術(shù)、MPLS TE/LSP FRR業(yè)務(wù)保護(hù)技術(shù)、MPLS OAM/Ethernet OAM/PWE3 OAM故障快速檢測技術(shù),不間斷轉(zhuǎn)發(fā)(NSF)、不間斷路由(NSR)及平穩(wěn)重啟(GR)等技術(shù)在設(shè)備控制引擎失效時仍能保持業(yè)務(wù)的連續(xù)性。

        SDN對網(wǎng)絡(luò)的生存性要求也不能低于傳統(tǒng)的IP網(wǎng)絡(luò)。為了應(yīng)對控制器的單點(diǎn)失效,OpenFlow2.0增加了多角色控制器功能,主控制器與多個從控制器保持狀態(tài)信息的同步,當(dāng)主控制器失效時,從控制器能平滑接管主控制器的工作,不至于引起業(yè)務(wù)中斷。當(dāng)存在多條等價或非等價路徑時,轉(zhuǎn)發(fā)設(shè)備的流表項(xiàng)也應(yīng)提供多個輸出端口,并根據(jù)負(fù)載均衡算法把數(shù)據(jù)流轉(zhuǎn)發(fā)到不同的路徑上。SDN同樣需要支持IP網(wǎng)絡(luò)中類似于MPLS TE/LSP FRR的業(yè)務(wù)保護(hù)機(jī)制,為需要業(yè)務(wù)保護(hù)的數(shù)據(jù)流提供1條到多條備用路徑,從而在鏈路失效時立即轉(zhuǎn)用備用路徑,而不是把數(shù)據(jù)轉(zhuǎn)發(fā)給控制器。

        下面分析SDN的故障恢復(fù)能力。如圖3所示,正常情況下,由于R1與R3之間的鏈路代價小于R1與R4之間的鏈路代價,數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備R1的數(shù)據(jù)流都會轉(zhuǎn)發(fā)到R3。當(dāng)R1快速檢測到R1與R3之間的鏈路故障時(如通過BFD或以太網(wǎng)OAM),R1應(yīng)立即上報(bào)控制器,控制器收到故障通告后,根據(jù)更新的全局網(wǎng)絡(luò)拓?fù)渲匦掠?jì)算路由,并向受影響的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備更新流轉(zhuǎn)發(fā)表。等到最新的流轉(zhuǎn)發(fā)表都安裝好后,來自R1的數(shù)據(jù)流才切換到R4。再看看IP網(wǎng)絡(luò)是怎樣實(shí)現(xiàn)路由收斂的。在傳統(tǒng)IP網(wǎng)絡(luò)中,鏈路故障通知最先向它的鄰居宣告,鄰居再向鄰居的鄰居宣告,網(wǎng)絡(luò)規(guī)模越大,最后一跳獲知鏈路故障的路由器所需時間越長,當(dāng)全網(wǎng)所有路由器都獲知這一鏈路故障事件時,才會重新形成一致的網(wǎng)絡(luò)拓?fù)?,然后每臺路由器各自獨(dú)立計(jì)算路由,向轉(zhuǎn)發(fā)平面下發(fā)FIB。顯然,SDN的故障信息傳播時延要小于傳統(tǒng)IP網(wǎng)絡(luò),SDN的網(wǎng)絡(luò)收斂性能基本不受網(wǎng)絡(luò)規(guī)模的影響,而傳統(tǒng)網(wǎng)絡(luò)的收斂時間隨著網(wǎng)絡(luò)規(guī)模的增大而增大,這就是傳統(tǒng)基于分布式路由計(jì)算的IP網(wǎng)絡(luò)收斂時間難以實(shí)現(xiàn)傳輸網(wǎng)所要求的50 ms保護(hù)倒換的原因。而且,基于云計(jì)算架構(gòu)的控制器計(jì)算能力理論上可以無限擴(kuò)展,而傳統(tǒng)路由器的CPU計(jì)算能力是有限的。

        SDN優(yōu)良的網(wǎng)絡(luò)自愈能力還取決于連接控制平面和數(shù)據(jù)平面的控制信道的高可靠性。如果控制信道與數(shù)據(jù)平面共享網(wǎng)絡(luò)帶寬(帶內(nèi)控制信道),由于數(shù)據(jù)平面不再運(yùn)行路由協(xié)議,難以保證控制平面和數(shù)據(jù)平面的連通性,數(shù)據(jù)平面的故障可能無法上報(bào)到控制器,導(dǎo)致網(wǎng)絡(luò)無法自愈,業(yè)務(wù)中斷。因此,控制信道的高可靠性需要獨(dú)立的控制網(wǎng)絡(luò)來保證,這個帶外控制網(wǎng)絡(luò)本身應(yīng)該具有快速自愈能力。

        3.4 SDN應(yīng)用與實(shí)踐

        SDN目前主要應(yīng)用于校園網(wǎng)和企業(yè)數(shù)據(jù)中心。在校園網(wǎng)中部署OpenFlow網(wǎng)絡(luò),是OpenFlow設(shè)計(jì)之初應(yīng)用較多的場所,它為學(xué)校的科研人員構(gòu)建了一個可以部署網(wǎng)絡(luò)新協(xié)議和新算法的創(chuàng)新平臺,并實(shí)現(xiàn)了基本的網(wǎng)絡(luò)管理和安全控制功能。目前,已經(jīng)有包括斯坦福大學(xué)在內(nèi)的多所高校部署了OpenFlow網(wǎng)絡(luò),并搭建了應(yīng)用環(huán)境。隨著云計(jì)算在數(shù)據(jù)中心的廣泛應(yīng)用,將SDN應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)成為研究熱點(diǎn)。Google在其數(shù)據(jù)中心全面采用基于OpenFlow的SDN技術(shù),大幅度地提高其數(shù)據(jù)中心之間的鏈路利用率,起到了很好的示范作用。由于電信運(yùn)營商網(wǎng)絡(luò)是一個多業(yè)務(wù)融合承載網(wǎng),真實(shí)網(wǎng)絡(luò)面臨的異構(gòu)組網(wǎng)、跨域互聯(lián)、超大容量、高可靠性和高可用性等都可能成為制約SDN應(yīng)用的因素。SDN在校園網(wǎng)和企業(yè)數(shù)據(jù)中心取得的研究成果和應(yīng)用經(jīng)驗(yàn)不能一成不變地移植到電信網(wǎng),需要進(jìn)一步在電信網(wǎng)加以實(shí)踐和驗(yàn)證。為加速SDN在電信網(wǎng)的全面部署,還需要充分考慮電信網(wǎng)的特殊需求,進(jìn)一步研究SDN滿足電信網(wǎng)所應(yīng)具備的功能和性能要求。下面從電信運(yùn)營商的數(shù)據(jù)中心、IP RAN、IP骨干網(wǎng)需求3個方面探索SDN應(yīng)用和部署。

        (1)SDN在數(shù)據(jù)中心的應(yīng)用

        隨著數(shù)據(jù)中心服務(wù)器和存儲虛擬化技術(shù)的廣泛應(yīng)用,傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)必須實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化的改造,以滿足虛擬機(jī)頻繁遷移對網(wǎng)絡(luò)大量動態(tài)配置的需要。在服務(wù)器上實(shí)現(xiàn)虛擬網(wǎng)卡和虛擬交換機(jī)已成為VMware、Xen、Oracle等主流服務(wù)器供應(yīng)商的標(biāo)準(zhǔn)配置。為適應(yīng)網(wǎng)絡(luò)虛擬化要求,提出了相關(guān)標(biāo)準(zhǔn)和草案如虛擬以太網(wǎng)橋(VEB)、虛擬以太網(wǎng)端口聚集器(VEPA)、虛擬擴(kuò)展局域網(wǎng)(VXLAN)、通用路由封裝實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化(NVGRE)等,并在部分廠商設(shè)備上得到相應(yīng)支持。同時,虛擬化網(wǎng)絡(luò)環(huán)境下的動態(tài)路由、負(fù)載均衡和能量管理等方面也對數(shù)據(jù)中心網(wǎng)絡(luò)提出了新的要求。SDN基于軟件控制的可編程特點(diǎn)可以簡化網(wǎng)絡(luò)配置和管理的復(fù)雜性,是實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化最適合的基礎(chǔ)平臺。

        (2)SDN在IP RAN的應(yīng)用

        IP RAN廣泛應(yīng)用于移動回傳網(wǎng),用于承載2G/3G/LTE等移動業(yè)務(wù),是一種新型傳輸網(wǎng)絡(luò)。IP RAN分為接入層、匯聚層和核心層。IP RAN全網(wǎng)采用IP/MPLS解決方案,接入 層涉及IGP、BGP、LDP、RSVP-TE、PW、L2/L3VPN、QoS等配置。一個IP RAN本地網(wǎng)的接入層往往有數(shù)千臺接入設(shè)備,網(wǎng)絡(luò)配置復(fù)雜、業(yè)務(wù)開通周期長。隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大,現(xiàn)有IP RAN在網(wǎng)絡(luò)高可用性、網(wǎng)絡(luò)運(yùn)維等方面面臨困境。隨著技術(shù)的發(fā)展,新的增值業(yè)務(wù)和應(yīng)用不斷推出,IP RAN如何更好地適應(yīng)業(yè)務(wù)網(wǎng)絡(luò)的發(fā)展和要求,快速響應(yīng)業(yè)務(wù)的部署及對業(yè)務(wù)進(jìn)行動態(tài)維護(hù)也是需要考慮的問題。通過把SDN技術(shù)應(yīng)用于IP RAN,可探索和研究SDN快速響應(yīng)業(yè)務(wù)和網(wǎng)絡(luò)運(yùn)維這兩方面的能力需求。

        (3)SDN在IP骨干網(wǎng)的應(yīng)用

        隨著互聯(lián)網(wǎng)流量的爆炸式增長,電信運(yùn)營商IP骨干網(wǎng)面臨持續(xù)擴(kuò)容的壓力。另一方面,IGP選路的唯一性原則導(dǎo)致網(wǎng)絡(luò)流量分布極度不均衡,一部分鏈路嚴(yán)重?fù)砣硪徊糠宙溌烽L期處于輕載狀態(tài)。無法通過IGP metric(度量)調(diào)整來達(dá)到全網(wǎng)負(fù)載均衡的目的。在存在路由反射器(RR)的環(huán)境下,RR遵循標(biāo)準(zhǔn)BGP選路原則,無法實(shí)現(xiàn)跨域多歸屬網(wǎng)絡(luò)的負(fù)載均衡。BGP虛擬下一跳技術(shù)雖然能夠彌補(bǔ)RR選路的不足,但是卻增加了網(wǎng)絡(luò)配置和運(yùn)維的復(fù)雜度。SDN可基于全局流量觀,根據(jù)自定義策略(如最短路徑、鏈路負(fù)載、指定經(jīng)由節(jié)點(diǎn)等)進(jìn)行路徑選擇,實(shí)現(xiàn)全網(wǎng)流量工程。同時,城域網(wǎng)、數(shù)據(jù)中心、不同電信運(yùn)營商網(wǎng)絡(luò)同骨干網(wǎng)跨域互聯(lián)對SDN的可擴(kuò)展性提出了挑戰(zhàn),多控制器方案在骨干網(wǎng)的應(yīng)用和實(shí)踐能夠驗(yàn)證SDN分布式部署方案的可行性,為進(jìn)一步完善SDN架構(gòu)、功能、相關(guān)接口和規(guī)范提供研究基礎(chǔ)。

        4 結(jié)束語

        移動互聯(lián)、存儲和服務(wù)器虛擬化的爆發(fā)以及大數(shù)據(jù)和云服務(wù)的興起對傳統(tǒng)IP網(wǎng)絡(luò)架構(gòu)提出了新的要求,并加速了傳統(tǒng)網(wǎng)絡(luò)的變革。SDN提供了一種新的、動態(tài)的、業(yè)務(wù)驅(qū)動的網(wǎng)絡(luò)架構(gòu),適應(yīng)不斷變化的業(yè)務(wù)和應(yīng)用需求,契合當(dāng)今時代創(chuàng)新求變的主旋律。SDN倡導(dǎo)的“集中控制、網(wǎng)絡(luò)可編程、開放接口”等理念引起了產(chǎn)、學(xué)、研各界的廣泛關(guān)注。目前,OpenFlow是實(shí)現(xiàn)SDN的主要技術(shù)和標(biāo)準(zhǔn),其相關(guān)規(guī)范已經(jīng)得到普遍承認(rèn)?;贠penFlow的SDN技術(shù)在解決當(dāng)前存在的實(shí)際問題和開拓網(wǎng)絡(luò)新應(yīng)用等方面取得了不少成果,在校園網(wǎng)、企業(yè)網(wǎng)及數(shù)據(jù)中心都有相應(yīng)部署,部分主流廠商的設(shè)備也逐漸支持OpenFlow接口規(guī)范,但目前在電信運(yùn)營商大規(guī)模網(wǎng)絡(luò)仍缺少商用案例??傊琒DN在控制軟件架構(gòu)、接口標(biāo)準(zhǔn)、數(shù)據(jù)轉(zhuǎn)發(fā)性能、網(wǎng)絡(luò)擴(kuò)展性和頑健性、網(wǎng)絡(luò)安全性、與傳統(tǒng)網(wǎng)絡(luò)設(shè)備的互操作性等諸多方面仍面臨巨大挑戰(zhàn)。盡管如此,SDN已為傳統(tǒng)網(wǎng)絡(luò)演進(jìn)和變革指明了方向,相信在眾多設(shè)備廠商、標(biāo)準(zhǔn)化組織、研究機(jī)構(gòu)的共同努力下,SDN將發(fā)展成為面向下一代IP網(wǎng)絡(luò)的標(biāo)準(zhǔn)架構(gòu)。

        1 ONF White Paper.Software-Defined Networking:the New Norm for Networks,April 13,2102

        2 Raj Jain,Subharthi P.Network virtualization and software defined networking for cloud computing:a survey.IEEE Communications Magazine,2013,51(11)

        3 Sezer S,Hayward S S,Chouhan P K,et al.Are we ready for SDN?Implementation challenges for software-defined networks.IEEE Communications Magazine,2013,51(7)

        4 Yeganeh S H,Tootoonchian A,Ganjali Y,et al.On scalability of software-defined networking.IEEE Communications Magazine,2013,51(2)

        5 Boucadair M,Jacquenet C.Software-Defined Networking:A Perspective from within a Service Provider.RFC 7149,March 2014

        6 Haleplidis E,Denazis S,Salim J H,et al.SDN Layers and Architecture Terminology.IETF Draft(Work in Progress)

        7 ONF.OpenFlow Switch Specification Version 1.3.4,March 27,2004

        8 Yu M,Rexford J,Freedman M J,et al.Scalable flow-based networking with DIFANE.Proceedings of the ACM SIGCOMM 2010 Conference on Applications,Technologies,Architectures,and Protocols for Computer Communications,New Delhi,India,2010

        9 Curtis A R,Mogul J C,Tourrilhes J,et al.DevoFlow:scaling flow management for high-performance networks.Proceedings of the ACM SIGCOMM 2011 Conference on Applications,Technologies,Architectures,and Protocols for Computer Communications,Toronto,ON,Canada,2011

        10 Koponen T,Casado M,Gude N,et al.Onix:a distributed control platform for large-scale production networks.Proceedings of the 9th USENIX Conference on Operating Systems Design and Implementation,San Jose,CA,USA,2010

        猜你喜歡
        交換機(jī)虛擬化數(shù)據(jù)中心
        酒泉云計(jì)算大數(shù)據(jù)中心
        基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺的設(shè)計(jì)與實(shí)現(xiàn)
        電子制作(2019年10期)2019-06-17 11:45:10
        修復(fù)損壞的交換機(jī)NOS
        對基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
        電子制作(2018年14期)2018-08-21 01:38:20
        民航綠色云數(shù)據(jù)中心PUE控制
        電子測試(2018年11期)2018-06-26 05:56:24
        虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
        電子測試(2017年11期)2017-12-15 08:57:56
        使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
        存儲虛擬化還有優(yōu)勢嗎?
        基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
        PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
        特黄熟妇丰满人妻无码| 蜜桃视频高清在线观看| 国产精品毛片一区二区三区| 亚洲av无码乱码精品国产| 人妻少妇久久中文字幕一区二区| 国产免费资源| 亚洲高清av一区二区 | 国产精品日日做人人爱| 免费无码一区二区三区蜜桃大| 亚洲欧美日韩综合中文字幕| 中文字幕一区二区va| 女同视频一区二区在线观看| 亚洲精品无amm毛片| 免费视频一区二区| 99国产精品欲av麻豆在线观看| 亚洲精品国产第一综合色吧| 免费观看激色视频网站| 亚洲欧美在线观看一区二区| 亚洲免费福利视频网站| 中国少妇×xxxx性裸交| a级黑人大硬长爽猛出猛进| 麻豆国产VA免费精品高清在线| 北条麻妃在线中文字幕| 女局长白白嫩嫩大屁股| 色丁香色婷婷| 久久精品国产亚洲av蜜臀久久 | 久久综合加勒比东京热| 国产欧美日韩一区二区加勒比| 欧美日韩国产一区二区三区不卡 | 免费av在线 国产精品| 免费观看mv大片高清| 亚洲色大成网站www永久一区 | 老熟女毛茸茸浓毛| 国产精品久久国产精品久久| 日本在线观看一区二区三| 国内精品久久久久久中文字幕| 久久精品国产72国产精福利| 日韩美女av一区二区| 天天综合网在线观看视频| 精品亚洲国产探花在线播放| 久久久精品网站免费观看|