項目背景

本文中所涉及項目為某能源集團互聯(lián)網出口整合項目。該項目主要是將其下屬子、分公司自有互聯(lián)網出口按所屬地址區(qū)域整合至4個區(qū)域中心，本例即為4區(qū)域中心之一，該區(qū)域中心示例拓撲如圖1。

區(qū)域中心互聯(lián)網接入核心設備連接情況及路由走向說明

1.該區(qū)域中心互聯(lián)網接入核心設備邏輯連接情況如圖2所示，各子、分公司通過租用專線、自有傳輸、集團廣域網方式連接區(qū)域中心匯聚交換機，并通過上網行為管理設備、防火墻、負載均衡設備進行NAT（網絡地址轉換）后訪問互聯(lián)網。

2.相關設備主要路由配置示例

圖1 區(qū)域中心示例拓撲

圖2 互聯(lián)網接入核心區(qū)域拓撲

圖3 匯聚交換機下一跳指向靜態(tài)路由

（1） 匯 聚交換機下一跳指向廣域網匯聚路由器互聯(lián)接口地址的10.0.0.0/8前綴靜態(tài)路由，以保證通過集團廣域網接入的分、子公司業(yè)務網段回程路由可達，如圖3。

（2）匯聚交換機配置下一跳指向分、子公司互聯(lián)設備接口地址的靜態(tài)路由，從而保證通過點對點專線接入的分、子公司業(yè)務網段回程路由可達（僅顯示一條）；

（3）在匯聚交換機上配置下一跳指向出口防火墻內網接口的默認路由；

（5）出口負載均衡器路由配置如圖5，其中10、192路由指向防火墻外網接口保證下行流量正常返回，默認路由指向網關池保證互聯(lián)網上行流量轉發(fā)至相應運營商鏈路。

問題描述及解決過程

1.路由調整及問題描述

（1）本次割接涉及單位為集團二級能源公司下屬某露天礦，其接入方式為利用集團原有MPLS廣域網，接入區(qū)域中心廣域網匯聚路由器（接入方式如圖6右側所示）。

圖4 出口防火墻配置3條靜態(tài)路由

圖5 出口負載均衡器路由配置

圖6 接入區(qū)域中心廣域網匯聚路由器

圖7 可以ping通區(qū)域中心側廣域網匯聚路由器

（2）路由切換主要是通過調整露天礦側路由器與交換機的默認路由，使互聯(lián)網流量切換至集團廣域網傳送，配置示例如下：

ip route vrf vpn_temp 0.0.0.0 0.0.0.0 10.255.9.2 //在路由器vpn_temp實例中增加一條下一跳指向區(qū)域中心廣域網匯聚路由器上聯(lián)還匯聚交換機接口地址的默認路由；

ip route 0.0.0.0 0.0.0.0 10.26.96.2 //在露天礦核心交換機配置下一跳地址為路由器互聯(lián)地址的默認路由。

（3）經過上述路由配置調整后，在露天礦核心交換機上使用各業(yè)務網段網關地址作為源地址ping省聯(lián)通DNS服務器地址，結果無法ping通；但可以ping通區(qū)域中心側廣域網匯聚路由器上聯(lián)接口地址及下一跳地址（默認路由下一跳地址），說明從露天礦至區(qū)域中心數據傳輸正常，如圖7。

對于影像學檢查和介入超聲技術仍無法做出準確診斷，且患者癥狀較重、體征明顯，而患者本人又有強烈治療愿望時，可試行剖腹探查術或腹腔鏡探查術。手術可以直接對囊腫組織進行觀察，并可在直視下進行活體組織檢查，外科醫(yī)師可以對病變組織進行初步評估，又可以在病理結果出來后直接行外科干預[19]。相對于傳統(tǒng)的剖腹探查術，微創(chuàng)手術并發(fā)癥少，患者疼痛較輕，體表無明顯手術瘢痕，心理打擊小，術后恢復較快，目前已廣泛應用于臨床，并取得了良好的診療效果[20]。但需注意的是，剖腹探查術或腹腔鏡探查術存在一定的麻醉和手術風險及陰性探查的可能性，應用時應充分評估患者情況，向患者及家屬做好解釋工作，嚴格把握適應證。

（4）由于集團核心廣域網為MPLS L3VPN環(huán)境，按照控制平面、數據平面分別排查的思路進行后續(xù)測試、分析。首先，查看露天礦側PE與區(qū)域中心側PE的MP-BGP鄰居，由于現網中為了增強擴展性，部署了2臺BGP RR（路由反射器），所有PE路由器僅與2臺RR路由建立BGP鄰居關系，PE路由器的路由均是通過RR進行反射的，根據調試信息可以判斷礦區(qū)側PE、區(qū)域中心側PE均與2臺RR建立的正常的BGP鄰居關系，如圖8。

（5）接著查看礦區(qū)側與區(qū)域中心側PE路由器的VPN實例相關路由表項，其中礦區(qū)側 PE VRF中到10.255.9.0/28前綴是通過RR 10.60.7.254反射后學到的，由于RR默認不會修改路由的下一跳屬性，且路由器間都是使用loopback 0接口作為源地址，建立的BGP鄰居關系，并作為update源，因此路由的下一跳地址為區(qū)域中心匯聚PE路由器loopback0接口地址10.224.7.246。

slq#show ip route vrf vpn_temp 10.255.9.0 //查看礦區(qū)PE路由器VRF中10.255.9.0的路由

圖8 根據調試信息判斷的結果

圖9 查看區(qū)域中心廣域網匯聚PE路由器路由信息

區(qū)域中心側PE相應vpn-instance中到達礦區(qū)側業(yè)務網段路由，也是通過RR反射的，下一跳為礦區(qū)側PE loopback 0接口地址10.28.7.251；如圖9。

（6）由于BGP路由下一跳最終需要遞歸到IGP物理下一跳及相應出接口才能完成數據轉發(fā)，因此查看了礦區(qū)側與區(qū)域中心側PE到達對端loopback 0接口的IGP路由（本例中為ISIS協(xié)議）。通過如下信息可以判斷兩端的PE已都通過ISIS協(xié)議學習到了對端loopback 0接口的32位前綴主機路由，如圖10。

圖10 兩端的PE都已學習到loopback 0接口的主機路由

（7）經過上述驗證過程基本可證明MPLS L3VPN環(huán)境，控制平面（路由平面）不存在問題，下面繼續(xù)對轉發(fā)平面進行測試?；贛PLS L3VPN工作原理，各PE路由器保存VPN實例路由表并分配MPLS服務標簽（內層標簽），而P路由器僅保存全局路由，并僅將外層標簽做轉發(fā)依據。因此，要實現端到端VPN數據正常轉發(fā)，首先要保證PE到PE的雙向LSP（標簽交換路徑）正常，因此需要在兩臺PE上通過tracert結合觀察標簽轉發(fā)表進行測試，如圖11。

（8）在Cisco路由器中MPLS轉發(fā)需依靠CEF（Cisco快速轉發(fā)）表解析下一跳、出接口、出標簽信息，因此進一步查看VRF中 0.0.0.0 0.0.0.0路由所對應的CEF表項,由下面結果可知路由可正常遞歸出接口與下一跳，但是沒有出標簽信息。

圖11 對轉發(fā)平面進行測試

對于一個VPN實例內的路由項，只有在CEF中有出接口、下一跳、和出標簽（內、外層標簽）才能正常轉發(fā)，例如下面的相應示例就具備上述說有信息。

基于上述的調試信息，造成目前問題的主要原因主要是當礦區(qū)側PE在VPN實例中接收到目的地址沒有預支對應轉發(fā)表項的數據包時，會根據默認路由進行轉發(fā)。但在CEF表象中沒有與默認路由匹配的出標簽信息，數據將按照普通IP轉發(fā)而MPLS標簽轉發(fā)。這樣當數據到達P路由器后，P路由器的路由表中并不存在221.11.1.67的路由表項，數據包將被直接丟棄，從而產生控制平面存在路由表項，轉發(fā)平面無法轉發(fā)的路由黑洞問題。

如果需要解決該問題，必須使CEF表項中默認路由同時具備下一跳、出接口、出標簽信息。對于Cisco IOS而言，對于全局路由表中的0.0.0.0/0路由默認不會分配MPLS標簽，可通過“slq(config)#mpls ip default-route”改變該默認行為， 但該配置僅能影響全局路由表對應的默認路由CEF表項，并不能影響VRF中的默認路由CEF項，因此無法使用該特性解決問題。

MPLS技術有一個重要的應用場景就是僅在AS（自制系統(tǒng)）邊緣路由器運行BGP的前提下，使Internet穿越流量正常轉發(fā)，中間的經過的P節(jié)點既不需要開啟BGP協(xié)議，也不需要保存互聯(lián)網路由表?；诖怂枷爰霸O備特性，做了如下調整：

首先，在礦區(qū)側PE的VRF配置默認路由時，將下一跳指向中心側PE loopback 0接口。同時，在配置下一跳時，在全局路由表中進行解耦。完成下面改配置后，觀察對應CEF表項，可以看到VRF中默認路由已經有了相應的出接口、下一跳、出標簽信息，壓入標簽與MPLS轉發(fā)表中，到中心側BGP下一跳loopback0地址標簽一致。

ip route vrf vpn_temp 0.0.0.0 0.0.0.0 10.224.7.246 global //在vrf中配置一條指向全局下一跳地址的默認路由

slq#show ip cef vrf vpn_temp 0.0.0.0 0.0.0.0//查看vrf默認路由對應的cef表項

完成上述配置后，進行ping聯(lián)通DNS地址，依舊無法ping通，tracert也沒有路徑信息，由于前面已經進行了端到端LSP檢測，524標簽交換路徑是正常的，問題應該在中心側PE。

s l q#

進一步分析，根據MPLS的轉發(fā)邏輯，到達中心側PE路由器loopback 0接口的標簽數據包會在倒數第二跳P設備執(zhí)行PHP（倒數第二條彈出），中心側PE接收到的將是目的地址為211.11.1.67的IP數據包，PE路由器將查找全局路由表做基本的IP轉發(fā)。但區(qū)域中心PE的全局路由表中并不存在默認路由表項，因此將數據包丟棄了。解決方法顯而易見，應增加一條默認路由，本例中的特殊之處在于，PE的上行接口在vpn-instance中，因此在配置全局路由表默認路由時，應指定在vpninstance中解析下一跳，示例配置如下：

完成上述配置后，在礦區(qū)側PE ping和tracert驗證均已正常，礦區(qū)側交換機使用各業(yè)務網段網關地址作為源地址，可正常ping通聯(lián)通DNS地址，用戶可以正常接入互聯(lián)網，至此問題解決。