引言：筆者單位網(wǎng)絡(luò)分業(yè)務(wù)內(nèi)網(wǎng)和外網(wǎng)，在外網(wǎng)設(shè)備上投入有限，只有一個接入路由和若干交換機(jī)。網(wǎng)絡(luò)整體架構(gòu)為網(wǎng)絡(luò)辦公區(qū)和服務(wù)器區(qū)，局域網(wǎng)辦公區(qū)就是上互聯(lián)網(wǎng)和內(nèi)部辦公使用，而服務(wù)區(qū)內(nèi)有服務(wù)器提供網(wǎng)站服務(wù)。隨著分支機(jī)構(gòu)建立和接入終端的數(shù)量增多，增加了三個VLAN。本以為一切會平滑過渡，但實(shí)際實(shí)施之后，內(nèi)部網(wǎng)站不能訪問。本文就向大家介紹故障的排查過程。

筆者所在單位為一小型單位，網(wǎng)絡(luò)分業(yè)務(wù)內(nèi)網(wǎng)和外網(wǎng)。內(nèi)外網(wǎng)分離于去初才完成，因此在外網(wǎng)設(shè)備上投入有限，只有一個接入路由和若干交換機(jī)。網(wǎng)絡(luò)整體架構(gòu)為網(wǎng)絡(luò)辦公區(qū)和服務(wù)器區(qū)，局域網(wǎng)辦公區(qū)就是上互聯(lián)網(wǎng)和內(nèi)部辦公使用，而服務(wù)區(qū)內(nèi)有服務(wù)器提供網(wǎng)站服務(wù)；因網(wǎng)站要同時提供對內(nèi)和對外服務(wù)（如圖1）。

整個網(wǎng)絡(luò)中，路由器R1起路由互聯(lián)和NAT作用；將172.16.15網(wǎng)段的地址NAT，其中將公網(wǎng)的IP的80端口靜態(tài)轉(zhuǎn)換成172.16.15.33網(wǎng)站服務(wù)器地址的80端口，以便提供WWW服務(wù)。為便于內(nèi)部人員通過域名也能訪問內(nèi)部網(wǎng)站，所以又在服務(wù)器區(qū)的服務(wù)器上搭建了DNS服務(wù)，只對網(wǎng)站服務(wù)www.abc.gov.cn進(jìn)行解析成172.16.15.33內(nèi)網(wǎng)地址，這樣網(wǎng)絡(luò)辦公區(qū)的人員無論訪問互聯(lián)網(wǎng)時還是內(nèi)部網(wǎng)站都比較順利。網(wǎng)絡(luò)辦公區(qū)和服務(wù)區(qū)為同一網(wǎng)段，在以太網(wǎng)內(nèi)相互通訊不需要通過網(wǎng)關(guān)，直接通過ARP廣播即可尋找到對方，然后在二層的數(shù)據(jù)鏈接路進(jìn)行通訊。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

故障現(xiàn)象

隨著本單位分支機(jī)構(gòu)建立和接入終端的數(shù)量增多，對接入的數(shù)量（一個網(wǎng)段限制在256個）還是安全性提出了分段管理的要求，于是提出了VLAN方案，將SW1從二層交換機(jī)變成三層交換機(jī)（172.16.15.2），并在此機(jī)上增加了三個VLAN，ID 為 16（172.16.16.x）、17（172.16.17.x）、18（172.16.18.x），然后將三個網(wǎng)絡(luò)的網(wǎng)關(guān)都設(shè)在SW1上，即將網(wǎng)絡(luò)辦公室劃分為三個區(qū)，整體網(wǎng)絡(luò)架構(gòu)和原有172.16.15網(wǎng)段保持不變。

本以為一切會平滑過渡，但實(shí)際實(shí)施之后，網(wǎng)絡(luò)辦公區(qū) PC（172.16.16.2）訪 問外網(wǎng)沒有任何問題，內(nèi)部網(wǎng)站http://www.abc.gov.cn不能訪問，表現(xiàn)為ping www.abc.gov.cn request Timed out 超時。考慮到Server1到網(wǎng)絡(luò)辦公室的回路問題，所以在Server1上加了一段路由：

ip route 172.16.16.0 255.255.255.0 172.16.15.2

然后，再在服務(wù)器上traceroute，反饋如下：

還是不通!應(yīng)該不是簡單的網(wǎng)絡(luò)回路問題了。

故障分析

PC訪問服務(wù)器（Server1）時， 網(wǎng)絡(luò)流量包的走向和動作為：

1 7 2.1 6.1 6.X(P C)172.16.16.1（SW1） → 除入口包發(fā)查找MAC表或以太網(wǎng)廣播包→172.16.15.33（Server1）去的通路正常，但返回時（即從Server1服務(wù)器返回PC），網(wǎng)絡(luò)流量包的走向和動作為：

172.16.15.33（Server1）→172.16.15.1（R1）→在路由上找不到相應(yīng)的IP路由→throw（丟棄），導(dǎo)致辦公區(qū)訪問服務(wù)區(qū)服務(wù)器時出現(xiàn)異常。這是由于TCP/IP在802.3以太網(wǎng)的實(shí)現(xiàn)機(jī)制造成的。

以太網(wǎng)IEEE 802.3即具有CSMA/CD（載波監(jiān)聽多路訪問/沖突檢測）的網(wǎng)絡(luò)。CSMA/CD是IEEE 802.3采用的媒體接入控制技術(shù)，或稱介質(zhì)訪問控制技術(shù)。一般的兩層交換機(jī)是工作在數(shù)據(jù)鏈路層，也就是第二層，工作原因比較簡單，只解析以太網(wǎng)幀，即MAC層的Frame，根據(jù)以太網(wǎng)幀的MAC地址來轉(zhuǎn)發(fā)報文。由于MAC地址是物理地址，而且采用平坦的地址結(jié)構(gòu)，只能通過廣播來進(jìn)行識別而不能用于劃分子網(wǎng)。而路由器工作在TCP/IP的網(wǎng)絡(luò)層，路由器識別IP地址，IP地址是邏輯地址且IP地址具有層次結(jié)構(gòu)，被劃分成網(wǎng)絡(luò)號和主機(jī)號，可以非常方便地用于劃分子網(wǎng)，路由器的主要功能就是用于連接不同的網(wǎng)絡(luò)。

信息在網(wǎng)絡(luò)流通時，數(shù)據(jù)包（三層）或數(shù)據(jù)幀（二層）都需要知道終點(diǎn)地址（Final destination address）和下一跳的地址（Next hop address）。IP地址本質(zhì)上是終點(diǎn)地址，它在跳過路由器（hop）的時候不會改變，而MAC地址則是下一跳的地址，每跳過一次路由器都會改變。

假設(shè)主機(jī)A訪問主機(jī)B，首先A知道B的IP地址，主機(jī)A首先會發(fā)ARP報文，ARP報文最終在MAC層被封裝成以太網(wǎng)幀，其源MAC地址是主機(jī)A自己，目的MAC地址是廣播地址，就是向外廣播詢問，請求主機(jī)B回答。交換機(jī)接收到主機(jī)A的包含ARP廣播報文的數(shù)據(jù)幀（Frame），會解析該Frame，發(fā)現(xiàn)目的MAC地址是廣播地址，就是向自己的所有端口廣播該Frame，源MAC地址依然是主機(jī)A，目的MAC地址依然是廣播地址。同時，如果源MAC地址，交換機(jī)之前沒有學(xué)習(xí)過，就會添加到自己的MAC地址表中，也就是交換機(jī)學(xué)習(xí)到主機(jī)A的MAC地址。

如果是主機(jī)，發(fā)現(xiàn)目的MAC不是自己，就會丟棄該報文。最后，經(jīng)交換機(jī)廣播后，ARP報文被主機(jī)B接收到，主機(jī)B發(fā)現(xiàn)被請求的IP是自己，就會按報文要求處理，發(fā)一個回應(yīng)報文，同樣在MAC層被封裝成以太網(wǎng)幀，源MAC地址是主機(jī)B，目的MAC地址是主機(jī)A，告訴主機(jī)A你請求的IP就是自己，最后發(fā)報文到交換機(jī)，交換機(jī)就會學(xué)習(xí)到B的MAC地址。同時主機(jī)A接收到主機(jī)B的回應(yīng)后，就知道主機(jī)B的MAC，添加到自己的ARP表中，下次再和B通信就不需要再發(fā)ARP報文了。簡單的總結(jié)如圖2所示。

那么在A與B跨網(wǎng)段（即路由器R）通訊時，交換機(jī)SW1開了代理arp，則把自己的端口MAC地址告訴A，A得知后，開始向B發(fā)送報文，報文的三層目標(biāo)IP為B的IP，報文的二層目標(biāo)MAC地址為剛交換機(jī)給它的MAC。交換機(jī)收到報文首先看二層，是發(fā)給自己的這個端口的，再看三層，是另一個接口所連接的路由R，則直接發(fā)過去，報文的二層目標(biāo)為交換機(jī)MAC地址表里學(xué)習(xí)到的R的MAC，三層目標(biāo)為B的IP，而路由器R在接到交換機(jī)的報文后，將報文的二層目標(biāo)改為交換機(jī)SW2的端口MAC，IP地址不變，這是正常情況，傳輸過程中源目IP沒有變化，MAC地址發(fā)生了變化。

正常情況下就會出現(xiàn)A→報文格式（源：ipA macA 目標(biāo)：ipB macSW）→SW（交換機(jī)）→報文格式（源：ipA macA 目 標(biāo)：ipB macR））路由器R）報文格式（源：ipA macA 目標(biāo) ：ipB macB），反之亦然。

圖2 網(wǎng)絡(luò)主干

圖3 修改網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

注：一般來說，IP地址經(jīng)過路由器是不變的，不過NAT（Network address translation）例外。

解決步驟

知道了以上的原因，解決方案有兩個。

1.單獨(dú)為此條通訊設(shè)置一條“專線”網(wǎng)絡(luò)，即在圖1的R1和SW1相連的端口處單獨(dú)加一個互聯(lián)的地址，可以類似于192.168.222.1/30，然后在三層交換機(jī)SW和Server1上做策略路由，讓172.16.15網(wǎng)段與172.16.16-18網(wǎng)段相通時不用通過172.16.15.1這個網(wǎng)關(guān)，此網(wǎng)關(guān)只負(fù)責(zé)用于Server1提供互聯(lián)網(wǎng)服務(wù)用即可。

2.對網(wǎng)絡(luò)進(jìn)行全新規(guī)劃，加裝防火墻取代路由器R1，服務(wù)器區(qū)位于防火墻的DMZ區(qū)，IP地址進(jìn)行重新劃分，內(nèi)部網(wǎng)絡(luò)架構(gòu)互聯(lián)用14網(wǎng)段，而服務(wù)器區(qū)因?yàn)橄到y(tǒng)安裝的原因保持原15網(wǎng)段不變，進(jìn)行平滑升級（如圖3）。

經(jīng)驗(yàn)總結(jié)

故障看上去不大，但其實(shí)非常有意義，這個故障還可以進(jìn)一步通過traceroute、pathping、arp等讓網(wǎng)絡(luò)管理員對于什么是TCP/IP、以太網(wǎng)有更多更深的認(rèn)識，在排除故障和升級網(wǎng)絡(luò)的過程有以下心得。

1.對于網(wǎng)絡(luò)要有總體規(guī)則，對于功能區(qū)和安全性都要有所考慮，特別是IP地址規(guī)劃和VLAN劃分。為了生產(chǎn)網(wǎng)絡(luò)環(huán)境的安全性，推薦使用IOU Web等模擬器進(jìn)網(wǎng)絡(luò)架構(gòu)進(jìn)行模擬測試，然后再對關(guān)鍵的設(shè)備進(jìn)行配置，以保證設(shè)計(jì)的科學(xué)性和有效性。

2.要對網(wǎng)絡(luò)中各個設(shè)備，路由器、三層交換機(jī)和二層交換機(jī)、防火墻都要了解相應(yīng)的功能，要學(xué)習(xí)理解時最好通過各個設(shè)備之間功能的對比進(jìn)行，在應(yīng)用中要結(jié)合現(xiàn)實(shí)的網(wǎng)絡(luò)環(huán)境，特別是三層的交換機(jī)什么時候作用于二層，什么時候要啟用三層。

3.要學(xué)會使用各類網(wǎng)絡(luò)工具，包括實(shí)驗(yàn)工具。理論有時候?qū)W的很清楚，但在現(xiàn)實(shí)中由于操作的方便性或者為了平滑過渡，在現(xiàn)有的基礎(chǔ)上進(jìn)行新的擴(kuò)展時會想當(dāng)然，當(dāng)出現(xiàn)問題時，要學(xué)會Wireshark抓包軟件對網(wǎng)絡(luò)流量進(jìn)行分析。