國家廣播電視總局無線電臺(tái)管理局七二二臺(tái) 王曉峰

在使用VMware的服務(wù)器虛擬化系統(tǒng)一段時(shí)間以后，發(fā)現(xiàn)系統(tǒng)內(nèi)有一些需要優(yōu)化的地方。在部署一臺(tái)交換機(jī)和若干千兆網(wǎng)線并進(jìn)行相應(yīng)配置后，服務(wù)器虛擬化系統(tǒng)的容錯(cuò)能力和性能都得到了提升，系統(tǒng)運(yùn)行的更加穩(wěn)定可靠。

本人所在單位目前已經(jīng)使用VMware公司的服務(wù)器虛擬化軟件vSphere ESXi6.7和配套的虛擬化管理軟件vCenter6.7實(shí)現(xiàn)了機(jī)房服務(wù)器系統(tǒng)虛擬化。服務(wù)器虛擬化以后，整個(gè)機(jī)房物理服務(wù)器的數(shù)量從原來的二十多臺(tái)降為了三臺(tái)；保障服務(wù)器工作的UPS電源負(fù)載降低了35%左右；減輕了機(jī)房制冷系統(tǒng)的負(fù)荷；機(jī)房總體耗能有所降低?？偟膩碚f服務(wù)器虛擬化之后單臺(tái)物理機(jī)上運(yùn)行業(yè)務(wù)系統(tǒng)的密度增大了，整個(gè)機(jī)房提高了運(yùn)維效率降低了運(yùn)維費(fèi)用。但是隨著這兩年來的使用，我們發(fā)現(xiàn)目前的服務(wù)器虛擬化系統(tǒng)存在一些問題，需要升級(jí)改造。

1 服務(wù)器虛擬化系統(tǒng)現(xiàn)狀

本人所在單位的服務(wù)器虛擬化系統(tǒng)是按照最小系統(tǒng)規(guī)格配置的。分別由三臺(tái)物理服務(wù)器，一臺(tái)千兆交換機(jī)，一臺(tái)光交換機(jī)、一臺(tái)FC共享存儲(chǔ)和vSphere虛擬化軟件組成。從邏輯上可以分為系統(tǒng)存儲(chǔ)部分、系統(tǒng)網(wǎng)絡(luò)通信部分和宿主機(jī)部分。

系統(tǒng)存儲(chǔ)部分組成如下：三臺(tái)物理服務(wù)器上安裝了HBA光纖通道卡，通過8G速率的光纖與光交換機(jī)連接；虛擬化共享存儲(chǔ)的控制器上自帶光纖接口，通過8G速率的光纖與光交換機(jī)連接。三臺(tái)物理服務(wù)器可以通過光纖與光交換機(jī)組成的“光通路”訪問共享存儲(chǔ)，實(shí)現(xiàn)服務(wù)器虛擬化系統(tǒng)的數(shù)據(jù)讀寫。改造前服務(wù)器虛擬化系統(tǒng)連接拓?fù)鋱D如圖1所示。

圖1 改造前服務(wù)器虛擬化系統(tǒng)連接拓?fù)鋱D

系統(tǒng)網(wǎng)絡(luò)通信部分組成如下：每一臺(tái)物理服務(wù)器均配置了八個(gè)網(wǎng)口，目前僅僅使用其中三個(gè)網(wǎng)口與一臺(tái)千兆交換機(jī)連接；在這臺(tái)千兆交換機(jī)上劃分了三個(gè)網(wǎng)絡(luò)Vlan：虛擬化系統(tǒng)遷移時(shí)需要用到的vMotion業(yè)務(wù)所在網(wǎng)絡(luò)Vlan，管理虛擬化系統(tǒng)時(shí)需要用到的Management業(yè)務(wù)所在網(wǎng)絡(luò)Vlan，還有虛擬服務(wù)器對(duì)外提供服務(wù)使用到的業(yè)務(wù)Vlan。前兩個(gè)Vlan是保障服務(wù)器虛擬化系統(tǒng)自身能夠正常工作的基礎(chǔ)；后一個(gè)Vlan是系統(tǒng)內(nèi)運(yùn)行的虛擬機(jī)保持對(duì)外服務(wù)的通道。每臺(tái)物理服務(wù)器使用三條千兆網(wǎng)線分別通過不同的網(wǎng)口連接到系統(tǒng)千兆交換機(jī)對(duì)應(yīng)的Vlan網(wǎng)口。

服務(wù)器虛擬化系統(tǒng)與其他網(wǎng)絡(luò)系統(tǒng)的關(guān)系如下所述。服務(wù)器虛擬化系統(tǒng)內(nèi)的千兆交換機(jī)通過一個(gè)設(shè)置為Trunk工作模式的網(wǎng)口與上一級(jí)核心交換機(jī)連接，同時(shí)另外一個(gè)設(shè)置為Trunk工作模式的網(wǎng)口與遠(yuǎn)端工作現(xiàn)場的一臺(tái)交換機(jī)連接。通過上述兩條鏈路，系統(tǒng)內(nèi)運(yùn)行的辦公業(yè)務(wù)類虛擬機(jī)給本單位接入核心交換機(jī)的用戶提供日常辦公相關(guān)服務(wù)；設(shè)備控制相關(guān)的虛擬機(jī)給遠(yuǎn)端工作現(xiàn)場的工控設(shè)備提供數(shù)據(jù)存儲(chǔ)和遠(yuǎn)程自動(dòng)控制服務(wù)。

2 當(dāng)前系統(tǒng)存在的問題

經(jīng)過兩年的實(shí)際運(yùn)行，我們發(fā)現(xiàn)在生產(chǎn)環(huán)境下這套服務(wù)器虛擬化系統(tǒng)存在以下問題。首先系統(tǒng)中的交換機(jī)與上一級(jí)核心交換機(jī)之間、系統(tǒng)交換機(jī)與遠(yuǎn)端工作現(xiàn)場交換機(jī)之間只有一條物理鏈路，只要發(fā)生故障，它們與虛擬化系統(tǒng)之間的通信就會(huì)中斷。其次在服務(wù)器虛擬化系統(tǒng)中，僅僅有一臺(tái)千兆交換機(jī)，這臺(tái)交換機(jī)即需要負(fù)擔(dān)虛擬化系統(tǒng)內(nèi)部的網(wǎng)絡(luò)流量，又需要承擔(dān)與系統(tǒng)內(nèi)虛擬服務(wù)器進(jìn)行業(yè)務(wù)交互的網(wǎng)絡(luò)流量，在系統(tǒng)內(nèi)虛擬機(jī)大規(guī)模遷移時(shí)交換機(jī)容量捉襟見肘；同時(shí)因?yàn)樵O(shè)備故障或者意外造成這臺(tái)交換機(jī)停止工作會(huì)使所有虛擬化服務(wù)器無法訪問，造成虛擬化系統(tǒng)內(nèi)運(yùn)行的全部業(yè)務(wù)對(duì)外服務(wù)中斷。

3 系統(tǒng)升級(jí)思路

因?yàn)檫@套服務(wù)器虛擬化系統(tǒng)已經(jīng)使用了兩年左右，在功能上能夠滿足單位的日常需要，所以這次升級(jí)系統(tǒng)的主要目的是盡量提高系統(tǒng)的可靠性。在計(jì)算機(jī)系統(tǒng)中可靠性的提升一般采用冗余設(shè)備的方法。但是計(jì)算機(jī)系統(tǒng)不僅僅是物理硬件的堆砌，還包含運(yùn)行在物理硬件上的各種軟件。因此在做冗余設(shè)置提升系統(tǒng)可靠性時(shí)，不僅要考慮硬件配置，還要考慮軟件設(shè)置。

3.1 提升物理鏈路的可靠性

為了提升服務(wù)器虛擬化系統(tǒng)中使用的交換機(jī)與單位其它交換機(jī)之間通信的可靠性，從物理上看，我們可以直接在這兩臺(tái)交換機(jī)之間增加一條千兆網(wǎng)線，以實(shí)現(xiàn)鏈路冗余。而實(shí)際上在不對(duì)交換機(jī)做任何配置的情況下，兩臺(tái)交換機(jī)之間直接連接兩條網(wǎng)線會(huì)在交換機(jī)之間形成環(huán)路，產(chǎn)生廣播風(fēng)暴，使交換機(jī)無法正常工作。

可以在交換機(jī)中啟用STP協(xié)議（生成樹協(xié)議）或配置鏈路聚合功能解決冗余物理鏈路的環(huán)路問題。

交換機(jī)中的STP協(xié)議啟用以后，會(huì)根據(jù)當(dāng)前交換機(jī)的物理連接拓?fù)渖蛇壿嬌系?、無環(huán)路的交換機(jī)樹形拓?fù)?，通過關(guān)閉環(huán)路中上層交換機(jī)指定端口的方法，使環(huán)路中一條物理鏈路處于工作狀態(tài)，而另一條處于不工作狀態(tài)。當(dāng)處于工作狀態(tài)的鏈路中斷時(shí)，原本中斷狀態(tài)的鏈路才會(huì)啟用。這樣可以實(shí)現(xiàn)物理鏈路冗余，但是STP協(xié)議切換鏈路花費(fèi)的時(shí)間比較長，在鏈路切換時(shí)會(huì)產(chǎn)生較長的中斷時(shí)間。

在交換機(jī)上配置鏈路聚合功能，會(huì)將兩臺(tái)交換機(jī)之間連接的多條物理鏈路，看成一條邏輯鏈路，解決了鏈路備份與環(huán)路的矛盾。根據(jù)對(duì)交換機(jī)的配置，一些物理鏈路可以同時(shí)工作，在增加交換機(jī)之間通信帶寬的同時(shí)，提供了鏈路冗余；另一些物理鏈路可以作為備份鏈路存在，平時(shí)鏈路上沒有數(shù)據(jù)傳輸，當(dāng)上文中工作鏈路中某一條中斷后，由備份鏈路補(bǔ)上。

經(jīng)過綜合考慮，我們選擇在交換機(jī)上開啟STP協(xié)議同時(shí)配置鏈路聚合，使用STP協(xié)議防止物理鏈路自環(huán)；使用鏈路聚合技術(shù)為交換機(jī)之間增加冗余物理鏈路，實(shí)現(xiàn)交換機(jī)之間鏈路可靠性與性能的提升。

3.2 解決虛擬化系統(tǒng)內(nèi)交換機(jī)的單點(diǎn)部署問題

為了解決虛擬化系統(tǒng)內(nèi)的一臺(tái)千兆交換機(jī)單點(diǎn)部署的問題，我們?cè)黾恿艘慌_(tái)新的同型號(hào)交換機(jī)并且在兩臺(tái)交換機(jī)之間實(shí)施了堆疊配置。交換機(jī)堆疊是一種交換機(jī)集群技術(shù)，在兩臺(tái)同型號(hào)的交換機(jī)之間通過指定接口把兩臺(tái)交換機(jī)連接起來并在交換機(jī)上啟動(dòng)堆疊配置，堆疊后的交換機(jī)對(duì)外呈現(xiàn)出一臺(tái)交換機(jī)的特性。這臺(tái)通過堆疊技術(shù)實(shí)現(xiàn)的邏輯交換機(jī)，只有一個(gè)管理IP，接口數(shù)量和性能都得到了加強(qiáng)，配合跨設(shè)備鏈路聚合技術(shù)，可以實(shí)現(xiàn)交換機(jī)的熱備。也就是說，一臺(tái)物理服務(wù)器的兩個(gè)網(wǎng)口，分別連接到堆疊交換機(jī)中的兩臺(tái)物理交換機(jī)，并將這兩個(gè)來自不同物理交換機(jī)的端口在堆疊后的邏輯交換機(jī)內(nèi)做端口聚合配置。當(dāng)堆疊交換機(jī)中的一臺(tái)物理交換機(jī)故障后，服務(wù)器可以通過堆疊交換機(jī)中的另一臺(tái)物理交換機(jī)通信。

圖2 改造后服務(wù)器虛擬化系統(tǒng)連接拓?fù)鋱D

3.3 系統(tǒng)升級(jí)方案

綜上所述，我們制定如下升級(jí)方案。新增一臺(tái)千兆交換機(jī)，與虛擬化系統(tǒng)中的原千兆交換機(jī)使用千兆網(wǎng)線分別通過兩組物理網(wǎng)口連接組成堆疊交換機(jī)。從三臺(tái)物理服務(wù)器上，通過空余的網(wǎng)口分別為vMotion業(yè)務(wù)所在Vlan、Management業(yè)務(wù)所在Vlan和業(yè)務(wù)網(wǎng)絡(luò)所在Vlan增加一條冗余千兆網(wǎng)線，連接到堆疊交換機(jī)中新增的物理交換機(jī)上。實(shí)施堆疊配置后的兩臺(tái)物理千兆交換機(jī)和其他外圍交換機(jī)連接時(shí)，可以從兩臺(tái)物理交換機(jī)上使用千兆網(wǎng)口同時(shí)連接到外圍交換機(jī)的兩個(gè)網(wǎng)口上，在堆疊交換機(jī)和外圍交換機(jī)上同時(shí)配置端口聚合。改造后服務(wù)器虛擬化系統(tǒng)連接拓?fù)鋱D如圖2所示。

4 系統(tǒng)升級(jí)實(shí)施過程

4.1 交換機(jī)設(shè)置堆疊工作模式

將虛擬化系統(tǒng)中的一臺(tái)交換機(jī)的19號(hào)網(wǎng)口和20號(hào)網(wǎng)口依次與另一臺(tái)新增交換機(jī)的20號(hào)網(wǎng)口和19號(hào)網(wǎng)口連接起來。

使用Telnet連入一臺(tái)物理交換機(jī)的配置系統(tǒng)，依次運(yùn)行interface stackport 0/1，port interface GigabitEthernet 0/0/19 enable，quit；依次運(yùn)行interface stack-port 0/2，port interface GigabitEthernet 0/0/20 enable，quit。

使用Telnet連入另外一臺(tái)物理交換機(jī)的配置系統(tǒng)，依次運(yùn)行interface stack-port 0/1，port interface GigabitEthernet 0/0/19 enabl e，quit；依次運(yùn)行interface stack-port 0/2，port interface GigabitEt hernet 0/0/20 enable，quit。

重新啟動(dòng)兩臺(tái)交換機(jī)，啟動(dòng)后會(huì)組成堆疊交換機(jī)。

4.2 級(jí)聯(lián)交換機(jī)之間配置鏈路聚合

除了交換機(jī)堆疊之外，交換機(jī)之間的級(jí)聯(lián)和交換機(jī)與服務(wù)器的連接使用兩個(gè)網(wǎng)口通過網(wǎng)線對(duì)應(yīng)連接對(duì)端網(wǎng)口，交換機(jī)系統(tǒng)內(nèi)以手工負(fù)載分擔(dān)模式配置鏈路聚合。下面以虛擬化系統(tǒng)內(nèi)堆疊后形成的邏輯交換機(jī)與核心交換機(jī)之間的鏈路聚合配置為例予以說明。

在堆疊交換機(jī)上做如下配置：interface eth-trunk 1，trunkport GigabitEthernet 0/0/1，trunkport GigabitEthernet 1/0/1，port link-type trunk，port trunk allow-pass vlan 10 to 100。

在核心交換機(jī)上的配置與堆疊交換機(jī)上的類似，僅僅是把trunkport GigabitEthernet 1/0/1命令改為trunkport GigabitEthernet 0/0/2。

通過配置堆疊交換機(jī)的GigabitEthernet 0/0/1口和GigabitEthernet 1/0/1與核心交換機(jī)的GigabitEthernet 0/0/1和GigabitEthernet 0/0/2口實(shí)現(xiàn)了鏈路匯聚。

結(jié)論：經(jīng)過本次升級(jí)，優(yōu)化了多個(gè)可能會(huì)出現(xiàn)單點(diǎn)故障的網(wǎng)絡(luò)結(jié)構(gòu)，整個(gè)系統(tǒng)的性能和可靠性均有了很大的提升。此后單臺(tái)交換機(jī)或者單條鏈路的故障再也無法中斷虛擬化系統(tǒng)對(duì)外提供服務(wù)。