李滿堂

（徐州醫(yī)科大學附屬醫(yī)院信息處，江蘇 徐州 221000）

0 引言

隨著醫(yī)院規(guī)模的逐漸擴大，業(yè)務系統(tǒng)的不斷增多，單一的數據中心已無法滿足大型醫(yī)院信息化發(fā)展的需要。在全社會大數據、云計算的發(fā)展背景下，醫(yī)療數據的重要性不言而喻，雙活數據中心的建設為醫(yī)院信息化的發(fā)展提供了高可靠、高冗余、高效率的支撐[1]。徐州醫(yī)科大學附屬醫(yī)院作為淮海經濟區(qū)最大的醫(yī)療機構，擁有信息系統(tǒng)一百多個、電腦終端三千多臺、網絡節(jié)點一千余個。這么龐大的體量，催生了極具特色的“兩地三中心”的雙活數據中心建設體系，極大地提高了醫(yī)院的運行效率，提升了醫(yī)院的地區(qū)影響力。

1 數據中心“兩地三中心”建設的整體架構

為滿足信息化發(fā)展規(guī)模的需要，徐州醫(yī)科大學附屬醫(yī)院共建設了三個機房，包括本部兩個和東院區(qū)一個。三個不同的地理位置，為做“兩地三中心”的雙活提供了便利的外在條件。兩地主要指本部和東部院區(qū)，三中心包括本部兩個地位相等的12號樓機房和4號樓機房，第三個中心則是東院的備份機房。其中12號樓和4號樓機房做到了完全雙活，無論哪個機房出現類似于交換機宕機、服務器故障、存儲損壞甚至火災或者停電，另一個機房都可以接替其承擔的任務，保障不斷網、服務不間斷、數據不丟失。東院機房通過裸纖連接本部機房，主要功能是備份HIS、EMR、PACS、LIS、平臺等重要系統(tǒng)的數據庫文件，保證極端環(huán)境下，重要數據不丟失。

2 核心網絡雙活的實現過程及性能測試

2.1 場景介紹

核心網絡區(qū)域共包含10臺核心交換機，其中4臺Cisco9508作為園區(qū)核心使用，12號樓和4號樓機房各放置兩臺。因該型號設備不支持堆疊，所以做冗余網關，優(yōu)先級各不相同；4臺Cisco9504作為數據中心核心使用，同樣12號樓和4號樓各放兩臺，做冗余網關；2臺Cisco7010放置在東院區(qū)，作為東院區(qū)核心使用，同時承擔東院區(qū)備份機房網絡傳輸任務。因東院區(qū)核心交換機通過裸纖和本部互聯(lián)，網絡結構較為簡單，本節(jié)不做重點討論。

2.2 實現過程

如圖1所示，ABCD 4臺園區(qū)交換機呈口字型組網，B設備為Active，D設備為Standby，各設備之間雙鏈路聚合鏈接，提升帶寬，滿足高業(yè)務量的需要。EFGH 4臺數據中心交換機維持和園區(qū)二層環(huán)網相同拓撲，組成另一張大二層HSRP環(huán)網，角色相同。為了盡可能縮小2套環(huán)網之間的Layer2范圍，在2套環(huán)網之間通過Layer3（紅色連線）的方式進行路由互通，采用靜態(tài)路由的方式。Layer3互聯(lián)鏈路IP地址使用/32位精細地址劃分，運維工程師合理記錄并部署規(guī)劃靜態(tài)路由條目，避免流量繞行，其中9504去往Active設備的路由優(yōu)先級最高，去往非Active設備路由優(yōu)先級次優(yōu)。

圖1 核心網絡拓撲

2.3 雙活測試

本小節(jié)著重分析解決了兩種故障情況。

第一種：如圖2所示，模擬Active 9508設備故障、9504與Active 9508之間鏈路故障。此時，9504去往Active 9508的流量會根據路由狀態(tài)切換至9508’，由于HSRP的GW地址為虛擬地址，9508二層環(huán)網內會產生GW的ARP查詢，通過二層網絡自動轉發(fā)至Standby設備，實現流量的自動路徑切換。

圖2 模擬故障場景一

第二種：如圖3所示，Active 9508和9508’設備同時發(fā)生故障。由于數據中心9504設備與本地機房的所有9508網絡鏈接中斷，因此數據中心去往園區(qū)網的流量將會受到影響，將在9504設備上啟用事先放置好的跨機房的容災Layer 3link，路由優(yōu)先級設置為最低，保障極端場景下的業(yè)務可靠。

圖3 模擬故障場景二

3 VSAN存儲雙活的實現過程及性能測試

3.1 場景介紹

如圖4所示，VSAN存儲分別部署在3個機房，即12號樓（DC1）、4號樓（DC2）和2號樓的仲裁機房（DC3）。一共有17臺服務器組成，包括DC1和DC2中各有8臺HPE 380 G10服務器，配置為：CPU Intel 5218R，RAM 512 GB，千兆網口4個，萬兆光口4個，磁盤包括內置2×480 GB BOSS啟動盤，2×800 GB （寫入密集型）SSD盤，6×3.84 TB（混合型）SSD盤。DC3中包括1臺HPE 380 G9服務器，配置為：CPU E5-2620 v3，RAM 32 GB，千兆網口4個，磁盤包括內置4×600 GB 15 K SAS盤。

圖4 VSAN架構

3.2 實現過程

DC1和DC2之間通過40 Gbps以上，RTT<5 ms的二層組播打開；DC3和DC1，DC3和DC2之間通過1 000 Mbps，RTT<200 ms的二層組播打開；均配置為不同vlan的私有網段。VSAN中一共16個vSphere Host使用了16個IP地址用于VSAN數據網絡通信，VMotion中一共16個vSphere Host使用了16個IP地址用于VMotion數據網絡通信，建立vCenter平臺管理所有的超融合節(jié)點。服務器虛擬化采用vSphere Hypervisor (ESXi) 7.0U1c VMware-VMvisor-Installer-7.0U1c-17325551、vCenter Server 7.0U1d、VMware-VCSAall-7.0.1-17491101；存儲虛擬化采用Virtual SAN 7 Update 1、VMware-VMvisor-Installer-7.0U1c-17325551(include vsan) 、Virtual SAN Witness Appliance 7.0U1c、VMware-VirtualSAN-Witness-7.0U1c-17325551。最終可以實現兩個主機房的任意硬盤、節(jié)點損壞不會造成數據和服務丟失，并且切換時間極短，不影響正常業(yè)務的使用。

3.3 雙活測試

本小節(jié)著重從磁盤故障、主機故障、存儲網絡腦裂故障、業(yè)務網絡腦裂故障4個方面進行雙活測試，詳見表1—4。

表1 磁盤故障雙活測試

4 備份與容災

4.1 本部數據中心的備份存儲

在12號樓機房內，一臺Data Domain DD作為備份存儲，存儲所有應用的備份數據，可以模擬成磁帶，提供非常高效的重復數據消除功能，配合備份軟件Veeam使用（Veeam通過單個基于映像的備份，可提供廣泛的功能，實現小于15分鐘的恢復點目標，提供簡化的內置災難恢復功能，可實施自動恢復驗證任務，始終確保每個文件、應用程序或虛擬服務器都可快速恢復）[2]。后期通過DD可設置自動復制功能，一旦備份數據寫入本地DD設備中，系統(tǒng)會自動實時將消重后的備份數據傳輸到遠端的DD設備中，達到備份數據容災的目的。

4.2 東院區(qū)備份機房的建設

東院區(qū)擁有一臺四節(jié)存儲設備，用來存儲本部重要信息系統(tǒng)的數據庫文件。因為醫(yī)院數據庫大多為oracle數據庫，所以選用DSG備份軟件，可支持ORACLE數據庫在非歸檔日志模式下在線熱備份。它具有智能完全備份技術，采用獨創(chuàng)壓縮版本文件系統(tǒng)，使日常備份任務變得非常簡單，通過增量數據備份就能獲得完整的備份版本，能夠大幅度減少備份性能受帶寬資源限制，降低磁盤存儲容量75%以上，且可讀取，無需對備份數據進行恢復即可從備份系統(tǒng)上抽取數據，并且這種數據抽取無需數據庫系統(tǒng)支持，也不需要特殊的主機環(huán)境支持。當極端情況下，本部兩個數據中心全部崩潰，也能保證醫(yī)院重要數據不丟失[3]。

表2 主機故障雙活測試

表3 存儲網絡腦裂故障雙活測試

表4 業(yè)務網絡腦裂故障雙活測試

5 結語

雙活數據中心的建設合理地分配了計算、存儲和網絡等虛擬化資源，最大程度地提高服務器設備的利用率，使醫(yī)院的IT基礎架構成為一個動態(tài)、靈活、具有彈性的IT基礎架構。它解決了系統(tǒng)及網絡單點故障問題和性能瓶頸等問題，提高了醫(yī)院數據中心的健壯性，在滿足業(yè)務系統(tǒng)可用性的同時保證醫(yī)院系統(tǒng)運行安全和數據安全[4]。

雙活數據中心的建成帶動了醫(yī)院業(yè)務的發(fā)展，提高診療效率、提升醫(yī)療服務水平。同時，以業(yè)務發(fā)展進一步推動信息化建設，實現醫(yī)院各項業(yè)務與信息化的良性循環(huán)，搭建了一個能夠支撐醫(yī)院未來三到五年業(yè)務發(fā)展的信息系統(tǒng)平臺，進一步提升了醫(yī)院的區(qū)域影響力，為淮海經濟區(qū)乃至全國人民提供更好的健康服務。