曹凱

（山東大學(xué)齊魯醫(yī)院信息網(wǎng)絡(luò)中心 山東省濟南市 250000）

醫(yī)療信息化具有數(shù)據(jù)量龐大、數(shù)據(jù)安全等級高、高可靠性等特點，SDN 通過集中面板來控制復(fù)雜網(wǎng)絡(luò)拓撲中的網(wǎng)絡(luò)流量，提供了全面自動化服務(wù)、中央策略控制功能下發(fā)和內(nèi)建安全性，比以往更輕松地擴展和增強數(shù)據(jù)中心能力，將Nutanix 超融合基礎(chǔ)架構(gòu)中的網(wǎng)絡(luò)功能虛擬化，幫助超融合系統(tǒng)連接或管理內(nèi)部流量、數(shù)據(jù)中心通信和數(shù)據(jù)中心外的網(wǎng)絡(luò)，實現(xiàn)基于SDN 的跨數(shù)據(jù)中心Nutanix 超融合雙活數(shù)據(jù)中心，該方案可以更小顆粒度進行橫向擴展，通過Veeam虛擬化備份系統(tǒng)進一步提高醫(yī)院數(shù)據(jù)的安全性。通過該架構(gòu)系統(tǒng)的實際搭建與實施應(yīng)用，驗證了技術(shù)可行性和成熟度，同時使得醫(yī)院的基礎(chǔ)設(shè)施邁上一個新的臺階。

1 硬件基礎(chǔ)架構(gòu)發(fā)展歷程

近10 年間，醫(yī)療信息化基礎(chǔ)設(shè)施架構(gòu)與其它行業(yè)的發(fā)展類似，大致經(jīng)歷了四個階段：分散式架構(gòu)、整合式架構(gòu)、虛擬化架構(gòu)以及超融合架構(gòu)。隨著用戶對應(yīng)用的可用性、存儲性能、存儲容量等要求的提高，高度整合式的數(shù)據(jù)中心架構(gòu)逐漸變成主流，數(shù)據(jù)中心的存儲設(shè)備由直連存儲演變?yōu)榧惺降墓蚕泶鎯δＪ?，服?wù)器通過HBA 卡、SAN 交換機、FC 線纜與存儲設(shè)備連接，這種架構(gòu)有效地提高了存儲可用性、利用率、存儲設(shè)備的可管理性。

四種硬件架構(gòu)中，分散式架構(gòu)基本已被淘汰，整合式架構(gòu)目前仍用于計算性能要求高的業(yè)務(wù)場景中，例如HIS 數(shù)據(jù)庫。本文接下來對傳統(tǒng)SAN 架構(gòu)虛擬化與超融合架構(gòu)虛擬化進行對比分析。如圖1 所示。

圖1： 醫(yī)療信息化硬件架構(gòu)

2 傳統(tǒng)SAN架構(gòu)與HCI超融合架構(gòu)虛擬化對比

隨著虛擬化技術(shù)的發(fā)展使用，數(shù)據(jù)中心內(nèi)的服務(wù)器體量規(guī)模逐漸減少，物理空間占用率高等問題得到緩解，但隨之而來的是虛擬機數(shù)量的急劇膨脹與參數(shù)超配。消耗巨大存儲空間的同時，也使得整個虛擬化架構(gòu)看上去不協(xié)調(diào)，存儲架構(gòu)臃腫。傳統(tǒng)存儲虛擬化架構(gòu)中SAN 存儲陣列型號必須在存儲網(wǎng)關(guān)兼容性列表內(nèi)，同時隨著使用年限的增加，運算、存儲品牌型號繁多，造成的維保與運維壓力逐年遞增，傳統(tǒng)存儲設(shè)備受限于其架構(gòu)，在縱向及橫向擴展能力方面缺乏靈活性。如表1、圖2 所示。

圖2： 傳統(tǒng)SAN 架構(gòu)虛擬化與HCI 超融合內(nèi)部架構(gòu)對比

表1： 傳統(tǒng)SAN 架構(gòu)虛擬化與超融合架構(gòu)的區(qū)別

3 基于SDN技術(shù)構(gòu)建HCI超融合雙活虛擬化平臺

通過跨數(shù)據(jù)中心的SDN 技術(shù)構(gòu)建滿足核心系統(tǒng)雙活要求的大二層網(wǎng)絡(luò)，為醫(yī)院構(gòu)建雙活數(shù)據(jù)中心建立堅實基礎(chǔ)。

圖3 為醫(yī)院的基于SDN 構(gòu)建HCI 的超融合架構(gòu)雙活平臺邏輯架構(gòu)圖。

圖3： 基于SDN 網(wǎng)絡(luò)的HCI 超融合架構(gòu)圖

對于承載醫(yī)院核心系統(tǒng)的超融合平臺而言，要滿足跨數(shù)據(jù)中心的業(yè)務(wù)連續(xù)性的技術(shù)要求，需要底層網(wǎng)絡(luò)具備足夠的靈活性、可靠性，同時能夠保障在站點級別故障發(fā)生時，可以快速恢復(fù)業(yè)務(wù)系統(tǒng)，在保障業(yè)務(wù)連續(xù)性的同時，滿足醫(yī)療行業(yè)政策監(jiān)管需求。規(guī)劃數(shù)據(jù)中心網(wǎng)絡(luò)SDN 的目的，是為了方便業(yè)務(wù)與未來機架靈活規(guī)劃和滿足業(yè)務(wù)連續(xù)性的要求，通過SDN網(wǎng)絡(luò)為醫(yī)院核心系統(tǒng)提供良好的大二層支持能力，構(gòu)建健壯的數(shù)據(jù)中心核心網(wǎng)絡(luò)，解決傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的擴展性、靈活性和運維復(fù)雜度。

SDN 是Software Define Network 的縮寫，就是軟件定義網(wǎng)絡(luò)，與傳統(tǒng)網(wǎng)絡(luò)不同的是，SDN 要求集中式控制，要求轉(zhuǎn)發(fā)和控制分離，要求網(wǎng)絡(luò)管理員可以直接操作設(shè)備的轉(zhuǎn)發(fā)行為，不強制使用任何網(wǎng)絡(luò)協(xié)議來控制轉(zhuǎn)發(fā)行為。SDN 中的軟件完全由管理員所在的組織設(shè)計，讓管理員可以隨心所欲地利用軟件來規(guī)劃自己網(wǎng)絡(luò)中的任意轉(zhuǎn)發(fā)行為，所以稱為“軟件定義網(wǎng)絡(luò)”。SDN 不是一個具體詳細的技術(shù)，而是一個框架，一個網(wǎng)絡(luò)設(shè)計的理念。它的核心訴求是通過軟件控制網(wǎng)絡(luò)，實現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)的自動化編排。

Leaf 層交換機作為VXLAN 的分布式網(wǎng)關(guān)，配合超融合平臺實現(xiàn)跨數(shù)據(jù)中心的二層打通和更好的安全訪問控制。整個SDN 網(wǎng)絡(luò)分為underlay 和overlay 兩個層面，采用了硬件overlay 技術(shù)架構(gòu)。Underlay 網(wǎng)絡(luò)就是Spine 和Leaf 之間的底層IP 網(wǎng)絡(luò)，是一個三層網(wǎng)絡(luò)，采用40Gb 高帶寬全互聯(lián)，所以橫向擴展非常容易，適合超大型的數(shù)據(jù)中心，物理交換機上線基本做到了即插即用，使得網(wǎng)絡(luò)擴容變得更加敏捷，當物理的網(wǎng)絡(luò)設(shè)備之間的線路相互連接后，控制器會自動向各個網(wǎng)絡(luò)節(jié)點自動推送配置，完成underlay 網(wǎng)絡(luò)的搭建。這個過程幾乎是自動實現(xiàn)的，當一臺新的交換機上線后，只要將接入當前的fabric 后，即可完成所有的網(wǎng)絡(luò)配置，設(shè)備上線后自動生成網(wǎng)絡(luò)拓撲，網(wǎng)絡(luò)可視化能力增強。應(yīng)用和業(yè)務(wù)網(wǎng)絡(luò)訪問邏輯上都是通過Overlay 網(wǎng)絡(luò)來完成的，Overlay網(wǎng)絡(luò)實際上是和物理的網(wǎng)絡(luò)設(shè)備完全解耦的，overlay 網(wǎng)絡(luò)可以完全無視物理網(wǎng)絡(luò)，根據(jù)應(yīng)用需求靈活控制，負責(zé)進行VXLAN 封裝的VTEP 全是在Leaf 節(jié)點物理交換機上，SDN網(wǎng)絡(luò)中負責(zé)主機接入的Leaf 交換機都是VTEP，可以支持任意的主機虛擬化平臺和技術(shù)。

規(guī)劃總體SDN網(wǎng)絡(luò)分為生產(chǎn)業(yè)務(wù)網(wǎng)和管理網(wǎng)兩套網(wǎng)絡(luò)，相互之間松耦合，生產(chǎn)管理網(wǎng)故障不會影響生產(chǎn)網(wǎng)的業(yè)務(wù)，生產(chǎn)管理網(wǎng)可以通過帶外管理來管理生產(chǎn)業(yè)務(wù)網(wǎng)和隔理網(wǎng)設(shè)備。

生產(chǎn)業(yè)務(wù)網(wǎng)規(guī)劃為多個POD，采用VXLAN 模型進行評估，實現(xiàn)網(wǎng)絡(luò)資源池化、網(wǎng)絡(luò)設(shè)備故障自動快速收斂、簡單擴展且零配置管理、能7X24 小時接受網(wǎng)絡(luò)接入、技術(shù)先進成熟、更好的滿足醫(yī)院多中心“雙活”、“多活”的建設(shè)需求。

4 超融合雙活架構(gòu)設(shè)計

針對醫(yī)院數(shù)據(jù)中心信息化的持續(xù)建設(shè)，總體原則是立足現(xiàn)在，著眼未來，始終堅持“從無到有、從有到優(yōu)、統(tǒng)籌規(guī)劃、分步實施”的策略。

在方案設(shè)計中我們遵循以下原則：

4.1 以業(yè)務(wù)需求為導(dǎo)向

技術(shù)架構(gòu)最終是為業(yè)務(wù)服務(wù)的，因此技術(shù)架構(gòu)的設(shè)計一定要以業(yè)務(wù)的需求為導(dǎo)向，充分考慮非功能需求，例如系統(tǒng)的重要程度、安全要求、業(yè)務(wù)連續(xù)性等。

4.2 動態(tài)擴展性

在IT 發(fā)展趨勢中，動態(tài)基礎(chǔ)架構(gòu)已經(jīng)成為IT 基礎(chǔ)架構(gòu)的發(fā)展方向，可實現(xiàn)在IT 地運營過程隨時進行資源動態(tài)調(diào)整。

4.3 分布式一切

應(yīng)用系統(tǒng)的高可用性是保障服務(wù)等級的重要因素，在架構(gòu)設(shè)計中應(yīng)該充分借助軟件定義的分布式架構(gòu)滿足高可用性要求，實現(xiàn)系統(tǒng)架構(gòu)和平臺架構(gòu)的無單點故障、無單點瓶頸問題，保障業(yè)務(wù)系統(tǒng)健壯性。

4.4 安全性

在系統(tǒng)設(shè)計中，安全性是一個非常重要的問題，在架構(gòu)中需要考慮到虛擬化架構(gòu)內(nèi)外部的安全，包括數(shù)據(jù)安全等問題，以保證整個系統(tǒng)長期安全穩(wěn)定的運行。

如圖4 所示，醫(yī)院內(nèi)網(wǎng)每個數(shù)據(jù)中心放置8 臺聯(lián)想HX超融合系統(tǒng)，外網(wǎng)每個數(shù)據(jù)中心放置4 臺聯(lián)想HX 超融合系統(tǒng)，跨數(shù)據(jù)中心內(nèi)外網(wǎng)各有2 個超融合集群，在虛擬化層是一個跨數(shù)據(jù)中心集群，集群整體接入到SDN 網(wǎng)絡(luò)，未來可無縫橫向擴展，支持全閃和混閃的節(jié)點混合部署，兩個機房的超融合集群數(shù)據(jù)實時同步，當兩方集群都正常時可實現(xiàn)業(yè)務(wù)虛擬機跨數(shù)據(jù)中心的在線遷移，而當一方集群意外宕機，虛擬機則自動切換到對端機房超融合集群中，整個過程可以控制在分鐘級別，在實際的應(yīng)用場景中，選擇RF=2（雙副本）數(shù)據(jù)保護機制已經(jīng)可以很好的滿足醫(yī)院數(shù)據(jù)安全的需要。

圖4

超融合是以虛擬機為管理單位，而不像存儲以磁盤卷為單位，每套集群可利用超融合本身豐富的保護機制對應(yīng)用虛擬機定義不同級別的保護，系統(tǒng)提供了大量智能的運維管理工具和易于雙活切換操作的GUI 界面。超融合系統(tǒng)提供雙活數(shù)據(jù)中心模式部署，通過第三站點仲裁機制，實現(xiàn)雙活自動化切換，磁盤節(jié)點故障不需要遠端數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)恢復(fù)，在本地集群內(nèi)部數(shù)據(jù)重建，節(jié)省網(wǎng)絡(luò)流量。

超融合平臺自帶存儲層基于虛擬機粒度的備份功能Time Stream，用戶可以針對每個虛擬機設(shè)置不同的備份策略，包括備份調(diào)度計劃、備份顆粒度（最低1 分鐘）、備份保留周期，Time Stream 會自動通過存儲快照方式對虛擬機進行備份,與虛擬化層面的快照不同，存儲層面的快照不會影響虛擬機的性能，降低了數(shù)據(jù)丟失的風(fēng)險，快照創(chuàng)建過程對于虛擬化軟件是完全透明的，配合Veeam 備份軟件，醫(yī)院實現(xiàn)了虛擬機的即時虛擬機恢復(fù)、CDP 持續(xù)數(shù)據(jù)保護和離線數(shù)據(jù)保護，可以很好的滿足醫(yī)療行業(yè)規(guī)范要求，如互聯(lián)互通評測關(guān)于本地備份、異地備份和災(zāi)備RPO/RTO 技術(shù)要求。

通過超融合雙活架構(gòu)能夠很好的解決數(shù)據(jù)中心單點問題，任意一個機房意外斷電、計劃性維護或其他意外原因?qū)е聶C房內(nèi)設(shè)備宕機，可以充分保障業(yè)務(wù)的連續(xù)性和數(shù)據(jù)的安全保護。

5 超融合平臺、SDN等新興技術(shù)對于醫(yī)院的收益

（1）超融合架構(gòu)在數(shù)據(jù)中心中承擔(dān)著計算資源池和分布式存儲資源池的作用，極大地簡化了數(shù)據(jù)中心的基礎(chǔ)架構(gòu)，而且通過軟件定義的計算資源虛擬化和分布式存儲架構(gòu)實現(xiàn)無單點故障、無單點瓶頸、彈性擴展、性能線性增長等能力，同時簡化了數(shù)據(jù)中心雙活實現(xiàn)的復(fù)雜度，運維側(cè)的壓力得到大幅降低，業(yè)務(wù)系統(tǒng)的連續(xù)性得到更好的保障,硬件資源得到了更加充分的利用。

（2）軟件定義的另外一個收益是，只需要進行簡單的一鍵式升級，即可獲得新的功能或者性能的提升，使得醫(yī)院可以充分利用新技術(shù)提升基礎(chǔ)設(shè)施平臺的運行效率。例如像Microsoft? SQL 數(shù)據(jù)庫這樣的傳統(tǒng)應(yīng)用程序是部署在使用單個磁盤和單個數(shù)據(jù)文件的三層架構(gòu)上的，這使得很難對它們進行優(yōu)化來實現(xiàn) HCI 的最高性能，超融合平臺對處理這些類型工作負載的 IO 請求方式進行了改進，對單個虛擬硬盤的請求現(xiàn)在被分發(fā)到核心數(shù)據(jù)路徑中的多個線程，有效地對單個虛擬硬盤進行“分片”，從而使得這種類型的工作負載獲得更好的支撐。

（3）超融合平臺支持豐富的數(shù)據(jù)服務(wù)，包括塊存儲服務(wù)、NAS 存儲服務(wù)等，同時具備重復(fù)數(shù)據(jù)刪除和壓縮功能，可以實現(xiàn)很好的存儲效率，同時實現(xiàn)對于超融合存儲資源的充分利用。

（4）結(jié)合SDN 網(wǎng)絡(luò)技術(shù)，實現(xiàn)了物理和虛擬網(wǎng)絡(luò)的可視化，日常運維更輕松。

（5）對于關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫的管理，可以通過數(shù)據(jù)庫引擎實現(xiàn)數(shù)據(jù)庫即服務(wù)，按照數(shù)據(jù)庫平臺最佳實踐一鍵式部署常用的數(shù)據(jù)庫高可用環(huán)境，如Oracle RAC，SQL Server Alwayson 等，并基于超融合自身的存儲技術(shù)實現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫的持續(xù)數(shù)據(jù)保護，一鍵式數(shù)據(jù)庫配置和數(shù)據(jù)副本管理服務(wù)，管理員能夠隨時配置、克隆、刷新、備份和恢復(fù)數(shù)據(jù)庫，使用自動化服務(wù)取代耗時且復(fù)雜的數(shù)據(jù)庫操作，可以將資源更多的聚焦于核心業(yè)務(wù)，免除DBA 工作的各種煩惱，期待將來能更多的利用創(chuàng)新技術(shù)，輔助醫(yī)院信息化建設(shè)。