李守龍

(蘇州市立醫(yī)院北區(qū),江蘇蘇州 215031)

0 引言

隨著各行各業(yè)對(duì)信息化的依賴程度越來越高,同時(shí)也對(duì)信息化服務(wù)的可靠性、安全性、便捷性提出了更高的要求[1]。虛擬化技術(shù)能夠在整合資源的同時(shí)提高可靠性和安全性,因此在醫(yī)療行業(yè)得到了廣泛的發(fā)展。我院也利用VMware vSphere虛擬化技術(shù)搭建了非核心業(yè)務(wù)平臺(tái),經(jīng)過一段時(shí)間的使用,虛擬化平臺(tái)總體穩(wěn)定、可靠,但是也存在著一些風(fēng)險(xiǎn)因素。

1 我院虛擬化平臺(tái)基礎(chǔ)架構(gòu)

我院虛擬化平臺(tái)采用VMware vSphere產(chǎn)品構(gòu)建,并與微分段分布式防火墻結(jié)合增強(qiáng)虛擬化平臺(tái)安全防護(hù)措施。底層架構(gòu)中各虛擬化主機(jī)基于FC SAN存儲(chǔ)交換機(jī)與存儲(chǔ)連接,存儲(chǔ)設(shè)備自身采用雙活架構(gòu)的方式與虛擬化平臺(tái)結(jié)合,保證底層存儲(chǔ)和上層虛擬機(jī)的高可用性。服務(wù)器端的管理與業(yè)務(wù)網(wǎng)絡(luò)基于低延遲的萬兆光交換機(jī)接入,保證了整體網(wǎng)絡(luò)環(huán)境的帶寬傳輸性能與效率。服務(wù)器操作系統(tǒng)使用ESXi 6.7,使用VCSA 6.7集中管理主機(jī)與集群。虛擬化集群?jiǎn)⒂霉收限D(zhuǎn)移功能當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障,系統(tǒng)遵循對(duì)應(yīng)的規(guī)則轉(zhuǎn)移失效節(jié)點(diǎn)的業(yè)務(wù)虛擬機(jī),以免節(jié)點(diǎn)失效對(duì)業(yè)務(wù)運(yùn)行帶來影響[2]。為了更進(jìn)一步加強(qiáng)虛擬化平臺(tái)的數(shù)據(jù)保護(hù),采用專業(yè)虛擬機(jī)和數(shù)據(jù)庫備份平臺(tái)對(duì)虛擬機(jī)和數(shù)據(jù)庫進(jìn)行定時(shí)備份。拓?fù)浣Y(jié)構(gòu)如圖1所示:

圖1 拓?fù)浣Y(jié)構(gòu)圖Fig.1 Topological structure diagram

2 事件回顧

某日凌晨4點(diǎn)接到影像系統(tǒng)故障報(bào)修,報(bào)錯(cuò)信息提示為數(shù)據(jù)庫連接錯(cuò)誤。登錄數(shù)據(jù)庫服務(wù)器發(fā)現(xiàn)有意外斷電事件,手工啟動(dòng)ORACLE服務(wù)。PACS系統(tǒng)可以正常登陸,但無法調(diào)取患者影像。初步懷疑網(wǎng)絡(luò)或存儲(chǔ)問題,針對(duì)性的進(jìn)行虛擬服務(wù)器、光纖交換機(jī)和影像存儲(chǔ)的排查,除了操作系統(tǒng)有意外重啟事件外,沒有其他明顯異常。通過虛擬化管理平臺(tái)(VMware vCenter)發(fā)現(xiàn)有物理服務(wù)器未響應(yīng)情況,而且有大批量的虛擬服務(wù)器自動(dòng)遷移記錄,并且每隔20分鐘就有一臺(tái)物理主機(jī)發(fā)生未響應(yīng)情況,最終集群中所有物理主機(jī)均發(fā)生未響應(yīng)情況,包括虛擬化管理平臺(tái)在內(nèi)的所有業(yè)務(wù)中斷,啟動(dòng)應(yīng)急預(yù)案。

進(jìn)入機(jī)房查看硬件設(shè)備,發(fā)現(xiàn)物理主機(jī)處于宕機(jī)狀態(tài),立即逐一進(jìn)行重啟操作,業(yè)務(wù)逐個(gè)得到恢復(fù)。密切關(guān)注虛擬化管理平臺(tái)動(dòng)態(tài),物理主機(jī)未響應(yīng)情況再次出現(xiàn),每隔一定時(shí)間就有幾個(gè)業(yè)務(wù)系統(tǒng)受到影響。最終通過不斷的觀察和分析發(fā)現(xiàn)是因?yàn)槲锢碇鳈C(jī)CPU資源耗盡而導(dǎo)致了宕機(jī)。故障發(fā)生后故障轉(zhuǎn)移機(jī)制發(fā)揮作用,把宕機(jī)的物理主機(jī)上的虛擬服務(wù)器自動(dòng)遷移到集群中的其他主機(jī),進(jìn)而引起其他主機(jī)的CUP資源的耗盡,直至集群中所有主機(jī)宕機(jī)。經(jīng)討論決定同時(shí)開啟所有物理主機(jī),鎖定第1臺(tái)宕機(jī)的物理主機(jī),分析運(yùn)行在其上的虛擬服務(wù)器,逐一關(guān)閉這些虛擬服務(wù)器,找出有嫌疑的虛擬機(jī)。經(jīng)過驗(yàn)證發(fā)現(xiàn)承載體檢業(yè)務(wù)的虛擬服務(wù)器有重大嫌疑,立刻將體檢系統(tǒng)劃分到一個(gè)新的集群中,同其他業(yè)務(wù)分開,獨(dú)享一個(gè)集群資源,并對(duì)資源進(jìn)行閾值限定,等同于對(duì)該虛擬服務(wù)器進(jìn)行隔離,該集群中的故障不會(huì)轉(zhuǎn)移到其他集群。

至此其他集群中的主機(jī)未再出現(xiàn)宕機(jī)情況,除Pacs系統(tǒng)外的其他業(yè)務(wù)均得到了恢復(fù)。Pacs系統(tǒng)虛擬服務(wù)器因發(fā)生自動(dòng)遷移導(dǎo)致注冊(cè)和授權(quán)信息不一致,應(yīng)用程序無法啟動(dòng)提供服務(wù),緊急聯(lián)系廠商進(jìn)行總部授權(quán),耗費(fèi)約3小時(shí),雖然啟動(dòng)了應(yīng)急預(yù)案,但是未達(dá)到滿意的預(yù)期。

體檢集群中物理主機(jī)仍然循環(huán)宕機(jī),體檢業(yè)務(wù)系統(tǒng)無法使用,著手新建虛擬服務(wù)器并搭建軟件運(yùn)行環(huán)境及數(shù)據(jù)恢復(fù),預(yù)計(jì)耗時(shí)5小時(shí)。同時(shí)仍然不放棄問題的排查,基本排除病毒、木馬、網(wǎng)絡(luò)問題等原因,重點(diǎn)進(jìn)行虛擬化平臺(tái)和虛擬服務(wù)器的檢查,通過對(duì)比分析區(qū)別于其他虛擬服務(wù)器的是該虛擬機(jī)上存在快照。快照是虛擬服務(wù)器的備份文件,用于虛擬服務(wù)器出現(xiàn)故障時(shí)快速還原到快照建立的時(shí)間點(diǎn)。為了盡快排查到問題將快照刪除,刪除后集群中主機(jī)未再發(fā)生宕機(jī),故障得到修復(fù),解除所有應(yīng)急預(yù)案,組織科室人員進(jìn)行應(yīng)急期間的數(shù)據(jù)處理。

之后所有業(yè)務(wù)運(yùn)行正常,信息科對(duì)快照事件進(jìn)行追溯。事件發(fā)生前一日在日常巡檢中發(fā)現(xiàn)體檢系統(tǒng)虛擬服務(wù)器磁盤空間需要擴(kuò)容,向服務(wù)提供商提出進(jìn)行磁盤擴(kuò)容。工程師在當(dāng)日夜間23時(shí)進(jìn)行磁盤空間的擴(kuò)容,擴(kuò)容完成后為確保安全對(duì)虛擬服務(wù)器建立了快照,次日凌晨出現(xiàn)本次事件。

事件發(fā)生一周后在測(cè)試環(huán)境中無論是對(duì)克隆的體檢業(yè)務(wù)虛擬服務(wù)器,還是對(duì)新建的虛擬服務(wù)器進(jìn)行磁盤擴(kuò)容和建立快照,均未能復(fù)現(xiàn)當(dāng)時(shí)的故障?？偨Y(jié)本次事件原因?yàn)?虛擬服務(wù)器磁盤空間擴(kuò)容后建立了快照,快照的存在引發(fā)了虛擬化軟件的某項(xiàng)BUG。未在相關(guān)文獻(xiàn)中查到類似問題,定性本次事件是快照引起的偶發(fā)意外事件,未對(duì)相關(guān)公司、人員進(jìn)行追責(zé)。

3 事件思考

(1)信息系統(tǒng)難免發(fā)生故障,為了第一時(shí)間能作出高效、有序應(yīng)急響應(yīng),各單位都會(huì)制定自己的應(yīng)急預(yù)案。應(yīng)急預(yù)案是緊急情況下的行動(dòng)指南,對(duì)醫(yī)療秩序的維持發(fā)揮著至關(guān)重要的作用。因此應(yīng)急預(yù)案的制定要有多部門的參與,并充分考慮各種情況,有依有據(jù)、切實(shí)可行。預(yù)案完成后要進(jìn)行相應(yīng)的培訓(xùn)和多部門演練,根據(jù)演練情況不斷改善和改進(jìn)流程,才能在災(zāi)難發(fā)生時(shí)從容應(yīng)對(duì),最大程度的減少對(duì)患者和醫(yī)護(hù)人員的影響,保障正常的就醫(yī)秩序。一旦應(yīng)急預(yù)案啟動(dòng)各部門要執(zhí)行預(yù)案,不得以系統(tǒng)故障為由,推辭患者,損害患者就醫(yī)權(quán)利。

(2)在虛擬化建中要從各個(gè)方面整體、充分考慮安全性。我們?cè)诮ㄔO(shè)中多注重對(duì)硬件故障的保障,忽視了軟件層面的問題。通常情況下,網(wǎng)絡(luò)安全設(shè)備和審計(jì)系統(tǒng)均部署于物理服務(wù)器的外部,無法過濾物理主機(jī)上各虛擬服務(wù)器的外部,無法過濾物理主機(jī)上各虛擬服務(wù)器之間的通信數(shù)據(jù),這樣就會(huì)產(chǎn)生安全隱患[3]。需要考慮和虛擬化相結(jié)合、針對(duì)性的軟硬件安全產(chǎn)品。虛擬化平臺(tái)本身是高級(jí)服務(wù)器管理軟件,是軟件一定存在漏洞,如近期發(fā)現(xiàn)的VMware vSphere Server遠(yuǎn)程代碼執(zhí)行漏洞,同操作系統(tǒng)一樣要定期升級(jí)版本和更新補(bǔ)丁,保障虛擬化本身的安全性和穩(wěn)定性。

(3)虛擬化的管理不能完全依賴服務(wù)提供商,培養(yǎng)日常運(yùn)維的隊(duì)伍尤其重要。只有日常的運(yùn)維加上服務(wù)商的定期專業(yè)化巡檢才能最大程度的保障平臺(tái)安全。同時(shí)虛擬化平臺(tái)權(quán)限要細(xì)化,不同人員按級(jí)別分配不同的管理權(quán)限,一定程度上可以減少誤操作的發(fā)生。內(nèi)、外部運(yùn)維要通過堡壘機(jī)進(jìn)行實(shí)施,所有實(shí)施都要有電子化的記錄,便于事件追溯和事后分析。虛擬化平臺(tái)是一個(gè)整體性的平臺(tái),日常運(yùn)維和升級(jí)都可能影響到業(yè)務(wù)系統(tǒng)的使用,因此可能影響業(yè)務(wù)系統(tǒng)運(yùn)行的操作要審批、備案,經(jīng)科室同意并在有回退方案和應(yīng)急預(yù)案的情況下,方能進(jìn)行相應(yīng)的調(diào)整。

(4)機(jī)房中虛擬化相關(guān)的(交換、存儲(chǔ)、服務(wù)器)設(shè)備標(biāo)識(shí)要準(zhǔn)確、簡(jiǎn)明扼要,并張貼在設(shè)備顯著位置,一旦監(jiān)測(cè)到虛擬化設(shè)備故障可以快速定位。可以把虛擬化拓?fù)浣Y(jié)構(gòu)張貼在運(yùn)維區(qū)域,也可以把物理主機(jī)上運(yùn)行的虛擬服務(wù)器標(biāo)識(shí)在主機(jī)上,定期進(jìn)行相關(guān)信息的更新,做到對(duì)虛擬資產(chǎn)的掌控,運(yùn)維也更加的便捷。

(5)所有資源劃分在一個(gè)集群中,在抵抗硬件故障上優(yōu)勢(shì)明顯,理論上在N-1臺(tái)服務(wù)器同時(shí)故障的情況下依然可以保障服務(wù)的可用性,但在特殊情況下可能會(huì)引起整個(gè)虛擬化平臺(tái)的不穩(wěn)定。通過本次事件我們重新審視資源的分配問題,根據(jù)業(yè)務(wù)系統(tǒng)劃分不同的集群。集群劃分時(shí)盡量選擇同品牌型號(hào)的物理主機(jī),可以在一定程度上避免虛擬服務(wù)器故障轉(zhuǎn)移中出現(xiàn)業(yè)務(wù)系統(tǒng)授權(quán)信息不一致導(dǎo)致的不可用問題。每個(gè)集群中要有4臺(tái)以上的物理主機(jī),要有緊急程度不一的信息系統(tǒng),盡量避免兩個(gè)及以上重要業(yè)務(wù)系統(tǒng)在同一個(gè)集群中,避免主備虛擬服務(wù)器在同一個(gè)集群中。

(6)虛擬化的技術(shù)越來越成熟完善,在故障發(fā)生時(shí)會(huì)按照一定策略進(jìn)行故障的轉(zhuǎn)移,保障虛擬服務(wù)器的可用性。虛擬服務(wù)器的可用不意味著業(yè)務(wù)的持續(xù)。不同的廠商在部署應(yīng)用時(shí)均有自己的加密機(jī)制,發(fā)生故障轉(zhuǎn)移后,物理主機(jī)的不同可能會(huì)導(dǎo)致軟件廠商識(shí)別到未授權(quán)的部署,從而導(dǎo)致系統(tǒng)無法提供服務(wù)。重新授權(quán)往往耗費(fèi)時(shí)間長(zhǎng),對(duì)醫(yī)療業(yè)務(wù)的影響大?？梢酝ㄟ^測(cè)試環(huán)境手動(dòng)遷移虛擬服務(wù)器進(jìn)行授權(quán)問題檢查,如果出現(xiàn)相應(yīng)問題需要和廠商一起制定一套備用授權(quán)機(jī)制,以備緊急情況下的臨時(shí)使用。

(7)及時(shí)更新操作系統(tǒng)補(bǔ)丁可以增強(qiáng)安全性,避免漏洞被惡意利用。本次事件中有10臺(tái)以上運(yùn)行Windows Server 2008 R2操作系統(tǒng)的虛擬服務(wù)器無法引導(dǎo)進(jìn)入操作系統(tǒng),為當(dāng)日事件雪上加霜。原因均為未進(jìn)行補(bǔ)丁測(cè)試就進(jìn)行了補(bǔ)丁的更新,并在更新后未進(jìn)行重啟操作。吸取本次教訓(xùn),更正補(bǔ)丁策略,不再集中進(jìn)行補(bǔ)丁的更新。劃分各種版本操作系統(tǒng)虛擬服務(wù)器,專用于補(bǔ)丁更新測(cè)試。測(cè)試通過后制定更新計(jì)劃,分批分類進(jìn)行更新,更新后制定重啟計(jì)劃,逐臺(tái)進(jìn)行重啟驗(yàn)證。新建虛擬服務(wù)器不再使用官方已停止更新的版本,有計(jì)劃的對(duì)正在使用的老舊操作系統(tǒng)進(jìn)升級(jí),保障操作系統(tǒng)的安全性和可靠性。

4 結(jié)語

隨著醫(yī)院的信息化程度越來越高,臨床業(yè)務(wù)也越來越依賴信息系統(tǒng),信息系統(tǒng)的安全和穩(wěn)定關(guān)系民生。一旦發(fā)生安全事件,經(jīng)濟(jì)損失事小,給患者和社會(huì)帶來的負(fù)面影響事大。虛擬化平臺(tái)相比傳統(tǒng)的服務(wù)器模式有著安全優(yōu)勢(shì),作為醫(yī)療信息行業(yè)的從業(yè)者,我們不能麻痹大意,要從各種事件中吸取教訓(xùn),優(yōu)化各種安全策略,保障安全事件不發(fā)生或發(fā)生后有快速的應(yīng)急或恢復(fù)措施。