李小林

隨著醫(yī)療信息化飛速發(fā)展，數(shù)據(jù)已經(jīng)成為國家重要的基礎(chǔ)資源，數(shù)據(jù)安全關(guān)乎每一個人，關(guān)乎企事業(yè)單位的發(fā)展。醫(yī)療機構(gòu)作為居民健康保障的重要場所，健康信息數(shù)據(jù)安全尤為重要。居民對智慧醫(yī)療的需求和依賴程度也越來越高，數(shù)據(jù)安全和系統(tǒng)可靠連續(xù)成為不可忽視的重點。筆者基于持續(xù)數(shù)據(jù)保護（Continuous Data Protection，CDP）技術(shù)，建設(shè)同城數(shù)據(jù)容災(zāi)中心，建立持續(xù)數(shù)據(jù)保護災(zāi)難保障體系，保障了醫(yī)療數(shù)據(jù)安全和業(yè)務(wù)連續(xù)。本文結(jié)合本院同城數(shù)據(jù)容災(zāi)中心建設(shè)對其設(shè)計和實踐進(jìn)行探討分析。

一、醫(yī)院數(shù)據(jù)中心現(xiàn)狀

筆者所在醫(yī)院創(chuàng)建于1958年，是一所市屬公立二級甲等綜合醫(yī)院，開放床位350張，職工400余人。醫(yī)院信息化始建于2000年，建有完整的HIS、PACS、LIS和電子病歷系統(tǒng)，《電子病歷系統(tǒng)應(yīng)用水平分級評價標(biāo)準(zhǔn)（試行）》分級評價三級。2017年基于CDP技術(shù)，建設(shè)同城數(shù)據(jù)容災(zāi)中心，建立持續(xù)數(shù)據(jù)保護災(zāi)難保障體系，保障了醫(yī)療數(shù)據(jù)安全和業(yè)務(wù)連續(xù)。醫(yī)院新建機房2010年投入使用，按照普通標(biāo)準(zhǔn)機房規(guī)范建設(shè)。隨著近幾年業(yè)務(wù)發(fā)展，核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)不斷增量，業(yè)務(wù)管理信息系統(tǒng)不斷增多，現(xiàn)有機房已不能適應(yīng)醫(yī)院信息化快速發(fā)展的需要。

醫(yī)院核心業(yè)務(wù)系統(tǒng)服務(wù)器通過雙機熱備軟件實現(xiàn)雙機熱備，承載醫(yī)療業(yè)務(wù)核心應(yīng)用。機房環(huán)境設(shè)施按照標(biāo)準(zhǔn)配備精密空調(diào)、不間斷電源、自動氣體滅火系統(tǒng)，在日常管理和運行當(dāng)中面臨以下幾方面問題。

（一） 機房設(shè)施故障不可控

機房動力環(huán)境設(shè)施均按照標(biāo)準(zhǔn)建設(shè)，但存在諸多不可控因素，如精密空調(diào)故障不制冷，導(dǎo)致機房溫度增高，引發(fā)連鎖反應(yīng)帶來的設(shè)備異常；網(wǎng)絡(luò)設(shè)備故障導(dǎo)致數(shù)據(jù)丟包，服務(wù)器硬盤、電源、主板、存儲硬盤或光纖控制卡故障，導(dǎo)致系統(tǒng)宕機等，雖然此類問題發(fā)生頻次極少，但是發(fā)生后對醫(yī)院的影響是非常巨大的。

（二）業(yè)務(wù)數(shù)據(jù)備份難恢復(fù)難

傳統(tǒng)的數(shù)據(jù)備份方式主要是以保存數(shù)據(jù)為設(shè)計目的，設(shè)置策略定時備份，且定時策略數(shù)據(jù)量大，備份窗口有限，隊列等待備份版本之間有間隔，在策略執(zhí)行期間數(shù)據(jù)有間隔，存在數(shù)據(jù)差異現(xiàn)象。另外以數(shù)據(jù)為主備份在還原時必須回寫硬盤，驗證與恢復(fù)效率低下，在緊急情況下啟用備份恢復(fù)，需要花費大量的時間，給生產(chǎn)業(yè)務(wù)帶來很大的影響。

（三）操作系統(tǒng)備份難恢復(fù)難

核心業(yè)務(wù)應(yīng)用服務(wù)器采用雙機熱備模式，但邊沿的業(yè)務(wù)應(yīng)用服務(wù)器，由于資源限制無法實現(xiàn)雙機熱備，如移動護理、體檢系統(tǒng)、隨訪系統(tǒng)等等，這些服務(wù)器都是單機運行，操作系統(tǒng)備份時需要停機操作，中斷業(yè)務(wù)。即使操作系統(tǒng)有備份，一旦需要緊急恢復(fù)時，往往與實際環(huán)境存在差異，很難恢復(fù)到理想的時間節(jié)點，同時也需要耗費大量的時間，對業(yè)務(wù)影響也是非常大的。

（四） 數(shù)據(jù)中心管理技術(shù)有短板

基層綜合醫(yī)院的信息科技術(shù)力量相對比較薄弱，人力資源的配備缺口相對比較大。信息技術(shù)涉及的領(lǐng)域廣泛，專業(yè)技術(shù)要求高，配備具有全面的數(shù)據(jù)管理技術(shù)人才隊伍是比較難的。

二、數(shù)據(jù)中心容災(zāi)模式

目前最常見的幾種系統(tǒng)容災(zāi)和數(shù)據(jù)容災(zāi)模式有同城容災(zāi)、異地容災(zāi)、雙活數(shù)據(jù)中心、兩地三中心，各有優(yōu)缺點，在選擇容災(zāi)的模式上需要結(jié)合實際場景，選擇合適的容災(zāi)模式。

（一）同城容災(zāi)中心模式

如果數(shù)據(jù)中心與災(zāi)難備份中心的物理距離比較近，可以選擇同城災(zāi)難中心模式，因其通信線路物理距離短，線路質(zhì)量較好，很容易實現(xiàn)數(shù)據(jù)的同步復(fù)制，同城容災(zāi)中心可以保證高度的數(shù)據(jù)完整性和數(shù)據(jù)零丟失。同城兩個中心之間的系統(tǒng)維護也比較便捷，在人員和技術(shù)上容易協(xié)調(diào)和溝通。

（二）異地容災(zāi)中心模式

如果需要實現(xiàn)高級別的容災(zāi)安全保護，比如地域可能發(fā)生自然災(zāi)害的風(fēng)險較高，如火災(zāi)、地震、水災(zāi)等導(dǎo)致建筑物破壞，異地容災(zāi)中心模式是一種比較好的方案。因異地容災(zāi)中心模式的兩個城市之間物理距離跨度大，在遭受區(qū)域性災(zāi)難的時候可以有效的保護數(shù)據(jù)的完整。

（三）雙活數(shù)據(jù)中心模式

雙活數(shù)據(jù)中心模式是在本地機房建立數(shù)據(jù)中心和容災(zāi)中心，兩個中心同時承擔(dān)業(yè)務(wù)和管理系統(tǒng)的生產(chǎn)，也可切換單個中心運行，在大型的生產(chǎn)業(yè)務(wù)場景中，雙活數(shù)據(jù)中心可以起到高效的負(fù)載均衡；災(zāi)難時可在不丟失數(shù)據(jù)的情況下進(jìn)行災(zāi)備應(yīng)急切換，保持業(yè)務(wù)連續(xù)運行，但是這種模式如果在本地發(fā)生諸如火災(zāi)、地震災(zāi)難時，數(shù)據(jù)會存在損壞或丟失的風(fēng)險。

（四）兩地三數(shù)據(jù)中心模式

兩地三數(shù)據(jù)中心模式是指同城雙中心加異地災(zāi)備中心，兩地是指同城、異地；三中心是指生產(chǎn)中心、同城容災(zāi)中心、異地容災(zāi)中心。這種架構(gòu)是數(shù)據(jù)中心容災(zāi)比較完善的一種建設(shè)模式，對業(yè)務(wù)生產(chǎn)和保護數(shù)據(jù)完整起到積極的作用，但在資金投入上比較大的，對一些小型企業(yè)來說，投入壓力還是比較大的。

三、選擇同城容災(zāi)體系的優(yōu)勢

（一） 體系建設(shè)易實現(xiàn)

根據(jù)醫(yī)院規(guī)模和未來發(fā)展的需求，結(jié)合目前的現(xiàn)狀，從資金投入、運維管理等方面綜合考慮，選擇同城容災(zāi)方案，將中國電信三星級IDC機房作為醫(yī)院生產(chǎn)數(shù)據(jù)中心機房，將醫(yī)院自建數(shù)據(jù)中心機房作為災(zāi)備中心，兩地之間距離20公里比較近，通信線路質(zhì)量好。用VMware vSphere搭建虛擬化平臺，數(shù)據(jù)中心負(fù)責(zé)日常生產(chǎn)運行，災(zāi)備中心負(fù)責(zé)在災(zāi)難發(fā)生后的應(yīng)用系統(tǒng)接管，恢復(fù)業(yè)務(wù)系統(tǒng)。

（二） 機房安全有保障

IDC （互聯(lián)網(wǎng)數(shù)據(jù)中心Internet Data Center） 機房是由國家骨干光纖線路接入，帶寬充足，速度與穩(wěn)定性有保障，具有多方面的優(yōu)勢和保障。有良好的安全措施和各項先進(jìn)設(shè)備，更有利于服務(wù)器快速高效的運行。IDC機房有二十四小時值班監(jiān)控措施，一旦服務(wù)器有異常情況，可在第一時間接到預(yù)警并及時解決。

《中國電信星級機房標(biāo)準(zhǔn)》共分四個星級，最高五星級，最低二星級。從認(rèn)證、機房條件、電源、空調(diào)、數(shù)據(jù)網(wǎng)絡(luò)、運行維護、客戶服務(wù)等幾方面分級。三星級機房周圍環(huán)境遠(yuǎn)離腐蝕性氣體、粉塵，遠(yuǎn)離強振動源和強噪聲源、強電磁輻射源，機房附近和周邊治安良好?？拐鸺墑e丙級；機房（含電源機房）在不易受渾水淹沒的地方，地面至少高于歷史最高洪水水位0.5米以上。消防系統(tǒng)采用氣體滅火，設(shè)置門衛(wèi)，進(jìn)出記錄保存1年以上。機房供電采用二類市電，并備有大功率柴油發(fā)電機組，保障市電斷電后2小時供電。安全防護布設(shè)按照等級保護要求規(guī)范執(zhí)行第三級保護，3年以來50%以上服務(wù)器阻斷1小時以上故障不超過1次。機房專人值守，客服7*24在線，專職技術(shù)工程師提供支撐。

（三）技術(shù)成熟有可靠

CDP通過在操作系統(tǒng)核心層中植入文件過濾驅(qū)動程序，來實時捕獲所有文件訪問操作。對于需要CDP連續(xù)備份保護的磁盤，當(dāng)CDP管理模塊經(jīng)由文件過濾驅(qū)動攔截到其改寫操作時，則預(yù)先將文件數(shù)據(jù)變化部分連同當(dāng)前的系統(tǒng)時間戳（System Time Stamp）一起自動備份到CDP存儲體。從理論上說，任何一次的文件數(shù)據(jù)變化都會被自動記錄，因而稱之為持續(xù)數(shù)據(jù)保護。利用CDP技術(shù)實現(xiàn)應(yīng)用級容災(zāi)，備份數(shù)據(jù)的同時對操作系統(tǒng)及應(yīng)用程序也進(jìn)行容災(zāi)保護， 雙重保障數(shù)據(jù)和應(yīng)用的安全。

（四）數(shù)據(jù)恢復(fù)效率高

這種CDP一體化技術(shù)方案解決了物理故障、邏輯故障以及站點級災(zāi)難。數(shù)據(jù)中心和災(zāi)備中心的容災(zāi)設(shè)備之間數(shù)據(jù)實時遠(yuǎn)程復(fù)制，實現(xiàn)全生產(chǎn)數(shù)據(jù)和應(yīng)用互為異地災(zāi)備，安全得到雙重保護，災(zāi)備數(shù)據(jù)可即時恢復(fù)到任意秒級時間點，保證最優(yōu)RTO、RPO的應(yīng)用級容災(zāi)。

四、 同城容災(zāi)體系演練

（一） 演練目的

建設(shè)數(shù)據(jù)容災(zāi)的目的是在突發(fā)應(yīng)急情況下能夠即時啟動容災(zāi)，接管應(yīng)用使業(yè)務(wù)恢復(fù)正常。在系統(tǒng)災(zāi)難恢復(fù)體系中，應(yīng)急演練（模擬災(zāi)難場景）是非常關(guān)鍵的，以保證系統(tǒng)在發(fā)生災(zāi)難后，恢復(fù)體系是有效和可用的。通過應(yīng)急演練的實景模擬，確定在發(fā)生災(zāi)難后啟用容災(zāi)系統(tǒng)接管業(yè)務(wù)實際所需時間，根據(jù)演練過程和結(jié)果優(yōu)化流程，縮短災(zāi)難后業(yè)務(wù)的RTO（系統(tǒng)恢復(fù)所需時間）和RPO（數(shù)據(jù)丟失量）。

（二） 演練管理

應(yīng)急演練（模擬災(zāi)難）的管理由領(lǐng)導(dǎo)組、執(zhí)行組、系統(tǒng)恢復(fù)小組、網(wǎng)絡(luò)恢復(fù)小組、系統(tǒng)驗證小組組成，在應(yīng)急演練或災(zāi)難發(fā)生后各負(fù)其職，承擔(dān)指揮、制定計劃、組織實施、總結(jié)匯報等職責(zé)，確保應(yīng)急演練和實際災(zāi)難時的工作順利。

（三）演練流程

當(dāng)IDC機房數(shù)據(jù)中心發(fā)生不可預(yù)知的災(zāi)難后，醫(yī)院業(yè)務(wù)發(fā)生中斷，通過技術(shù)研判在15分鐘內(nèi)不能恢復(fù)應(yīng)用，則進(jìn)入容災(zāi)恢復(fù)流程。

場景一：兩個中心間的網(wǎng)絡(luò)鏈路正常；優(yōu)先啟用生產(chǎn)中心災(zāi)備，接管業(yè)務(wù)恢復(fù)應(yīng)用系統(tǒng)，這樣可以保證災(zāi)備系統(tǒng)有數(shù)據(jù)保護。

場景二：兩個中心網(wǎng)絡(luò)失聯(lián)；由于線路原因?qū)е聝蓚€中心之間網(wǎng)絡(luò)無法連接，則啟動醫(yī)院災(zāi)備中心系統(tǒng)，但是本地災(zāi)備系統(tǒng)存在無容災(zāi)保護的安全風(fēng)險，應(yīng)盡快恢復(fù)生產(chǎn)中心運行環(huán)境，在最短時間內(nèi)將業(yè)務(wù)回切到生產(chǎn)中心，或?qū)⒒謴?fù)后的生產(chǎn)中心作為當(dāng)前系統(tǒng)的災(zāi)備中心，使本地災(zāi)備系統(tǒng)有容災(zāi)保護措施。

場景三：生產(chǎn)中心應(yīng)用系統(tǒng)故障或破壞；災(zāi)備中心系統(tǒng)副本遠(yuǎn)程傳送到生產(chǎn)中心，恢復(fù)生產(chǎn)中心應(yīng)用系統(tǒng)運行。

場景四：數(shù)據(jù)丟失嚴(yán)重或數(shù)據(jù)庫邏輯錯誤；通過CDP技術(shù)恢復(fù)到可用時間點，恢復(fù)生產(chǎn)中心應(yīng)用。

（四）演練結(jié)論

通過CDP技術(shù)應(yīng)急演練，不論是IDC機房軟硬件故障，或者是兩個中心的網(wǎng)絡(luò)鏈路問題，導(dǎo)致核心業(yè)務(wù)不能正常使用，經(jīng)驗證，8-10分鐘生產(chǎn)業(yè)務(wù)就可恢復(fù)正常，數(shù)據(jù)丟失量為零。

五、同城數(shù)據(jù)容災(zāi)中心建設(shè)

（一） 建設(shè)難點

項目的可行性分析后立項是最大難點，需要醫(yī)院管理層決策。雖然CDP技術(shù)在數(shù)據(jù)保護場景中的應(yīng)用領(lǐng)域較為廣泛，VMware vSphere虛擬化管理軟件也很成熟，但是醫(yī)療機構(gòu)是一個非常特殊的行業(yè)，數(shù)據(jù)安全和信息系統(tǒng)運行的連續(xù)性非常重要。在項目建設(shè)初期，由于醫(yī)院采用VMware vSphere虛擬化管理核心生產(chǎn)業(yè)務(wù)信息系統(tǒng)案件較少，同時又選擇同城非本院機房作為數(shù)據(jù)中心將生產(chǎn)中心放在20公里以外的IDC機房，可以借簽的案例更少，醫(yī)院管理層確定是否立項面臨選擇的壓力是非常巨大的。

網(wǎng)絡(luò)鏈路穩(wěn)定對整個數(shù)據(jù)中心和容災(zāi)中心的運行至關(guān)重要。醫(yī)院的核心生產(chǎn)數(shù)據(jù)中心建在院外，醫(yī)院內(nèi)的全業(yè)務(wù)信息系統(tǒng)依賴網(wǎng)絡(luò)與數(shù)據(jù)中心聯(lián)通，系統(tǒng)運行是實時的，任何影響網(wǎng)絡(luò)鏈路出現(xiàn)網(wǎng)絡(luò)中斷引發(fā)的后果都是非常嚴(yán)重的，會給醫(yī)院的正常醫(yī)療秩序產(chǎn)生巨大的影響。

（二）設(shè)計思路

將距離醫(yī)院20公里以外的中國電信IDC機房作為醫(yī)院生產(chǎn)數(shù)據(jù)中心，同時建立災(zāi)備中心，將醫(yī)院自建機房作為容災(zāi)中心。用VMware vSphere搭建虛擬化平臺，組建虛擬集群；數(shù)據(jù)中心承擔(dān)醫(yī)院日常信息系統(tǒng)生產(chǎn)業(yè)務(wù)，容災(zāi)中心承擔(dān)災(zāi)難后的應(yīng)用接管，作為緊急線路故障無法短時間連接數(shù)據(jù)中心時容災(zāi)使用，兩地三個中心完成醫(yī)院全業(yè)務(wù)的數(shù)據(jù)運行和數(shù)據(jù)保護。

（三） 解決方案

為保障同城數(shù)據(jù)中心項目能夠立項和順利建成，前期醫(yī)院做了充分的準(zhǔn)備，從項目調(diào)研、立項、系統(tǒng)搭建、環(huán)境測試、模式運行、實戰(zhàn)演練、正式上線共歷時12個月，完成了整個項目建設(shè)。網(wǎng)絡(luò)線路方面，兩地布設(shè)6根裸光纖，采用三主三備冗余模式互聯(lián)互通。數(shù)據(jù)容災(zāi)采用CDP技術(shù)實現(xiàn)秒級持續(xù)數(shù)據(jù)保護，一旦數(shù)據(jù)中心出現(xiàn)問題，災(zāi)備中心可在5分鐘內(nèi)啟用，恢復(fù)業(yè)務(wù)生產(chǎn)。如果IDC數(shù)據(jù)中心與本院機房的網(wǎng)絡(luò)線路全部故障，無法在短時間內(nèi)容修復(fù)，則立即啟用本地容災(zāi)中心。在實際系統(tǒng)測試和實戰(zhàn)演練階段，項目組采用網(wǎng)絡(luò)線路拔除，直接引發(fā)系統(tǒng)宕機，多次驗證線路冗余和數(shù)據(jù)持續(xù)保護的可靠性。

（四）建設(shè)亮點

醫(yī)院同城數(shù)據(jù)容災(zāi)中心項目的成功建設(shè)，成為當(dāng)?shù)匚ㄒ灰凰捎猛菙?shù)據(jù)容災(zāi)技術(shù)構(gòu)建信息化底層基礎(chǔ)應(yīng)用的醫(yī)院，結(jié)合實踐，主要有幾大亮點。一是一次性投入資金少，醫(yī)院不要采購大量的服務(wù)器和存儲設(shè)備，利用電信IDC機房的現(xiàn)有資源，根據(jù)醫(yī)院實際需要合理分配物理資源分批投入；二是軟件技術(shù)成熟，CDP技術(shù)和VMware vSphere虛擬化管理軟件都是當(dāng)前應(yīng)用比較廣泛的技術(shù)和軟件，應(yīng)用領(lǐng)域廣泛，成熟可靠；三是數(shù)據(jù)中心安全有保障，IDC機房環(huán)境穩(wěn)定，24小時有人值守；四是應(yīng)用搭建效率高，，系統(tǒng)部署塊，軟件易上手部署應(yīng)用服務(wù)器30分鐘內(nèi)即可完成，較物理服務(wù)器部署節(jié)約近5倍以上的時間；五是數(shù)據(jù)應(yīng)用恢復(fù)快，數(shù)據(jù)保護使用的CDP數(shù)據(jù)持續(xù)保護技術(shù)，容災(zāi)恢復(fù)可以到歷史任意時間節(jié)點，5分鐘內(nèi)即可恢復(fù)業(yè)務(wù)生產(chǎn)；六是運維人力成本低，數(shù)據(jù)中心和容災(zāi)中心統(tǒng)一資源管理，操作簡單，醫(yī)院信息科維護人員容易掌握技術(shù)要領(lǐng)，可以獨立完成系統(tǒng)的維護工作。

在項目建成近幾年中，突發(fā)不可預(yù)測的宕機事件為零，筆者在真實工作場景中因服務(wù)器安全漏洞修補出現(xiàn)過1次服務(wù)器宕機，實景驗證同城數(shù)據(jù)容災(zāi)的應(yīng)用恢復(fù)和數(shù)據(jù)恢復(fù)，在既定的5分鐘內(nèi)恢復(fù)應(yīng)用業(yè)務(wù)，數(shù)據(jù)正確有效。

六、結(jié)語

新形勢下醫(yī)療信息技術(shù)的發(fā)展，必須要有快捷高效安全的系統(tǒng)災(zāi)難恢復(fù)體系做保障，建立同城容災(zāi)中心，利用成熟的IDC機房作為生產(chǎn)業(yè)務(wù)數(shù)據(jù)中心比自建機房更加可靠。利用CDP技術(shù)構(gòu)建數(shù)據(jù)災(zāi)備體系，投入成本低，容易實現(xiàn)，安全有保障，運維簡單高效等特點，尤其在24小時連續(xù)業(yè)務(wù)環(huán)境中，更能體現(xiàn)出很強的數(shù)據(jù)保護優(yōu)勢，值得推廣和實踐。

作者單位：張家港市第六人民醫(yī)院信息科