余莎莎 李漢民 肖 輝

(武漢大學(xué)中南醫(yī)院信息中心 武漢 430071)

1 引言

自2018年醫(yī)院信息系統(tǒng)(Hospital Information System，HIS)升級(jí)上線以來，隨著電子病歷系統(tǒng)(Electronic Medical Record,EMR)功能陸續(xù)完善，以及互聯(lián)網(wǎng)醫(yī)院的發(fā)展，HIS、EMR數(shù)據(jù)負(fù)載日益增大，對(duì)臨床數(shù)據(jù)中心數(shù)據(jù)庫安全性與時(shí)效性提出更高要求。為進(jìn)一步增強(qiáng)全院核心系統(tǒng)數(shù)據(jù)安全性，盡量保證核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)不丟失，提高服務(wù)器運(yùn)行速度,加快臨床數(shù)據(jù)中心業(yè)務(wù)分析效率，武漢大學(xué)中南醫(yī)院對(duì)醫(yī)院信息系統(tǒng)基礎(chǔ)架構(gòu)進(jìn)行改造，使其安全性、系統(tǒng)性能都得到明顯提升。

2 改造目的

2.1 數(shù)據(jù)平臺(tái)建設(shè)的必要性

多院區(qū)互聯(lián)互通需構(gòu)建一個(gè)以數(shù)據(jù)為中心的信息集成平臺(tái)，除了需要統(tǒng)一基礎(chǔ)字典、數(shù)據(jù)平臺(tái)，還需要可以支撐再造業(yè)務(wù)流程的平臺(tái)，以實(shí)現(xiàn)未來多院區(qū)之間的互聯(lián)互通，完成數(shù)據(jù)中心平臺(tái)的建設(shè)。近年來，在醫(yī)療行業(yè)出現(xiàn)不少數(shù)據(jù)勒索與丟失的案例，隨著互聯(lián)網(wǎng)的發(fā)展，對(duì)醫(yī)療健康數(shù)據(jù)的重要性、安全性也提出更高要求。因此，需要尋找一種數(shù)據(jù)保護(hù)技術(shù)，一方面實(shí)現(xiàn)對(duì)數(shù)據(jù)庫服務(wù)器影響最小化，另一方面盡量消除數(shù)據(jù)丟失風(fēng)險(xiǎn)，爭取實(shí)現(xiàn)亞秒級(jí)恢復(fù)點(diǎn)目標(biāo)(Recovery Point Object,RPO),甚至使RPO為0[1]。

2.2 數(shù)據(jù)平臺(tái)現(xiàn)狀分析

目前武漢大學(xué)中南醫(yī)院HIS、EMR等核心信息系統(tǒng)都運(yùn)行在Oracle數(shù)據(jù)庫環(huán)境，該數(shù)據(jù)庫運(yùn)行平臺(tái)由兩臺(tái)小型機(jī)和兩臺(tái)日立高端存儲(chǔ)組成。這種模式采用性能穩(wěn)定、安全性高的磁盤陣列。架構(gòu)優(yōu)點(diǎn)是全冗余連接，無任何單點(diǎn)故障[2-3]，鏡像的存儲(chǔ)節(jié)點(diǎn)為系統(tǒng)重要的在線業(yè)務(wù)數(shù)據(jù)提供雙重保護(hù)[4]。雖然近年來運(yùn)行比較穩(wěn)定，但其系統(tǒng)架構(gòu)是典型的“煙囪式”建設(shè)模式，隨著業(yè)務(wù)量快速增長，系統(tǒng)可擴(kuò)展性、可維護(hù)性、可靠性不高。通過對(duì)HIS及EMR系統(tǒng)數(shù)據(jù)庫進(jìn)行分析，發(fā)現(xiàn)醫(yī)院的數(shù)據(jù)庫物理I/O消耗比較高，一些大表存在全表掃描情況，消耗數(shù)據(jù)庫資源。綜合考慮，核心數(shù)據(jù)庫平臺(tái)改造勢(shì)在必行。

3 方案討論

3.1 總體建設(shè)思路

現(xiàn)代醫(yī)院數(shù)據(jù)中心核心數(shù)據(jù)庫建設(shè)策略包括消除復(fù)雜性和不確定性，代之以更高的業(yè)務(wù)敏捷性、更低的管理成本和更優(yōu)的性能。包括對(duì)硬件、業(yè)務(wù)管理軟件和全面技術(shù)體系的解決方案，以順利完成數(shù)據(jù)中心變遷。

3.2 建設(shè)方案對(duì)比

3.2.1 自建云平臺(tái)和數(shù)據(jù)備份方案 以O(shè)racle數(shù)據(jù)庫為核心的數(shù)據(jù)平臺(tái)建設(shè)模式有很多種[5]，武漢大學(xué)中南醫(yī)院的建設(shè)模式是典型的傳統(tǒng)架構(gòu)。在系統(tǒng)規(guī)劃期間，首先分別就服務(wù)器選型、配置、高可用設(shè)計(jì)、線路規(guī)劃、存儲(chǔ)選型、容量設(shè)計(jì)、獨(dú)立磁盤冗余陣列(Redundant Arrays of Independent Disks，RAID)實(shí)現(xiàn)等一系列工作進(jìn)行準(zhǔn)備，然后分別執(zhí)行安裝操作系統(tǒng)、打補(bǔ)丁、安裝存儲(chǔ)管理軟件、集群軟件、劃分文件系統(tǒng)、安裝數(shù)據(jù)庫軟件等操作，最后進(jìn)行集成聯(lián)調(diào)測(cè)試、性能聯(lián)調(diào)等準(zhǔn)備工作，才能達(dá)到上線基本要求[6]。這種建設(shè)模式需要從多個(gè)廠商/供應(yīng)商分別采購軟、硬件設(shè)備，全部到齊后需要一支經(jīng)驗(yàn)豐富的信息技術(shù)(Information Technology，IT)團(tuán)隊(duì)協(xié)作部署數(shù)據(jù)庫平臺(tái)，耗費(fèi)較長時(shí)間才能構(gòu)建一套可用的數(shù)據(jù)庫系統(tǒng)。而且該方案是通用設(shè)計(jì)，未針對(duì)Oracle數(shù)據(jù)庫設(shè)計(jì)開發(fā)，不能滿足醫(yī)院對(duì)Oracle數(shù)據(jù)庫數(shù)據(jù)保護(hù)及性能的嚴(yán)苛要求，難以實(shí)現(xiàn)安全保護(hù)。

3.2.2 一體化數(shù)據(jù)庫云平臺(tái)及零數(shù)據(jù)丟失方案 該方案生產(chǎn)環(huán)境采用數(shù)據(jù)庫原廠的數(shù)據(jù)庫云一體機(jī)，并通過數(shù)據(jù)庫多租戶的特性來對(duì)數(shù)據(jù)庫進(jìn)行整合，形成數(shù)據(jù)庫即服務(wù)(Database as a Service，DBaaS)的云服務(wù)。同時(shí)數(shù)據(jù)庫云服務(wù)提供Oracle容器數(shù)據(jù)庫克隆、快照相關(guān)技術(shù)，可以快速實(shí)現(xiàn)新業(yè)務(wù)的開發(fā)、測(cè)試、上線、交付一體化。數(shù)據(jù)備份采用原廠的數(shù)據(jù)集中零丟失，可恢復(fù)的備份解決方案。相對(duì)于傳統(tǒng)備份模式，該方案有以下優(yōu)勢(shì)：零數(shù)據(jù)丟失；對(duì)生產(chǎn)環(huán)境影響最??；自驗(yàn)證保證備份集的可用性；一次全量，永久增量。

3.2.3 兩種方案對(duì)比(表1)

表1 兩種建設(shè)方案對(duì)比

續(xù)表1

3.3 方案選擇

醫(yī)院新的數(shù)據(jù)中心建設(shè)初衷及原則是高性能、高可靠、高安全、零丟失、可恢復(fù)、易管理、簡單、綠色、低成本、云化(前瞻性、先進(jìn)性)?；卺t(yī)院信息系統(tǒng)的特點(diǎn)，最終選擇將數(shù)據(jù)庫部署在Oracle數(shù)據(jù)庫原廠的數(shù)據(jù)云一體機(jī)上，構(gòu)建安全、高效的數(shù)據(jù)加工層，而核心數(shù)據(jù)備份在數(shù)據(jù)零丟失備份恢復(fù)一體機(jī)上，構(gòu)建零數(shù)據(jù)丟失的數(shù)據(jù)保護(hù)層，這樣就形成醫(yī)院現(xiàn)代化數(shù)據(jù)中心，同時(shí)結(jié)合醫(yī)院已經(jīng)建設(shè)的Oracle數(shù)據(jù)庫企業(yè)版動(dòng)態(tài)數(shù)據(jù)衛(wèi)士(Active Data Guard，ADG)功能以及多租戶DBaaS，構(gòu)建數(shù)據(jù)零丟失、可恢復(fù)的數(shù)據(jù)庫云平臺(tái)。

4 方案實(shí)施

4.1 總體規(guī)劃

通過Oracle Exadata構(gòu)建安全、高效的私有數(shù)據(jù)庫平臺(tái)即服務(wù)(Platform as a Service，PaaS)云平臺(tái)，而核心數(shù)據(jù)庫備份在Oracle 零數(shù)據(jù)丟失恢復(fù)一體機(jī)上[7]，構(gòu)建零數(shù)據(jù)丟失的備份云平臺(tái)。該平臺(tái)實(shí)現(xiàn)獨(dú)特的數(shù)據(jù)庫網(wǎng)絡(luò)資源管理，確保報(bào)告、批處理和備份等網(wǎng)絡(luò)密集型負(fù)載不會(huì)影響對(duì)響應(yīng)時(shí)間敏感的交互式負(fù)載。系統(tǒng)架構(gòu)，見圖1。

圖1 系統(tǒng)平臺(tái)架構(gòu)

云平臺(tái)所有設(shè)備采用完全冗余硬件配置。Oracle真正應(yīng)用集群技術(shù)(Real Application Cluster，RAC)保護(hù)數(shù)據(jù)庫服務(wù)器免受故障影響。Oracle自動(dòng)存儲(chǔ)管理技術(shù)(Automatic Storage Management，ASM)通過數(shù)據(jù)鏡像防范磁盤或存儲(chǔ)服務(wù)器故障。Oracle恢復(fù)管理器(Recovery Manager，RMAN)[8]以極快速度高效地將數(shù)據(jù)備份到磁盤或磁帶。Oracle 閃回技術(shù)支持在數(shù)據(jù)庫級(jí)、表級(jí)甚至行級(jí)回退用戶錯(cuò)誤。結(jié)合使用 Oracle數(shù)據(jù)衛(wèi)士(Data Guard，DG)[9-10]，可以在最高可用性架構(gòu)下配置第2個(gè)數(shù)據(jù)庫云平臺(tái)一體機(jī)，遠(yuǎn)程站點(diǎn)透明地維護(hù)數(shù)據(jù)庫實(shí)時(shí)副本，從而針對(duì)主數(shù)據(jù)庫故障和站點(diǎn)災(zāi)難提供全面保護(hù)，構(gòu)成醫(yī)院數(shù)據(jù)中心最核心的數(shù)據(jù)加工層。

4.2 實(shí)施步驟

4.2.1 初始安裝 由于Exadata的零數(shù)據(jù)丟失恢復(fù)是一體機(jī)設(shè)計(jì)，所有硬件已經(jīng)預(yù)置在相應(yīng)機(jī)架之中，并以整體方式送至用戶現(xiàn)場(chǎng)，且核心軟件已經(jīng)預(yù)安裝在設(shè)備中，所以實(shí)施工作并不復(fù)雜，根據(jù)用戶現(xiàn)場(chǎng)情況進(jìn)行配置。

4.2.2 數(shù)據(jù)遷移至Exadata數(shù)據(jù)庫云平臺(tái) 醫(yī)院原有數(shù)據(jù)庫安裝在Solaris平臺(tái)上，本次跨Solaris平臺(tái)到X86平臺(tái)的數(shù)據(jù)遷移選擇采用Oracle Golden Gate(OGG)方式進(jìn)行。Oracle Golden Gate軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件，通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增、刪、改變化，再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫，實(shí)現(xiàn)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫同步、雙活。Oracle Golden Gate可以在異構(gòu)信息系統(tǒng)基礎(chǔ)結(jié)構(gòu)之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒級(jí)捕捉、轉(zhuǎn)換和投遞。具體計(jì)劃，見表2。

表2 數(shù)據(jù)遷移計(jì)劃

4.3 實(shí)施過程總結(jié)

4.3.1 試運(yùn)行中Exadata的意外重啟 Exadata零數(shù)據(jù)丟失恢復(fù)一體機(jī)完成安裝后，在進(jìn)行數(shù)據(jù)庫承載平臺(tái)驗(yàn)證性測(cè)試中，于2020年12月13日下午5點(diǎn)意外重啟。通過Oracle支持網(wǎng)站提交服務(wù)請(qǐng)求，并按照要求上傳日志和命令，后臺(tái)迅速找到問題原因：內(nèi)存用竭導(dǎo)致系統(tǒng)重啟。經(jīng)檢查發(fā)現(xiàn)新發(fā)布的補(bǔ)丁沒有安裝，補(bǔ)丁安裝后問題解決。

4.3.2 數(shù)據(jù)平臺(tái)持續(xù)優(yōu)化 數(shù)據(jù)庫遷移后在性能、可用性、安全性、管理便捷性方面都有所提升，筆者長時(shí)間追蹤數(shù)據(jù)庫及應(yīng)用系統(tǒng)性能表現(xiàn)，并結(jié)合數(shù)據(jù)庫自動(dòng)工作負(fù)載庫報(bào)告(Automatic Workload Repository，AWR)來分析系統(tǒng)實(shí)時(shí)的性能表現(xiàn)。持續(xù)優(yōu)化1：通過數(shù)據(jù)庫AWR發(fā)現(xiàn)在業(yè)務(wù)高峰期數(shù)據(jù)庫每秒硬解析200～300條，其原因可能是應(yīng)用開發(fā)過程中沒有使用綁定變量，建議修改程序采用綁定變量形式傳入變量值以緩解硬解析帶來的性能問題。持續(xù)優(yōu)化2：數(shù)據(jù)庫AWR報(bào)告顯示Parse CPU to Parse Elapsd %: 55%，命中率較低，軟解析每秒2 200條。為提高命中率，將session_cached_cursors的大小從50調(diào)整為300。該參數(shù)的調(diào)整需要重啟數(shù)據(jù)庫，在下一次的高峰中發(fā)現(xiàn)命中率得到有效提高。持續(xù)優(yōu)化3：系統(tǒng)開發(fā)中采用數(shù)據(jù)庫的分區(qū)表技術(shù)，多數(shù)表按年分區(qū)，導(dǎo)致查詢過程中多以年為掃描范圍進(jìn)行檢索，增大了掃描過程數(shù)據(jù)結(jié)果集，經(jīng)溝通，在新的年份創(chuàng)建表時(shí)，將提高整體細(xì)粒度，由年細(xì)化至月，從而縮小查詢檢索結(jié)果集的范圍；另一方面，結(jié)合醫(yī)療數(shù)據(jù)量大，且醫(yī)療歷史數(shù)據(jù)更新不頻繁，嘗試對(duì)歷史分區(qū)進(jìn)行壓縮，既能提高空間使用率，又能通過壓縮的方式進(jìn)一步提升查詢效率；此外，很多分區(qū)表建立的索引為全局索引，將逐步修改為分區(qū)索引，以從索引的角度出發(fā)來提高查詢效率。

4.3.3 經(jīng)驗(yàn)總結(jié) 一是安裝設(shè)備時(shí)，盡可能保持設(shè)備以及數(shù)據(jù)庫軟件補(bǔ)丁集已更新到最新。Oracle補(bǔ)丁集是對(duì)已知bug的修復(fù)，如果不及時(shí)打補(bǔ)丁，將會(huì)對(duì)系統(tǒng)的穩(wěn)定運(yùn)行造成不可預(yù)知的干擾。二是使用或者測(cè)試過程中，保持資源有一定的余量，特別是內(nèi)存資源，使系統(tǒng)能夠持續(xù)健康地運(yùn)行。以上僅記錄了在上線后一段時(shí)間內(nèi)進(jìn)行的優(yōu)化，隨著業(yè)務(wù)的不斷發(fā)展，數(shù)據(jù)庫云平臺(tái)將持續(xù)進(jìn)行優(yōu)化，為醫(yī)患提供更加良好的數(shù)字化體驗(yàn)。

4.4 平臺(tái)改造成效

4.4.1 實(shí)現(xiàn)資產(chǎn)統(tǒng)一管理 隨著大數(shù)據(jù)時(shí)代的到來，屬于資產(chǎn)的不僅僅是實(shí)際物理設(shè)備，數(shù)據(jù)逐漸成為更加重要的無形資產(chǎn)。通過本次數(shù)據(jù)云平臺(tái)的建設(shè)，不僅對(duì)云平臺(tái)硬件進(jìn)行監(jiān)控，還實(shí)現(xiàn)數(shù)據(jù)全生命周期管理，從計(jì)劃、安裝、搭建、測(cè)試、部署到監(jiān)控、管理、計(jì)量計(jì)費(fèi)和優(yōu)化等。

4.4.2 實(shí)現(xiàn)數(shù)據(jù)中心DBaaS平臺(tái)構(gòu)建 通過本次武漢大學(xué)中南醫(yī)院數(shù)據(jù)庫云平臺(tái)即醫(yī)院DBaaS云平臺(tái)的建設(shè)，信息中心有能力為從應(yīng)用到數(shù)據(jù)庫的CPU、網(wǎng)絡(luò)和存儲(chǔ)提供獨(dú)特的端到端優(yōu)先級(jí)排序。不同科室、應(yīng)用系統(tǒng)用戶可以在數(shù)據(jù)庫、連接、應(yīng)用、用戶甚至作業(yè)層面指定優(yōu)先級(jí)和資源限制，確保各個(gè)整合數(shù)據(jù)庫或 SQL操作均可獲得必要的資源，并達(dá)到目標(biāo)響應(yīng)時(shí)間要求。

4.4.3 實(shí)現(xiàn)數(shù)據(jù)安全防護(hù) 通過本次數(shù)據(jù)庫云平臺(tái)的建設(shè)，實(shí)現(xiàn)了針對(duì)所有故障類型提供全方位防護(hù)，包括針對(duì)磁盤、服務(wù)器和網(wǎng)絡(luò)的簡單故障以及復(fù)雜的站點(diǎn)故障和人為錯(cuò)誤。同時(shí)本次建設(shè)規(guī)劃實(shí)現(xiàn)了完全消除數(shù)據(jù)丟失風(fēng)險(xiǎn)、大幅降低數(shù)據(jù)保護(hù)給生產(chǎn)服務(wù)器帶來的開銷，還能夠持續(xù)驗(yàn)證數(shù)據(jù)的完整性和可恢復(fù)性。

5 結(jié)語

本文介紹了零數(shù)據(jù)丟失的數(shù)據(jù)庫云平臺(tái)前期準(zhǔn)備工作、各種升級(jí)方法優(yōu)劣的比較、選型及搭建、調(diào)優(yōu)工作。數(shù)據(jù)庫云平臺(tái)的搭建非常復(fù)雜，必須在事前做好規(guī)劃、事中做好控制、事后做好驗(yàn)證，并且要保證系統(tǒng)的良好體驗(yàn)，還需要不斷對(duì)系統(tǒng)進(jìn)行調(diào)優(yōu)、改造。希望本文的實(shí)踐過程能夠?yàn)閿?shù)據(jù)管理工作者帶來一些幫助，在確保關(guān)鍵業(yè)務(wù)7×24小時(shí)不間斷的同時(shí)，建設(shè)一套數(shù)據(jù)零丟失、可恢復(fù)的數(shù)據(jù)庫云平臺(tái)，以提高醫(yī)院信息系統(tǒng)的安全性，從而增加患者和醫(yī)護(hù)人員的滿意度和醫(yī)院競(jìng)爭力。

?醫(yī)學(xué)信息資源管理與利用?