成曉清

（無(wú)錫市第二人民醫(yī)院信息科，江蘇 無(wú)錫 214000）

0 引言

醫(yī)療行業(yè)信息系統(tǒng)中最重要的是信息存儲(chǔ)及管理，包括病人臨床信息和醫(yī)院管理信息等。醫(yī)療行業(yè)IT 部門(mén)面臨的最明顯挑戰(zhàn)是信息數(shù)字化造成的信息量持續(xù)增長(zhǎng)與存儲(chǔ)容量有限之間的矛盾[1,2]。就拿HIS 系統(tǒng)來(lái)說(shuō)，信息量持續(xù)增長(zhǎng)帶來(lái)的存儲(chǔ)系統(tǒng)需求有：一是隨著就診人數(shù)的增長(zhǎng)，需要保證系統(tǒng)的性能滿(mǎn)足業(yè)務(wù)發(fā)展的需要；二是需要滿(mǎn)足7×24 小時(shí)高可靠運(yùn)行的業(yè)務(wù)連續(xù)性要求；三是需要保證數(shù)據(jù)的安全性和可恢復(fù)性，避免因數(shù)據(jù)丟失引起的醫(yī)療糾紛[3-6]。隨著醫(yī)院不斷有新的應(yīng)用系統(tǒng)上線(xiàn)，數(shù)據(jù)呈級(jí)數(shù)增長(zhǎng)，原有的系統(tǒng)迫切需要擴(kuò)容升級(jí)[7]。由于醫(yī)院內(nèi)的HIS、PACS 和電子病歷等系統(tǒng)是在不同時(shí)期分批建成的，導(dǎo)致各系統(tǒng)的數(shù)據(jù)處于分散存儲(chǔ)狀態(tài)。不僅如此，每個(gè)系統(tǒng)所采取的存儲(chǔ)方式與存儲(chǔ)介質(zhì)也各不相同，而且有些存儲(chǔ)系統(tǒng)已經(jīng)無(wú)法滿(mǎn)足業(yè)務(wù)不斷發(fā)展的需要。隨著上述系統(tǒng)應(yīng)用規(guī)模的不斷擴(kuò)大，在數(shù)據(jù)管理方面的問(wèn)題日益凸顯出來(lái)，主要表現(xiàn)為：容量不足，數(shù)據(jù)調(diào)用不便；系統(tǒng)結(jié)構(gòu)相對(duì)落后，系統(tǒng)穩(wěn)定性有待提高；最后，分散存儲(chǔ)的模式，嚴(yán)重影響了數(shù)據(jù)資產(chǎn)的管理效率。分布式存儲(chǔ)技術(shù)具有大容量、高性能、高可靠、易擴(kuò)展、易整合、易管理等特點(diǎn)，可以解決上述問(wèn)題。文中將通過(guò)分布式存儲(chǔ)技術(shù)與傳統(tǒng)存儲(chǔ)技術(shù)的特點(diǎn)及缺陷分析，對(duì)分布式存儲(chǔ)技術(shù)的原理進(jìn)行介紹，在分析其優(yōu)勢(shì)的基礎(chǔ)上給出系統(tǒng)設(shè)計(jì)建議。

1 傳統(tǒng)集中式存儲(chǔ)的特點(diǎn)及缺陷

目前醫(yī)療行業(yè)核心HIS 系統(tǒng)底層存儲(chǔ)一般都是集中式存儲(chǔ)，即一套完整的存儲(chǔ)通過(guò)iSCSI 或者FC 協(xié)議給服務(wù)器提供存儲(chǔ)空間。一般由兩臺(tái)服務(wù)器或者多臺(tái)服務(wù)器作為HA 集群來(lái)承載HIS 系統(tǒng)的應(yīng)用，集中式存儲(chǔ)作為共享存儲(chǔ)存放HIS 系統(tǒng)的數(shù)據(jù)，架構(gòu)圖見(jiàn)圖1。集中式存儲(chǔ)架構(gòu)優(yōu)點(diǎn)是穩(wěn)定可靠，部署較簡(jiǎn)單，維護(hù)方便，但隨著醫(yī)療數(shù)據(jù)的增長(zhǎng)及業(yè)務(wù)連續(xù)性的要求，一些缺點(diǎn)慢慢凸顯出來(lái)，主要有：一是存儲(chǔ)容量有限制，集中式存儲(chǔ)較難橫向擴(kuò)展；二是集中式存儲(chǔ)一般采用了“控制器+盤(pán)柜”方式部署，所有的功能都集成到了控制器上，對(duì)于服務(wù)器的性能要求很高，會(huì)出現(xiàn)控制器瓶頸，性能會(huì)下降；三是集中式存儲(chǔ)性能一般，而全閃存存儲(chǔ)性能雖好但價(jià)格昂貴。總之，帶來(lái)的問(wèn)題有系統(tǒng)大而復(fù)雜、難以維護(hù)和發(fā)生單點(diǎn)故障、擴(kuò)展性差等問(wèn)題。

圖1 集中式存儲(chǔ)架構(gòu)

2 分布式存儲(chǔ)架構(gòu)的特點(diǎn)、優(yōu)勢(shì)、原理及設(shè)計(jì)建議

2.1 分布式存儲(chǔ)架構(gòu)的特點(diǎn)及優(yōu)勢(shì)

隨著醫(yī)療信息化的不斷發(fā)展，醫(yī)院的許多業(yè)務(wù)也呈現(xiàn)出爆炸式的增長(zhǎng)，其后端的數(shù)據(jù)庫(kù)系統(tǒng)對(duì)數(shù)據(jù)量和性能的要求也逐漸提高。而IOE 這種在過(guò)去很多年當(dāng)中一直占據(jù)主導(dǎo)地位的數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)，已經(jīng)很難滿(mǎn)足高速發(fā)展的業(yè)務(wù)需求，其性能，擴(kuò)展性，成本等各方面的缺點(diǎn)逐漸暴露了出來(lái)。與此同時(shí)，x86 平臺(tái)卻憑借自身的開(kāi)放性以及兼容性等特點(diǎn)，積極擁抱一些革命性的硬件產(chǎn)品，如Flash高速存儲(chǔ)設(shè)備，InfiniBand 低延遲高帶寬網(wǎng)絡(luò)傳輸設(shè)備等，使得x86 服務(wù)器在企業(yè)的生產(chǎn)環(huán)境中承載關(guān)鍵的數(shù)據(jù)庫(kù)系統(tǒng)變?yōu)榱丝赡堋?/p>

分布式存儲(chǔ)一般用三臺(tái)或多臺(tái)x86 服務(wù)器以集群的形式作為存儲(chǔ)單元，每個(gè)存儲(chǔ)節(jié)點(diǎn)可配置PCIe Flash 卡，SSD 或者HDD，成為一個(gè)獨(dú)立的存儲(chǔ)單元，IO 資源也可按需進(jìn)行水平擴(kuò)展。使用兩臺(tái)Infiniband 交換機(jī)，防止單點(diǎn)故障。分布式存儲(chǔ)的架構(gòu)圖見(jiàn)圖2。

圖2 分布式存儲(chǔ)架構(gòu)

2.2 分布式存儲(chǔ)架構(gòu)的原理

三臺(tái)存儲(chǔ)節(jié)點(diǎn)組成分布式存儲(chǔ)，每臺(tái)存儲(chǔ)服務(wù)器的磁盤(pán)劃分為：兩塊盤(pán)做RAID1 安裝操作系統(tǒng)，其他的磁盤(pán)或者Flash 卡分別做RAID0，作為數(shù)據(jù)盤(pán)，通過(guò)IB 網(wǎng)絡(luò)把磁盤(pán)空間映射給計(jì)算節(jié)點(diǎn)。整個(gè)架構(gòu)使用開(kāi)源技術(shù)和Linux 技術(shù)，主要技術(shù)原理如下：（1）Infiniband 技術(shù)：Infiniband（簡(jiǎn)寫(xiě)IB）是一種計(jì)算機(jī)網(wǎng)絡(luò)連接標(biāo)準(zhǔn)，原來(lái)主要用于節(jié)點(diǎn)間需要有大量數(shù)據(jù)傳輸需求的HPC 高性能計(jì)算，隨著技術(shù)發(fā)展和新業(yè)務(wù)場(chǎng)景出現(xiàn)，使用領(lǐng)域變得越來(lái)越廣泛。整個(gè)IB 網(wǎng)絡(luò)由主機(jī)上的HCA（Host Channel Adapter）卡，IB 交換機(jī)和IB 線(xiàn)纜組成，目前IB 設(shè)備的主要制造商是Mellanox。IB 網(wǎng)絡(luò)能夠保證在低延時(shí)情況（200ns）通過(guò)4 倍聚合通道（4X aggregate links）的單個(gè)物理接口支持40Gb或56Gb 的帶寬，Infiniband 的作用主要是通過(guò)IB網(wǎng)絡(luò)( 包括HCA 卡、IB 線(xiàn)等) 高性能的傳輸大量 數(shù) 據(jù)。（2）RDMA 技 術(shù)（Remote direct memory access）：RDMA 技術(shù)是一種主機(jī)到另一臺(tái)主機(jī)的直接內(nèi)存訪(fǎng)問(wèn)技術(shù)，在這過(guò)程中不需要兩臺(tái)主機(jī)上操作系統(tǒng)的介入。它的出現(xiàn)使得創(chuàng)建一個(gè)高吞吐和低延時(shí)的網(wǎng)絡(luò)成為現(xiàn)實(shí)。RDMA 支持零拷貝網(wǎng)絡(luò)互聯(lián)，通過(guò)物理適配器（如HCA 卡）可以直接從應(yīng)用程序內(nèi)存區(qū)中獲取或者傳入數(shù)據(jù)，不需要CPU、cache 和上下文切換的介入，可以和同一時(shí)間的其他操作系統(tǒng)操作并行，使得數(shù)據(jù)的傳輸延時(shí)降低和效率提高。（3）iSER 協(xié)議：iSER 的全稱(chēng)是iSCSI extension for RDMA，是數(shù)據(jù)傳輸協(xié)議iSCSI基于RDMA 技術(shù)的一種擴(kuò)展。傳統(tǒng)的iSCSI 協(xié)議是通過(guò)以太網(wǎng)絡(luò)的TCP/IP 協(xié)議棧來(lái)傳輸?shù)?，其傳輸效率并不高。而iSER 協(xié)議則可以將iSCSI 指令轉(zhuǎn)義成RDMA 操作，通過(guò)支持RDMA 技術(shù)的網(wǎng)絡(luò)來(lái)傳輸數(shù)據(jù)。RDMA 支持Zero-Copy, Kernel-Bypass, None-CPU 等技術(shù)，可以完全避免數(shù)據(jù)在應(yīng)用程序內(nèi)存以及操作系統(tǒng)緩存之間重復(fù)拷貝，并且無(wú)需占用主機(jī)CPU 資源，大幅提高了數(shù)據(jù)傳輸?shù)男省＃?）分布式存儲(chǔ)的運(yùn)行邏輯：每臺(tái)存儲(chǔ)節(jié)點(diǎn)上的每塊數(shù)據(jù)盤(pán)作為一個(gè)pv，通過(guò)iSER 協(xié)議、Infiniband 交換機(jī)把每一個(gè)pv 映射給計(jì)算節(jié)點(diǎn)。計(jì)算節(jié)點(diǎn)發(fā)現(xiàn)存儲(chǔ)節(jié)點(diǎn)映射上來(lái)的pv，通過(guò)多路徑做聚合，然后通過(guò)udev 規(guī)則給發(fā)現(xiàn)的磁盤(pán)做重命名，最后在計(jì)算節(jié)點(diǎn)的相應(yīng)目錄里面可以看到所有存儲(chǔ)節(jié)點(diǎn)映射上來(lái)的磁盤(pán)，作為共享磁盤(pán)，給HIS 系統(tǒng)存放數(shù)據(jù)空間。

2.3 分布式存儲(chǔ)的設(shè)計(jì)建議

分布式存儲(chǔ)節(jié)點(diǎn)主要用于高性能存儲(chǔ)介質(zhì)的IO 輸出，對(duì)節(jié)點(diǎn)的計(jì)算性能要求中等。CPU 配置2顆主流的中低端型號(hào)即可滿(mǎn)足性能要求，單顆CPU的核心數(shù)不少于12 核，單核頻率不低于2.2GHz。內(nèi)存配置不小于64GB。

存儲(chǔ)節(jié)點(diǎn)一般設(shè)計(jì)SSD 固態(tài)硬盤(pán)和SAS 磁盤(pán)兩種類(lèi)型的介質(zhì)用于不同類(lèi)型數(shù)據(jù)存放。根據(jù)它們的性能和匹配不同的數(shù)據(jù)業(yè)務(wù)：SAS 硬盤(pán)，兩塊SAS 硬盤(pán)主要用于安裝操作系統(tǒng)；NVMe SSD 閃存介質(zhì)，用于存儲(chǔ)數(shù)據(jù)庫(kù)的熱數(shù)據(jù)，NVMe SSD 閃存卡的高IO 性能結(jié)合網(wǎng)絡(luò)和存儲(chǔ)軟件等，保證數(shù)據(jù)庫(kù)的高性能。由于業(yè)務(wù)上的數(shù)據(jù)寫(xiě)入較為頻繁，要求SSD 固態(tài)硬盤(pán)具備較高的設(shè)計(jì)寫(xiě)入壽命，要求達(dá)到5 年3DWPD 每天全盤(pán)覆蓋寫(xiě)的要求；SATA SSD固態(tài)硬盤(pán)，用于存儲(chǔ)數(shù)據(jù)庫(kù)的歸檔數(shù)據(jù)，SSD 固態(tài)硬盤(pán)的高吞吐寫(xiě)入性能結(jié)合網(wǎng)絡(luò)和存儲(chǔ)軟件等，保證數(shù)據(jù)庫(kù)切換歸檔日志的高性能。由于歸檔日志的寫(xiě)入較為頻繁，要求SSD 固態(tài)硬盤(pán)具備較高的設(shè)計(jì)寫(xiě)入壽命，要求達(dá)到5 年1.4 DWPD 每天全盤(pán)覆蓋寫(xiě)的要求。

一般HIS 數(shù)據(jù)庫(kù)的存儲(chǔ)資源的使用量約在1TB 左右，且對(duì)數(shù)據(jù)庫(kù)IO 吞吐要求較高，訪(fǎng)問(wèn)頻率 較高，比較適合NVMe SSD 閃存盤(pán)。通過(guò)多塊NVMe 閃存介質(zhì)的疊加IOPS 能力和吞吐能力能達(dá)到超高的水平，滿(mǎn)足業(yè)務(wù)上數(shù)據(jù)測(cè)試的訪(fǎng)問(wèn)要求。

和分布式存儲(chǔ)匹配的InfiniBand 交換機(jī)設(shè)計(jì)建議：節(jié)點(diǎn)的互聯(lián)交換機(jī)使用100Gbps Infiniband網(wǎng)絡(luò)，配置兩臺(tái)Infiniband 交換機(jī)，組成兩個(gè)獨(dú)立的星型網(wǎng)絡(luò)，實(shí)現(xiàn)節(jié)點(diǎn)間互聯(lián)網(wǎng)絡(luò)的冗余。計(jì)算節(jié)點(diǎn)上配置兩塊雙端口Infiniband HCA 卡，組成兩種節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)，包括訪(fǎng)問(wèn)存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)網(wǎng)絡(luò)和計(jì)算節(jié)點(diǎn)間互相訪(fǎng)問(wèn)的心跳網(wǎng)絡(luò)，分別占用兩臺(tái)Infiniband 交換機(jī)的兩個(gè)端口。存儲(chǔ)節(jié)點(diǎn)上配置兩塊單端口Infiniband HCA 卡，組成存儲(chǔ)網(wǎng)絡(luò)，分別占用兩臺(tái)Infiniband 交換機(jī)的一個(gè)端口。綜合以上2 臺(tái)計(jì)算節(jié)點(diǎn)和3 臺(tái)存儲(chǔ)節(jié)點(diǎn)的配置要求，目前已經(jīng)要求兩臺(tái)交換機(jī)分別占用7 個(gè)端口，同時(shí)考慮到未來(lái)節(jié)點(diǎn)的擴(kuò)展情況，建議配置36 端口的Infiniband 交換機(jī)。同時(shí)交換機(jī)需要有冗余電源和帶外管理功能。

3 傳統(tǒng)集中式架構(gòu)和分布式架構(gòu)對(duì)比

傳統(tǒng)集中式架構(gòu)與分布式架構(gòu)在硬件投入上的對(duì)比：集中式存儲(chǔ)硬件投入巨大，每年還需承擔(dān)高額的維保費(fèi)用，使用成本太過(guò)高昂；分布式架構(gòu)中選用的全部都是性?xún)r(jià)比較高的x86 服務(wù)器，另外配置PCIe Flash 和IB 設(shè)備，價(jià)格透明，服務(wù)靈活簡(jiǎn)單。

傳統(tǒng)集中式架構(gòu)與分布式架構(gòu)在高可用上的對(duì)比：傳統(tǒng)集中式架構(gòu)完全由單一的磁盤(pán)陣列保證，一是通過(guò)raid 技術(shù)做到數(shù)據(jù)的冗余，保證不會(huì)因?yàn)榇疟P(pán)的損壞造成數(shù)據(jù)的；二是通過(guò)例如電源的冗余、控制器的冗余等，提高硬件本身的可用性。分布式架構(gòu)數(shù)據(jù)庫(kù)一體機(jī)使用最少三個(gè)x86 服務(wù)器整合成一個(gè)大的存儲(chǔ)池，并通過(guò)以下方式實(shí)現(xiàn)存儲(chǔ)層的高效利用，一是對(duì)數(shù)據(jù)做mirror，做到數(shù)據(jù)的冗余；三是保證所有的數(shù)據(jù)會(huì)隨機(jī)的放到三個(gè)存儲(chǔ)節(jié)點(diǎn)中的任意兩個(gè)，所以存儲(chǔ)節(jié)點(diǎn)中的任一節(jié)點(diǎn)出現(xiàn)問(wèn)題，對(duì)數(shù)據(jù)庫(kù)的整體訪(fǎng)問(wèn)不會(huì)帶來(lái)影響。

傳統(tǒng)集中式架構(gòu)與分布式架構(gòu)在橫向擴(kuò)展上的對(duì)比：傳統(tǒng)集中式架構(gòu)較難實(shí)現(xiàn)橫向擴(kuò)展，而分布式架構(gòu)可以通過(guò)添加存儲(chǔ)節(jié)點(diǎn)的方式在線(xiàn)實(shí)現(xiàn)橫向擴(kuò)展。

傳統(tǒng)集中式架構(gòu)與分布式架構(gòu)在IO 性能上的對(duì)比。傳統(tǒng)集中式架構(gòu)在IO 性能上一般使用機(jī)械硬盤(pán)+閃存盤(pán)架構(gòu)，性能一般。分布式架構(gòu)存儲(chǔ)節(jié)點(diǎn)可以插NVMe SSD 磁盤(pán)，較傳統(tǒng)SSD 磁盤(pán)性能有成倍提升。

傳統(tǒng)集中式架構(gòu)與分布式架構(gòu)在管理上的對(duì)比。傳統(tǒng)集中式架構(gòu)一般較難遠(yuǎn)程管理，大部分問(wèn)題是通過(guò)機(jī)房巡檢的方式發(fā)現(xiàn)。分布式架構(gòu)可通過(guò)web 頁(yè)面遠(yuǎn)程進(jìn)行管理，并且支持遇到故障可自行通過(guò)郵件、短信方式進(jìn)行告警。

4 總結(jié)

隨著醫(yī)療信息化的發(fā)展，傳統(tǒng)的集中式存儲(chǔ)在高性能、高可用、數(shù)據(jù)持續(xù)增長(zhǎng)上一些問(wèn)題日益凸顯出來(lái)，為了解決這些挑戰(zhàn)，分布式、超融合技術(shù)逐漸應(yīng)用到醫(yī)療信息化系統(tǒng)中，探索醫(yī)療大核心系統(tǒng)的新技術(shù)、新模式，將會(huì)是重點(diǎn)的發(fā)展方向。