李永毅

（長(zhǎng)治學(xué)院計(jì)算機(jī)系，山西長(zhǎng)治046011）

?

基于HBase的海量DICOM醫(yī)學(xué)影像存儲(chǔ)系統(tǒng)的設(shè)計(jì)與研究

李永毅

（長(zhǎng)治學(xué)院計(jì)算機(jī)系，山西長(zhǎng)治046011）

文章結(jié)合傳統(tǒng)醫(yī)學(xué)影像存儲(chǔ)的不足和云計(jì)算的特點(diǎn)，提出了基于HBase的醫(yī)學(xué)影像存儲(chǔ)方案，結(jié)果表明基于HBase的DICOM影像數(shù)據(jù)庫(kù)能有效解決傳統(tǒng)PB級(jí)醫(yī)學(xué)影像存儲(chǔ)及醫(yī)療信息資源共享問(wèn)題。

HBase；Hadoop；數(shù)據(jù)庫(kù)；云計(jì)算；醫(yī)學(xué)影像

1　引言

隨著醫(yī)療信息化的發(fā)展，各類醫(yī)院信息化程度有了一定的發(fā)展，但是由于我國(guó)醫(yī)療資源分布不平衡，一些相對(duì)落后區(qū)域的醫(yī)院信息化程度不高。如何使發(fā)達(dá)區(qū)域的醫(yī)療信息資源得到充分利用，滿足區(qū)域各級(jí)醫(yī)院的需求，對(duì)目前的醫(yī)療服務(wù)有重要的實(shí)踐意義。傳統(tǒng)醫(yī)學(xué)影像存儲(chǔ)于PACS服務(wù)器中，PACS服務(wù)器主要是以集中式存儲(chǔ)醫(yī)學(xué)影像。醫(yī)學(xué)影像數(shù)據(jù)的傳輸、存儲(chǔ)、查詢通常以單機(jī)運(yùn)算為主，每個(gè)醫(yī)院每年產(chǎn)生的PB級(jí)海量醫(yī)學(xué)影像給該架構(gòu)的服務(wù)器帶來(lái)了負(fù)載均衡、數(shù)據(jù)吞吐量、檢索速度、數(shù)據(jù)共享等問(wèn)題。云計(jì)算融合了分布式并行計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、負(fù)載均衡等多種傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)，以其獨(dú)特的擴(kuò)展性、廉價(jià)性及容錯(cuò)性受到廣泛關(guān)注[2]。云計(jì)算的特點(diǎn)彌補(bǔ)了傳統(tǒng)醫(yī)學(xué)影像存儲(chǔ)的不足。結(jié)合目前成熟的云計(jì)算架構(gòu)，采用基于Hadoop云架構(gòu)下的HBase數(shù)據(jù)庫(kù)存儲(chǔ)醫(yī)學(xué)影像為醫(yī)療信息的共享提供了理論支持及解決方案。

2　Hadoop、HBase、DICOM概述

2.1Hadoop概述

Hadoop是目前一個(gè)相對(duì)成熟的開(kāi)源云計(jì)算平臺(tái)，包括并行計(jì)算系統(tǒng)MapReduce、分布式存儲(chǔ)系統(tǒng)HDFS，YARN集群資源管理與調(diào)度系統(tǒng)等[3]。Hadoop的集群系統(tǒng)可以實(shí)現(xiàn)幾臺(tái)甚至幾千臺(tái)的大規(guī)模分布式存儲(chǔ)與并行計(jì)算，為提高計(jì)算吞吐量、海量數(shù)據(jù)存儲(chǔ)、并行計(jì)算、負(fù)載均衡、海量數(shù)據(jù)資源共享等提供了成熟的解決方案。

2.2HBase概述

HBase是一個(gè)可靠性高、面向列式存儲(chǔ)、擴(kuò)展性好的分布式存儲(chǔ)系統(tǒng)。Hadoop分布式架構(gòu)平臺(tái)下的HBase可利用廉價(jià)PC Server搭建起大規(guī)模存儲(chǔ)集群，HBase適應(yīng)半結(jié)構(gòu)或無(wú)結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)[5]。HBase利用HDFS作為其文件存儲(chǔ)系統(tǒng)，利用Hadoop MapReduce來(lái)處理HBase中的海量數(shù)據(jù)，利用Zookeeper作為協(xié)調(diào)工具[6,7]。

2.2.1HBase的數(shù)據(jù)模型

HBase中的表由行和列族(row family)組成[8]。每行由RowKey關(guān)鍵字作為行的索引，列族又是由若干個(gè)列組成，由行和列族中的列確定了HBase中的Cell單元，每個(gè)Cell單元存儲(chǔ)多個(gè)版本的數(shù)據(jù)[9]。每個(gè)版本由時(shí)間截索引。圖3是一個(gè)HBase邏輯視圖示例。RowKey是行鍵，病人信息是列族，病人信息下的列族又包含病人姓名、性別等列。

2.2.2HBase的物理存儲(chǔ)

圖1　HBase的物理存儲(chǔ)

如圖1所示，HBase中的表按行分片，每到一定數(shù)量的行就分在一個(gè)Region中。每個(gè)Region由一個(gè)或多個(gè)Store組成，一個(gè)Store保存一個(gè)列族（ColumnFamily）數(shù)據(jù)。每個(gè)Store由0到多個(gè)StoreFile組成，Store是對(duì)HFile的簡(jiǎn)單包裝，HFile是真實(shí)存儲(chǔ)在HDFS文件系統(tǒng)上的數(shù)據(jù)格式。HBase中的表按RowKey關(guān)鍵字排序，每個(gè)表隨著數(shù)據(jù)的增大又分為多個(gè)Region，每個(gè)Region存儲(chǔ)到一個(gè)Region Server上[10]。

2.2.3HBase的系統(tǒng)架構(gòu)

HBase系統(tǒng)架構(gòu)如圖2所示。

圖2　HBase的系統(tǒng)架構(gòu)

HDFS是Hadoop Distributed File System的縮寫形式，是一種分布式文件系統(tǒng)，具有存儲(chǔ)量大、容錯(cuò)性好等特點(diǎn)，該系統(tǒng)部署在低廉硬件上的架構(gòu)模式[11]。HDFS是Hadoop項(xiàng)目存儲(chǔ)框架的核心組成部分，為分布式云計(jì)算提供了存儲(chǔ)支撐。HBase中的數(shù)據(jù)最終以文件形式存儲(chǔ)在HDFS系統(tǒng)中。

ZooKeeper是一個(gè)高吞吐的分布式協(xié)調(diào)系統(tǒng)，提供的分布式集群管理機(jī)制可以設(shè)計(jì)出多種多樣的分布式數(shù)據(jù)管理模型。在HBase中用于HMaster服務(wù)器集群中活動(dòng)服務(wù)器的選舉，通過(guò)原子廣播機(jī)制保證了各個(gè)Server之間的同步。

HBase由Master和RegionServer兩部分組成，其中Master負(fù)責(zé)啟動(dòng)多個(gè)HMaster，通過(guò)ZooKeeper管理，某一時(shí)刻只有一個(gè)活躍的HMaster。Master負(fù)責(zé)監(jiān)控Region Server的上線和下線及RegionServer的負(fù)載均衡狀況，并通過(guò)心跳機(jī)制匯報(bào)給ZooKeeper。

RegionServer維護(hù)Master分配的Region，當(dāng)Region信息逐漸變大并超過(guò)某個(gè)閾值時(shí)，進(jìn)行Region分割。RegionServer負(fù)責(zé)數(shù)據(jù)的讀寫，最終將數(shù)據(jù)寫入HDFS系統(tǒng)或者從HDFS系統(tǒng)讀取需要的數(shù)據(jù)。

首先客戶端向ZooKeeper發(fā)出讀寫請(qǐng)求，ZooKeeper接收到客戶端請(qǐng)求后，通過(guò)查詢ZooKeeper保存的HBase中Region的尋址入口信息，定位請(qǐng)求數(shù)據(jù)的Region Server位置，RegionServer通過(guò)心跳機(jī)制匯報(bào)RegionServer運(yùn)行資源等信息給ZooKeeper，Client然后與RegionServer進(jìn)行信息交互，RegionServer負(fù)責(zé)將數(shù)據(jù)存入Hadoop的HDFS文件系統(tǒng)中。

ZooKeeper是通過(guò)如下方式定位到需要讀寫的RegionServer服務(wù)器。首先從Zookeeper找到ROOT表所在位置，通過(guò)HBase中ROOT表找到META表所在位置，然后再?gòu)腗ETA表定位到要讀寫數(shù)據(jù)Region所在的RegionServer。

由上所述，在HBase中對(duì)數(shù)據(jù)進(jìn)行讀寫的過(guò)程中并不需要Master的直接參與，客戶端讀寫數(shù)據(jù)時(shí)，連接的服務(wù)器是ZooKeeper服務(wù)器，ZooKeeper服務(wù)器通過(guò)上述尋址方式定位RegionServer服務(wù)器。

2.3DICOM文件

醫(yī)學(xué)影像文件是遵循DICOM標(biāo)準(zhǔn)的圖像文件，與普通文件不同，DICOM醫(yī)學(xué)影像文件除了影像信息，還包含其它豐富的信息，比如病人姓名、性別、檢查部位、影像模態(tài)、檢查時(shí)間等信息[12]，DICOM文件是嵌套式數(shù)據(jù)結(jié)構(gòu)，在PACS系統(tǒng)中通常以文件形式存儲(chǔ)。通常一個(gè)病人有多個(gè)檢查項(xiàng)目，每個(gè)檢查有多個(gè)研究方面，每個(gè)研究又包含多種模態(tài)醫(yī)學(xué)圖像，如CT機(jī)器產(chǎn)生的CT模態(tài)圖像通常是一個(gè)序列圖像。通常一個(gè)三甲醫(yī)院一天產(chǎn)生幾十G醫(yī)學(xué)圖像，這就要求PACS服務(wù)器必須存儲(chǔ)海量復(fù)雜結(jié)構(gòu)的醫(yī)學(xué)影像。

3　HBase醫(yī)學(xué)影像數(shù)據(jù)庫(kù)的實(shí)現(xiàn)

文章使用偽分布模式搭建Hadoop、Zookeeper、HBase服務(wù)器。采用Eclipse進(jìn)行項(xiàng)目源代碼開(kāi)發(fā)，使用dcm4che2-Java Library for DICOM工具包對(duì)DICOM影像文件進(jìn)行傳輸與解析，將DICOM文件解析的常用信息及DICOM文件本身存入HBase數(shù)據(jù)庫(kù)[13]。DICOM文件的基本信息為HBase文件多條件查詢提供了基礎(chǔ)。

3.1DICOM醫(yī)學(xué)影像數(shù)據(jù)庫(kù)表的設(shè)計(jì)

圖3　DICOM醫(yī)學(xué)影像數(shù)據(jù)庫(kù)表

如圖3所示，將解析后的DICOM文件常用基本信息存入HBase數(shù)據(jù)庫(kù)，RowKey通過(guò)病人姓名和病人身份證號(hào)字符串生成，其病人信息、圖像信息是列族，病人姓名、病人性別、病人年齡等信息為列信息，在檢索數(shù)據(jù)時(shí)可以通過(guò)多條件查詢定位需要的基本信息或圖像，從而為以后圖像的查閱提高了檢索速度。

3.2基于HBase的DICOM醫(yī)學(xué)影像數(shù)據(jù)庫(kù)的實(shí)現(xiàn)

圖4　數(shù)據(jù)庫(kù)的創(chuàng)建

3.2.1數(shù)據(jù)庫(kù)的創(chuàng)建

如圖4所示，通過(guò)調(diào)用Configuration實(shí)例對(duì)象連接ZooKeeper服務(wù)器，然后傳遞Configuration參數(shù)給HbaseAdmin實(shí)例對(duì)象，然后建立HtableDescriptor實(shí)例對(duì)象，并通過(guò)該實(shí)例對(duì)象的addFamily方法添加列族，最后通過(guò)HbaseAdmin實(shí)例對(duì)象的createTable方法創(chuàng)建數(shù)據(jù)庫(kù)表。

圖5　數(shù)據(jù)庫(kù)中數(shù)據(jù)的寫入

圖6　數(shù)據(jù)庫(kù)中數(shù)據(jù)的查詢

3.2.2數(shù)據(jù)庫(kù)的數(shù)據(jù)寫入

數(shù)據(jù)庫(kù)的數(shù)據(jù)寫入如圖5所示，第一種方案是寫入少量數(shù)據(jù)，通過(guò)dcm4che2-Java Library for DICOM工具中的傳輸解析模塊接收客戶端傳來(lái)的DICOM文件，并解析DICOM文件中的常用信息，然后傳遞行健參數(shù)構(gòu)造Put對(duì)象，通過(guò)給Put對(duì)象的add方法傳遞要插入的列族，限定符，時(shí)間戳等參數(shù)構(gòu)建相應(yīng)的行健、列族、列等相關(guān)信息，使用HTable實(shí)例對(duì)象定位要插入數(shù)據(jù)的表，使用HTable的put方法寫入數(shù)據(jù)庫(kù)。第二種方案是結(jié)合MapReduce寫入批量數(shù)據(jù)到HBase數(shù)據(jù)庫(kù)，通過(guò)并行性寫入數(shù)據(jù)提高了醫(yī)學(xué)影像的寫入速度，提高了聯(lián)機(jī)在線存儲(chǔ)的速度。

3.2.3數(shù)據(jù)庫(kù)的數(shù)據(jù)查詢。

數(shù)據(jù)庫(kù)的數(shù)據(jù)查詢?nèi)鐖D6所示，通過(guò)HBase提供的get和scan兩種方法進(jìn)行查詢，通過(guò)構(gòu)建行鍵、鍵值、列值等多種類型過(guò)濾器，運(yùn)用HBase提供的get和scan兩種方法進(jìn)行客戶需要的各種查詢請(qǐng)求，為提高HBase的檢索速度與檢索的并行性，結(jié)合MapReduce進(jìn)行數(shù)據(jù)查詢，從而滿足了醫(yī)療信息共享需求的并行性醫(yī)學(xué)圖像的獲取，提高了聯(lián)機(jī)在線檢索的速度。

4　.結(jié)論

海量醫(yī)學(xué)影像數(shù)據(jù)存儲(chǔ)是現(xiàn)代醫(yī)療資源整合的基礎(chǔ)及關(guān)鍵部分。遵循DICOM標(biāo)準(zhǔn)的醫(yī)學(xué)影像是嵌套式文件結(jié)構(gòu)，不便于在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)中存儲(chǔ)，通常以文件格式存儲(chǔ)在PACS服務(wù)器。由于文件存儲(chǔ)的上述特點(diǎn)，使DICOM文件的歸檔管理產(chǎn)生數(shù)據(jù)量大、查詢緩慢的缺點(diǎn)，不利于醫(yī)療信息化發(fā)展。而HBase是一種非關(guān)系型的數(shù)據(jù)庫(kù)結(jié)構(gòu)。結(jié)合DICOM文件與HBase數(shù)據(jù)庫(kù)兩者的特點(diǎn)，利用HBase存儲(chǔ)DICOM影像文件為醫(yī)療信息共享的并行性提供了可行性方案。利用HBase進(jìn)行聯(lián)機(jī)實(shí)時(shí)查詢，為遠(yuǎn)程醫(yī)療及海量數(shù)據(jù)挖掘提供支撐。

［1］翟紅英.基于OpenGL的DICOM醫(yī)學(xué)圖像讀取和顯示王旭［J］.計(jì)算機(jī)應(yīng)用2009,29(z2):126-127.

［2］魏寒冰,葉少珍.基于云計(jì)算的醫(yī)學(xué)影像存儲(chǔ)與傳輸系統(tǒng)的設(shè)計(jì)［J］.電子技術(shù)應(yīng)用,2013,39(12): 145-148.

［3］王海飛.基于Hadoop云的數(shù)據(jù)庫(kù)營(yíng)銷海量數(shù)據(jù)處理與挖掘的研究［D］.浙江：浙江理工大學(xué), 2013.

［4］張洪磊.基于Hadoop的醫(yī)院數(shù)據(jù)中心系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［D］.浙江:浙江大學(xué),2014.

［5］劉桂蘭,王書海.云數(shù)據(jù)庫(kù)體系架構(gòu)研究分析［J］.河北省科學(xué)院學(xué)報(bào),2013,30(2):75-80.

［6］王賓.Hadoop集群的部署與管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.南京：南京大學(xué),2013.

［7］何芳.云計(jì)算平臺(tái)下海量圖像索引系統(tǒng)的研究與實(shí)現(xiàn)［D］.西安:西安電子科技大學(xué),2012.

［8］況亞萍.云計(jì)算技術(shù)在協(xié)同過(guò)濾推薦中的應(yīng)用研究［D］.北京:中國(guó)科學(xué)技術(shù)大學(xué),2014.

［9］葛秀豪.基于SaaS模式的流程引擎和規(guī)則引擎服務(wù)模型研究［D］.南京:南京郵電大學(xué),2011.

［10］張萌.基于hadoop的網(wǎng)絡(luò)安全日志審計(jì)系統(tǒng)關(guān)鍵技術(shù)研究［D］.哈爾濱:哈爾濱工程大學(xué),2013.

［11］崔力升.G/S模式下分布式文件系統(tǒng)中數(shù)據(jù)調(diào)度的應(yīng)用研究［D］.成都：成都理工大學(xué),2011.

［12］王昊.基于GPU的肝臟三維可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.沈陽(yáng)：東北大學(xué),2010.

［13］陸楊.基于多級(jí)檢索的單模態(tài)醫(yī)學(xué)影像檢索系統(tǒng)研究［D］.西安：第四軍醫(yī)大學(xué),2009.

（責(zé)任編輯張劍妹）

Li Yong-yi
（The Computer Department of Changzhi University,Changzhi Shanxi 046011）

TP392

A

1673-2014（2016）02-0036-04

2015—10—26

李永毅（1979—）男，山西長(zhǎng)治人，碩士，主要從事數(shù)字圖像處理、云計(jì)算、軟件架構(gòu)等方向研究。