施冬生，李澤宇，楊佳晨，何萍

1.中國電信股份有限公司上海分公司，上海 200120；2.上海申康醫(yī)院發(fā)展中心 醫(yī)聯(lián)工程與信息化部，上海 200041；3.萬達(dá)信息股份有限公司，上海 200233

引言

近年來，影像數(shù)據(jù)急劇增長，傳統(tǒng)的存儲方式已經(jīng)無法滿足日益增長的需求，醫(yī)學(xué)影像系統(tǒng)也成為當(dāng)前研究熱點，當(dāng)前醫(yī)療影像領(lǐng)域已開始引入云計算技術(shù)，云計算技術(shù)可以通過互聯(lián)網(wǎng)或?qū)＞W(wǎng)將區(qū)域內(nèi)各醫(yī)療機構(gòu)的影像數(shù)據(jù)與設(shè)備連接起來，國內(nèi)外大中型醫(yī)療機構(gòu)多使用基于網(wǎng)格中間件的影像云資源管理形式[1-4]，實現(xiàn)醫(yī)學(xué)影像數(shù)據(jù)資源的共享與交換，但在數(shù)據(jù)存儲和影像調(diào)閱過程中仍會遇到一定問題[5-9]，打造一個高可靠、高擴展、高共享的醫(yī)療影像云資源管理系統(tǒng)已成為醫(yī)療行業(yè)發(fā)展的重點。

1 關(guān)鍵問題解析

上海申康醫(yī)院發(fā)展中心（簡稱申康中心）于2006年啟動建設(shè)了上海市級醫(yī)院區(qū)域醫(yī)療信息共享及協(xié)同服務(wù)平臺（簡稱醫(yī)聯(lián)工程），接入38家市級醫(yī)院各類HIS、PACS、CIS、LIS、RIS等系統(tǒng)，實現(xiàn)了醫(yī)院間業(yè)務(wù)數(shù)據(jù)、影像數(shù)據(jù)和管理數(shù)據(jù)的互通共享。接入影像系統(tǒng)的終端及各類工作站達(dá)12000余臺，在各醫(yī)院醫(yī)生工作站上可方便查看患者在他院的影像圖像和報告，方便醫(yī)生和患者使用手機查看檢查報告和影像資料。醫(yī)聯(lián)影像數(shù)據(jù)每年以30%增長率增加，臨床醫(yī)生和患者對于醫(yī)學(xué)影像資料的需求越來越多，對于區(qū)域醫(yī)學(xué)影像數(shù)據(jù)資源管理和平臺共享能力的要求也越來越高，對醫(yī)聯(lián)工程醫(yī)學(xué)影像業(yè)務(wù)系統(tǒng)是個巨大考驗，我們詳細(xì)分析目前存在的集中式存儲傳輸速率低和影像調(diào)閱慢兩大關(guān)鍵問題。

1.1 集中式存儲傳輸速率低

醫(yī)聯(lián)工程設(shè)計之初時采用集中式存儲方式，各醫(yī)院PACS將數(shù)據(jù)上傳到其影像前置機上，通過市政務(wù)外網(wǎng)把數(shù)據(jù)上傳到醫(yī)聯(lián)影像中心端的核心存儲中。由于不同醫(yī)院每日產(chǎn)生影像數(shù)據(jù)量的差異較大，在相同的市政務(wù)外網(wǎng)帶寬條件下，存在一部分醫(yī)院無法當(dāng)天完成影像數(shù)據(jù)的傳輸任務(wù)。例如，上海某三甲醫(yī)院A一天的影像數(shù)據(jù)量在100～170 GB左右。即使在多線程情況下，文件傳輸速率也很低（圖1），數(shù)據(jù)需要1.5 d才可以完成。無法確保所有市級醫(yī)院的影像數(shù)據(jù)及時高效地歸檔至醫(yī)聯(lián)中心端，在一定程度上導(dǎo)致醫(yī)生和患者無法及時查詢到本人影像資料。

圖1 集中式存儲方式下影像數(shù)據(jù)的上傳速率

1.2 集中式存儲影像調(diào)閱慢

醫(yī)聯(lián)工程在處理集中式存儲影像調(diào)閱時，采用DICOM圖像在各市級醫(yī)院醫(yī)生工作站瀏覽器端的加載技術(shù)，它可以是一個原始的DICOM文件，也可以是包含圖像像素值數(shù)組[10-11]。從HTML5規(guī)范來講，可使用的圖像加載方式主要為HTTP下載方式和WebSocket方式。HTTP下載方式是將一個DICOM影像數(shù)據(jù)通過一次HTTP請求直接傳輸?shù)綖g覽器中。這種方式兼容性好且實現(xiàn)較為簡單。若能使用WebSocket傳輸數(shù)據(jù)性能更好，數(shù)據(jù)安全性也更好。但是WebSocket對服務(wù)器和瀏覽器要求更高，需要更好的網(wǎng)絡(luò)和高效的存儲資源來支撐。上述兩種方式在醫(yī)聯(lián)工程影像系統(tǒng)中都有所使用，但在存儲方式?jīng)]有優(yōu)化前打開一個大小為500 M左右，100～200幅的CT圖像，需要45～60 s，影響臨床醫(yī)生的閱片效率。

2 系統(tǒng)設(shè)計與實現(xiàn)

本文提出了一種基于對象和分布式云存儲的影像云資源管理系統(tǒng)，采用對象云存儲服務(wù)（Object-Oriented Storage，OOS）和分布式存儲服務(wù)雙模式，旨在提高影像業(yè)務(wù)系統(tǒng)的調(diào)閱效率和數(shù)據(jù)存儲安全性。

2.1 OOS服務(wù)

醫(yī)聯(lián)影像云資源管理系統(tǒng)優(yōu)化采用OOS服務(wù)模式，經(jīng)實際學(xué)習(xí)與研究，不論是對于省市級區(qū)域平臺或是醫(yī)療集團，對象存儲服務(wù)都是理想的選擇，可以提高醫(yī)院端到醫(yī)聯(lián)影像中心端的訪問效率。OOS服務(wù)[12-13]是一種海量、彈性、高可靠、高性價比的存儲服務(wù)，提供了基于Web門戶、REST（Representational State Transfer）接口和存儲網(wǎng)關(guān)等多種訪問方式。用戶可以通過對象存儲提供的HTTP REST接口、應(yīng)用程序開發(fā)包（即SDK，支持多種編程語言）、存儲網(wǎng)關(guān)的NAS/SAN存儲接口、Web門戶或第三方開發(fā)的客戶端軟件，在任何地方通過IP網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行管理和訪問。OOS服務(wù)提供的REST接口與Amazon S3兼容，因此原本基于Amazon S3開發(fā)的業(yè)務(wù)可以非常輕松地與OOS對接。與Amazon S3類似，OOS也分為賬號（Service）、容器（Bucket）、對象（Object）和分片（Part）。一個賬號對應(yīng)多個容器；一個容器可以對應(yīng)無限個對象，并且可以根據(jù)對象的前綴、分隔符等進(jìn)行檢索；一個對象可以對應(yīng)多個分片；最終，一個分片對一個基礎(chǔ)的數(shù)據(jù)段（blob），存在于數(shù)據(jù)存儲層。

當(dāng)客戶端發(fā)出請求查詢某個容器或者某個容器內(nèi)的對象時，會構(gòu)造形如一般URL訪問地址的HTTP請求，因此客戶端一般會進(jìn)行DNS請求以獲得對應(yīng)的IP地址。DNS請求會發(fā)往一個OOS的DNS服務(wù)，這個服務(wù)會根據(jù)創(chuàng)建容器時選擇的站點信息返回該站點對應(yīng)的IP地址。此外，一個站點擁有多個IP地址，DNS服務(wù)會根據(jù)客戶端所在的網(wǎng)絡(luò)屬性返回最佳的IP地址，以盡可能地提高客戶端到站點的訪問體驗。OOS服務(wù)示意圖如圖2所示。

圖2 OOS服務(wù)

在數(shù)據(jù)安全方面，OOS是基于分布式哈希表（Distributed Hash Table，DHT）實現(xiàn)的，其特點在于很低的讀寫延遲和幾乎無限大的擴展性。DHT的核心思路是以對象的ID作為Key計算出一個散列值，然后根據(jù)該散列值通過查詢一個“路由表”獲得對應(yīng)的虛擬盤ID，然后根據(jù)虛擬盤ID通過查詢一個“虛擬盤à物理盤”的映射表獲得最終的物理盤。由于“路由表”和“虛擬盤à物理盤”的映射表非常小，完全可以存儲在內(nèi)存當(dāng)中，上述過程可以在一臺計算機內(nèi)部通過基于內(nèi)存的本地計算（而無須通過網(wǎng)絡(luò)請求其他服務(wù)）完成，因此定位過程非?？焖?。一旦獲得定位，則可以直達(dá)目標(biāo)物理盤對數(shù)據(jù)進(jìn)行操作。

2.2 分布式云存儲服務(wù)

醫(yī)聯(lián)影像云資源管理系統(tǒng)優(yōu)化同步也采用分布式云存儲服務(wù)模式，可以提升醫(yī)聯(lián)影像中心端內(nèi)部的存儲讀寫效率和高安全性。分布式云存儲服務(wù)[14-15]按照自下而上的層次，可以將系統(tǒng)架構(gòu)劃分為幾個層次：存儲節(jié)點層、分布式存儲層、存儲資源服務(wù)層、接口層和管理層。

（1）存儲節(jié)點層主要是指云存儲中的數(shù)據(jù)存儲設(shè)備。存儲節(jié)點層設(shè)備針對分布式存儲系統(tǒng)和云存儲業(yè)務(wù)特性進(jìn)行設(shè)計，主要用于對云存儲中用戶數(shù)據(jù)的存儲。該設(shè)備是一款高密度、高性能的云存儲節(jié)點產(chǎn)品，具有2 U和4 U兩種規(guī)格。它既具有傳統(tǒng)服務(wù)器的特性，有很高的計算能力，又具有存儲設(shè)備的特性，能夠簡化系統(tǒng)管理，可與分布式存儲系統(tǒng)良好結(jié)合，顯著降低系統(tǒng)生命周期內(nèi)的運營成本。

（2）分布式存儲層主要提供命名空間的管理、文件和目錄的分布式操作管理和存儲、對象或?qū)ο蠹墓芾砗痛鎯?、文件對象化、?shù)據(jù)和元數(shù)據(jù)的存儲、數(shù)據(jù)同步和恢復(fù)、負(fù)載均衡和數(shù)據(jù)遷移等功能，并負(fù)責(zé)提供對外接口。

（3）云存儲資源服務(wù)層為云存儲的管理和接口功能提供服務(wù)，主要提供租戶管理、對象操作、用戶管理、認(rèn)證鑒權(quán)、存儲策略管理等功能。

（4）接口層通過負(fù)載均衡和Web服務(wù)為用戶應(yīng)用系統(tǒng)及資源管平臺提供基于HTTP協(xié)議的對象存儲服務(wù)，如REST訪問接口通過接口層，針對特定用戶需求，實現(xiàn)不同的存儲服務(wù)，滿足各種終端、各種應(yīng)用的存儲接入，具體表現(xiàn)形式可包括：虛擬網(wǎng)盤、存儲網(wǎng)盤、在線備份、云端數(shù)據(jù)調(diào)用、空間租賃服務(wù)等。

（5）管理系統(tǒng)對云存儲服務(wù)方案中的云存儲節(jié)點和服務(wù)節(jié)點進(jìn)行設(shè)備管理的統(tǒng)一存儲管理，提供豐富、及時的告警信息和傳遞方式，能夠?qū)ο到y(tǒng)設(shè)備拓?fù)溥M(jìn)行展示，同時可實現(xiàn)云存儲節(jié)點的自動化部署，實現(xiàn)快速部署。

在數(shù)據(jù)安全性方面，分布式云存儲服務(wù)對象的保存是通過將對象切片后，分散到集群的服務(wù)器中。當(dāng)數(shù)據(jù)被下載時，再由存儲系統(tǒng)根據(jù)切片時的規(guī)則將切片合并還原出原對象返回給用戶。在存儲服務(wù)器內(nèi)部無法確認(rèn)切片之間的關(guān)系，因而無法識別用戶上傳的對象，以達(dá)到有效保障數(shù)據(jù)在數(shù)據(jù)中心內(nèi)的安全性。另外，通過管理系統(tǒng)實現(xiàn)業(yè)務(wù)管理和設(shè)備管理。其層次結(jié)構(gòu)圖如圖3所示。

圖3 分布式云存儲服務(wù)

2.3 系統(tǒng)架構(gòu)

由申康中心建設(shè)的醫(yī)聯(lián)工程現(xiàn)已實現(xiàn)38家市級醫(yī)院的臨床信息、檢查檢驗結(jié)果、影像云膠片、住院病案首頁等臨床信息的互聯(lián)互通互認(rèn)[16]。醫(yī)聯(lián)影像云資源管理系統(tǒng)在醫(yī)聯(lián)工程醫(yī)學(xué)影像業(yè)務(wù)系統(tǒng)的基礎(chǔ)上增加了3臺應(yīng)用服務(wù)器、3臺數(shù)據(jù)庫服務(wù)器和1臺負(fù)載均衡設(shè)備，建成一個高性能、高靈活性、高擴展性、高可靠性、先進(jìn)的硬件支撐平臺。另外，為了能夠?qū)崟r維護(hù)監(jiān)控醫(yī)療機構(gòu)資源與數(shù)據(jù)，該系統(tǒng)提供一條100 Mbps的政務(wù)外網(wǎng)專線，部署于申康醫(yī)聯(lián)數(shù)據(jù)管理中心?？傮w部署架構(gòu)如圖4所示。

圖4 影像云資源管理系統(tǒng)架構(gòu)圖

2.4 組網(wǎng)設(shè)計

根據(jù)醫(yī)聯(lián)工程醫(yī)學(xué)影像業(yè)務(wù)系統(tǒng)實際需求，醫(yī)聯(lián)影像云資源管理系統(tǒng)采用雙云存儲的服務(wù)模式，數(shù)據(jù)互為備份。云存儲服務(wù)采用電信云，提供云存儲總?cè)萘繛?506 TB（有效容量）?？紤]到數(shù)據(jù)傳輸?shù)募皶r性和安全性，在本系統(tǒng)中提供一條從存儲資源機房至申康醫(yī)療數(shù)據(jù)中心之間的互聯(lián)點對點專線，專線帶寬500 Mbps，并提供線路的冗余保護(hù)。提供額外試點接入2家醫(yī)院的云存儲管理空間總計100 TB，不占用上述1506 TB，并提供2家醫(yī)院到云主存儲中心的專線，帶寬200 Mbps，并確保線路有冗余保護(hù)。

云存儲服務(wù)二采用科技網(wǎng)提供，提供云存儲總?cè)萘繛?506 TB（有效容量），與申康醫(yī)聯(lián)數(shù)據(jù)中心之間的互聯(lián)點對點專線，帶寬是500 Mbps。存儲平臺組網(wǎng)拓?fù)淙鐖D5所示。

圖5 存儲平臺組網(wǎng)拓?fù)?/p>

具體鏈接方式是在用戶端兩端各安裝1套上聯(lián)光端機，通過不同光纜以MSP1+1保護(hù)的方式接入ISP局端，提供以太網(wǎng)光口（單模）與用戶路由器對接。以實現(xiàn)MSTP接入，從而達(dá)到保障網(wǎng)絡(luò)的安全和可靠、良好的網(wǎng)絡(luò)靈活性與可擴展性、降低用戶設(shè)備投資和減少對網(wǎng)絡(luò)的運營成本的目的[17-18]。具體網(wǎng)絡(luò)拓?fù)淙鐖D6所示。

圖6 MSTP網(wǎng)絡(luò)拓?fù)?/p>

2.5 系統(tǒng)實現(xiàn)

基于以上架構(gòu)設(shè)計和關(guān)鍵技術(shù)應(yīng)用，申康中心也構(gòu)建了一套可視化的醫(yī)聯(lián)影像云資源管理系統(tǒng)，以作為申康中心和上海38家市級醫(yī)院醫(yī)學(xué)影像數(shù)據(jù)的傳輸、存儲和調(diào)閱提供統(tǒng)一的運維管理平臺，該系統(tǒng)近期已上線試運行，構(gòu)建了醫(yī)學(xué)影像信息“一網(wǎng)統(tǒng)管”的申康醫(yī)聯(lián)模式，見圖7。

圖7 醫(yī)聯(lián)影像云資源管理系統(tǒng)的監(jiān)管界面

醫(yī)聯(lián)影像云資源管理系統(tǒng)主要包括云賬號管理、中心數(shù)據(jù)監(jiān)測、機構(gòu)數(shù)據(jù)監(jiān)測、機構(gòu)資源監(jiān)測、數(shù)據(jù)統(tǒng)計分析、信息推送；歸檔數(shù)據(jù)可視化、數(shù)據(jù)質(zhì)量報告、歸檔日志管理、歸檔記錄瀏覽、邊緣計算服務(wù)、數(shù)據(jù)采集服務(wù)、數(shù)據(jù)同步服務(wù)、數(shù)據(jù)校驗服務(wù)、自動更新服務(wù)。實現(xiàn)對醫(yī)聯(lián)在線影像數(shù)據(jù)和醫(yī)院的影像歸檔數(shù)據(jù)及邊緣計算服務(wù)節(jié)點進(jìn)行云化管理，降低存儲的運營、管理成本，將醫(yī)聯(lián)和醫(yī)院影像的云資源、服務(wù)、數(shù)據(jù)統(tǒng)一納入管理。同時，基于雙模式的醫(yī)聯(lián)云存儲作為一個多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同的工作集體，是為了應(yīng)對各醫(yī)院影像數(shù)據(jù)爆發(fā)式的增長與帶寬限制而產(chǎn)生的新型存儲系統(tǒng)。醫(yī)聯(lián)影像云資源管理系統(tǒng)也能形成系統(tǒng)優(yōu)化前后的數(shù)據(jù)分析，相同的5個線程的文件傳輸效率將前后兩種存儲方式進(jìn)行分析展示，見圖8。

圖8 優(yōu)化前后存儲效率對比

3 應(yīng)用效果分析與展望

申康中心采用了OOS服務(wù)和分布式存儲服務(wù)雙模式來優(yōu)化醫(yī)聯(lián)工程醫(yī)學(xué)影像業(yè)務(wù)系統(tǒng)，通過兩大關(guān)鍵技術(shù)應(yīng)用，成功構(gòu)建了醫(yī)聯(lián)影像云資源管理系統(tǒng)。不僅可以有效提高海量數(shù)據(jù)存儲的效率，而且能夠優(yōu)化存儲資源配置，從而大幅度提高影像數(shù)據(jù)的調(diào)閱效率。截至目前，系統(tǒng)共集中存儲了影像病例約2972萬人次，醫(yī)聯(lián)影像大數(shù)據(jù)容量累計達(dá)3.5 PB，其中影像檢查報告14872.15萬份，影像資料138.32億幅，日增常規(guī)醫(yī)學(xué)影像記錄數(shù)約34506條，日增常規(guī)醫(yī)學(xué)影像量約2096 GB，影像數(shù)據(jù)累計達(dá)3582.11 TB。影像調(diào)閱總次數(shù)高達(dá)297713次，影像調(diào)閱總?cè)藬?shù)126425人，日均調(diào)閱次數(shù)1227.48人次，日均調(diào)閱人數(shù)774.65人。從應(yīng)用效果和統(tǒng)計結(jié)果看出：首先，從縱向比較而言，在相同的市政務(wù)外網(wǎng)帶寬條件下，上海某三甲醫(yī)院A的影像數(shù)據(jù)傳輸效率從原先的18 Mbps提高到25 Mbps，文件碎片也不容易丟失，存儲速率和完整性都超過原有模式；通過對存儲的優(yōu)化，目前影像調(diào)閱只需要30 s左右即可完成加載，速度比過去至少提升30%，大大提高了醫(yī)聯(lián)影像業(yè)務(wù)系統(tǒng)的調(diào)閱效率。其次，從橫向?qū)Ρ葋砜?，本次最新采用了對象和分布式云存儲的醫(yī)聯(lián)影像云資源管理系統(tǒng)，將38家市級醫(yī)院的影像數(shù)據(jù)上傳與調(diào)閱操作動態(tài)分配在兩個云機房存儲介質(zhì)中。這種去中心化的存儲模式，可支持5～12臺的文件存儲歸檔服務(wù)器的數(shù)據(jù)上傳，最高可支持100個節(jié)點的并發(fā)，效率提升近1倍。同時，數(shù)據(jù)上傳速率也提高到25 Mbps，且每日上傳的影像總量提升至1.8～2.1 T。相較于原有集中存儲模式的最高支持50個節(jié)點并發(fā)、上傳速率僅有10～18 Mbps，無法充分利用帶寬，也導(dǎo)致大量影像文件緩存在醫(yī)院的前置機上的問題有了非常大的改變，通過存儲服務(wù)雙模式的應(yīng)用，大大提高了市級醫(yī)院影像數(shù)據(jù)上傳的效率，有效緩解了醫(yī)院前置機服務(wù)器的壓力。

可見，本文闡述的基于OOS和分布式云存儲的醫(yī)聯(lián)影像云資源管理系統(tǒng)，實現(xiàn)了對醫(yī)聯(lián)在線影像數(shù)據(jù)和醫(yī)院的影像歸檔數(shù)據(jù)及邊緣計算服務(wù)節(jié)點進(jìn)行云化管理，并將醫(yī)聯(lián)影像數(shù)據(jù)中心和市級醫(yī)院影像的云資源、服務(wù)、數(shù)據(jù)統(tǒng)一納入管理，有效提高了醫(yī)聯(lián)工程影像業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲安全性和影像調(diào)閱效率，降低存儲的運營、管理成本，其存儲方式速率更快，影像文件安全性更好，其模式也非常適合國內(nèi)各衛(wèi)生行政管理部門或集團型公立醫(yī)療機構(gòu)關(guān)于區(qū)域醫(yī)學(xué)影像中心的建設(shè)優(yōu)化與應(yīng)用實踐。

當(dāng)然，隨著影像數(shù)據(jù)急劇式增長，以及云計算、5G、邊緣計算等新技術(shù)發(fā)展，建立并高效運維一套完善、安全、可靠的區(qū)域醫(yī)學(xué)影像數(shù)據(jù)云資源管理系統(tǒng)是需要大量資金支持，也要進(jìn)行后期大量的技術(shù)維護(hù)和升級優(yōu)化，新型技術(shù)發(fā)展在醫(yī)療信息化領(lǐng)域應(yīng)用尚不成熟，這都是需全方位考慮的問題。新型信息技術(shù)的引入往往要經(jīng)歷無數(shù)次的實踐，相信在行業(yè)主管部門及信息技術(shù)人員的不斷努力和推動下，云計算等新型信息技術(shù)與區(qū)域醫(yī)學(xué)影像系統(tǒng)等醫(yī)療信息資源能深入對接與高度融合，持續(xù)促進(jìn)醫(yī)學(xué)行業(yè)朝著更好方向發(fā)展。