馬思然，楊媛媛，倪揚(yáng)帆，顧軼平

(1.中國科學(xué)院上海技術(shù)物理研究所 醫(yī)學(xué)影像信息學(xué)實(shí)驗(yàn)室，上海 200083；2.中國科學(xué)院大學(xué)，北京 100049)

0 引言

在全球絕大多數(shù)國家，肺癌的發(fā)病率和死亡率均居首位，目前肺結(jié)節(jié)的診斷方式主要是由專業(yè)的放射科醫(yī)師進(jìn)行 CT 影像篩查，這種方式不僅具有很強(qiáng)的主觀性，而且會產(chǎn)生視覺疲勞，嚴(yán)重影響肺部疾病診斷的準(zhǔn)確率[1]。

在醫(yī)學(xué)影像研究及應(yīng)用領(lǐng)域，人工智能(Artificial Intelligence， AI)占據(jù)著越來越重要的位置，其在肺結(jié)節(jié)方面的進(jìn)展最為迅速。神經(jīng)網(wǎng)絡(luò)提高了CT圖像檢測與分類的各項(xiàng)指標(biāo)，比如特異性、敏感性及精確度，可以準(zhǔn)確快速地分析影像以確診疾病，并且不受主觀因素影響?；谏疃葘W(xué)習(xí)的計(jì)算機(jī)輔助診斷技術(shù)在肺部疾病檢測和診斷方面發(fā)揮越來越重要的作用[2]。

三維重建是醫(yī)學(xué)影像可視化的主要技術(shù)，該技術(shù)通過二維切片序列重建出組織、器官的完整三維模型，能為臨床診斷、外科手術(shù)、放射治療等醫(yī)學(xué)應(yīng)用提供重要支撐[3]。

肺結(jié)節(jié)智能檢測和三維可視化系統(tǒng)，即IDVS-N(Intelligent Detection and Visualization System of Nodule)將PACS(Picture Archiving and Communication System)影像系統(tǒng)、DICOM(Digital Imaging and Communications in Medicine)圖像調(diào)閱平臺[4]、人工智能肺結(jié)節(jié)檢測技術(shù)以及三維可視化處理平臺[5]有效整合，提供肺結(jié)節(jié)自動檢測功能以及完整、準(zhǔn)確的三維結(jié)節(jié)圖像，多角度、多層次的展示組織區(qū)域內(nèi)部的細(xì)節(jié)信息，從而提高診斷效率和質(zhì)量，為臨床決策提供幫助。

1 系統(tǒng)架構(gòu)、功能及原理

1.1 系統(tǒng)架構(gòu)

IDVS-N系統(tǒng)以國際相關(guān)技術(shù)標(biāo)準(zhǔn)(DICOM、IHE XDS-I等)和實(shí)驗(yàn)室相關(guān)的醫(yī)學(xué)影像云平臺[4]設(shè)計(jì)為理論指導(dǎo)，以已掌握的關(guān)鍵技術(shù)[6-7]為基礎(chǔ)設(shè)計(jì)和實(shí)現(xiàn)。系統(tǒng)采用B/S三層體系結(jié)構(gòu)：表示層、業(yè)務(wù)邏輯層、和數(shù)據(jù)訪問層。表示層包含兩個(gè)前端界面，分別是圖像調(diào)閱界面和三維可視化界面；業(yè)務(wù)邏輯層提供包括肺結(jié)節(jié)智能檢測、圖像顯示處理以及三維可視化服務(wù)；數(shù)據(jù)訪問層提供DICOM通信和圖像管理服務(wù)。數(shù)據(jù)庫采用PostgreSQL9.4進(jìn)行系統(tǒng)中數(shù)據(jù)的存儲與管理。系統(tǒng)架構(gòu)圖如圖1所示，各模塊之間使用消息中間件進(jìn)行任務(wù)分配和訂閱。

圖1 系統(tǒng)架構(gòu)圖

1.2 系統(tǒng)功能及原理

肺結(jié)節(jié)智能檢測和三維可視化系統(tǒng)基于Java和Python語言開發(fā)，針對肺部疾病診斷的特點(diǎn)，構(gòu)建了深度學(xué)習(xí)網(wǎng)絡(luò)檢測肺結(jié)節(jié)，采用光線投射算法對檢測結(jié)果進(jìn)行三維重建，在網(wǎng)頁中可視化地顯示肺部結(jié)節(jié)模型，終端用戶使用任意瀏覽器即可進(jìn)行訪問。其各模塊功能如下：

1)DICOM通信和圖像管理。實(shí)現(xiàn)DICOM標(biāo)準(zhǔn)的通信，如C-ECHO， C-STORE SCP/SCU， C-FIND SCP， C-MOVE SCP/SCU等；負(fù)責(zé)DICOM圖像文件的管理，包括接收、存儲、發(fā)送等；同時(shí)負(fù)責(zé)肺結(jié)節(jié)檢測結(jié)果管理。

2)智能檢測。使用多通道的三維卷積神經(jīng)網(wǎng)絡(luò)對CT圖像進(jìn)行肺結(jié)節(jié)檢測，檢測結(jié)果包括結(jié)節(jié)位置、直徑以及結(jié)節(jié)周圍圖像矩陣。

3)圖像顯示處理。采用已有的醫(yī)學(xué)影像云平臺自適應(yīng)圖像傳輸技術(shù)[4]，為前端頁面提供圖像顯示配置、圖像索引服務(wù)、圖像文件提取服務(wù)、圖像操作服務(wù)、圖像頭文件解析服務(wù)等等。

4)三維可視化。使用VTK可視化工具包[8]完成圖像矩陣導(dǎo)入和基于光線投射算法的結(jié)節(jié)區(qū)域體繪制功能。

用戶登錄肺結(jié)節(jié)智能檢測和三維可視化系統(tǒng)后，點(diǎn)擊查詢病人圖像，服務(wù)端的DICOM通信和圖像管理模塊讀取DICOM系列圖像，解析和本地存儲后調(diào)用智能檢測處理模型，輸出肺結(jié)節(jié)坐標(biāo)及結(jié)節(jié)圖像矩陣，通過圖像顯示處理服務(wù)在前端顯示圖像并標(biāo)注肺結(jié)節(jié)位置。點(diǎn)擊菜單欄3D按鈕將跳轉(zhuǎn)至三維重建頁面，啟動三維可視化服務(wù)。

2 系統(tǒng)設(shè)計(jì)

2.1 肺結(jié)節(jié)智能檢測模型構(gòu)建

在眾多肺結(jié)節(jié)人工智能檢測的研究中，常常采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)對醫(yī)學(xué)圖像進(jìn)行識別，這是一種具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，可以應(yīng)用于大型圖像處理[9]。

而應(yīng)用CNN識別單張的病灶圖片，不能全面地考慮到多張連續(xù)圖片中病灶的聯(lián)系[10]，也不符合臨床醫(yī)生的診斷要求。為有效地整合病灶橫跨多個(gè)連續(xù)圖片的相關(guān)信息，本文構(gòu)建了一種多通道的三維卷積神經(jīng)網(wǎng)絡(luò)來提取圖像特征。

多通道的三維神經(jīng)網(wǎng)絡(luò)不僅能檢測三維的醫(yī)學(xué)影像數(shù)據(jù)，而且多尺度的提取圖像特征比起單一網(wǎng)絡(luò)可以增加檢測的準(zhǔn)確度。

2.1.1 數(shù)據(jù)集

我們使用公共數(shù)據(jù)集LUNA16[11]作為我們的研究數(shù)據(jù)集，包括888例患者的低劑量計(jì)算機(jī)斷層掃描。從中隨機(jī)抽取的88例患者的CT數(shù)據(jù)作為測試集，除測試集以外的數(shù)據(jù)作為訓(xùn)練集和驗(yàn)證集。共標(biāo)記出1 187個(gè)結(jié)節(jié)樣本。用于訓(xùn)練和驗(yàn)證的數(shù)據(jù)集中有970個(gè)結(jié)節(jié)樣本。我們通過數(shù)據(jù)擴(kuò)充的方法將數(shù)據(jù)擴(kuò)充了10倍左右，在收集的全部數(shù)據(jù)中，隨機(jī)選取10%的數(shù)據(jù)作為驗(yàn)證集。

2.1.2 數(shù)據(jù)預(yù)處理

預(yù)處理主要包括:分辨率標(biāo)準(zhǔn)化和圖像壓縮，三維CT影像由于掃描機(jī)器的差別以及掃描厚度的差異，分辨率不一而足，因此我們考慮采用三維插值的方法對三維CT數(shù)據(jù)在不同方向[12]的分辨率進(jìn)行標(biāo)準(zhǔn)化。另一方面，由于原始CT圖像數(shù)據(jù)量大，平均每例切片厚度為1.25毫米的三維CT數(shù)據(jù)能達(dá)到132 MB，在訓(xùn)練過程中，極易造成內(nèi)存泄漏。因此，需要對CT圖像進(jìn)行壓縮，經(jīng)過壓縮后的圖像為8位灰度圖像。

2.1.3 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的多通道三維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，模型共分為兩層，第一層為卷積層，第二層為級聯(lián)層。卷積層負(fù)責(zé)在原始的輸入上進(jìn)行特征提取，該層由3個(gè)網(wǎng)絡(luò)通道組成。在卷積運(yùn)算中，第一次卷積可能只能提取一些低級的特征如邊緣、線條和角等層級，而更深度的網(wǎng)絡(luò)能從低級特征中迭代提取更復(fù)雜的特征，因此，為了獲得更好的訓(xùn)練效果，我們考慮加深網(wǎng)絡(luò)的深度。但在卷積神經(jīng)網(wǎng)絡(luò)中，在不斷加深網(wǎng)絡(luò)的深度時(shí)，準(zhǔn)確率會先上升然后達(dá)到飽和，再持續(xù)增加深度則會導(dǎo)致準(zhǔn)確率下降?？紤]到這一限制，我們選擇在每一個(gè)網(wǎng)絡(luò)通道中設(shè)置3個(gè)RetNet網(wǎng)絡(luò)分別對數(shù)據(jù)進(jìn)行訓(xùn)練并輸出，ResNet的殘差模塊學(xué)習(xí)方法能有效地解決深層次網(wǎng)絡(luò)訓(xùn)練中的退化問題[13]。最后，級聯(lián)層負(fù)責(zé)將3個(gè)不同網(wǎng)絡(luò)通道的輸出進(jìn)行級聯(lián)，從而得到最終的特征。

圖2 多通道網(wǎng)絡(luò)模型結(jié)構(gòu)

2.1.4 模型訓(xùn)練

將壓縮及標(biāo)準(zhǔn)化后的三維數(shù)據(jù)塊輸入多通道網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在最后通過合并3個(gè)不同的網(wǎng)絡(luò)通道的輸出合并得到最終的特征，輸出結(jié)果定量化的表示為疑似結(jié)節(jié)的位置及直徑。我們選用Focal loss作為分類損失函數(shù)[14]，F(xiàn)ocal loss計(jì)算公式如下：

(1)

公式中的y是分類標(biāo)簽，yt為網(wǎng)絡(luò)輸出。通過參數(shù)α和γ來控制權(quán)重的調(diào)整。本研究中的權(quán)重參數(shù)α=0.5，γ=2。

2.2 肺結(jié)節(jié)三維重建可視化

在以往的研究中，無論是肺結(jié)節(jié)手動標(biāo)注系統(tǒng)還是自動檢測系統(tǒng)，大都選擇在二維圖片上標(biāo)注結(jié)果，而檢測結(jié)果的三維重建模型則需要在其他的軟件中查看，比如ITK-SNAP，不僅操作步驟繁瑣，而且時(shí)間花銷也很大。為了進(jìn)一步挖掘醫(yī)療數(shù)據(jù)，使得用戶能夠更加直觀的觀察肺部病灶，為用戶提供更多的疾病信息，輔助醫(yī)生進(jìn)行臨床診斷。本系統(tǒng)設(shè)計(jì)提供了肺結(jié)節(jié)三維重建功能，直接在瀏覽器中提供檢測出的肺結(jié)節(jié)三維模型。

體繪制能夠保存三維空間的細(xì)節(jié)信息，模型成像質(zhì)量高，因此我們選用體繪制來重建結(jié)節(jié)模型。光線投射算法(Ray Casting)是常用的體繪制算法。該算法的原理是以屏幕的第一個(gè)像素為原點(diǎn)，發(fā)出一條射線，按照射線方向進(jìn)行采樣，然后根據(jù)由前向后或者由后向前的順序，對射線上的每個(gè)采樣點(diǎn)計(jì)算物質(zhì)發(fā)光強(qiáng)度I，不透明度O以及顏色α，最后繪制像素[15]。采樣點(diǎn)的計(jì)算順序，可以分為由前向后，公式如下：

Iout=Iin+(1-αin)αiCi

(2)

αout=αin+αi(1-αin)

(3)

和由后向前，公式如下：

Iout=Ciαi+Iin(1-αi)

(4)

我們選用可視化工具包(Visualization Toolkit，VTK)來進(jìn)行開發(fā)，它是一個(gè)開源的、跨平臺的免費(fèi)軟件，可用于三維計(jì)算機(jī)圖形、建模、圖像處理、體繪制、科學(xué)可視化和二維繪圖。它支持多種可視化算法和高級建模技術(shù)，并分別利用線程和分布式內(nèi)存并行處理的速度和可擴(kuò)展性。

VTK體繪制渲染流程如圖3所示，我們首先導(dǎo)入結(jié)節(jié)圖像矩陣，解析后將圖像數(shù)據(jù)傳入光線投射映射器，在映射器中通過光線投射算法進(jìn)行三維重建，然后將經(jīng)過重建的三維數(shù)據(jù)載入體繪制對象，最后將體繪制對象存入渲染器并在渲染窗口顯示。

圖3 體繪制渲染流程

在光線投射映射器中，為了得到最好的繪制效果，我們需要在屬性中設(shè)置以下傳遞函數(shù)：(1)不透明度傳遞函數(shù)。該函數(shù)用于設(shè)置各體素繪制時(shí)的不透明程度，范圍在0到1之間，0表示完全透明，1表示完全不透明；(2)顏色傳遞函數(shù)。該函數(shù)用于設(shè)置體素的繪制顏色，可按照RGB顏色標(biāo)準(zhǔn)設(shè)定。

由于醫(yī)學(xué)影像的灰度級與人體組織部位一一對應(yīng)，通過對各級人體組織對應(yīng)的灰度范圍設(shè)定相應(yīng)的不透明度值，就可以在繪制時(shí)，使得該組織呈現(xiàn)透明或不透明的效果。根據(jù)這一理論，我們經(jīng)過多次實(shí)驗(yàn)，得出結(jié)節(jié)模型繪制效果最優(yōu)的傳遞函數(shù)參數(shù)設(shè)置，如圖4所示。

圖4 傳遞函數(shù)參數(shù)設(shè)置

3 系統(tǒng)測試及分析

3.1 測試環(huán)境

本文模仿醫(yī)院應(yīng)用場景，在局域網(wǎng)環(huán)境下搭建肺結(jié)節(jié)智能檢測和三維可視化系統(tǒng)。服務(wù)器部署環(huán)境選擇Ubuntu Linux 64bit操作系統(tǒng)，配備GeForce GTX 970 GPU顯卡。前端選擇Windows 10 64-bit操作系統(tǒng)，使用Chrome瀏覽器進(jìn)行測試。

3.2 智能檢測模型性能測試及分析

為了驗(yàn)證多通道網(wǎng)絡(luò)相比于單一尺度檢測網(wǎng)絡(luò)以及其他多尺度檢測方法的優(yōu)越性，本文使用了單通道殘差網(wǎng)絡(luò)、特征金字塔(FPN)網(wǎng)絡(luò)[16]與多通道網(wǎng)絡(luò)進(jìn)行對比試驗(yàn)。3種網(wǎng)絡(luò)在同一測試集及相同網(wǎng)絡(luò)參數(shù)的設(shè)置下肺結(jié)節(jié)檢測準(zhǔn)確率如表1所示。

表1 各網(wǎng)絡(luò)組成情況及在測試集上的準(zhǔn)確率

從表中的數(shù)據(jù)可以看出相比FPN和單通道網(wǎng)絡(luò)，多通道網(wǎng)絡(luò)對于肺結(jié)節(jié)檢出準(zhǔn)確率性能最好，達(dá)到了84.8%，也能滿足日常檢測需要，因此系統(tǒng)采用多通道網(wǎng)絡(luò)作為檢測網(wǎng)絡(luò)。

為了研究該網(wǎng)絡(luò)的預(yù)測性能，我們設(shè)置了幾個(gè)參數(shù)對其進(jìn)行評估，即檢查每個(gè)三維CT的靈敏度、耗時(shí)和每次掃描的假陽性率。在實(shí)驗(yàn)中，我們分別使用分辨率為1、1.5、2 (mm/pixel)的三維CT數(shù)據(jù)進(jìn)行檢測，測量結(jié)果如表2所示。

表2 不同分辨率下多通道網(wǎng)絡(luò)檢測結(jié)果

在統(tǒng)計(jì)檢測結(jié)果過程中，將每個(gè)預(yù)測值與標(biāo)號進(jìn)行比較。如果預(yù)測值在實(shí)際結(jié)節(jié)范圍內(nèi)，我們將其標(biāo)記為真陽性樣本，否則為假陽性樣本。當(dāng)預(yù)測結(jié)果沒有一個(gè)在實(shí)際結(jié)節(jié)范圍內(nèi)時(shí)，就會出現(xiàn)一個(gè)假陰性樣本。

從表2可以看出，當(dāng)分辨率降低時(shí)，預(yù)測的靈敏度明顯降低。然而，假陽性率和平均耗時(shí)也同時(shí)減少。當(dāng)我們使用高分辨率圖像進(jìn)行掃描時(shí)，需要200多秒。然而，在低分辨率情況下，進(jìn)行預(yù)測只需要大約20秒。如果我們考慮增加靈敏度，會增加假陽性率和平均時(shí)間消耗，兩者是相互制約的。在未來的研究中，我們將在保證靈敏度的前提下進(jìn)一步降低預(yù)測的假陽性率。

3.3 系統(tǒng)響應(yīng)時(shí)間測試及分析

IDVS-N系統(tǒng)在實(shí)驗(yàn)室搭建的環(huán)境下，采用測試集圖像進(jìn)行測試。測試結(jié)果如表3所示。

表3 系統(tǒng)各模塊響應(yīng)時(shí)間

由表3可以看出，用戶能在230s內(nèi)通過瀏覽器調(diào)閱標(biāo)注了檢測結(jié)果的圖像和肺結(jié)節(jié)三維重建模型，滿足應(yīng)用需求。通過比較系統(tǒng)對不同分辨率圖像的響應(yīng)可以發(fā)現(xiàn)，分辨率高的圖像數(shù)據(jù)量大，系統(tǒng)檢測時(shí)間遠(yuǎn)遠(yuǎn)高于分辨率低的圖像，但圖像調(diào)閱與重建時(shí)間沒有太大差距。而在實(shí)際的應(yīng)用場景中，對高分辨率圖像的檢測更為常見與重要，因此，如何提高高分辨率圖像的檢測效率是我們以后的研究中需要考慮的問題。

3.4 顯示效果

如圖5所示，進(jìn)入測試圖像的調(diào)閱界面，瀏覽器默認(rèn)顯示2*2窗口，每個(gè)視圖窗口顯示一個(gè)系列的圖像，通過滾動條查看系列圖像，同時(shí)肺結(jié)節(jié)檢測結(jié)果以綠色矩形框進(jìn)行標(biāo)注。視圖窗口4個(gè)角落分別顯示檢查時(shí)間、病人姓名、窗位、窗寬等頭文件信息。選定一個(gè)結(jié)節(jié)標(biāo)注框，點(diǎn)擊界面上方工具欄的3D按鈕，進(jìn)入該序列DICOM圖像三維重建界面。如圖6所示，進(jìn)入選定結(jié)節(jié)的三維重建頁面，窗口顯示結(jié)節(jié)區(qū)域的體繪制模型，用戶可以通過旋轉(zhuǎn)、縮放、平移等一系列操作從不同角度觀察三維模型。

圖6 三維重建界面

由顯示效果可以看出，IDVS-N系統(tǒng)能清晰地在原始圖像上標(biāo)注疑似肺結(jié)節(jié)，同時(shí)能提供完整、逼真的三維結(jié)節(jié)圖像，多角度、多層次的展示組織區(qū)域內(nèi)部的細(xì)節(jié)信息，且用戶能對三維模型進(jìn)行旋轉(zhuǎn)、縮放等交互操作，基本滿足設(shè)計(jì)要求。但三維重建功能也存在一定缺陷，比如對于一些與肺壁相連的結(jié)節(jié)，由于周圍軟組織沒有去除，重建效果不太理想，為了解決這一問題，我們還需要做進(jìn)一步的肺結(jié)節(jié)圖像分割研究，實(shí)現(xiàn)更好的重建效果。

4 結(jié)束語

肺結(jié)節(jié)智能檢測與三維可視化系統(tǒng)(IDVS-N)，將基于人工智能的肺結(jié)節(jié)檢測技術(shù)與三維重建技術(shù)進(jìn)行結(jié)合。采用Web可視化界面完成肺結(jié)節(jié)自動檢測和三維可視化，具有操作簡便、可跨平臺的特點(diǎn)，能夠幫助提高肺部疾病診斷效率和準(zhǔn)確率，減輕臨床醫(yī)生閱片的壓力。本文對基于人工智能的肺結(jié)節(jié)檢測技術(shù)和DICOM三維重建技術(shù)的融合應(yīng)用做了初步的探索，進(jìn)一步的研究需要解決如下兩個(gè)問題：1)對于分辨率高的圖片檢測效率還有待提高；2)結(jié)節(jié)沒有進(jìn)行分割，區(qū)域圖像可能有其他組織粘連，導(dǎo)致重建效果不太理想等等。當(dāng)上述問題解決后，將更有利于人工智能技術(shù)的臨床應(yīng)用，能更切實(shí)地幫助醫(yī)生對病情做出準(zhǔn)確判斷。