紀建兵，張景林，楊媛媛

摘? 要： 胰腺圖像的三維重建對于輔助疾病診斷具有重要意義。提出一種全自動的胰腺圖像三維重建方法，利用改進的U-Net深度學(xué)習(xí)網(wǎng)絡(luò)對圖像進行分割，并結(jié)合面繪制算法生成三維可視化模型。實驗結(jié)果表明，該方法重建準確度較高，執(zhí)行效率快，對輔助診療具有積極的作用。

關(guān)鍵詞： 胰腺; 深度學(xué)習(xí); 面繪制; 三維重建

中圖分類號：TP391.9? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-68-04

Automatic 3D reconstruction of pancreas image based on deep learning

Ji Jianbing1， Zhang Jinglin1， Yang Yuanyuan2

（1. College of Information Engineering， Fujian Business University， Fuzhou， Fujian 350012， China;

2. Department of General Surgery， Fujian Medical University Union Hospital）

Abstract： The 3D reconstruction of the pancreas images is of great significance for assisting disease diagnosis. A fully automatic 3D reconstruction method of the pancreas is proposed， which uses an improved U-Net deep learning network to segment the images， and creates a 3D visual model by surface rendering algorithm. The experiment results show that the proposed method has high reconstruction accuracy and fast execution efficiency. Therefore， it has a positive effect on assisting diagnosis and treatment.

Key words： pancreas; deep learning; surface rendering; 3D reconstruction

0 引言

胰腺癌的治療主要在于對局部腫瘤做有效的切除手術(shù)，但手術(shù)存在很大的風(fēng)險。手術(shù)前讓病人做計算機斷層掃描（Computer Tomography，CT），對掃描圖像中的胰腺器官進行三維重建，可以直觀地顯示出其立體空間結(jié)構(gòu)從而精準判定出內(nèi)部的實際情況，這對于制定出有效的治療方案以及減少因判斷失誤造成的意外具有重要作用[1]。胰腺結(jié)構(gòu)復(fù)雜、形狀多變，利用Mimics、3D Slicer等軟件工具的人工重建方式存在很大的不確定性。因此，研究胰腺圖像自動三維重建具有很強的現(xiàn)實意義，也是醫(yī)學(xué)圖像處理領(lǐng)域所關(guān)注的重要命題。

由于胰腺圖像的灰度信息難以概括出某種確定的屬性，通過閾值分割、邊緣檢測等傳統(tǒng)的圖像處理算法難以達到預(yù)期效果。近年來對胰腺圖像的自動分割研究主要以深度學(xué)習(xí)技術(shù)展開[2]，其原理是通過構(gòu)建和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)對圖像中的每一個像素進行目標和背景分類，從而完成整個序列圖像的分割。圖像分割結(jié)果僅顯示了二維層面的信息，無法全方位直觀地觀測到目標的細節(jié)，因此還需要對分割后的結(jié)果進行三維重建。面向醫(yī)學(xué)圖像的三維重建方法主要有面繪制[3]和體繪制[4]，其中體繪制方法存在計算量大、難以滿足實時性要求，而面繪制的方法只需要繪制出三維空間表面，因此成像速度快，更適合于胰腺圖像自動三維重建的需求。

本文提出基于深度學(xué)習(xí)的胰腺圖像自動三維重建工作系統(tǒng)。該系統(tǒng)利用改進的U-Net[5]深度學(xué)習(xí)網(wǎng)絡(luò)對圖像進行分割，并結(jié)合面繪制方法的移動立方體（marching cube，MC）[6]算法對分割結(jié)果進行三維重建。實驗結(jié)果表明，所提方法重建速度快，準確度較高，對手術(shù)引導(dǎo)具有積極作用。

1 基于深度學(xué)習(xí)的胰腺圖像自動三維重建

1.1 方法流程

基于深度學(xué)習(xí)的胰腺圖像自動三維重建整體流程如圖1所示。流程的關(guān)鍵節(jié)點在于圖像分割網(wǎng)絡(luò)的構(gòu)建及應(yīng)用。首先使用帶有胰腺真實標記的CT圖像數(shù)據(jù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，然后通過已訓(xùn)練網(wǎng)絡(luò)對CT圖像中的胰腺進行分割，最后將分割結(jié)果重建為三維模型。流程中對所有的CT圖像均采用統(tǒng)一的圖像增強方法進行預(yù)處理。

1.2 圖像增強

由于CT圖像采集具體流程的差異，如采集設(shè)備及技術(shù)標準的不同等因素均會對成像產(chǎn)生全局影響，因此在將圖像數(shù)據(jù)導(dǎo)入深度學(xué)習(xí)網(wǎng)絡(luò)之前，需要使用圖像增強的手段對原始圖像做必要的統(tǒng)一處理，從而改善圖像視覺效果，便于網(wǎng)絡(luò)的分析和特征提取。

本文采用的圖像增強方式有灰度歸一化和直方圖均衡化?；叶葰w一化算法為Max-Min歸一化，其本質(zhì)是將灰度值轉(zhuǎn)化為百分制的形式，可以避免過小值的像素點在深度學(xué)習(xí)網(wǎng)絡(luò)的計算中被忽略。直方圖均衡化用于調(diào)整圖像的灰階分布，通過提高圖像對比度來增強圖像細節(jié)，使網(wǎng)絡(luò)能更好地提取圖像特征。

1.3 胰腺圖像分割網(wǎng)絡(luò)

醫(yī)學(xué)圖像分割領(lǐng)域使用最為廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)是由Ronneberger等人提出的U-Net，該網(wǎng)絡(luò)通過逐級的下采樣和上采樣，并在相同的層級上加入跳躍連接使得網(wǎng)絡(luò)在最終輸出的時候能夠同時考慮淺層信息和深層信息，因此對于大部分的圖像分割任務(wù)都能產(chǎn)生良好的效果。但由于胰腺在圖像中的占比小，以及位置不固定等原因，使用U-Net對胰腺圖像分割存在特征提取不充分和存在較多冗余信息，導(dǎo)致分割結(jié)果不夠理想。

為了獲得更好的胰腺圖像分割效果，本文在U-Net的基礎(chǔ)上進行了分割網(wǎng)絡(luò)改進。首先，在卷積單元中使用了由HE等人提出的殘差連接[7]，通過將處理前后的特征信息相加形成殘差卷積塊，使得網(wǎng)絡(luò)能夠保留更多的原始胰腺特征細節(jié)，從而豐富特征提取;然后，在跳躍連接中加入了由Oktay等人提出的注意力門控模塊[8]對冗余信息進行過濾，使網(wǎng)絡(luò)能夠?qū)Ｗ⒂谝认倌繕藚^(qū)域的學(xué)習(xí);模型最后的輸出由Sigmoid函數(shù)進行歸一化，從而輸出每一像素的概率圖譜。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖2所示。

在網(wǎng)絡(luò)模型訓(xùn)練過程中，由于胰腺區(qū)域和背景區(qū)域的像素量差異大，本文使用了Dice損失[9]進行誤差計算，定義為：

[Loss=1-2×P×T+εP+T+ε]? ?⑴

其中P為網(wǎng)絡(luò)預(yù)測輸出的分類概率圖譜，[ Pi∈0，1]，T為真實標記，[T∈0，1]，[?]為極小常數(shù)的平滑項，用于避免當[P]和[T]都為0時導(dǎo)致分母為0的錯誤。

1.4 基于MC算法的胰腺圖像三維重建

通過面繪制的三維重建是根據(jù)二維圖像序列生成可視化三維物體，得到的物體表面是一個閉合的灰度等值面。因此，使用MC算法實現(xiàn)胰腺圖像三維重建需要先將分割后的片層圖像組成三維數(shù)據(jù)場，然后提取出等值面，進而繪制成三維可視化模型。算法的主要步驟是：

⑴ 將分割后的胰腺圖像序列按深度組成一個三維體數(shù)據(jù)，并將數(shù)據(jù)中兩組上下相對應(yīng)的四個頂點組成一個體元;

⑵ 通過體元中8個頂點的灰度值與給定閾值的關(guān)系狀態(tài)進行查表（見圖3），得到等值點所在的邊編號，然后在邊上進行線性插值得到等值頂點的坐標;

⑶ 用三角形將等值點連成三角面并以灰度差分法求取法向量，從而得到一個體元內(nèi)的等值面;

⑷ 把所有體元內(nèi)的等值面連接在一起，繪制出整個胰腺的三維可視化模型。

2 實驗

2.1 實驗數(shù)據(jù)

實驗在NIH胰腺公開數(shù)據(jù)集（CT-82）上進行，該數(shù)據(jù)集共有82例有效3D腹部CT數(shù)據(jù)，掃描的分辨率為512×512像素，片層厚度在1.5mm至2.5mm之間，對影像數(shù)據(jù)中的胰腺區(qū)域進行逐片層的人工標注。該數(shù)據(jù)集是公開的，可用于方法評估。實驗中將數(shù)據(jù)集解壓為二維圖像，隨機抽取70例用于模型訓(xùn)練，抽取12例用于結(jié)果評價。

2.2 評價指標

評價指標包括DSC（Dice Similarity Coefficient，集合相似度系數(shù)）、系統(tǒng)重建耗時以及與真實標記重建結(jié)果的可視化對比。其中，DSC通過網(wǎng)絡(luò)預(yù)測的分割與真實標記相交部分占總體的比值來衡量分割的準確度，以P表示算法預(yù)測結(jié)果，Y表示真實標記，則DSC定義為：

[DSC=2P∩YP+T]? ? ⑵

2.3 胰腺圖像分割結(jié)果

胰腺圖像的分割結(jié)果見表1。從表1可以看出，本文提出的分割網(wǎng)絡(luò)獲得了較高的分割準確度，且相比標準U-Net，分割的平均DSC提高了10%，最好的分割結(jié)果提高了3.49%，在最差情況下的DSC仍高出11.48%。這些數(shù)據(jù)證明了本文對U-Net的改進能夠更好的提高胰腺圖像分割的準確度。

2.4 三維重建結(jié)果

胰腺圖像自動三維重建結(jié)果與真實標記的比較如圖4所示，圖中列出了測試集中3組典型樣本（CT-82中的第69、75和第77例）的重建結(jié)果對比。在結(jié)果較好的測試樣本中（如第69例），本文方法重建結(jié)果與真實標記基本相同，且優(yōu)于使用標準U-Net的自動重建;重建結(jié)果存在的較多誤差主要在于多預(yù)測了無關(guān)的組織（如第75例），其主要原因在于網(wǎng)絡(luò)存在多分割，但相比U-Net，本文方法的改善效果明顯，重建出的三維圖像主體明確，誤差明顯減少;而對于結(jié)果較差的樣本（如第77例），誤差主要表現(xiàn)在漏掉了一部份組織，但本文方法對于局部重建效果仍有明顯改善。因此，本文方法對于不同測試樣本的重建結(jié)果與真實標記基本接近，能夠直觀反映出胰腺器官的實際情況，且三維重建結(jié)果優(yōu)于使用標準U-Net的方法，證明了本文方法的實用性。

表2中統(tǒng)計了通過兩組分割網(wǎng)絡(luò)進行自動重建的系統(tǒng)耗時。相比使用U-Net網(wǎng)絡(luò)，本文方法增加了1.2%的網(wǎng)絡(luò)大小，因此增加了少量的重建耗時，但沒有明顯影響到整個系統(tǒng)的計算效率。在效率最低的情況下，本文方法用時不到15秒即可完成整個CT樣本的自動三維重建，證明了本文方法的高效性。

3 結(jié)束語

為更好輔助胰腺疾病診斷，本文提出基于深度學(xué)習(xí)的胰腺圖像自動三維重建系統(tǒng)。利用改進的U-Net網(wǎng)絡(luò)對CT圖像中的胰腺目標進行自動分割，并結(jié)合MC算法實現(xiàn)三維重建。本文方法重建速度快，準確度較高，能夠全方位、多角度地了解胰腺結(jié)構(gòu)，對輔助醫(yī)學(xué)診療具有積極作用。重建的準確度與分割結(jié)果關(guān)系緊密，下步研究的重點是進一步提升分割的準確度。

參考文獻（References）：

[1] 周瑞泉，紀洪辰，劉榮.智能醫(yī)學(xué)影像識別研究現(xiàn)狀與展望[J].第二軍醫(yī)大學(xué)學(xué)報，2018.39（8）：917-922

[2] 曹正文，喬念祖，卜起榮，等.結(jié)合超像素和U型全卷積網(wǎng)絡(luò)的胰腺分割方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2019，31（10）：1777-1785

[3] 賀楠楠.醫(yī)學(xué)圖像三維重建面繪制算法研究[J].電腦知識與技術(shù)，2017，13（32）：210-211，213

[4] 易瑋瑋，陳子軒，徐澤楷，侯文廣.一種基于CPU的三維超聲圖像體繪制方法[J].生命科學(xué)儀器，2019，17（1）：32-36，31

[5] Ronneberger O，F(xiàn)ischer P，Brox T.U-net：Convolutional networks for biomedical image segmentation[J].CoRR abs/1505.04597（2015）

[6] rensen W E， Cline H E.Marching cubes：A high resolution 3D surface construction algorithm[J].Acm Siggraph Computer Graphics，1987，21（4）：163-169

[7] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2016：770-778

[8] OKTAY O，SCHLEMPER J，LE FOLGOC L，et al. Attention?UNet：Learning where to look for the pancreas[EB/OL].[2019-04-13].https：//arxiv.org/pdf/1804.03999.pdf.

[9] Milletari F， Navab N， Ahmadi S A. V-net： fully convolutional neural networks for volumetric medical image segmentation [C]//2016 fourth international conference on 3D vision （3DV）. New York： IEEE，2016：565-571