蔡 靜,陳秋葉,韋瑞華,蔡光雄,劉海華
(中南民族大學生物醫(yī)學工程學院,湖北 武漢 430074)
隨著空氣污染越來越嚴重,一些常見的呼吸系統(tǒng)疾病如哮喘、慢性支氣管炎、慢性阻塞性肺疾病和肺癌等給人們帶來嚴重的損害[1]?;卺t(yī)學影像的手術導航在提高醫(yī)生手術準確率和高效性方面具有突出的優(yōu)勢,特別是在肺穿刺手術導航中,精準的分割氣道樹能有效降低手術的風險。同時,在肺癌放療計設計中,對氣道精確分割有助于提高精準治療的效果。相對于其他實體器官或者腫瘤組織的分割任務,氣道呈樹形結構具有多分枝和分叉點的尖銳形狀,受呼吸運動和成像噪聲等的影響,末端易出現斷裂,并且在細支氣管分割時因外壁較薄較模糊導致易過分割滲入相鄰的肺實質中,人工分割氣道樹是極其耗時繁瑣的[2],這些結構上的特點使得對氣道分割仍然是一項具有重要臨床意義且極具挑戰(zhàn)的研究課題。當前的氣道分割方法存在計算量大,自動分割精度有待提高的問題。為此,本文提出融合三個斷面的解剖信息,基于并行空洞卷積的淺層U-Net網絡的方法,將三個斷面的2D網絡預測的結果三維堆疊后,學習對應體素加權系數,實現2.5D融合來自動分割氣道樹,現總結如下。
1.1 資料獲取 本實驗數據集包含60例公開CT圖,其中40例來自LIDC_IDRI,20例來自EXACT09,從中隨機選取11000張氣道CT圖像用于本實驗的研究。其氣道金標準由Qin Y等[3]使用ITK-SNAP勾出基本氣道樹標簽,經訓練有素的專家手動驗證和完善并公開。該實驗研究在中南民族大學醫(yī)學信息分析與腫瘤診療實驗室完成,硬件環(huán)境為NVIDIASMI 396.26,軟件環(huán)境為anaconda 4.5.4,keras 2.1.6,網絡訓練使用Adam優(yōu)化器,學習率為10-3,訓練設置100次迭代。
1.2 方法 為了去除圖像噪聲等對細支氣管的分割干擾,采用了高斯平滑濾波的預處理。首先將橫斷面、矢狀面、冠狀面的2D胸腔CT圖片,通過淺層U-Net網絡結構[4]的卷積神經網絡,改進之處在于將原始5層下采樣改為3層,只包含2層池化層的網絡,并在最低端加入4種不同空洞率的并行空洞卷積,然后經過兩層上采樣,類似U-Net結構,將對應高維特征連接起來,最后經過一個sigmoid函數得到預測概率圖。將測試集得到的預測概率圖三維重建,經過旋轉等變換使像素位置匹配后,通過一個簡單卷積層學習三個斷面預測概率的加權系數,得到最終的分割氣道樹。
1.2.1 氣道分割方法 為了盡可能保留外周區(qū)域的細支氣管,將4層池化的U-Net網絡改成只含2個池化層,池化過程中的網絡感受野擴大以獲取更深的全局信息,在池化處理之前加入隨機丟棄率為0.5的Dropout操作[5],每次上采樣后的特征分辨率增大2倍,通過跳躍連接將全局的高層特征和低層特征融合,有助于提高類別判斷的準確性[6]。網絡結構見圖1。并行空洞卷積包含空洞率分別為2、4、8、16的空洞卷積,見圖2,用于捕捉多尺度的特征信息,隨著空洞率的增加,特征感受野相應增大,彌補了之前深層卷積導致的信息丟失。在每個分支空洞卷積后,添加一個3×3的卷積操作,在不損失特征分辨率的情況下增加了非線性因素,使網絡能夠表達更復雜的特征。輸入層大小是512×512×1,輸出是經過sigmoid激活函數的512×512×1的概率圖。
圖1 改進U-Net網絡
圖2 并行空洞卷積模塊
將測試集通過改進U-Net的氣道分割網絡預測模型得到的橫斷面預測概率圖、矢狀面預測概率圖、冠狀面預測概率圖三維重建,通過旋轉變換使三個體的體素位置一一對應,通過一層包含非線性函數ReLu的卷積層,卷積核大小為11,核數為16,將三個斷面得到的特征圖經過concatenate操作后通過一個包含sigmoid激活函數的全連接Dense層,學習每一個體素位置上,三個斷面預測概率的加權系數,通過f(x)的計算結果判定該點屬于氣道或是背景,見圖3。f(x)的函數表達式為:
式(1)中x1,x2,x3,分別表示同一體素的橫斷面預測概率、矢狀面預測概率、冠狀面預測概率;w1,w2,w3分別表示對同一體素,該模型學習到的橫斷面預測概率加權系數、矢狀面預測概率加權系數、冠狀面預測概率加權系數。如果f(x)≥0.5,則該體素判為氣道體素,否則為背景,這樣得到最終融合了三維信息的2.5D氣道樹分割圖。
圖3 融合三維信息的分割加權模型
1.2.2 算法應用效果的評價方法 為了便于與其他方法性能進行比較,采用分割相似度(DSC)、準確率(TPR)、假陽性率(FPR)三種不同的計算方式作為評價標準來評估氣道分割算法精度[3]。其定義分別如下:
式(2)中,X表示氣道金標準的標簽區(qū)域,Y表示分割網絡輸出的預測結果區(qū)域,式(3)、(4)中,TP、TN、FP、FN分別表示真正樣本(true positive)、假正樣本(false positive)、真反樣本(true negative)和假反樣本(false negative)。DSC值常用于評價分割網絡,表示分割氣道結果與金標準的相似度;TPR值表示分割正確的氣道點占整幅圖像總像素點的比例,亦即召回率;FPR反映將背景點誤判為氣道點占背景像素點的比例,亦即誤檢率。范圍在0~1,DSC值和TPR值越高表示分割結果越好,FPR值越低則表示分割結果越好。
此外,實驗中使用Dice Loss[7]作為損失函數對模型訓練過程中的誤差統(tǒng)計,Dice Loss可以很好的緩解數據不平衡的問題,這對于輸入只包含少量氣道像素的512×512×1的切片來說,目標像素占比很小,正負樣本很不平衡,可以有效的提高神經網絡學習效果,提升分割精度。Dice Loss主要用于度量兩個概率分布之間的差異。定義如下:
式(5)中,y表示氣道金標準的標簽,表示模型預測結果等于金標準的概率,預測輸出越接近真實的金標準,值越小。使用作為訓練損失函數的訓練過程見圖4。
圖4 網絡訓練過程可視化
在橫斷面、矢狀面、冠狀面方向2D切面上,本次提出的并行空洞卷積的3層U-Net(Dilated_UNet_lever3)與經典的5層U-Net(U-Net_lever5)和3層U-Net(U-Net_lever3)分割網絡比較,其在DSC、TPR、FPR等方面呈現出一定的優(yōu)勢,見表1~表3。而融合了三維信息的2.5D分割結果與未融合的三個斷面2DDilated_U-Net_lever3分割結果也表現出優(yōu)勢,見表4。三個斷面的分割效果見圖5。另外,本文權重學習的融合2.5D的分割方式與等權重融合的方式進行比較,其中DSC、FPR方面表現出一定的優(yōu)勢;且2.5D融合方式的分割效果圖與真實標簽更為接近,見圖6、表5。
表1 在橫斷面上不同的2D網絡分割結果
將本研究提出的氣道分割方法與Qin Y等[3,10]、Jin D等[8]、Juarez GU等[9]的氣道分割方法進行比較,結果顯示本方法在DSC、TPR、FPR上均具有一定優(yōu)勢,見表6。由于其他方法中未統(tǒng)計網絡參數和計算量,無法直接比較,故將經典的2D U-Net(輸入尺寸為512×512)和3D U-Net(輸入尺寸為32×32×32)網絡參數與本次2.5D網絡參數進行比較,結果顯示本次計算量最少,見表7。
表2 在矢狀面上不同的2D網絡分割結果
表3 在冠狀面上不同的2D網絡分割結果
表4 不同斷面的2D網絡分割結果
圖5 三個切面圖像在2D Dilated_U-Net_lever3分割網絡得到的預測氣道樹
圖6 等權重融合與2.5D融合分割結果及真實標簽圖
表5 不同2.5D融合方式的分割結果比較
表6 與其他氣道分割方法較
表7 不同網絡參數計算量比較
近年來,基于卷積神經網絡的方法被廣泛用于氣道分割任務中。Charbonnie JP等[11]提出基于卷積神經網絡的方法對二維氣道圖像小塊進行泄露剔除的算法,并對氣道樹進行骨架化提取。Jin D等[8]用3DFCN學習中等和小的支氣管,對輸出的概率圖與原像素進行模糊連接得到分割的氣道樹,再進行骨架細化操作移除泄露。Juarez GU等[9]用3D U-Net分割氣道塊,將輸出概率圖乘以特定函數進行處理。Meng Q等[12]利用3D U-Net分割氣道,融合梯度向量流和管狀檢測進行跟蹤延伸。雖然這些方法都可以用于圖像分割,但存在3D網絡模型計算量較大的問題。而Wei J等[6]將512×512像素大小的二維冠狀面CT切片作為改進U-Net的輸入,三維重建后得到分割氣道樹,但該方法沒有考慮氣道樹三維的重要信息,分割精度有待提高。針對這些問題,本文通過引入不同空洞率的并行空洞卷積和Dice Loss損失函數,搭建一種創(chuàng)新的2.5D氣道自動分割的卷積神經網絡模型算法,輸入胸腔CT圖像進行網絡訓練和優(yōu)化,并對分割網絡模型進行測試和評估。
本次研究顯示,本文的改進U-Net網絡在2D橫斷面、矢狀面的DSC值均高于傳統(tǒng)的UNet_lever5和U-Net_lever3,但TPR略低,FPR相差不大;冠狀面不及U-Net_lever5卻優(yōu)于UNet_lever3。但融合三維信息的2.5D分割結果的DSC值(0.935)分別比2D橫斷面、矢狀面、冠狀面的結果高,TPR也相應較高,且FPR僅略微降低。由此可知,融合三維信息能有效提高氣道樹分割精度。同時,將該融合方法與等權重融合方法進行對比發(fā)現,DSC升高,但TPR降低,FPR相差無幾。另外,將本氣道分割方法在統(tǒng)一數據集上與Qin Y等[3,10]、Jin D等[8]、Juarez GU等[9]的結果進行比較,發(fā)現本方法在DSC、TPR、FPR三個指標上均略優(yōu)于其它方法,但末端細支氣管存在斷裂。由于他們的數據集并沒有分出具體的訓練集、驗證集和測試集,因此本結果比不夠嚴謹,但已經可以證明融合2.5氣道分割方法能夠提高分割精度。同時,在網絡計算量方面,本文的2.5D網絡參數計算量少于2D和3DU-Net網絡,有效減少了臨床應用數據量大的困擾。
本研究的不足:本次改進的U-Net網絡在冠狀面的分割效果還有待提高,同時2.5D融合方式還不夠成熟,對于每例CT需要計算一次權重,這將會在未來工作中進行深入研究,尋找三個斷面像素信息的關系。
綜上所述,基于改進U-Net的2.5D氣道自動分割方法能有效提高氣道自動分割精度,降低網絡參數計算量,相對于3D氣道分割減少了內存消耗和資源浪費。