孔令軍，王茜雯，包云超，劉偉光

(1.金陵科技學(xué)院 網(wǎng)絡(luò)與通信工程學(xué)院，江蘇 南京 211169；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引言

醫(yī)療圖像處理已經(jīng)成為數(shù)字醫(yī)療的重要組成部分，借助圖像分割可以找到圖像中對(duì)醫(yī)生有用的部分。超聲掃描是應(yīng)用廣泛的醫(yī)療成像形式，其通過診斷和分析人體內(nèi)部的肌肉、神經(jīng)等結(jié)構(gòu)來(lái)檢測(cè)各種疾病和損傷。因此，如何對(duì)超聲圖像進(jìn)行自動(dòng)分割以獲取感興趣區(qū)域具有十分重要的意義。

與高對(duì)比度的CT和MRI相比，超聲圖像自動(dòng)分割是更具挑戰(zhàn)的任務(wù)。臂叢神經(jīng)(Brachial Plexus,BP)超聲圖像形成過程中由于電子器件的隨機(jī)擾動(dòng)，導(dǎo)致圖像變得模糊、失真從而出現(xiàn)顆粒狀紋理，降低了圖像的信噪比。此外，由于超聲圖像屬于低回聲成像，神經(jīng)元區(qū)域在圖像中不是一個(gè)突出的結(jié)構(gòu)，導(dǎo)致其目標(biāo)輪廓不明顯甚至很難被肉眼分辨。這些困難導(dǎo)致醫(yī)生很難找到神經(jīng)的確切位置從而注射藥物進(jìn)行手術(shù)。除了準(zhǔn)確地定位神經(jīng)元，BP圖像分割還必須減少假陽(yáng)性樣本的預(yù)測(cè)，這使其成為一個(gè)復(fù)雜的問題。

傳統(tǒng)圖像分割方法依靠人工手段來(lái)對(duì)圖像中的邊緣、顏色和紋理等信息進(jìn)行抽取和選擇。針對(duì)超聲圖像中的神經(jīng)分割問題，文獻(xiàn)[1]提出了一種基于高斯過程的分類方法，其中感興趣的區(qū)域由專家定義。文獻(xiàn)[2]提出了一種基于貝葉斯形狀模型的技術(shù)，并通過計(jì)算訓(xùn)練集中神經(jīng)結(jié)構(gòu)的平均形狀來(lái)初始化形狀模型。上述方法屬于非自動(dòng)圖像分割，需要專家的干預(yù)，不僅需要消耗大量的人員和精力，同時(shí)需要一定的專業(yè)知識(shí)，不能保證提取特征的有用性。

基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)是目前流行的圖像分割技術(shù)，其通過卷積操作來(lái)自主學(xué)習(xí)圖像中的特征信息，不僅節(jié)省了精力，而且提取的特征更為準(zhǔn)確。文獻(xiàn)[3]首先使用Gabor濾波器對(duì)超聲神經(jīng)圖像進(jìn)行邊緣檢測(cè)，然后使用線性二值模式提取特征，最后利用U-Net[4]進(jìn)行自動(dòng)圖像分割。文獻(xiàn)[5]采用中值濾波來(lái)抑制超聲神經(jīng)圖像中的斑點(diǎn)噪聲，并且使用密集的空洞卷積模塊和殘差多尺度池化模塊在U-Net的基礎(chǔ)上構(gòu)建成新的ResU-Net，減少了空間信息的缺失并提高了對(duì)不同尺度圖像分割的魯棒性。文獻(xiàn)[6]使用Prewitt算子對(duì)超聲神經(jīng)圖像進(jìn)行邊緣檢測(cè)，然后通過改進(jìn)的M-Net[7]進(jìn)行圖像分割。文獻(xiàn)[8]對(duì)U-Net模型進(jìn)行改進(jìn)，構(gòu)建了一個(gè)適用于臂叢神經(jīng)分割的卷積神經(jīng)網(wǎng)絡(luò)模型QU-Net。文獻(xiàn)[9]使用SegNet[10]進(jìn)行超聲圖像分割，表明了基于多次邊界增強(qiáng)的自適應(yīng)對(duì)比度增強(qiáng)算法進(jìn)行圖像預(yù)處理能夠提高模型的準(zhǔn)確率。

多數(shù)方法對(duì)超聲圖像進(jìn)行預(yù)處理以去除噪聲，給模型訓(xùn)練過程添加了不必要的步驟，因?yàn)樯疃染W(wǎng)絡(luò)能夠自適應(yīng)地學(xué)習(xí)主要特征。基于U-Net的模型雖然考慮到在解碼端通過跳躍連接來(lái)補(bǔ)充缺失的細(xì)節(jié)信息，但這些細(xì)節(jié)信息可能含有較多噪聲并且缺少明顯的位置信息。為此本文不使用任何算子進(jìn)行圖像預(yù)處理；使用EfficientNetB3[11]作為U-Net的骨干網(wǎng)；重新設(shè)計(jì)U-Net的跳躍連接，使用空洞卷積、殘差連接和最大池化操作在大的感受野上提取更加顯著的特征；使用周期欠采樣方法，即每個(gè)周期訓(xùn)練所有有目標(biāo)圖像而隨機(jī)訓(xùn)練一半無(wú)目標(biāo)的圖像，以提高模型的性能和泛化能力。

1 網(wǎng)絡(luò)設(shè)計(jì)

1.1 網(wǎng)絡(luò)編碼端

本文使用EfficientNetB3作為骨干網(wǎng)來(lái)構(gòu)建U-Net框架的編碼端，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文設(shè)計(jì)的網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall structure of the proposed network

EfficientNetB3的Stem模塊使用一個(gè)3×3的卷積層初步提取特征。Block1～7使用輕量翻轉(zhuǎn)殘差模塊(Mobile Inverted Residual Block,MB)作為基礎(chǔ)結(jié)構(gòu)，MB內(nèi)部構(gòu)造如圖2所示。

圖2 MB的內(nèi)部結(jié)構(gòu)Fig.2 Internal structure of MB

在MB內(nèi)部，設(shè)置通道擴(kuò)張率為1或6。若通道擴(kuò)張率設(shè)為6，輸入特征先經(jīng)過1×1的卷積進(jìn)行6倍的通道擴(kuò)張，否則輸入特征跳過這一層1×1卷積。MB的輸入特征或者1×1卷積層的輸出特征經(jīng)過卷積核大小為k的逐通道卷積層提取特征，k的取值為3或5，同時(shí)可以設(shè)置卷積其步長(zhǎng)為1或2。當(dāng)步長(zhǎng)為2時(shí)，逐通道卷積在提取特征的同時(shí)起到下采樣的作用。逐通道卷積輸出的特征經(jīng)過通道注意力部分對(duì)不同通道特征加權(quán)，其后依次經(jīng)過1×1卷積層和Dropout層，分別起到調(diào)整通道數(shù)和隨機(jī)失活激活值的作用。最終將整個(gè)模塊的輸入作為殘差連接與Dropout層的輸出相加。每個(gè)Block的首個(gè)MB以及通道擴(kuò)張率為1的MB不包括Dropout層和殘差連接。

1.2 帶空洞卷積的跳躍連接

(1)

(2)

(3)

(4)

F4(X)=Up2⊙Paverage⊙X，

(5)

1.3 網(wǎng)絡(luò)解碼端

如圖1所示，網(wǎng)絡(luò)的解碼模塊為De1,De2,De3和De4，其內(nèi)部運(yùn)算可表示為：

(6)

1.4 損失函數(shù)

為了解決數(shù)據(jù)集正負(fù)樣本嚴(yán)重失衡的問題，本文使用與區(qū)域相關(guān)的Dice Loss加專注于平衡正負(fù)樣本以及挖掘困難樣本的Focal Loss[12]作為總的損失函數(shù)L，具體表示如下:

L=λ1LD+λ2LF，

(7)

(8)

LF=-X×α×(1-Y)γ×lbY-(1-X)×

(1-α)×Yγ×lb(1-Y)。

(9)

針對(duì)圖像分割，X為掩模，Y為網(wǎng)絡(luò)輸出的預(yù)測(cè)圖，損失函數(shù)定義為L(zhǎng)D與LF的加權(quán)和，如式(7)所示，權(quán)重λ1和λ2均賦值為0.5。如式(8)所示，LD為Dice Loss，|X∩Y|為X和Y之間的交集，|X|和|Y|分別表示X和Y的所有元素?cái)?shù)值和。LD數(shù)值越小X和Y之間的相似度越大，反之越小。如式(9)所示，LF為Focal Loss，使用參數(shù)α和γ來(lái)調(diào)節(jié)正負(fù)樣本的權(quán)重以及困難樣本挖掘的程度，本文定義α為0.25，γ為2。

2 數(shù)據(jù)集

本文使用Kaggle競(jìng)賽[13]在2016年發(fā)布的BP超聲圖像作為數(shù)據(jù)集，樣例如圖3所示，第一行為臂叢神經(jīng)元超聲圖像；第二行為臂叢神經(jīng)元超聲圖像對(duì)應(yīng)掩模。

圖3 BP數(shù)據(jù)集樣例Fig.3 Sample of BP dataset

帶標(biāo)注的訓(xùn)練集共5 635張，其中含有2 323張有神經(jīng)元的圖像和3 312張沒有神經(jīng)元的圖像。將訓(xùn)練集按照9∶1劃分為本文實(shí)驗(yàn)的訓(xùn)練集和測(cè)試集，為了保證訓(xùn)練集與測(cè)試集數(shù)據(jù)分布相同，使訓(xùn)練集中有目標(biāo)(無(wú)目標(biāo))與測(cè)試集中有目標(biāo)(無(wú)目標(biāo))的圖像數(shù)目比同樣為9∶1。官方給出了5 508張標(biāo)簽未知的測(cè)試集，只能通過本地提交預(yù)測(cè)數(shù)據(jù)來(lái)獲得其Dice系數(shù)，故本文使用官方測(cè)試集驗(yàn)證模型的泛化能力。具體數(shù)據(jù)集劃分如表1所示。

表1 數(shù)據(jù)集劃分Tab.1 Dataset division 單位：張

3 實(shí)驗(yàn)與分析

本文在NVIDIA GeForce GTX 1 080 12 GB服務(wù)器上進(jìn)行實(shí)驗(yàn)，所有實(shí)驗(yàn)的配置相同，具體參數(shù)設(shè)置為：周期為200，批次大小為4，優(yōu)化器采用Adam[14],學(xué)習(xí)率為0.000 1，輸入尺寸為320 pixel×320 pixel×3 pixel。同時(shí)本文使用數(shù)據(jù)增強(qiáng)技術(shù)來(lái)防止過擬合問題，包括水平翻轉(zhuǎn)和隨機(jī)平移縮放。

本文首先在BP超聲數(shù)據(jù)集上對(duì)U-Net、U-Net++[15]、M-Net、用EfficientNetB3作為U-Net骨干網(wǎng)的模型1和用EfficientNetB3作為U-Net骨干網(wǎng)并含有空洞跳躍連接的模型2進(jìn)行評(píng)估，結(jié)果如表2所示。

表2 模型性能對(duì)比實(shí)驗(yàn)結(jié)果Tab.2 Comparative experimental results of model performance

從表2可以看到，傳統(tǒng)U-Net、U-Net++和M-Net中，M-Net有最高的Dice系數(shù)，U-Net++有更好的IoU值，U-Net的泛化性能出色。模型1在測(cè)試集上的Dice系數(shù)和IoU值以及在官方測(cè)試集上的Dice系數(shù)均高于以上傳統(tǒng)模型，分別達(dá)到了0.696 0,0.653 0和0.677 4，表明使用EfficientNetB3代替U-Net的骨干網(wǎng)可以提高模型的性能。而模型2的性能又好于模型1，其在測(cè)試集上的Dice系數(shù)和IoU值分別達(dá)到了0.708 0和0.669 0，比模型1分別高出了1.2%和1.6%；在官方測(cè)試集上的Dice系數(shù)達(dá)到了0.681 4，比模型1高出了0.4%，表明帶有空洞卷積的跳躍連接能夠提高模型性能和泛化能力。

圖4為5種對(duì)比模型的部分測(cè)試預(yù)測(cè)圖，第一列為BP超聲原圖，第二列為掩模，第三列為模型2預(yù)測(cè)圖，第四列為模型1預(yù)測(cè)圖，第五列為M-Net預(yù)測(cè)圖，第六列為U-Net預(yù)測(cè)圖，第七列為U-Net++預(yù)測(cè)圖。從圖中可以看出，模型1和模型2與掩模的形狀更加相似，邊緣更加平滑。

圖4 不同模型的預(yù)測(cè)結(jié)果Fig.4 Prediction results of different models

圖5 特征和特征可視化結(jié)果Fig.5 Visualization results of feature

為了防止模型過分依賴負(fù)樣本特征，對(duì)模型1和模型2使用周期欠采樣技術(shù)，并與不使用欠采樣的模型對(duì)比，結(jié)果如表3所示。從表3可以看出，使用周期欠采樣訓(xùn)練得到的模型1和2均有更好的性能。與模型1相比，模型2的性能提高更多，其在測(cè)試集上Dice系數(shù)和IoU值均提高了2.67%，在官方測(cè)試集上的Dice系數(shù)提高了0.39%，表明周期欠采樣方法能提高模型的性能同時(shí)增強(qiáng)其泛化能力。

表3 欠采樣對(duì)模型性能影響的實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of the effect of undersampling on model performance

本文在表現(xiàn)最好的模型2上進(jìn)行消融實(shí)驗(yàn)來(lái)說(shuō)明所選損失函數(shù)的有效性，消融實(shí)驗(yàn)結(jié)果如表4所示。

表4 損失函數(shù)對(duì)模型性能影響的實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of the effect of loss function on model performance

從表4可以看出，單獨(dú)使用Dice Loss比單獨(dú)使用Focal Loss有更好的效果。相比于單獨(dú)使用Dice Loss和Focal Loss，同時(shí)使用Dice Loss和Focal Loss有更好的性能，在測(cè)試集上的Dice系數(shù)分別提升了1.13%和4.19%。

4 結(jié)束語(yǔ)

本文使用EfficientNetB3代替?zhèn)鹘y(tǒng)U-Net的骨干網(wǎng)構(gòu)造了一個(gè)新的語(yǔ)義分割模型，并在跳躍連接上設(shè)計(jì)使用空洞卷積來(lái)提取特征。在BP超聲圖像的實(shí)驗(yàn)結(jié)果表明，帶空洞卷積的跳躍連接能夠抑制噪聲并獲取位置信息，同時(shí)本文設(shè)計(jì)的網(wǎng)絡(luò)在測(cè)試集上有更好的性能和泛化能力。周期欠采樣方法能夠解決正負(fù)樣本失衡的問題，而且可以提高性能和泛化能力的效果。由于模型的Dice系數(shù)與IoU值都較低，在實(shí)際應(yīng)用中只能將其作為醫(yī)生的輔助診斷工具，還無(wú)法實(shí)現(xiàn)完全沒有人工干預(yù)的分割。

獲取更多人工標(biāo)注的臂叢超聲圖像，并進(jìn)行有監(jiān)督的模型訓(xùn)練以獲取更好的性能是未來(lái)進(jìn)一步的工作。