金順楠,周迪斌,何 斌,顧靜軍

1（杭州師范大學(xué) 杭州國際服務(wù)工程學(xué)院,杭州 311121）

2（杭州三壇醫(yī)療有限公司,杭州 310018）

3（浙江大學(xué),杭州 310058）

脊柱是人體不可或缺的重要組成部分,上聯(lián)顱骨,下聯(lián)髖骨,具有支持軀干,保護脊髓、內(nèi)臟的重要功能.隨著人們生活節(jié)奏加快、工作壓力繁重,脊柱疾病患者呈現(xiàn)出年輕化的趨勢,脊柱疾病的預(yù)防和治療越來越重要.脊柱解剖結(jié)構(gòu)復(fù)雜、邊界形狀復(fù)雜,計算機斷層成像技術(shù)（CT）因成像快、分辨率高且能清晰呈現(xiàn)三維空間結(jié)構(gòu),而廣泛地用于脊柱相關(guān)疾病的臨床分析、診斷和計算機輔助治療.

計算機圖像輔助診斷技術(shù)的引入,可將脊柱CT成像中每幀圖像的骨骼區(qū)域分割出來,結(jié)合三維重建將二維的數(shù)據(jù)三維化呈現(xiàn)出立體的影像,給醫(yī)生提供病人脊柱姿態(tài)的豐富信息.醫(yī)生能更加直觀地對病人病變區(qū)進行觀察與剖析,這對于提高脊柱疾病治療的效率和成功率具有重要的推動作用.圖像感興趣區(qū)域的分割是計算機提供診斷輔助的基礎(chǔ),而醫(yī)學(xué)CT圖像數(shù)據(jù)量大,信噪比低,病人之間的差異性大等特點,使其圖像分割問題與一般的圖像相比,面臨更多的課題和挑戰(zhàn).

早期的CT圖像脊柱分割大多以基于先驗知識和圖像信息的傳統(tǒng)分割算法為主,Yao等[1]采用設(shè)置骨密度閾值獲取初始脊柱分割,并分段擬合椎體模型對椎體進行精分割,但分割結(jié)果不能呈現(xiàn)更細化的骨結(jié)構(gòu).Huang等[2]提出了一種基于邊緣和區(qū)域水平集的方法用于椎骨分割,通過提取圖像的梯度信息和局部特征,能夠減小邊界模糊對分割結(jié)果的影響.Li等[3]提出一種基于區(qū)域相關(guān)性的自動初始化水平集方法用于腰椎CT圖像分割,結(jié)合形態(tài)學(xué)濾波器和高斯混合模型,該方法能提取到相對精確的輪廓邊界.傳統(tǒng)算法一般需要人為干預(yù),處理過程較為繁瑣,不能做到完全的自動分割.同時為了保證臨床手術(shù)實施的安全性,圖像引導(dǎo)的脊柱手術(shù)通常需要極高的精度,但由于脊柱骨形狀和結(jié)構(gòu)的復(fù)雜變化,傳統(tǒng)的圖像分割方法在分割精度上并不滿足要求.

近年來,計算機視覺技術(shù)飛速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)強大的非線性特征提取能力在一系列圖像處理任務(wù)中取得了突出的表現(xiàn).如何以最先進的技術(shù)為現(xiàn)代醫(yī)學(xué)的進步提供動力,成為計算機科學(xué)和醫(yī)學(xué)研究者的探究熱點.郭樹旭等[4]將全卷積神經(jīng)網(wǎng)絡(luò)引入腹部CT肝臟分割,通過卷積神經(jīng)網(wǎng)絡(luò)進行特征提取和特征映射,使其分割結(jié)果具有較高的精度.劉忠利等[5]將卷積-反卷積結(jié)構(gòu)網(wǎng)絡(luò)模型引入脊柱CT分割,實驗證明該方法有較高的實時性和準確性.王亞剛等[6]將深度殘差網(wǎng)絡(luò)引入U-Net網(wǎng)絡(luò)實現(xiàn)股骨的自動分割,避免了欠分割與過分割問題,提升了分割效率與精度.李賢等[7]將3D全卷積網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)應(yīng)用于脊柱CT分割,獲得了較高的分割精度.采用數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)分割方法已在圖像算法領(lǐng)域取得了顯著成就,但醫(yī)學(xué)圖像的分割追求著更高的分割準確率和分割效率.

本文基于深度學(xué)習(xí)理論與方法,結(jié)合對生物醫(yī)學(xué)圖像特征的分析,提出一種以U-Net上下采樣層跳躍拼接結(jié)構(gòu)為主框架,以多尺度殘差塊為基礎(chǔ)模塊,引入注意力機制自適應(yīng)關(guān)注目標特征的分割網(wǎng)絡(luò)模型.該網(wǎng)絡(luò)能結(jié)合圖像的多尺度特征提高分割精度,同時較低的參數(shù)計算量不會影響模型的訓(xùn)練速度.實驗表明,該網(wǎng)絡(luò)能實現(xiàn)脊柱CT的全自動分割,且相較于其他相似的經(jīng)典深度模型,同等環(huán)境下該改進模型的準確率和準確效率均有較明顯的提高.

1 相關(guān)技術(shù)

1.1 U-Net卷積-反卷積框架

U-Net網(wǎng)絡(luò)模型于2015年被提出[8],是一種能基于少量圖像數(shù)據(jù)進行訓(xùn)練的端到端的全卷積神經(jīng)網(wǎng)絡(luò).它由編碼器和解碼器兩部分組成,第1條路徑用于特征提取,包含重復(fù)的卷積操作,通過堆疊池化和3×3的卷積來學(xué)習(xí)圖像的特征; 第2條路徑為對稱的擴展路徑,通過反卷積操作一層層還原圖像大小,利用跳躍連接與特征提取部分對應(yīng)的特征層融合.與FCN相比,U-Net通過級聯(lián)兩條路徑大小相等的特征圖可以將高分辨率特征與解碼器上采樣輸出特征連接,實現(xiàn)特征融合,有效地保留原圖中的信息.

1.2 殘差模塊

2015年,He提出了殘差網(wǎng)絡(luò)[9]這一概念來解決深層網(wǎng)絡(luò)退化問題.殘差模塊是殘差網(wǎng)絡(luò)中重要的組成結(jié)構(gòu),通過使用恒等映射縮短了淺層特征與深層特征之間的路徑,可以使得網(wǎng)絡(luò)模型層數(shù)大大增加而不退化.

常規(guī)的殘差模塊如圖1,該模塊使用兩個3×3的卷積層對上層輸入特征進行卷積操作得到殘差映射,同時將原特征與卷積輸出逐元素相加實現(xiàn)特征的融合.殘差的計算公式如式（1）所示.

圖1 常規(guī)殘差模塊

式中,x和y分別為網(wǎng)絡(luò)的輸入和輸出,Wi為x的權(quán)重,F（x,{Wi}）為網(wǎng)絡(luò)進行學(xué)習(xí)的殘差映射.網(wǎng)絡(luò)學(xué)習(xí)擬合殘差映射不僅可以簡化學(xué)習(xí)目標和難度,當網(wǎng)絡(luò)達到最優(yōu)性能時,多余的網(wǎng)絡(luò)層通過跨層連接可以實現(xiàn)上層特征的恒等映射,提高了深層網(wǎng)絡(luò)的性能表現(xiàn),解決網(wǎng)絡(luò)加深梯度消失和爆炸的問題.

1.3 注意力機制

人類的視覺本質(zhì)上是大腦對腦電信號的處理,人會根據(jù)自己的興趣將注意力放到注意力焦點處進行仔細觀察,大腦自動剔除不感興趣的區(qū)域信息,著重提取感興趣區(qū)域的細節(jié)與特征.神經(jīng)網(wǎng)絡(luò)的注意力機制借鑒了人類的這種視覺機制,引入注意力機制能夠捕獲到更高級的語義信息,增強模型對前景的學(xué)習(xí)能力,提高模型的靈敏度和分割精度.

網(wǎng)絡(luò)的特征提取是通常是基于全局的,目標物體和背景的特征權(quán)重系數(shù)沒有很大差距,這就導(dǎo)致了網(wǎng)絡(luò)訓(xùn)練緩慢,不能快速提取目標物體特征.針對本文實驗任務(wù),如圖2所示的CT圖像中,目標骨骼區(qū)域只占到整幅圖像的極小區(qū)域,將注意力聚焦于該小部分目標區(qū)域,不僅能加快訓(xùn)練的速度,更能增強該位置上對象的表示,突出特征細節(jié).因此可以在網(wǎng)絡(luò)中增加注意力模塊,通過給特征添加權(quán)重,使網(wǎng)絡(luò)減少對背景像素的關(guān)注,加快對骨骼特征的學(xué)習(xí).

圖2 脊柱CT分割目標區(qū)域占比

2 CT圖像脊柱分割網(wǎng)絡(luò)模型結(jié)構(gòu)

針對脊柱CT圖像分割任務(wù)的網(wǎng)絡(luò)模型設(shè)計,需解決如下問題:

（1）醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像處理與分析領(lǐng)域的關(guān)鍵步驟,其目的是將醫(yī)學(xué)圖像中具有某些特殊含義的部分分割出來,為臨床診療和病理學(xué)研究提供可靠的依據(jù),因此需要極高的精度.

（2）脊柱CT圖像中目標區(qū)域結(jié)構(gòu)相對固定,語義明確,目標定位相對容易; 同時,由于CT圖像噪點多、灰度不均勻、偽影、不同軟組織間灰度相近的特點,精準分割難以實現(xiàn).

（3）醫(yī)學(xué)圖像的數(shù)據(jù)量相對較少,若模型設(shè)計過于復(fù)雜,參數(shù)量大,網(wǎng)絡(luò)極易過擬合,影響模型精度.

U型網(wǎng)絡(luò)能夠同時結(jié)合低分辨率信息和高分辨率信息,且相較于其他分割網(wǎng)絡(luò)有更少的參數(shù),因此更適用于脊柱CT圖像的分割任務(wù).

經(jīng)典U-Net網(wǎng)絡(luò)中堆疊著一定數(shù)量的卷積操作,作為低、中、高特征提取器.越靠近底層的卷積神經(jīng)網(wǎng)絡(luò)擬合能力更強,網(wǎng)絡(luò)性能也更優(yōu)異,但隨著網(wǎng)絡(luò)的加深,圖像的反復(fù)降維操作,會一定程度上損失部分圖像的細節(jié)信息,難以獲取到精細的邊緣,降低模型的最終性能.

為了從CT圖像中提取到更多的細節(jié)信息,緩解低對比度邊緣的欠分割問題,本文在U型網(wǎng)絡(luò)中引入深度殘差網(wǎng)絡(luò)結(jié)構(gòu)來優(yōu)化卷積-池化結(jié)構(gòu)的基礎(chǔ)模塊,使其擁有多尺度特征表示能力,改進后結(jié)構(gòu)如圖3所示.

圖3 多尺度殘差結(jié)構(gòu)

該模塊通過對瓶頸殘差結(jié)構(gòu)進行改進,用一組更小的濾波器組替換全通道的3×3卷積核,并將這些分組的濾波器以類殘差的層次化方式連接,來增加輸出特征所能代表的尺度的數(shù)量.對1×1卷積輸出后的特征圖按通道數(shù)均分為4塊后分層進行特征提取,特征計算結(jié)果如下:

其中,xi為分塊特征子集,Ki為每層分塊后進行的3×3卷積,yi為特征子集的輸出.經(jīng)過分塊卷積和殘差融合,可得到不同感受野大小的特征輸出:y1與輸入特征相同,y2可表示為3×3卷積所提取的特征圖,y3相當于5×5大小的感受野得到的特征圖,y4相當于經(jīng)過7×7大小的感受野得到的特征圖.模塊中卷積輸出與原特征圖的跨層連接,能縮短前后層之間的距離,進一步提高特征的學(xué)習(xí)能力.

該殘差結(jié)構(gòu)采用先拆分后融合的策略,能夠在控制參數(shù)量的同時增加每個網(wǎng)絡(luò)層的感受野范圍,既不增加網(wǎng)絡(luò)的計算負載,還能從多個尺度上表示特征.多尺度的融合有助于提取出更多細節(jié)信息,降低脊柱目標和周圍軟組織對比度低對分割結(jié)果的干擾,提高分割精度.

通道分層卷積的殘差結(jié)構(gòu)雖然可得到多尺度的特征表示,但結(jié)構(gòu)中各個特征圖的通道并不存在依賴性.不同的通道包含的特征信息存在差異且重要性不同,因此,圖3模塊中在多尺度殘差融合特征后引入通道注意力機制對特征各通道的依賴性進行建模.自適應(yīng)地對特征進行逐通道調(diào)整,網(wǎng)絡(luò)就可以通過學(xué)習(xí)全局信息來有選擇性地加強包含有用信息的特征,使得下一層卷積能充分利用這些特征,并對無用特征進行抑制,從而提高網(wǎng)絡(luò)的表示能力.通道注意力模塊如圖4所示.通道模塊公式如下:

圖4 通道注意力模塊

（1）上層傳入特征,在通道維度上使用全局最大池化和全局平均池化對特征進行降維,得到2個不同的信道描述符;

（2）按其通道維度將這兩個不同空間背景的信道描述符合并送入一個兩層的神經(jīng)網(wǎng)絡(luò)感知機;

（3）將得到的兩個特征圖逐點相加,并經(jīng)過Sigmoid激活函數(shù)得到權(quán)重系數(shù);

（4）將原特征與權(quán)重系數(shù)對應(yīng)元素逐個相乘得到特征圖.

醫(yī)學(xué)CT圖像本身易受噪聲的干擾,且脊柱CT圖像因骨質(zhì)不同以及組織混迭等因素導(dǎo)致影像圖像灰度不均勻.引入注意力機制,可將上層特征中不相關(guān)的信息以及噪聲的激活響應(yīng)抑制,只凸顯相關(guān)信息的激活值,一方面可以濾除背景噪聲對梯度更新的影響,另一方面可以減少上采樣的邊緣模糊問題.該模塊只給網(wǎng)絡(luò)增加了極少的額外計算量,卻能帶來顯著的模型敏感度和準確率的提高.綜上所述,本文結(jié)合殘差單元與注意力機制提出一種針對CT脊柱分割的模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 改進的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗設(shè)計

3.1 實驗環(huán)境

本實驗采用的硬件環(huán)境為NVIDIA-RTX2060,顯存6 GB.軟件環(huán)境為以Python 3.7,TensorFlow-GPU 1.14.0支撐的Keras.實驗數(shù)據(jù)來自California大學(xué)的公開CT數(shù)據(jù)集[10],原圖大小為512×512像素,選用1-6組脊柱CT圖像及對應(yīng)標簽共3410張作為訓(xùn)練與驗證集,選用第7、8組數(shù)據(jù)中共400張圖像作為測試數(shù)據(jù).訓(xùn)練時超參數(shù)采用如下相同設(shè)置:batch_size設(shè)定為16; 初始學(xué)習(xí)率為10-3,優(yōu)化器選用Adam,在訓(xùn)練時自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率,直至損失函數(shù)收斂.

3.2 評價指標

為了對本實驗結(jié)果有一個真實可解釋的評價,本文選用醫(yī)學(xué)圖像分割常用的Dice相似性系數(shù)和IOU評測指標評估模型.

以vgt表示真實標簽中輪廓區(qū)域所包含的點集,Vprediction表示網(wǎng)絡(luò)預(yù)測的輪廓區(qū)域點集.IOU能計算出網(wǎng)絡(luò)預(yù)測的結(jié)果與真實標簽的交并比,其公式如下:

Dice相似性系數(shù)（DSC）是一種集合相似度度量函數(shù),用于計算真實標簽與網(wǎng)絡(luò)預(yù)測結(jié)果的相似度,數(shù)值越接近于1圖像的分割精確度越高.公式如下所示:

3.3 實驗結(jié)果與分析

3.3.1 與其他分割網(wǎng)絡(luò)的對比實驗

實驗主要分為訓(xùn)練和測試兩個階段,首先在訓(xùn)練集上進行訓(xùn)練,然后在測試集中進行模型測試,得到實驗結(jié)果.為驗證本實驗?zāi)Ｐ拖噍^于其他分割網(wǎng)絡(luò)在脊柱CT圖像分割任務(wù)的優(yōu)越性,將本文所提出的網(wǎng)絡(luò)模型與原始U-Net網(wǎng)絡(luò)、FCN、SegNet網(wǎng)絡(luò)進行對比.

同時,分割任務(wù)中訓(xùn)練網(wǎng)絡(luò)所使用的損失函數(shù)同樣影響著網(wǎng)絡(luò)的性能.為測試損失函數(shù)對網(wǎng)絡(luò)的影響,將不同網(wǎng)絡(luò)分別使用Focal loss、二元交叉熵（CE）、Dice loss 三種不同的損失函數(shù)進行訓(xùn)練,分割精確度如表1所示.

分析表1可知,相較于經(jīng)典分割模型FCN與SegNet,U-Net級聯(lián)卷積-反卷積結(jié)構(gòu)對于醫(yī)學(xué)圖像的分割任務(wù)上有更好的表現(xiàn),這與預(yù)先設(shè)想一致.與基礎(chǔ)U-Net模型的分割結(jié)果對比,本文引入殘差與注意力機制對其進行改進后,分割精度有了進一步的提高,在Dice loss下的測試集的預(yù)測值與真實標簽的相似性達到了97.17%,更滿足醫(yī)療圖像分割精確性的要求.

表1 算法準確性對比（%）

針對訓(xùn)練過程損失函數(shù)的實驗分析可知,Focal loss更適用于解決正負樣本數(shù)量不均衡的圖像分割任務(wù),本任務(wù)CT圖像為一系列相關(guān)聯(lián)的圖像,目標區(qū)域像素平均,因此該損失函數(shù)在本任務(wù)中表現(xiàn)欠佳;以Dice系數(shù)作為Loss進行直接優(yōu)化,訓(xùn)練中網(wǎng)絡(luò)會更側(cè)重對前景區(qū)域的挖掘,因此在該損失函數(shù)的訓(xùn)練下分割結(jié)果精度較高,但訓(xùn)練過程中Loss容易不穩(wěn)定,后續(xù)將考慮結(jié)合CE對其進行優(yōu)化.

從測試集中隨機選取圖像輸入模型,分別生成分割結(jié)果.圖6為不同網(wǎng)絡(luò)模型分割的結(jié)果對比.圖6（a）為CT圖像,圖6（b）為CT脊柱的真實標簽,圖6（c）為SegNet分割結(jié)果,圖6（d）為U-Net分割結(jié)果,圖6（e）為本文網(wǎng)絡(luò)結(jié)構(gòu)分割結(jié)果.將圖中分割結(jié)果與圖6（b）真實標簽比較,對于簡單結(jié)構(gòu)的脊柱切片,不同的分割網(wǎng)絡(luò)均能檢測到CT圖像中脊柱的目標區(qū)域,成功實現(xiàn)目標定位.其中,SegNet只能實現(xiàn)目標的粗分割,對細節(jié)處理較差.U-Net對目標的分割效果較好,但對于骨骼切片結(jié)構(gòu)較為復(fù)雜的圖像,由于原圖中脊柱與骨間軟組織連接處的輪廓邊界并不清晰,U-Net對模糊邊界的分割處理略顯粗糙.對比可見,本文所用網(wǎng)絡(luò)對骨間細小輪廓線的分割效果更好,對模糊邊界的處理更優(yōu).本文中所用模型的多尺度殘差結(jié)構(gòu)與注意力機制的設(shè)置均是為了提高分割結(jié)果的細節(jié)表達,實驗效果圖驗證,該設(shè)置達到了預(yù)期設(shè)想.

圖6 脊柱CT圖像分割效果圖

將CT圖像載入訓(xùn)練后的模型中得到脊柱分割序列并進行三維重建,便可得到清晰的3D脊柱模型,如圖7所示.

圖7 脊柱CT分割三維重建結(jié)果

3.3.2 網(wǎng)絡(luò)各模塊消融實驗

為了驗證各模塊對整體模型的影響,對U-Net原始模型、殘差模塊結(jié)構(gòu)、注意力機制分別進行對比實驗,以證明網(wǎng)絡(luò)中所有設(shè)置均為最優(yōu).

首先對上下采樣基礎(chǔ)模塊結(jié)構(gòu)對性能的影響進行比較.為證明殘差結(jié)構(gòu)及多尺度特征提取的引入能提高分割精度,改變基礎(chǔ)模塊的結(jié)構(gòu)并測試分割精度,實驗結(jié)果如表2所示.

如表2所示,Case 1不使用殘差結(jié)構(gòu),沿用經(jīng)典UNet的基礎(chǔ)卷積模塊,分割結(jié)果略優(yōu)于Case 2中使用1層殘差結(jié)構(gòu)的基礎(chǔ)模塊,Case 3中增加了殘差結(jié)構(gòu)層數(shù),網(wǎng)絡(luò)深度加深,分割結(jié)果隨之提高.Case 4中上下采樣均使用本文所提出的多尺度殘差結(jié)構(gòu),特征感受野更為豐富,采用先降維后升維的方式能夠降低計算量,且注意力機制能自適應(yīng)調(diào)整通道特征權(quán)值,實驗證明使用該模塊具有更高的分割精度.Case 5對網(wǎng)絡(luò)中堆疊殘差單元層數(shù)做對比實驗,實驗結(jié)果所示,采用1層殘差單元作為基礎(chǔ)模塊有更高的分割精度,而增加至2層其參數(shù)量增大過多,不宜于網(wǎng)絡(luò)的訓(xùn)練,且分割精度明顯下降,故3層以上堆疊層數(shù)不做實驗.

表2 網(wǎng)絡(luò)引入不同基礎(chǔ)模塊結(jié)構(gòu)的結(jié)果對比

為了驗證殘差模塊與注意力機制的組合能提高模型精度,實驗對各模塊進行消融實驗.實驗結(jié)果如表3所示,為網(wǎng)絡(luò)各模塊的不同組合對性能的影響.

如表3所示,以原始U-Net卷積-反卷積結(jié)構(gòu)作為基礎(chǔ)架構(gòu)并使用上文所提出的殘差模塊替換原始卷積模塊可以提供更多地細節(jié)信息,對于低對比度邊緣分割有所提高,其分割精度更高.模型添加注意力機制后,Dice系數(shù)升高,且IOU系數(shù)升高,證明其增強了模型的分割能力.本文將殘差模塊與注意力機制疊加引入U-Net,改進網(wǎng)絡(luò)結(jié)構(gòu)使得該模型在脊柱CT分割任務(wù)所得的Dice系數(shù)比原始U-Net的分割更高,分割效果更接近于標簽的真實值.

表3 模型Dice系數(shù)表

4 結(jié)論與展望

本文提出了一種基于卷積-反卷積結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型,用于脊柱CT圖像的全自動分割.該網(wǎng)絡(luò)以UNet結(jié)構(gòu)為基本框架,引入分層殘差連接的卷積模塊及通道注意力機制,加強特征的傳播,增強圖像細節(jié)信息的分割效果.其特點在于采用了多尺度感受野融合的殘差結(jié)構(gòu)替代傳統(tǒng)卷積模塊逐層提取圖像中目標區(qū)域特征,通過殘差學(xué)習(xí)進一步細化了分割效果; 并在特征融合后引入注意力機制加強了目標區(qū)域的權(quán)重,緩解了CT圖像各組織結(jié)構(gòu)對比度低、邊界輪廓模糊等問題對分割模型造成的干擾,提高了模型的魯棒性.

本文所提網(wǎng)絡(luò)結(jié)構(gòu)對CT圖像脊柱分割具有較高的分割精度和分割效率,但從實驗結(jié)果中可發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)計仍有不足之處,例如對于脊柱與其下聯(lián)胯骨存在誤分割的情況,這也是下一步研究需要關(guān)注的重點.