郭磊，王玉軍，賀宏偉，王昌元，劉露，楊秀云

山東第一醫(yī)科大學（山東省醫(yī)學科學院）現(xiàn)代教育技術中心，泰安市，271016

0 引言

醫(yī)學圖像分割是醫(yī)學圖像處理的關鍵步驟，是臨床診斷、圖像引導的外科手術和放射治療等的重要技術前提。影像組學研究一般將醫(yī)學圖像分割看作影像組學方法實現(xiàn)的基本步驟，是進行高通量圖像特征提取、數(shù)據(jù)分析及臨床決策的基礎[1]。文獻[2]將圖像分割技術用于肺挫傷部位相關指標的CT定量分析。文獻[3]提出改進型區(qū)域生長方法，進行心臟CT圖像分割以實現(xiàn)心臟三維建模。文獻[4]將圖像分割問題分成兩個關聯(lián)任務：目標識別和目標輪廓，目標識別即確定目標在圖像中的位置，目標輪廓即繪制目標在圖像中的空間范圍和組成；并將圖像分割方法概括為基于閾值、基于區(qū)域、基于形狀、基于鄰接空間信息和基于機器學習等五類方法。其中前四類方法被看作傳統(tǒng)分割方法。傳統(tǒng)分割方法依據(jù)人工指定的圖像特征進行圖像分割，但人工指定的方式往往無法保證所選取圖像特征的多維度和代表性。例如文獻[5]通過多次嘗試確定用于嬰幼兒腦圖像分割的圖像特征最佳組合。特征數(shù)目及組合的限定使得圖像特征選取依賴于具體應用場景，且不能保證圖像特征的多維度和代表性。

卷積神經(jīng)網(wǎng)絡是機器學習的重要方面，在圖像處理方面有著好于傳統(tǒng)方法的顯著優(yōu)勢。卷積神經(jīng)網(wǎng)絡中卷積核的使用，使得卷積神經(jīng)網(wǎng)絡能夠提取較多維度和有代表性的圖像特征，使得圖像識別和圖像分割準確率獲得較大提升。但池化層的使用會導致處理過程中圖像細節(jié)丟失[6]。結(jié)合卷積神經(jīng)網(wǎng)絡當前研究和醫(yī)學圖像自身特點，設計一種全卷積網(wǎng)絡。該網(wǎng)絡使用多種尺寸卷積核提取圖像中不同區(qū)域的圖像特征，取消池化層以保留處理過程中圖像細節(jié)，最終實現(xiàn)成像部位的精細自動分割。

1 全卷積網(wǎng)絡

1.1 卷積神經(jīng)網(wǎng)絡概述

卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)上一般包括輸入層、卷積層、池化層、全連接層和輸出層等[7]。輸入層將數(shù)字圖像作為輸入數(shù)據(jù)；卷積層將上層輸出作為輸入數(shù)據(jù)，執(zhí)行卷積操作并按照神經(jīng)元激活函數(shù)輸出特征圖；池化層按照采樣策略，對上層輸入進行采樣輸出；全連接層將上層的全部特征圖組成特征向量；輸出層依據(jù)全連接層特征向量輸出判定結(jié)果。卷積神經(jīng)網(wǎng)絡對輸入數(shù)據(jù)進行前向傳播預測，執(zhí)行反向傳播算法進行網(wǎng)絡訓練[8]。訓練過程中網(wǎng)絡參數(shù)沿判定結(jié)果誤差減小方向調(diào)整。卷積核權值調(diào)整過程就是圖像特征提取過程。

AlexNet[9]，VGG[10]和GoogLeNet[11]通過增加網(wǎng)絡層或子網(wǎng)絡提升圖像識別性能。AlexNet包含5個卷積層和3個全連接層，能夠提取較多維度且有代表性的圖像特征。對于更大規(guī)模數(shù)據(jù)集的圖像處理任務，則需要卷積神經(jīng)網(wǎng)絡具備更多層級和卷積核。文獻[12]提出采用卷積操作將全連接層變換成卷積層，實現(xiàn)圖像特征原始位置在卷積神經(jīng)網(wǎng)絡中保留，從而得到端到端圖像分割的方法。結(jié)合條件隨機場算法[13]、上采樣方法[14]等，全卷積神經(jīng)網(wǎng)絡在自然圖像分割性能進一步優(yōu)化。

1.2 全卷積網(wǎng)絡實現(xiàn)

由于醫(yī)學圖像中圖像特征數(shù)目遠低于自然圖像，全卷積網(wǎng)絡中設置的卷積核數(shù)目少于用于自然圖像處理的卷積神經(jīng)網(wǎng)絡。圖1是用于X線圖像成像部位自動分割的全卷積網(wǎng)絡，包括輸入層1層、輸出層1層，卷積層7層，每層右上側(cè)標注特征圖尺寸，中間標注卷積核尺寸，下側(cè)標注卷積核數(shù)目。輸入層和卷積層的卷積核移動步長為1。

圖1 全卷積網(wǎng)絡結(jié)構(gòu)Fig.1 The structure of fully convolutional neural networks

2 基于全卷積網(wǎng)絡的成像部位自動分割

成像部位自動分割是依據(jù)圖像特征，將成像部位從醫(yī)學圖像中識別和分割出來的過程。基于全卷積網(wǎng)絡進行成像部位自動分割，需準備數(shù)據(jù)集進行全卷積網(wǎng)絡訓練，待分割準確率經(jīng)測試達到較高水平結(jié)束訓練。對于訓練好的全卷積網(wǎng)絡，通過程序調(diào)用進行自動分割。

2.1 數(shù)據(jù)集準備

數(shù)據(jù)集應包括各類成像部位的X線圖像，成像部分類別明細見文獻[15]。整個數(shù)據(jù)集分成訓練集和測試集。訓練集用于網(wǎng)絡參數(shù)調(diào)整訓練，測試集用于驗證圖像分割性能。為保證訓練效果進行數(shù)據(jù)集擴展，對圖像做鏡像處理或剪切處理。鏡像處理將圖像沿縱軸做旋轉(zhuǎn)180o處理。剪切處理在圖像上切取一張或多張小圖，多張小圖構(gòu)成一個訓練批次。通過鏡像和剪切處理，實現(xiàn)依靠較少原始圖像擴展數(shù)據(jù)集。

2.2 全卷積網(wǎng)絡訓練及測試

對于圖1所示全卷積網(wǎng)絡，首先確定全卷積網(wǎng)絡采用的神經(jīng)元激活函數(shù)，初始化網(wǎng)絡連接權值和神經(jīng)元偏置，設置網(wǎng)絡學習率相關參數(shù)，選擇具體訓練及測試策略，如訓練批次和測試批次的迭代方式、Dropout技術等。全卷積網(wǎng)絡執(zhí)行反向傳播算法更新網(wǎng)絡連接權值和神經(jīng)元偏置。隨著訓練批次和測試批次的迭代，圖像分割準確率不斷上升。迭代過程如算法1所示。

算法1 全卷積網(wǎng)絡訓練及測試

初始條件：全卷積網(wǎng)絡結(jié)構(gòu)參數(shù)和策略參數(shù)

輸入數(shù)據(jù)：訓練集Settrain和測試集Settest

① 隨機初始化網(wǎng)絡全部連接權值和神經(jīng)元偏置；

② 將訓練集Settrain分成Maxtrain個訓練批次Batchtrain( i )，1≤ i ≤ Maxtrain；

③ 將測試集Settest組成一個測試批次Batchtest；

④ for ( i = 1; i ≤ Maxtrain; i ++ ) do{

for all 訓練樣本sample_train∈訓練批次Batchtrain(i ) do{計算sample_train的前向輸出；

for all 網(wǎng)絡層layer ∈ 全卷積網(wǎng)絡 反向逐層 do{

for all 卷積核kernel ∈ 網(wǎng)絡層layer所有下聯(lián)卷積核 do{計算卷積核kernel的反向傳遞誤差；

計算卷積核kernel的連接權值和偏置的偏導數(shù)；

更新卷積核kernel的連接權值和偏置； } } }

if ( i mod 測試間隔test_interval) do{

for all 測試樣本sample_test ∈ 測試批次Batchtestdo

計算sample_test 的前向輸出誤差；

計算測試批次Batchtest平均誤差和準確率； } }

輸出數(shù)據(jù)：全部連接權值和神經(jīng)元偏置。

2.3 自動分割實現(xiàn)

程序接收尺寸為256×256×3的X線圖像輸入，通過調(diào)用訓練好的全卷積網(wǎng)絡模型自動分割圖像，輸出成像部位分割結(jié)果。

3 實驗分析

實驗數(shù)據(jù)來源于泰山醫(yī)學院放射影像數(shù)據(jù)集。選取放療定位產(chǎn)生的各成像部位X線圖像作為輸入圖像，通過臨床醫(yī)生手工標記獲得圖像分割金標準，依據(jù)金標準制作標記圖像，如圖2所示。將輸入圖像及其標記圖像組成樣本分配至訓練集和測試集，設置訓練樣本2 000個，測試樣本100個。通過以下策略擴充訓練集：① 對全部訓練樣本沿圖像縱軸做180o反轉(zhuǎn)；② 取訓練樣本中特征清晰的區(qū)域生成小圖作為新的訓練樣本。經(jīng)過數(shù)據(jù)集擴展，形成10 000個樣本的訓練集和100個樣本的測試集。

圖2 X線圖像及分割標準Fig.2 An X-ray image and its segmentation criteria

實驗平臺為執(zhí)行深度學習框架Caffe的虛擬機服務器，實現(xiàn)圖1全卷積網(wǎng)絡結(jié)構(gòu)。網(wǎng)絡參數(shù)方面，選取修正線性單元（Rectified Linear Unit，ReLU）作為神經(jīng)元激活函數(shù)，L6和L7層采用Dropout技術并設置比率為0.5，設置初始學習率為0.01，采取隨訓練過程逐步降低學習率策略。將20個訓練樣本編入1個訓練批次，將整個訓練集分成500個訓練批次。將100個測試樣本組成1個測試批次。隨著訓練和測試迭代，分割準確率逐漸上升，具體情況如表1。

表1 圖像分割準確率變化Tab.1 Variations of the segmentation accuracy

選取圖像分析指標Dice相似系數(shù)（Dice Similarity Coefficient, DSC）和Jaccard相似系數(shù)（Jaccard Similarity Coefficient, JSC），與相關研究[16-17]分割結(jié)果進行定量對比。DSC和JSC具體定義如下所示：

其中A表示成像部位分割結(jié)果，B表示金標準中標記區(qū)域，| Reg |表示區(qū)域Reg內(nèi)像素總數(shù)。相比傳統(tǒng)分割方法[16-17]，全卷積網(wǎng)絡設置多尺寸卷積核提取圖像特征以保證圖像特征的多維度和代表性，取消池化層以避免圖像特征下采樣丟失，最終實現(xiàn)成像部位精細分割。圖像分割準確率[16-17]對比如表2所示。

表2 圖像分割準確率對比Tab.2 Comparisons of the segmentation accuracy

4 總結(jié)展望

本文設計了一種全卷積網(wǎng)絡，基于全卷積網(wǎng)絡實現(xiàn)了X線圖像中成像部位自動分割。全卷積網(wǎng)絡設置多種尺寸卷積核提取圖像特征，保證了圖像特征的多維度和代表性；取消池化層，避免了圖像信息下采樣丟失。圖像分割結(jié)果具有更高準確率。進一步研究將依據(jù)分割結(jié)果進行圖像配準方法優(yōu)化研究，改進和優(yōu)化卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)以提高卷積神經(jīng)網(wǎng)絡醫(yī)學圖像處理能力。