宮 霞 吳衛(wèi)華* 張文濤 王 雷 陳 潔

1(上海市胸科醫(yī)院 上海 200030)2(上海交通大學附屬胸科醫(yī)院 上海 200030)3(南京大學 江蘇 南京 210023)

0 引 言

頸部尤其是鎖骨上淋巴結(jié)轉(zhuǎn)移是肺癌重要的轉(zhuǎn)移形式，有無淋巴結(jié)的轉(zhuǎn)移直接關(guān)聯(lián)到肺癌的分期、手術(shù)方式以及預(yù)后等，故對其鑒別診斷非常關(guān)鍵。由于超聲成像設(shè)備成本低、便攜性、無創(chuàng)傷和無輻射等優(yōu)點，在現(xiàn)代醫(yī)學檢測中有著廣泛的應(yīng)用。傳統(tǒng)的醫(yī)學影像分析基于醫(yī)生對于獲取圖像進行主觀評估，比較耗時，分析醫(yī)療影像精度取決于操作者的經(jīng)驗，評估結(jié)果往往具有很大的主觀性[1-2]。近年來發(fā)展起來的計算機輔助區(qū)分肺癌轉(zhuǎn)移性淋巴結(jié)病變和良性病變具有重要的臨床應(yīng)用前景，深度學習技術(shù)應(yīng)用于圖像檢測取得了長足發(fā)展，在分類[3]、分割和目標檢測[4]等領(lǐng)域，精度都優(yōu)于人類[5]。因此，將深度學習應(yīng)用于超聲圖像分析具有強大的理論基礎(chǔ)支撐。把深度學習技術(shù)應(yīng)用于醫(yī)療影像(CT、MRI和PET)檢測，通過大量標注好的數(shù)據(jù)，訓練影像分析模型，極大提高了醫(yī)生的診斷效率和準確性。超聲圖像分辨率較CT、MRI低，圖像存在大量偽影和噪聲，深度學習技術(shù)應(yīng)用于超聲圖像分析發(fā)展空間大，具有重要的理論意義和實際應(yīng)用價值。

目前常見的應(yīng)用于超聲圖像分割的深度學習模型FCN(Fully Convolutional Networks)[6]、UNet[7]等，取得了一定研究成果，但將噪聲激勵函數(shù)應(yīng)用于網(wǎng)絡(luò)結(jié)構(gòu)中，改進網(wǎng)絡(luò)性能值得深入研究。當數(shù)據(jù)量小的時候，通常采用傳統(tǒng)機器學習方法，而深度學習模型需要大量的數(shù)據(jù)來訓練，否則模型會出現(xiàn)過擬合。如何使模型在處理小樣本時保持良惡性分類的高準確率，也是研究的難點。

1 相關(guān)工作

超聲圖像應(yīng)用越來越廣泛，但基于深度學習技術(shù)分析超聲圖像較其他醫(yī)療影像更難，原因如下：超聲圖像中含有固有的斑點噪聲，而且圖像為2D。國內(nèi)外學者采用卷積神經(jīng)網(wǎng)絡(luò)對醫(yī)學影像的分割大都處理前列腺[8]、腹部[9]、心臟[10]和臍靜脈[11]的超聲圖像；Baumgartner等[12]提出了一種實時系統(tǒng)，該系統(tǒng)能對臨床手持式2D超聲圖像進行12種常用標準掃描平面的檢測。Huang等[13]提出了Multi-Scale DenseNet (MSDNet)；Ding等[14]對Faster R-CNN改進，提出了DCNNs；Milletari等[15]提出了一個激勵函數(shù)PReLU：

(1)

文獻[16-17]采用與UNet相似的CNN，使用能改進網(wǎng)絡(luò)性能的噪聲激勵函數(shù)。關(guān)于ResNet不同變體及改進，何愷明等[18]提出的ResNeXt，ResNeXt結(jié)構(gòu)可以在不增加參數(shù)復雜度的前提下提高準確率，同時還減少了超參數(shù)的數(shù)量。文獻[19]提出一種稱為DenseNet的新架構(gòu)，不同于ResNet將輸出與輸入相加，形成一個殘差結(jié)構(gòu)，DenseNet將輸出與輸入相并聯(lián)，實現(xiàn)每一層都能直接得到之前所有層的輸出，ResNet將輸出與輸入相加，形成一個殘差結(jié)構(gòu)，而DenseNet卻是將輸出與輸入相并聯(lián)，實現(xiàn)每一層都能直接得到之前所有層的輸出。文獻[20]結(jié)合殘差網(wǎng)絡(luò)與DenseNet兩者優(yōu)點，提出了一類全新的雙通道網(wǎng)絡(luò)結(jié)構(gòu)Dual Path Networks(DPNs)，該網(wǎng)絡(luò)結(jié)構(gòu)后面加上mean-max pooling層可以提高準確率。文獻[21]提出一種神經(jīng)條件隨機場(Neural Conditional Random Field，NCRF)深度學習框架，通過一個直接位于CNN特征提取器上方的全連接CRF，來考慮相鄰圖像塊之間的空間關(guān)聯(lián)。

2 方 法

2.1 遷移學習

遷移學習技術(shù)，指在已有圖像數(shù)據(jù)集上預(yù)訓練例如VGGNet模型參數(shù)作為初始化參數(shù)，然后使用標注好的超聲圖像數(shù)據(jù)集，大大加快網(wǎng)絡(luò)的訓練速度。同時有效避免訓練數(shù)據(jù)量不足帶來的過擬合現(xiàn)象，改善了深度網(wǎng)絡(luò)識別超聲圖像結(jié)果。一種更精細的方法是利用在大型數(shù)據(jù)集上預(yù)先訓練的網(wǎng)絡(luò)(通常是在ImageNet數(shù)據(jù)集上訓練的)，這樣的網(wǎng)絡(luò)將已經(jīng)學習了對大多數(shù)計算機視覺問題有用的特性，利用這些特性將使我們比任何只依賴于可用數(shù)據(jù)的方法獲得更好的精確性。文獻[22]提出了一種轉(zhuǎn)移學習策略，將訓練好的基礎(chǔ)CNN底層知識從大量的自然圖像數(shù)據(jù)庫轉(zhuǎn)移到任務(wù)特定的CNN。文獻[23]建立了一個基于深度學習框架的診斷工具，用于篩選具有常見可治療性致盲視網(wǎng)膜疾病的患者，框架利用遷移學習，訓練神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法的數(shù)據(jù)的一小部分，標注數(shù)據(jù)集達到了11萬。

本文采用了兩種遷移學習方式，一是使用預(yù)訓練卷積神經(jīng)網(wǎng)絡(luò)的瓶頸特征(bottleneck features)預(yù)測淋巴結(jié)的良惡性；二是對預(yù)訓練的卷積神經(jīng)網(wǎng)絡(luò)的頂層做微調(diào)(fine tuning)，從而預(yù)測淋巴結(jié)良惡性。

(1)利用預(yù)訓練卷積神經(jīng)網(wǎng)絡(luò)的瓶頸特征預(yù)測淋巴結(jié)的良惡性 在全連接層之前的最后一個激活映射的輸出即為bottleneck features，對于預(yù)訓練好的VGG16模型，首先去除其全連接層，然后凍結(jié)(Frozen)VGG16所有層，在訓練過程中凍結(jié)層的參數(shù)不再發(fā)生變化，最后連接上自定義的網(wǎng)絡(luò)結(jié)構(gòu)，需要自定義針對自己分類問題的全連接層。其中，運行VGG16是非常昂貴的，可以把bottleneck features存儲成離線狀態(tài)，而不是將自定義的網(wǎng)絡(luò)結(jié)構(gòu)直接添加到一個凍結(jié)的卷積基礎(chǔ)之上并運行整個系統(tǒng)。在訓練自定義網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)時，將其加載為輸入，從而只需要計算這個自定義的小的網(wǎng)絡(luò)結(jié)構(gòu)即可，節(jié)省了大量的計算資源。

(2) 對預(yù)訓練的卷積神經(jīng)網(wǎng)絡(luò)的頂層做微調(diào)預(yù)測淋巴結(jié)良惡性 對于預(yù)訓練好的VGG16模型，首先去除其全連接層，然后凍結(jié)(Frozen)VGG16除最后一個卷積塊的所有層(凍結(jié)部分層，與利用bottleneck features方式凍結(jié)所有層以區(qū)別)，最后連接上自定義的含全連接層的網(wǎng)絡(luò)結(jié)構(gòu)。

為了進行微調(diào)，所有的層都應(yīng)該從經(jīng)過適當訓練的權(quán)重開始。例如，不應(yīng)該在預(yù)先訓練的卷積基礎(chǔ)上，在一個隨機初始化的全連接的網(wǎng)絡(luò)上訓練。這是因為由隨機初始化的權(quán)重觸發(fā)的大梯度更新會破壞卷積基礎(chǔ)上的學習權(quán)重。因此首先要訓練頂級分類器，然后才開始在它旁邊微調(diào)卷積的權(quán)重。

為了防止過擬合，可以選擇只對最后一個或幾個卷積塊進行微調(diào)，而不是整個網(wǎng)絡(luò)，因為整個網(wǎng)絡(luò)將具有非常大的熵容量，所以存在過度擬合的強烈傾向。由低級卷積塊學到的特征比那些發(fā)現(xiàn)的更一般，所以保持最初幾個塊固定是明智的，并且只對最后一個塊進行微調(diào)。

微調(diào)應(yīng)該以非常慢的學習速度進行，通常使用SGD優(yōu)化器，而不是像rms這樣的自適應(yīng)學習速率優(yōu)化器。這是為了確保更新的大小保持在非常小的范圍內(nèi)，這樣就不會破壞以前學到的特性。

2.2 數(shù)據(jù)增強

數(shù)據(jù)增強(Data Augmentation)是在收集數(shù)據(jù)準備微調(diào)深度學習模型時,經(jīng)常會遇到某些分類數(shù)據(jù)嚴重不足的情況，為了防止過擬合，在對預(yù)訓練的網(wǎng)絡(luò)模型參數(shù)進行微調(diào)之前，采用的一種技術(shù)。當一個模型在太少樣例的訓練集上訓練時，學習到的模型不能泛化到新數(shù)據(jù)時，即當模型開始使用不相關(guān)的特性進行預(yù)測時，過擬合就會發(fā)生。因此，數(shù)據(jù)增強是從上下左右四個方向、對感興趣區(qū)域(Region of Interest，ROI)的圖像進行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)等6種變換，擴大數(shù)據(jù)集規(guī)模，這樣我們的模型就不會看到完全相同的圖像，有助于防止過擬合，并有助于模型的泛化。

數(shù)據(jù)增強是一種很好的對抗過擬合的方法，但這還不夠，因為我們的增強樣本仍然高度相關(guān)。對過擬合的主要關(guān)注是模型的熵容量——模型被允許存儲多少信息。一個可以存儲大量信息的模型可以通過利用更多的特征來更加準確預(yù)測，但是它也更有可能開始存儲無關(guān)的特征。與此同時，一個只能存儲一些特征的模型將不得不關(guān)注數(shù)據(jù)中最重要的特征，而這些特征更有可能是真正相關(guān)的，并能更好地泛化。

有不同的調(diào)節(jié)熵容量的方法。最主要的是選擇模型中參數(shù)的數(shù)量，也就是層的數(shù)量和每個層的大小。另一種方法是使用權(quán)重正則化，如L1或L2正則化，它能使模型權(quán)重來取更小的值。在構(gòu)建卷積網(wǎng)絡(luò)結(jié)構(gòu)的過程中，插入Dropout層還有助于減少過度擬合，防止一層一層地重復出現(xiàn)相同的模式，從而以一種類似于數(shù)據(jù)增強的方式進行操作(Dropout和Data Augmentation都傾向于破壞數(shù)據(jù)中出現(xiàn)的隨機相關(guān)性)。

2.3 UNET

UNet網(wǎng)絡(luò)利用了神經(jīng)網(wǎng)絡(luò)內(nèi)在的多尺度特性，淺層輸出保存了空域細節(jié)信息，深層輸出保存了相對抽象的語義信息，利用底層信息補充高層信息，適用于醫(yī)學圖像分割、自然圖像生成，在醫(yī)學圖像分割比RPN和FCN網(wǎng)絡(luò)有更好的分割精確度。UNet模型左側(cè)為一個下采樣過程，分4組卷積操作進行；右側(cè)的上采樣過程使用的是4組反卷積，每次上采樣將圖片擴展為原來的2倍， 然后將對應(yīng)層的圖片(特征圖)進行剪裁和復制，然后concat到上卷積的結(jié)果上。

本文提出了一種改進UNet卷積網(wǎng)絡(luò)，卷積塊采用了inception block，網(wǎng)絡(luò)將噪聲激勵函數(shù)NHReLU和NHSeLU (Noisy Hard SeLU function)代替ReLU和NReLU(Noisy Rectified Linear Unit functions)噪聲激勵函數(shù)。UNet網(wǎng)絡(luò)在兩個尺度上預(yù)測輸出，而不是只在上采樣最后層輸出，這樣很好地處理了超聲圖像中標注區(qū)域尺寸變化的問題，提高對淋巴結(jié)超聲圖像分割效果。

噪聲激勵函數(shù)為：

f(x)=h(x+c×ξ)

(2)

式中：c是超參；h(x)是激勵函數(shù)v(x)對應(yīng)的硬激勵函數(shù)；ξ是從正態(tài)分布中采樣的噪聲。硬飽和噪聲激勵函數(shù)為：

(3)

(1) 有學習率的噪聲激勵函數(shù)。

d(x)=sign(x)

(4)

Δ=h(x)-x

(5)

根據(jù)是否使用半正態(tài)噪聲的標記，分為：

① 不使用半正態(tài)噪聲的標記(half normal=False)：

δ(x)=c×(v(p×(h(x)-x))-0.5)2=

c×(v(p×Δ)-0.5)2

(6)

f(x)=α×h(x)+1-α×x-d(x)×δ(x)×ξ

(7)

② 使用半正態(tài)噪聲的標記(half normal=True)：

f(x)=α×h(x)+1-α×x-d(x)×δ(x)×‖ξ‖

(8)

φ(x,ξ)=αh(x)+(1-α)u(x)+d(x)σ(x)ξ

(9)

(2) 噪聲注入到輸入的噪聲激勵函數(shù)。

① 不使用半正態(tài)噪聲的標記(half normal=False)：

(10)

f(x)=h(x+δ(x)×ξ)

(11)

② 使用半正態(tài)噪聲的標記(half normal=True):

f(x)=h(x+δ(x)×‖ξ‖)

(12)

2.4 損失函數(shù)與成本函數(shù)

二分類問題中l(wèi)oss的定義如下：

(13)

式中:p∈[0,1]代表樣本屬于1的概率；y代表標簽。為了表示方便，定義pt如下：

(14)

① 平衡交叉熵(Balanced Cross Entropy):

CE(pt)=-αlog(pt)

(15)

② Focal Loss:

FL(pt)=-(1-pt)γlog(pt)

(16)

我們使用了α變種的Focal Loss，形式如下：

FL(pt)=-αt(1-pt)γlog(pt)

(17)

Focal Loss函數(shù)是對標準交叉熵損失函數(shù)的改進，通過增加難分類樣本的權(quán)重，使得模型在訓練時更專注于難分類的樣本。

計算成本函數(shù)公式如下：

式中：ωi為權(quán)重，當預(yù)測樣本不是良惡性，那么該權(quán)重為50，減少了誤差。

3 實證分析

本研究采集上海市胸科醫(yī)院超聲科360例肺癌患者的420幅淋巴結(jié)超聲圖像，其中男性190例，淋巴結(jié)230幅，女性170例，淋巴結(jié)190幅。所有淋巴結(jié)均進行針吸細胞學及細針穿刺活檢檢查，所有超聲診斷結(jié)果均與病理結(jié)果相對照。采集的頸部淋巴結(jié)超聲圖像數(shù)據(jù)是二值圖像，將淋巴結(jié)超聲圖像數(shù)據(jù)集分為訓練集、驗證集和測試集，每幅圖像均由專門超聲醫(yī)生掃描并標注出病變細胞的長徑、短徑和良惡性。

使用開源圖像標注工具Labelme和VGG Image Annotator重新標注并提取了每個淋巴結(jié)的mask用于訓練。由于惡性占多數(shù)，即存在數(shù)據(jù)不均衡問題，因此針對每一個類別使用數(shù)據(jù)增強方法擴充訓練數(shù)據(jù)。增強后的數(shù)據(jù)有兩組，分別進行訓練和驗證。第一組數(shù)據(jù)(共3 000張)隨機抽樣2 000張作為訓練集，其余作為驗證集，期間重新生成多組訓練樣本和驗證樣本，以測試網(wǎng)絡(luò)性能。第二組數(shù)據(jù)(5 000張)隨機抽樣3 000張作為訓練集，其余作為驗證集。

數(shù)據(jù)增強的方法是旋轉(zhuǎn)90度(可以小于90度)、隨機水平移動幅度0.2(相較于原來圖片寬度)、隨機垂直移動幅度0.2、剪切強度0.2(逆時針剪切)、隨機縮放幅度0.2，隨機通道偏移0.2、隨機水平翻轉(zhuǎn)、隨機豎直翻轉(zhuǎn)。采用Borderline-SMOTE2(Synthetic Minority Oversampling Technique)，即合成少數(shù)類過采樣技術(shù)，對少數(shù)類樣本進行分析并根據(jù)少數(shù)類樣本人工合成新樣本添加到數(shù)據(jù)集中。噪聲激勵函數(shù)中添加的噪聲為0.05，噪聲標準差為0.5。

3.1 淋巴結(jié)病灶部位分割

用來訓練的圖像、UNet下采樣和上采樣卷積層指標明確，使用戴斯系數(shù)(Dice Coefficient)來評估圖像分割結(jié)果和原標簽數(shù)據(jù)的相似程度。采用ReLU的 Dice系數(shù)為0.85，采用NHReLU和SeLU的Dice系數(shù)都為0.86。NHReLU的Dice系數(shù)和損失函數(shù)如圖1所示。

圖1 NHReLU Dice系數(shù)和損失函數(shù)

通過實驗我們得出，模型采用NHSeLU噪聲激勵函數(shù)較ReLU、SeLU和NHReLU分割效果好，Dice系數(shù)達0.9。采用NHSeLU的 Dice系數(shù)和損失函數(shù)如圖2所示。

圖2 NHSeLU Dice系數(shù)和損失函數(shù)

采用NHSeLU激勵函數(shù)的UNet模型對淋巴結(jié)病灶分割如圖3所示，模型標出((b)、(d))的病灶區(qū)域基本與人工標注((a)、(c))的一致。

圖3 淋巴結(jié)病灶分割

3.2 淋巴結(jié)良惡性分類

ResNet50實驗結(jié)果(增強3 000樣本)：靈敏性、特異性和準確性分別為86.7%、82.8%和84%，AUC為0.848。DenseNet161實驗結(jié)果(增強3 000樣本)：靈敏性、特異性和準確性分別為92%、80%和86.5%，AUC為0.861。

ResNet50實驗結(jié)果(增強5 000樣本)：靈敏性、特異性和準確性分別為92%、86%和89%，AUC為0.89，如圖4所示。DenseNet161實驗結(jié)果(增強5 000樣本)：靈敏性、特異性和準確性分別為93%，88%和90%，AUC為0.90，如圖5所示。

圖4 ResNet50各指標值

圖5 DenseNet161各指標值

ResNet50與DenseNet161(增強5 000樣本)準確率和AUC比較，如圖6所示?？梢钥闯?DenseNet161優(yōu)于ResNet50網(wǎng)絡(luò)。實驗表明訓練的準確率和戴斯系數(shù)較驗證集上的高，主要是數(shù)據(jù)量不夠，今后應(yīng)該進一步增加樣本量，避免模型過擬合。

圖6 ResNet50與DenseNet161準確率和AUC比較

實驗結(jié)果表明，該網(wǎng)絡(luò)能夠?qū)崿F(xiàn)肺癌患者頸部淋巴結(jié)超聲圖像快速、準確分割，分割結(jié)果的靈敏性、特異性和準確性最高分別為93%、88%和90%，AUC為0.90。這些量化指標將對區(qū)分肺癌患者轉(zhuǎn)移性淋巴結(jié)與良性淋巴結(jié)鑒別提供極大幫助，同時也驗證了模型的有效性。文獻[20]使用mean-max pooling 層來提高準確率，但該方法并未對本文實驗準確率有提高，這一點也值得進一步研究。

4 結(jié) 語

本文基于UNet網(wǎng)絡(luò)分割超聲圖像，引入了多種噪聲激勵函數(shù)改進了網(wǎng)絡(luò)的性能，提高了戴斯系數(shù)；使用VGG、ResNet和DenseNet等網(wǎng)絡(luò)預(yù)測淋巴結(jié)病灶區(qū)域的良惡性；采用遷移學習、數(shù)據(jù)增強和損失函數(shù)，防止網(wǎng)絡(luò)的過擬合，提高了小樣本下預(yù)測良惡性的準確率、靈敏度和特異性。今后值得進一步研究的方向有兩點：(1) 為了提升模型的泛化能力，增加時間的多樣性，應(yīng)利用生成對抗網(wǎng)絡(luò)(GAN)，從隨機噪聲中產(chǎn)生新的正樣本，學習生成新形態(tài)的樣本；(2) 本文的深度學習模型對良惡性分類采用單一網(wǎng)絡(luò)進行預(yù)測，并未采用模型融合技術(shù)，因此，檢測采用多種模型融合，分別預(yù)測病變部位良惡性的概率，根據(jù)模型間權(quán)重比例得出最終概率的方法值得深入研究。