徐麒皓，李 波

武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430081

肺癌是世界上死因最高的癌癥，肺結(jié)節(jié)作為肺癌的早期表現(xiàn)形式，可在CT 圖像上觀察為直徑不超過(guò)3 cm的類圓形的肺部陰影，對(duì)其輪廓進(jìn)行準(zhǔn)確地分割能夠幫助醫(yī)生實(shí)現(xiàn)肺結(jié)節(jié)良惡性的診斷[1]。由于肺結(jié)節(jié)體積微小，其形態(tài)、亮度等特征與肺實(shí)質(zhì)中的血管等組織相似，僅通過(guò)肉眼觀察難以將其兩者分開，容易對(duì)醫(yī)生的判斷產(chǎn)生嚴(yán)重的干擾。

深度學(xué)習(xí)目前在計(jì)算機(jī)視覺(jué)取得出色的應(yīng)用效果。神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)地完成對(duì)特定物體的學(xué)習(xí)，如Kumar 等[2]利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對(duì)肺結(jié)節(jié)進(jìn)行良惡性分類，Wang 等[3]利用多尺度CNN對(duì)肺結(jié)節(jié)進(jìn)行有效檢測(cè)與分割。在圖像分割方面，Long 等[4]提出了全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）。該模型通過(guò)將CNN 的全連接層替換成卷積得到每個(gè)圖像中像素的分類結(jié)果以實(shí)現(xiàn)圖像分割。Ronneberger 等[5]在FCN 的基礎(chǔ)上提出了U-Net 網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有U 型對(duì)稱結(jié)構(gòu)，通過(guò)對(duì)圖像特征進(jìn)行編碼與解碼，同時(shí)融合網(wǎng)絡(luò)全局和局部語(yǔ)義特征得到了較好的分割效果[6-10]。在醫(yī)學(xué)圖像處理中，一般很難取得大量的高素質(zhì)批注醫(yī)學(xué)圖像，然而U-Net能夠在較少樣本量的情況下完成模型訓(xùn)練并實(shí)現(xiàn)圖像分割。因此該網(wǎng)絡(luò)經(jīng)常應(yīng)用于醫(yī)學(xué)圖像分割處理任務(wù)，然而醫(yī)學(xué)圖像中的肺結(jié)節(jié)具有邊緣模糊和目標(biāo)區(qū)域小等特點(diǎn)，僅使用原始U-Net 對(duì)其進(jìn)行訓(xùn)練存在梯度消失、特征利用率低等問(wèn)題[11]，最終導(dǎo)致模型的分割準(zhǔn)確率難以提高。

為了解決這些問(wèn)題，本文提出改進(jìn)雙向LSTM密集卷積網(wǎng)絡(luò)[12]，創(chuàng)新地將雙向LSTM 包含在跳躍連接中，并重用具有密集卷積的特征圖。對(duì)應(yīng)編碼層的特征圖包含更高的分辨率，而上一卷積層提取的特征圖包含更多的語(yǔ)義信息[12]。將這兩種特征圖與非線性函數(shù)相結(jié)合得到更精確的分割結(jié)果。利用多視圖密集卷積的特性緩解網(wǎng)絡(luò)特征冗余問(wèn)題并增強(qiáng)了通過(guò)網(wǎng)絡(luò)的信息流[13]。該網(wǎng)絡(luò)利用結(jié)節(jié)的三維特征可以檢測(cè)到孤立、血管或與肺壁相連的結(jié)節(jié)。在收縮路徑的最后一層中，卷積通過(guò)信道級(jí)聯(lián)連接到該層中的所有后續(xù)塊，在每個(gè)塊中重新學(xué)習(xí)的特征被傳遞到下一個(gè)塊。此策略有助于該方法在前一層獲得的集合特征來(lái)學(xué)習(xí)一組不同的特征，從而避免學(xué)習(xí)冗余特征。在此基礎(chǔ)上利用上卷積濾波后的BN來(lái)加速網(wǎng)絡(luò)的收斂速度。

1 方法

受U-Net、BConvLSTM[14]和密集卷積[15]的啟發(fā)，提出了如圖1所示的改進(jìn)雙向LSTM網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用了雙向LSTM和密集卷積的優(yōu)點(diǎn)。

圖1 改進(jìn)雙向LSTM網(wǎng)絡(luò)在跳躍連接和密集卷積中的應(yīng)用Fig.1 Application of improved bidirectional LSTM network in skip connection and dense convolution

網(wǎng)絡(luò)輸入是大小為512×512的CT圖像，使用3×3卷積核將原圖轉(zhuǎn)成32個(gè)大小為512×512的特征圖，后通過(guò)池化操作后得到128 個(gè)大小為256×256 的特征圖，再經(jīng)過(guò)3×3 卷積得到64 個(gè)特征圖的大小為128×128 的特征層。最后得到480個(gè)大小8×8的特征圖。在上采樣過(guò)程中，特征圖通過(guò)2×2卷積核、步長(zhǎng)為2的反卷積操作，得到512 個(gè)大小為8×8 的特征圖，通過(guò)特征融合將特征通過(guò)大小為3×3、步長(zhǎng)為1 的卷積操作，得到1 600 個(gè)大小為32×32 的特征圖。因?yàn)榫W(wǎng)絡(luò)在跳躍連接中加入密集塊，為解決特征圖尺度不一樣的問(wèn)題，在上采樣階段特征增大太多，通過(guò)盡量減少特征丟失保留更多上采樣中依賴的低級(jí)特征。經(jīng)過(guò)上采樣最終得到32 個(gè)大小為512×512 的特征圖，輸出與原圖像尺度、通道數(shù)一樣的圖像。

1.1 視圖數(shù)量

LIDC MATLAB 工具箱將CT 數(shù)據(jù)的XML 注釋信息作為輸入的起始真值數(shù)據(jù)。工具箱的輸出為每個(gè)切片創(chuàng)建一個(gè)單獨(dú)文件夾，其中包含四個(gè)放射科醫(yī)生提供的掩膜。將各個(gè)掩膜組合在一起對(duì)像素求和并歸一化生成最終的結(jié)節(jié)掩膜也稱為概率圖（pmap），以根據(jù)放射科醫(yī)生的意見顯示該像素對(duì)結(jié)節(jié)真值的貢獻(xiàn)概率。當(dāng)像素概率大于0.76 時(shí)特征圖標(biāo)記為結(jié)節(jié)掩膜。在創(chuàng)建3D PMAP 之后，從軸向、冠狀和矢狀視圖的結(jié)節(jié)中提取三個(gè)不同的視圖以及三維長(zhǎng)方體邊之間不同平面的六個(gè)基本視圖[16]如圖2 所示，并保存在不同的文件夾中。不同切片中包含的肺結(jié)節(jié)區(qū)域不一樣，因此選擇一個(gè)準(zhǔn)確且通用的卷積核是很困難的，故采用3×3來(lái)提取多個(gè)尺度的信息，從而捕捉更多的特征。由于卷積核大小不變，在每層卷積中時(shí)間復(fù)雜度與輸出特征圖邊長(zhǎng)平方和卷積核個(gè)數(shù)的乘積成正相關(guān)，空間復(fù)雜度與特征圖的大小平方成正相關(guān)，故編碼路徑逐層增加維數(shù)使網(wǎng)絡(luò)復(fù)雜度增加，復(fù)雜度的變化由輸入視圖設(shè)置的數(shù)量和大小決定。實(shí)驗(yàn)中采用三維分割獲得具有三維特性的結(jié)節(jié)，通過(guò)輸入多個(gè)視圖的結(jié)節(jié)同時(shí)代替整體結(jié)節(jié)來(lái)降低網(wǎng)絡(luò)復(fù)雜度，同時(shí)采集到多視圖的尺度信息數(shù)量能夠提升對(duì)小尺度物體的分割精度。

圖2 三維結(jié)節(jié)的不同視圖Fig.2 Different views of three-dimensional nodules

1.2 編碼路徑

網(wǎng)絡(luò)的收縮路徑包括四個(gè)步驟。每個(gè)步驟由兩個(gè)3×3 卷積濾波器、一個(gè)最大池化函數(shù)和ReLU 組成，每一步過(guò)后的特征圖數(shù)量翻倍。編碼路徑的最后一層產(chǎn)生具有高級(jí)語(yǔ)義信息的高維圖像。在編碼路徑的最后一步，原始U-Net包含一系列可以學(xué)習(xí)不同類型特征的卷積層，然而網(wǎng)絡(luò)可能在連續(xù)卷積中學(xué)習(xí)冗余特征。為了緩解這一問(wèn)題，提出的密集連接卷積有助于通過(guò)網(wǎng)絡(luò)重用進(jìn)行特征圖的學(xué)習(xí)提高其網(wǎng)絡(luò)性能。每個(gè)密集塊中每一層和所有后續(xù)層直接連接，每個(gè)3×3卷積前面都包含一個(gè)1×1 卷積操作，目的是減少輸入的特征圖數(shù)量，使用ReLU 激活函數(shù)以及BN 操作進(jìn)行歸一化。在每個(gè)密集塊之間加入1×1 卷積來(lái)幫助網(wǎng)絡(luò)學(xué)習(xí)一組不同的特征圖而不是冗余特征來(lái)實(shí)現(xiàn)降維，此外該方法通過(guò)允許信息在網(wǎng)絡(luò)中流動(dòng)并重用特征來(lái)提高網(wǎng)絡(luò)的性能。然而密集連接卷積可以從之前產(chǎn)生的所有特征中獲益從而促使網(wǎng)絡(luò)避免梯度爆炸或消失的風(fēng)險(xiǎn)，另外梯度在反向路徑中可以被更快地發(fā)送到網(wǎng)絡(luò)中各自的位置，為此在網(wǎng)絡(luò)中引入一個(gè)包含兩個(gè)密集卷積的塊。在編碼路徑的最后一個(gè)卷積層中有N個(gè)緊密相連的序列塊如圖3 所示。將視為第i卷積塊的輸出。將之前所有卷積特征圖的級(jí)聯(lián)作為第i(i∈{1,2,…,N})卷積塊的輸入，即，輸出為

圖3 雙向LSTM中的密集卷積層Fig.3 Dense convolutional layer in bidirectional LSTM

1.3 解碼路徑

解碼路徑中每個(gè)步驟的開始是對(duì)前一層的輸出執(zhí)行上采樣功能。一般U-Net 使用對(duì)收縮路徑的對(duì)應(yīng)特征圖進(jìn)行剪裁并復(fù)制到解碼路徑，然后將這些特征圖與上采樣函數(shù)的輸出連接起來(lái)。在改進(jìn)雙向LSTM 網(wǎng)絡(luò)中，使用雙向LSTM 以更復(fù)雜的方式處理這兩種特征圖。設(shè)Xe∈RFl×Wl×Hl為編碼路徑中復(fù)制的特征圖集，為前一層卷積的特征圖集，其中Fl為第l層的特征圖數(shù)，Wl×Hl為第l層每個(gè)特征圖的大小，其中首先將Xd傳到上一層卷積后進(jìn)行上采樣如圖4 所示，通過(guò)2×2卷積將每個(gè)特征圖的大小翻倍，同時(shí)將特征信道的數(shù)量減半，即產(chǎn)生同樣在擴(kuò)展路徑中逐層增加特征圖的大小，為了在最終層達(dá)到輸入圖像的原始大小。

圖4 雙向LSTM網(wǎng)絡(luò)Fig.4 Bidirectional LSTM network

經(jīng)過(guò)上采樣后在插入BN得到，在訓(xùn)練步驟中的每一層都要適應(yīng)并學(xué)會(huì)新的激活函數(shù)分布，會(huì)導(dǎo)致中間層在訓(xùn)練過(guò)程中出現(xiàn)訓(xùn)練速度變慢的問(wèn)題。該網(wǎng)絡(luò)的標(biāo)準(zhǔn)化通過(guò)減去批處理均值并除以批處理標(biāo)準(zhǔn)偏差使網(wǎng)絡(luò)中某一層的輸入可以提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速率和穩(wěn)定性能，同時(shí)適當(dāng)?shù)恼齽t化能改變提升網(wǎng)絡(luò)的性能。

負(fù)擔(dān)過(guò)重會(huì)導(dǎo)致網(wǎng)絡(luò)不收斂，故應(yīng)選擇較小的初始權(quán)值和閾值，同時(shí)隱藏層節(jié)點(diǎn)數(shù)減少可以使網(wǎng)絡(luò)結(jié)構(gòu)和運(yùn)算量減少。由于訓(xùn)練時(shí)間的限制，學(xué)習(xí)率過(guò)大或?qū)W習(xí)速率加快會(huì)引起網(wǎng)絡(luò)出現(xiàn)波動(dòng)現(xiàn)象，導(dǎo)致不收斂的危險(xiǎn)。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)隱藏層的數(shù)量選擇也會(huì)對(duì)網(wǎng)絡(luò)收斂速度產(chǎn)生影響，因此選擇一個(gè)合適的學(xué)習(xí)率是算法提升性能的關(guān)鍵問(wèn)題。為了使學(xué)習(xí)速率足夠大，又不會(huì)產(chǎn)生震蕩，故在權(quán)值調(diào)整公式中加入動(dòng)量項(xiàng)，可以對(duì)網(wǎng)絡(luò)起到一定的穩(wěn)定作用。若步長(zhǎng)過(guò)小，收斂速度太慢，然而當(dāng)步長(zhǎng)過(guò)大時(shí)，會(huì)引起誤差函數(shù)不下降導(dǎo)致最后網(wǎng)絡(luò)不收斂。為了加速網(wǎng)絡(luò)的收斂，同時(shí)考慮到數(shù)據(jù)集中圖像的體素值不一致，本文采用均值和標(biāo)準(zhǔn)差的方法對(duì)圖像進(jìn)行了歸一化。考慮數(shù)據(jù)集中樣本數(shù)量較少，對(duì)CT 圖像采用剪裁、翻轉(zhuǎn)和復(fù)制的方法進(jìn)行了數(shù)據(jù)增強(qiáng)。該網(wǎng)絡(luò)用Overlap-tile 策略補(bǔ)全輸入圖像的上下文信息并對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，既可以解決訓(xùn)練數(shù)據(jù)不足的問(wèn)題，也可以提高算法的魯棒性。

1.4 雙向LSTM網(wǎng)絡(luò)

上式中，*和°分別表示卷積函數(shù)和Hadamard 函數(shù)。Xt是輸入張量，H是隱性狀態(tài)張量，Ct是存儲(chǔ)單元張量，Wx*和Wh*分別對(duì)應(yīng)輸入和隱性狀態(tài)的二維卷積核，其中bi、bf、bo和bc是偏差項(xiàng)。

該網(wǎng)絡(luò)使用雙向LSTM 卷積對(duì)Xe和進(jìn)行編碼，雙向LSTM使用兩個(gè)LSTM將輸入數(shù)據(jù)處理成前后兩個(gè)方向的路徑，然后通過(guò)處理兩個(gè)方向的數(shù)據(jù)依賴關(guān)系來(lái)決定當(dāng)前的輸入。通常LSTM 只處理前向的依賴項(xiàng)，但是應(yīng)該充分考慮序列中的所有信息，因此考慮后向依賴項(xiàng)可能是有效的。事實(shí)證明分析前向和后向的視角都能提高預(yù)測(cè)性能，每一個(gè)前向和后向的卷積LSTM 都可以看作是一個(gè)標(biāo)準(zhǔn)LSTM，雙向LSTM 的輸出計(jì)算為：

上式中Hα和Hβ分別表示前向和后向的隱性狀態(tài)張量，b為偏置項(xiàng)，表示雙向信息的最終輸出。該方法利用雙曲正切tanh 通過(guò)非線性方式將前向和后向的輸出結(jié)合起來(lái)，使用原始U-Net網(wǎng)絡(luò)的能量函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)。

標(biāo)準(zhǔn)的LSTM以時(shí)序順序處理只考慮了歷史信息，忽略了預(yù)測(cè)信息，然而同時(shí)考慮特征的歷史信息和預(yù)測(cè)信息有助于特征建模任務(wù)。因此，本文使用雙向LSTM網(wǎng)絡(luò)得到前向和后向路徑的特征表示，分別從前后兩個(gè)方向處理特征路徑，由下采樣產(chǎn)生的卷積特征僅在初始時(shí)刻被輸入到雙向LSTM單元中，雙向LSTM單元的內(nèi)部參數(shù)在每個(gè)時(shí)刻動(dòng)態(tài)更新。這些參數(shù)刻畫了雙向LSTM單元對(duì)視覺(jué)信息長(zhǎng)期與短期的記憶，是視覺(jué)信息的另一種表征。雙向LSTM 在參數(shù)更新完畢后將被輸入到上采樣中進(jìn)行特征融合。

雙向LSTM 能夠?qū)W習(xí)利用輸入的空間語(yǔ)義信息動(dòng)態(tài)地改變圖像不同區(qū)域的權(quán)重。隨后前向路徑通過(guò)LSTM 的輸出與提取感興趣區(qū)域來(lái)計(jì)算所有區(qū)域上圖像特征的加權(quán)平均值，并將這個(gè)值作為特征向量輸入后向路徑。其中遺忘門學(xué)習(xí)的是從輸入信息中保留多少信息，輸入門則控制著輸入信息中的哪些部分會(huì)被模型選擇，輸出門控制著哪些信息被作為長(zhǎng)期記憶更新到雙向LSTM 單元的參數(shù)中。這些門使LSTM 能夠通過(guò)選擇性地閱讀、記憶、遺忘一部分信息學(xué)習(xí)到復(fù)雜的空間上下文信息從而提高網(wǎng)絡(luò)的檢測(cè)性能。

1.5 損失函數(shù)

在二分類的語(yǔ)義分割任務(wù)中，常用的損失函數(shù)是二值交叉熵?fù)p失函數(shù)，使用二值交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，可以穩(wěn)定傳回每個(gè)類別相對(duì)應(yīng)的梯度，有效解決了在反向傳播過(guò)程中梯度消失的問(wèn)題。由于損失函數(shù)在梯度回傳的過(guò)程中對(duì)每個(gè)類別均等地進(jìn)行評(píng)估，對(duì)于存在不平衡類別問(wèn)題的圖像來(lái)說(shuō)，其中最常見的類別更容易改變網(wǎng)絡(luò)的優(yōu)化方向，進(jìn)而影響最終的分割結(jié)果。其公式如下：

式中，gi為像素點(diǎn)i的真實(shí)類型，pi為網(wǎng)絡(luò)對(duì)像素點(diǎn)i的預(yù)測(cè)類型結(jié)果。

另一種可以通過(guò)學(xué)習(xí)使網(wǎng)絡(luò)預(yù)測(cè)結(jié)果逐漸逼近真實(shí)結(jié)果的分割任務(wù)損失函數(shù)為Dice 相似系數(shù)損失函數(shù)。一旦預(yù)測(cè)結(jié)果中有部分像素預(yù)測(cè)錯(cuò)誤，會(huì)導(dǎo)致預(yù)測(cè)目標(biāo)的梯度劇烈變化，從而增加了網(wǎng)絡(luò)的訓(xùn)練困難，公式如下：

本文根據(jù)二值交叉熵和Dice 相似系數(shù)損失函數(shù)的特點(diǎn)提出了一種混合損失函數(shù)。在反向傳播中混合損失函數(shù)避免了均方誤差損失函數(shù)學(xué)習(xí)速率降低的問(wèn)題，同時(shí)通過(guò)學(xué)習(xí)速率控制輸出的誤差；既能夠解決正負(fù)樣本數(shù)據(jù)分布不平衡的問(wèn)題，也可以緩解訓(xùn)練時(shí)交叉熵與測(cè)試時(shí)F1 的失配問(wèn)題；重點(diǎn)通過(guò)計(jì)算預(yù)測(cè)肺結(jié)節(jié)前景和真實(shí)標(biāo)簽中肺結(jié)節(jié)前景的交集和并集，來(lái)解決因背景像素過(guò)多而導(dǎo)致?lián)p失函數(shù)太小的問(wèn)題，公式如下：

式中，α為權(quán)重因子，用于調(diào)節(jié)兩種損失函數(shù)所占權(quán)重。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

該神經(jīng)網(wǎng)絡(luò)通過(guò)Lung Nodule Analysis 2016（LUNA16）和阿里巴巴天池競(jìng)賽數(shù)據(jù)集進(jìn)行訓(xùn)練。LUNA16 數(shù)據(jù)來(lái)自肺部圖像數(shù)據(jù)庫(kù)協(xié)會(huì)，它包含888 個(gè)CT和1 186個(gè)陽(yáng)性結(jié)節(jié)。

本實(shí)驗(yàn)將所有數(shù)據(jù)分成10個(gè)子集，利用9個(gè)子集進(jìn)行訓(xùn)練，1個(gè)子集進(jìn)行測(cè)試。本文提取左右肺葉區(qū)域掩膜并忽略胸腔以及其他噪聲作為網(wǎng)絡(luò)的輸入，提取步驟如圖5 所示：（1）對(duì)CT 掃描圖像做二值化處理，經(jīng)過(guò)聚類分析得出可以區(qū)分肺區(qū)和非肺區(qū)的閾值；（2）采用K-means 聚類來(lái)區(qū)分肺區(qū)作為一類，非肺區(qū)及周圍為另一類[17]；（3）通過(guò)對(duì)圖像內(nèi)部存在的高亮區(qū)域使用腐蝕操作來(lái)去除局部細(xì)微顆粒噪聲[18]；（4）采用圖像膨脹處理將血管包含為肺部組織，目的是移除由于不透明射線引起的肺部黑色噪聲和覆蓋區(qū)域[19]；（5）將第（4）步的結(jié)果與原圖做與操作后剪裁到同樣大小得到肺實(shí)質(zhì)區(qū)域[20]。

圖5 提取肺部掩膜流程圖Fig.5 Flow chart of lung mask extraction

2.2 數(shù)據(jù)增強(qiáng)

首先將CT 標(biāo)準(zhǔn)化掃描的平均值設(shè)為?600，標(biāo)準(zhǔn)差設(shè)為300，再進(jìn)行數(shù)據(jù)增強(qiáng)的方法如下：

（1）剪裁，對(duì)每個(gè)512×512的CT圖像，每隔2個(gè)像素對(duì)其進(jìn)行裁剪，裁剪成500×500 的小切片，最后每個(gè)候選區(qū)域的數(shù)據(jù)量增加了36倍。

（2）翻轉(zhuǎn)，對(duì)每一幅CT圖像從三個(gè)維度（軸向、冠狀面和矢狀面視圖）采用翻轉(zhuǎn)，最終得到每幅CT圖像的數(shù)據(jù)量增加了288倍。

（3）復(fù)制，為了訓(xùn)練數(shù)據(jù)集中正樣本特征和負(fù)樣本特征的數(shù)量達(dá)到平衡，故將正樣本特征復(fù)制8 次后使用。

2.3 評(píng)價(jià)標(biāo)準(zhǔn)

該實(shí)驗(yàn)采用平均像素精度（MPA）[21]、像素精度（PA）、平均交并比（MIoU）[22]，衡量分割效果采用三種常用語(yǔ)義分割標(biāo)準(zhǔn)公式如下所示：

設(shè)k=1 時(shí)肺結(jié)節(jié)分割的過(guò)程只需要語(yǔ)義分割結(jié)果。pij表示預(yù)測(cè)為j類卻屬于i類的像素?cái)?shù)量，pii和pji分別表示預(yù)測(cè)為i類卻屬于i類的像素?cái)?shù)量以及預(yù)測(cè)為j類卻屬于i類的像素?cái)?shù)量。

2.4 參數(shù)設(shè)置

在訓(xùn)練中經(jīng)過(guò)預(yù)處理后的10 張CT 圖像作為一組輸入數(shù)據(jù)，選擇混合損失函數(shù)作為目標(biāo)函數(shù)，利用Adam優(yōu)化器優(yōu)化網(wǎng)絡(luò)，將初始學(xué)習(xí)率設(shè)定為10?5，批量大小設(shè)置為32，動(dòng)量設(shè)置為0.9。動(dòng)量參數(shù)設(shè)置為在訓(xùn)練和測(cè)試數(shù)據(jù)集中保留相似的數(shù)據(jù)分布，以避免由于數(shù)據(jù)不均衡而導(dǎo)致過(guò)分割和欠分割。

本文對(duì)損失函數(shù)中的權(quán)重因子α值選擇和有效性進(jìn)行了研究，由于不同損失函數(shù)對(duì)應(yīng)的量級(jí)和收斂速度不同，在訓(xùn)練過(guò)程中先使用超參數(shù)調(diào)整損失到同一量級(jí)后，再在這一范圍內(nèi)尋找能平衡收斂速度的參數(shù)。實(shí)驗(yàn)先對(duì)交叉熵?fù)p失函數(shù)和Dice相似系數(shù)損失函數(shù)單獨(dú)訓(xùn)練，在接近收斂時(shí)將損失函數(shù)的權(quán)重?cái)?shù)量級(jí)設(shè)為基準(zhǔn)權(quán)重，得到交叉熵?fù)p失函數(shù)的權(quán)重為0.25，Dice 相似系數(shù)損失函數(shù)的權(quán)重為0.16，此時(shí)通過(guò)調(diào)整超參數(shù)把混合損失函數(shù)基準(zhǔn)權(quán)重設(shè)成1∶5。如果想要強(qiáng)調(diào)其中一個(gè)損失函數(shù)就在此基礎(chǔ)上增加對(duì)應(yīng)權(quán)重?cái)?shù)值，將α分別設(shè)置為0、0.2、0.4、0.6、0.8和1，表1說(shuō)明混合損失函數(shù)在不同權(quán)重因子下對(duì)網(wǎng)絡(luò)性能的影響，最終通過(guò)五組對(duì)比實(shí)驗(yàn)得到效果最優(yōu)的權(quán)重因子。從表1 中可以看出當(dāng)α取值為0.6時(shí)，網(wǎng)絡(luò)的性能表現(xiàn)最佳。然而當(dāng)α取值為0時(shí)，損失函數(shù)為二值交叉熵?fù)p失函數(shù)；當(dāng)α取值為1 時(shí)，此時(shí)損失函數(shù)為相似系數(shù)損失函數(shù)。因此本實(shí)驗(yàn)將權(quán)重因子α的值設(shè)為0.6。

表1 不同權(quán)重因子對(duì)改進(jìn)雙向LSTM性能的影響Table 1 Influence of different weight factors on improved bidirectional LSTM performance

LSTM 網(wǎng)絡(luò)層總參數(shù)為（隱藏層神經(jīng)元數(shù)×輸入的維度+隱藏層神經(jīng)元數(shù)×隱藏層神經(jīng)元數(shù)（上一層的隱藏層輸入）+偏置（隱藏層神經(jīng)元數(shù)））×4，乘以4 是因?yàn)長(zhǎng)STM 有三種不同的門：輸入門、遺忘門、輸出門、再加上一個(gè)輸入，盡管LSTM 每個(gè)時(shí)刻都是參數(shù)共享，但還是要計(jì)算參數(shù)的。卷積層的總參數(shù)為卷積核的寬×卷積核的長(zhǎng)×輸入的通道數(shù)×卷積核的個(gè)數(shù)+卷積核個(gè)數(shù)，因?yàn)閷?duì)每個(gè)卷積核都要去卷積輸入的每個(gè)通道，故這里卷積核的個(gè)數(shù)就是卷積通道數(shù)。在下采樣中第一層卷積圖像輸入為512×512×32，池化后輸出128×128×64，卷積核大小3×3，因此參數(shù)量為3×3×32×64+64。最后一個(gè)卷積層為8×8×480，卷積核大小3×3，因此參數(shù)量為3×3×512×512+512。

2.5 實(shí)驗(yàn)結(jié)果

表2 是各種實(shí)驗(yàn)方法在97 例測(cè)試數(shù)據(jù)上的實(shí)驗(yàn)對(duì)比結(jié)果[23-27]。表3是各種實(shí)驗(yàn)方法對(duì)97例測(cè)試數(shù)據(jù)集抽取39例小結(jié)節(jié)（直徑在3.1 mm～7.5 mm）的實(shí)驗(yàn)對(duì)比結(jié)果[23-27]。圖6 為神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程曲線圖（對(duì)比文獻(xiàn)[24]和[27]的方法均不涉及神經(jīng)網(wǎng)絡(luò)，故無(wú)訓(xùn)練曲線）從圖中可以看出改進(jìn)雙向LSTM網(wǎng)絡(luò)在Epoch為124附近時(shí)損失值就已經(jīng)達(dá)到比較低的水平并且保持小幅度的浮動(dòng)，驗(yàn)證集的損失值趨于穩(wěn)定。其余方法的損失值均高于本文方法，本文實(shí)驗(yàn)中的訓(xùn)練迭代次數(shù)設(shè)置為124。

表2 實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of experimental results

表3 小結(jié)節(jié)分割結(jié)果對(duì)比Table 3 Comparison of segmentation results of small nodules

圖6 訓(xùn)練過(guò)程曲線圖Fig.6 Curve of training process

表2和表3展示了不同網(wǎng)絡(luò)在像素正確分類概率和頻率的多重評(píng)價(jià)指標(biāo)中，改進(jìn)雙向LSTM均比其他方法得到更高的分?jǐn)?shù)，同時(shí)也體現(xiàn)了該方法在不同尺寸結(jié)節(jié)的圖像分割中保持了高效的分割精度和穩(wěn)定性。這是由于其他模型沒(méi)有充分利用網(wǎng)絡(luò)中所提取的圖像特征。模型對(duì)于編碼器提取的所有特征只進(jìn)行上采樣操作，將其恢復(fù)到輸入圖像的大小，從而忽略了多尺度特征空間的像素定位與分類之間的關(guān)系，因此這類模型的分割結(jié)果較差。改進(jìn)雙向LSTM 模型通過(guò)利用局部特征和全局特征進(jìn)行像素精確定位和分類，使網(wǎng)絡(luò)的分割性能更加高效。模型不僅采用跳躍連接方式，而且還通過(guò)密集連接模塊將相鄰跳躍連接中雙向LSTM 網(wǎng)絡(luò)層中提取的特征融合起來(lái)，有效避免特征冗余的同時(shí)能夠進(jìn)一步加強(qiáng)網(wǎng)絡(luò)對(duì)特征的傳遞與利用，同時(shí)也能夠緩解網(wǎng)絡(luò)中梯度消失的問(wèn)題，因此改進(jìn)雙向LSTM網(wǎng)絡(luò)對(duì)圖像中的微小或邊界模糊的肺結(jié)節(jié)區(qū)域具有更強(qiáng)的學(xué)習(xí)能力。

圖7 為多類型肺結(jié)節(jié)的分割效果，其中（1）、（2）為常見孤立型肺結(jié)節(jié)，（3）、（4）為血管粘連型肺結(jié)節(jié)，（5）、（6）為胸膜牽拉型肺結(jié)節(jié)，（7）為不易識(shí)別的磨玻璃型肺結(jié)節(jié)。（2）、（3）、（6）的結(jié)節(jié)直徑都小于7.4 mm。結(jié)果表明該網(wǎng)絡(luò)能夠?qū)Υ蠼Y(jié)節(jié)（1）、（5）、（7）有完整的分割效果，對(duì)小結(jié)節(jié)（2）、（3）、（6）有較為精準(zhǔn)的分割效果，實(shí)驗(yàn)中其他方法對(duì)比本文方法存在欠分割和過(guò)分割的情況。由于文獻(xiàn)[23]和[24]的方法忽略了多尺度特征融合的重要性，只能實(shí)現(xiàn)對(duì)肺結(jié)節(jié)的大致定位。肺結(jié)節(jié)在圖像中所占比例較大，且其像素值與背景區(qū)域中的血管等組織相近，將背景區(qū)域預(yù)測(cè)為肺結(jié)節(jié)區(qū)域，容易受到與病灶相似的干擾區(qū)域的影響分割結(jié)果誤差較大。相比之下，本網(wǎng)絡(luò)與其他分割網(wǎng)絡(luò)相比，分割效果得到顯著提升，在針對(duì)微小或邊界模糊的肺結(jié)節(jié)的分割過(guò)程中魯棒性高，具有良好的分割性能。綜合實(shí)驗(yàn)結(jié)果表明本文提出的改進(jìn)雙向LSTM 分割網(wǎng)絡(luò)在LUNA16 和阿里巴巴天池競(jìng)賽數(shù)據(jù)集的肺結(jié)節(jié)分割MIoU 值達(dá)到了90.1%，在對(duì)大結(jié)節(jié)和小結(jié)節(jié)的完整度和分割精確程度都有良好效果。

圖7 不同類型肺結(jié)節(jié)分割結(jié)果Fig.7 Segmentation results of different types of lung nodules

3 討論

U-Net網(wǎng)絡(luò)通過(guò)在跳躍連接中插入雙向LSTM網(wǎng)絡(luò)改進(jìn)后具有更準(zhǔn)確、更精細(xì)的分割輸出。來(lái)自前一解碼層和相應(yīng)編碼層的兩種特征在跳躍連接之后組合，通常在U-Net 中使用連接函數(shù)來(lái)組合編碼和解碼兩種特征。本網(wǎng)絡(luò)利用雙向LSTM 對(duì)特征進(jìn)行組合編碼和解碼，編碼后的特征擁有更高的分辨率并包括更多輸入圖像的局部信息，而解碼后的特征具有更多關(guān)于輸入圖像的語(yǔ)義信息，這兩個(gè)特征之間相互影響會(huì)生成一組包括豐富的局部特征和語(yǔ)義信息特征圖。本文提出的方法不是簡(jiǎn)單的特征級(jí)聯(lián)，而是在雙向LSTM中都使用一組卷積濾波器，通過(guò)卷積濾波器來(lái)組合編碼和解碼特征，因此每個(gè)雙向LSTM對(duì)應(yīng)一種特征，也能夠編碼另一種特征的相關(guān)信息。

網(wǎng)絡(luò)在每個(gè)卷積層后加入BN 來(lái)加快學(xué)習(xí)過(guò)程，通過(guò)對(duì)有無(wú)BN的雙向LSTM網(wǎng)絡(luò)采用數(shù)據(jù)集進(jìn)行訓(xùn)練來(lái)評(píng)估該方法的效果。圖8（a）為無(wú)BN 網(wǎng)絡(luò)的訓(xùn)練和測(cè)試精度，圖8（b）為有BN 網(wǎng)絡(luò)的比較結(jié)果。沒(méi)有BN 的雙向LSTM 網(wǎng)絡(luò)在200 個(gè)Epochs 之后收斂，同樣在有BN 是30 個(gè)Epochs 收斂，結(jié)果表明BN 使網(wǎng)絡(luò)收斂速度加快了6.6 倍，同時(shí)也提升了雙向LSTM 網(wǎng)絡(luò)的精度。BN通過(guò)控制輸入分布的均值和方差來(lái)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，同時(shí)對(duì)這些變化進(jìn)行控制從而實(shí)現(xiàn)正則化并減少泛化誤差，綜合來(lái)看BN有助于提高網(wǎng)絡(luò)性能。

圖8 改進(jìn)雙向LSTM訓(xùn)練和測(cè)試準(zhǔn)確性Fig.8 Improved bidirectional LSTM training and testing accuracy

密集卷積的核心思想是通過(guò)卷積塊之間的直接連接從而在塊之間共享特征圖。因此每個(gè)密集塊接收所有前面的層作為輸入來(lái)產(chǎn)生更加多樣化和豐富的特征，有助于網(wǎng)絡(luò)增加更深層次的模型表達(dá)能力。由于密集卷積通過(guò)較短連接接受損失函數(shù)的附加監(jiān)督，因此網(wǎng)絡(luò)對(duì)后向路徑進(jìn)行深度監(jiān)督，該方法在前向和后向路徑通過(guò)密集卷積得到更多的特征傳播。由于誤差信號(hào)可以直接地傳播到較早的層，導(dǎo)致這些層可以直接受到最后一層的監(jiān)督從而減少梯度消失的問(wèn)題。與其他深度學(xué)習(xí)架構(gòu)（如殘差連接）相比，密集卷積在提高網(wǎng)絡(luò)精度的同時(shí)僅需要較少的參數(shù)。

4 結(jié)論

本文提出用于醫(yī)學(xué)圖像分割的改進(jìn)雙向LSTM 網(wǎng)絡(luò)，通過(guò)在跳躍連接中加入雙向LSTM并加入密集連接卷積塊的實(shí)驗(yàn)結(jié)果表明網(wǎng)絡(luò)能夠捕獲更多的特征判定信息，從而得到更精確的分割結(jié)果。此外在卷積層之后利用BN可以將網(wǎng)絡(luò)速度提高6倍左右。在LUNA16和阿里巴巴天池競(jìng)賽數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)說(shuō)明該網(wǎng)絡(luò)與其他出色的方法相比語(yǔ)義分割的效果更好。