孫浩天，袁 剛，楊 楊，劉含秋，鄭 健，楊曉冬，張 寅

1.中國科學(xué)技術(shù)大學(xué)，合肥230026

2.中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所 醫(yī)學(xué)影像實驗室，江蘇 蘇州215163

3.復(fù)旦大學(xué)附屬華山醫(yī)院 放射科，上海200041

肺癌在我國和世界范圍內(nèi)都是發(fā)病率和死亡率最高的癌癥之一。2019 年國家癌癥中心統(tǒng)計數(shù)據(jù)顯示，2015 年我國肺癌發(fā)病率和死亡率分別達(dá)到每10 萬人57.26 人、每10 萬人45.87 人，在全部癌癥中均高居榜首[1]。肺結(jié)節(jié)是肺癌的早期癥狀之一，通常是存在于肺實質(zhì)區(qū)域內(nèi)直徑在3～30 mm 左右的近似球型病灶[2]。肺結(jié)節(jié)的早期發(fā)現(xiàn)及治療是提升肺癌患者生存率的關(guān)鍵，而肺結(jié)節(jié)的良惡性診斷對治療方案的選取起著至關(guān)重要的作用[3-5]。計算機(jī)斷層成像（Computed Tomography，CT）是臨床上主要的肺結(jié)節(jié)篩查手段之一。由于肺結(jié)節(jié)體積較小，醫(yī)生在閱片時注意力需高度集中，長時間閱片容易疲勞，從而造成誤診或漏診的現(xiàn)象發(fā)生。計算機(jī)輔助診斷系統(tǒng)（Computer Aided Diagnosis systems，CADs）可以輔助醫(yī)生進(jìn)行篩查及診斷，減輕醫(yī)生的負(fù)擔(dān)。完整的肺結(jié)節(jié)CADs包括肺結(jié)節(jié)檢測、假陽性降低及肺結(jié)節(jié)良惡性分類三部分。由于肺結(jié)節(jié)尺寸、形狀、紋理多樣（圖1），CADs 在肺結(jié)節(jié)良惡性分類問題上還存在挑戰(zhàn)。

圖1 良性肺結(jié)節(jié)與惡性肺結(jié)節(jié)示意圖

CT 圖像由于采集設(shè)備及參數(shù)設(shè)置的不同，病例之間普遍存在層間分辨率不同的現(xiàn)象。例如公開數(shù)據(jù)集Lung Image Database Consortium and Image Database Resource Initiative（LIDC-IDRI）[6-8]的數(shù)據(jù)來自7 家不同的醫(yī)院或研究機(jī)構(gòu)，CT 層間分辨率范圍在0.6～6.0 mm而層內(nèi)分辨率普遍在0.5 mm 左右。對此，大多數(shù)文獻(xiàn)的做法是采用插值的方法使所有數(shù)據(jù)的層內(nèi)層間分辨率統(tǒng)一[9-13]，例如采用雙線性插值將分辨率統(tǒng)一為1.0 mm 或者0.5 mm。但是如果插值為較大的分辨率（如1.0 mm），則層內(nèi)分辨率降低，丟失部分信息（如圖2所示，結(jié)節(jié)內(nèi)部紋理信息及邊緣信息都有不同程度上的丟失），插值為較小的分辨率（如0.5 mm），則會大幅增加CT 圖像矩陣的存儲空間及后續(xù)算法處理的計算量，并且插值操作本身也增加了數(shù)據(jù)預(yù)處理的復(fù)雜度。

圖2 插值前后圖像分辨率對比

卷積是一種局部性的特征提取操作，為了獲取全局信息，需要將網(wǎng)絡(luò)層數(shù)加深，使卷積擁有更大的感受野。但是三維卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量較多，受顯卡的顯存限制，三維卷積神經(jīng)網(wǎng)絡(luò)深度有限，使淺層三維卷積獲取全局信息是提升網(wǎng)絡(luò)性能的關(guān)鍵。

針對以上情況，本文提出了一種基于三維各向異性卷積的神經(jīng)網(wǎng)絡(luò)，通過將標(biāo)準(zhǔn)的三維卷積拆分為k×k×1和1×1×k 兩種各向異性卷積，分別進(jìn)行層內(nèi)特征提取和層間特征融合。此外還提出了裁剪-非局部池化模塊，使淺層網(wǎng)絡(luò)也可以提取全局特征，提升了網(wǎng)絡(luò)的分類性能。將標(biāo)準(zhǔn)三維卷積拆分為兩種各向異性卷積的策略避免了CT圖像層間分辨率不同的影響。相較于標(biāo)準(zhǔn)三維卷積，本文網(wǎng)絡(luò)在充分利用CT 圖像的三維信息的同時減少了網(wǎng)絡(luò)參數(shù)及計算量，并且不需要插值等額外操作，減少了預(yù)處理的復(fù)雜度。

1 相關(guān)工作

近年來有許多肺結(jié)節(jié)良惡性分類算法的研究工作，根據(jù)算法特點(diǎn)大致可分為兩類：基于影像組學(xué)的方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)影像組學(xué)的方法是通過提取人工設(shè)計的特征，利用傳統(tǒng)的機(jī)器學(xué)習(xí)分類器進(jìn)行訓(xùn)練，獲得分類性能較好的模型。例如Jacobs等人[14]提取了肺結(jié)節(jié)的灰度、形狀、紋理等特征用于分類；Han 等人[15]提取了Haarlick 紋理特征和Gabor 特征，利用支持向量機(jī)（Support Vector Μachine，SVΜ）進(jìn)行分類。近幾年深度學(xué)習(xí)在自然圖像領(lǐng)域取得了巨大的成功[16-18]，越來越多的研究者采用深度學(xué)習(xí)的方法處理醫(yī)學(xué)圖像。Shen等人[19]設(shè)計了一個多尺度裁剪網(wǎng)絡(luò)，利用多尺度池化操作，實現(xiàn)了對不同尺寸結(jié)節(jié)的準(zhǔn)確分類。Xie等人[10]通過在網(wǎng)絡(luò)中額外引入肺結(jié)節(jié)紋理和邊緣信息，提升了結(jié)節(jié)良惡性分類的準(zhǔn)確度。Li 等人[20]設(shè)計了一個多任務(wù)神經(jīng)網(wǎng)絡(luò)，通過引入對肺結(jié)節(jié)形態(tài)學(xué)特征（如分葉、毛刺等）的分類任務(wù)，輔助肺結(jié)節(jié)良惡性分類，提升網(wǎng)絡(luò)性能。

采用二維卷積神經(jīng)網(wǎng)絡(luò)只能提取單一切片的特征，不能充分利用CT圖像的三維信息，而文獻(xiàn)[9-12]采用在包圍結(jié)節(jié)的立方體中截取橫斷面、冠狀面、矢狀面及6個體對角線切面的策略，可以為二維網(wǎng)絡(luò)引入偽三維信息，但會增加較多的預(yù)處理步驟。三維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量較大，會增加較多的計算量與訓(xùn)練時間，并且需要額外的統(tǒng)一分辨率操作。本文提出的模型預(yù)處理階段不需要進(jìn)行插值，在減少網(wǎng)絡(luò)參數(shù)量的同時兼顧了CT圖像的三維信息。

2 三維各向異性卷積神經(jīng)網(wǎng)絡(luò)

本文提出的三維各向異性卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)首先使用一個卷積核為7×7×1 的三維卷積提取輸入圖像塊的二維層內(nèi)特征，避免了層間信息交流；之后使用1×1×7 的卷積對得到的特征圖進(jìn)行層間特征融合，層間信息交流只在特征圖層面上進(jìn)行，避免了輸入圖像塊的層間分辨率不同的影響。然后使用三組尺寸為3×3×1 和1×1×3 的各向異性卷積組提取深層特征。之后裁剪-非局部池化模塊與三維各向異性卷積組交替使用，提升網(wǎng)絡(luò)對結(jié)節(jié)位置特征及全局特征的感知能力。最后使用全連接層分類，獲得預(yù)測結(jié)果。具體的網(wǎng)絡(luò)參數(shù)設(shè)置參見表1。

表1 三維各向異性卷積網(wǎng)絡(luò)結(jié)構(gòu)

2.1 三維各向異性卷積

三維各向異性卷積是標(biāo)準(zhǔn)三維卷積的變體，本文分別采用了卷積核為k×k×1 和1×1×k 的兩種三維各向異性卷積。這兩種卷積結(jié)合使用即可代替標(biāo)準(zhǔn)的三維卷積。本文將一個標(biāo)準(zhǔn)的三維卷積用如下公式表示：

其中，F(xiàn)in和Fout分別表示輸入和輸出的特征圖；W、H、D 分別為三維特征圖的寬、高、深度三個維度的尺寸；C為通道數(shù)，代表特征圖的個數(shù)；K 代表卷積核，K 的下標(biāo)代表卷積核的尺寸為k×k×k×Cin，Cin是輸入特征圖的通道數(shù)，K 的上標(biāo)Cout是輸出特征圖的個數(shù)?？梢詫?biāo)準(zhǔn)的三維卷積拆成如下兩個步驟：

式（2）表示k×k×1 的三維各向異性卷積，本文稱之為層內(nèi)卷積；式（3）表示1×1×k 的三維各向異性卷積，本文稱之為層間卷積。三維特征圖Fin通過一個層內(nèi)卷積操作得到中間特征圖Ftemp，由于卷積核的第三個維度為1，因此Ftemp中的每個切片的特征間是沒有交互的，相當(dāng)于只提取了各切片的二維特征，相對應(yīng)的Ftemp中的深度維度仍為Din；之后利用1×1×k 的層間卷積進(jìn)行層間特征融合，獲得三維特征圖。這樣，層間信息交流只發(fā)生在特征圖的層面，避免了輸入圖像塊層間分辨率不同的影響。

此外，標(biāo)準(zhǔn)三維卷積拆分為層內(nèi)卷積和層間卷積也減少了卷積核的參數(shù)及卷積操作的計算量。為了計算簡便，令Ctemp=Cout=Cin=C,Win=Wout=W,Hin=Hout=H,Din=Dout=D,并且忽略偏置項，標(biāo)準(zhǔn)三維卷積的參數(shù)量和計算量分別為：

兩次各向異性卷積的參數(shù)量和計算量分別為：

圖3 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)（C表示按通道維度拼接）

由上可知，用兩種各向異性卷積來代替標(biāo)準(zhǔn)的三維卷積參數(shù)量減少(k×k×k-(k×k+k))×C2，計算量減少(k×k×k-(k×k+k))×C2×W×H×D ，當(dāng)k＞1 時，參數(shù)量及計算量都顯著減少。此外，Ctemp屬于可以手動調(diào)節(jié)的超參數(shù)，也可以將Ctemp設(shè)置為一個小于初始特征通道的值，這樣形成類似文獻(xiàn)[16]中的瓶頸層操作，可以進(jìn)一步減少參數(shù)量及計算量。

2.2 裁剪-非局部池化模塊

裁剪-非局部池化模塊是將輸入的特征圖分別進(jìn)行中心裁剪及非局部池化操作，最后將得到的兩組特征圖按通道維度并聯(lián)，得到輸出的特征圖。

由于結(jié)節(jié)多出現(xiàn)于三維圖像塊的中心位置，裁剪操作是將特征圖的中心區(qū)域裁剪，每個維度的裁剪尺寸為輸入特征圖尺寸的一半，可以使網(wǎng)絡(luò)更關(guān)注于中心區(qū)域的特征。中心裁剪操作如圖4所示，具體可由如下公式表示：

圖4 中心裁剪操作

由于卷積操作是局部性的，淺層網(wǎng)絡(luò)感受野較小，無法捕獲全局特征，本文提出了非局部池化操作。非局部池化是對輸入特征圖全部空間位置的信息加權(quán)，輸出的特征包含圖像全局特征。本文首先利用空間位置加權(quán)函數(shù)得到尺寸與輸入大小相同的權(quán)重圖，權(quán)重圖中每個位置的特征向量由輸入特征圖全部位置的特征向量加權(quán)得到，將原始特征圖與權(quán)重圖點(diǎn)乘得到加權(quán)特征圖，最后利用三維最大池化操作獲得與中心裁剪分支相同尺寸的特征圖并將其按通道維度拼接。記輸入非局部池化層的特征圖為F( )W,H,D,C ，空間位置加權(quán)函數(shù)可用以下公式表示：

其中，yi代表輸出權(quán)重圖位置i 處的特征向量，xj代表輸入特征圖位置j 處的特征向量。r( )xj是映射函數(shù)，可以將特征向量xj映射到不同維度的空間，本文用1×1×1 的三維卷積實現(xiàn)此函數(shù)，將輸入特征向量映射到C/2 維空間，以減少計算量及內(nèi)存占用。ηi,j是計算輸入特征圖中i 和j 兩點(diǎn)特征向量相關(guān)性的函數(shù)，具體為：

式中，exp表示自然對數(shù)，p( xi)和q( xj)與r( xj)含義相同，上標(biāo)T 表示矩陣轉(zhuǎn)置，ηi,j是通過將特征圖與自身的轉(zhuǎn)置相乘實現(xiàn)全局相關(guān)性計算的。ηi,j同樣也是一種自注意力函數(shù)[21]，因此非局部池化也是一種注意力機(jī)制。將權(quán)重圖與輸入特征圖點(diǎn)乘可得到與輸入同尺寸的輸出，再經(jīng)過一個2×2×2 的三維最大池化操作即可得到非局部池化的輸出。非局部池化操作的具體結(jié)構(gòu)如圖5所示。

圖5 非局部池化操作（T表示轉(zhuǎn)置操作，?表示矩陣乘法）

3 實驗結(jié)果及分析

本文進(jìn)行了一系列實驗來驗證本文提出的網(wǎng)絡(luò)性能。實驗基于Python 環(huán)境的Κeras 深度學(xué)習(xí)工具包，TensorFlow 為后端，在配有64 GB 內(nèi)存，兩塊TITAN V顯卡的工作站上運(yùn)行。

3.1 數(shù)據(jù)集及預(yù)處理操作

本實驗數(shù)據(jù)集采用公開的肺結(jié)節(jié)數(shù)據(jù)集LIDCIDRI數(shù)據(jù)集[6-8]，數(shù)據(jù)集中的肺結(jié)節(jié)由4名醫(yī)生分別標(biāo)定惡性程度，等級從1 到5，其中1 和2 代表良性，4 和5 代表惡性，3代表惡性程度不確定。由于醫(yī)生的主觀性影響，會存在同一結(jié)節(jié)良惡性標(biāo)注不同的現(xiàn)象，因此對同一結(jié)節(jié)的惡性等級取平均，若均值大于3則認(rèn)為是惡性結(jié)節(jié)，均值小于2則認(rèn)為是良性結(jié)節(jié)，均值等于3則認(rèn)為良惡性不確定，舍棄此類樣本。最終從數(shù)據(jù)集中選出了1 185例肺結(jié)節(jié)，其中良性718例，惡性467例。

對CT圖像進(jìn)行了常見的預(yù)處理操作后[22]提取了包含肺結(jié)節(jié)區(qū)域的32×32×32 的圖像塊作為網(wǎng)絡(luò)的輸入。采用五折交叉驗證進(jìn)行實驗，將數(shù)據(jù)平均分成5 份，分別用其中的4份作訓(xùn)練集，1份作測試集進(jìn)行5次實驗，最終的性能是5次實驗的均值。對于訓(xùn)練集數(shù)據(jù)，進(jìn)行了常見的數(shù)據(jù)增強(qiáng)手段，例如隨機(jī)旋轉(zhuǎn)、平移、翻轉(zhuǎn)等。

3.2 網(wǎng)絡(luò)性能評價指標(biāo)

為了評估網(wǎng)絡(luò)性能，通過對比真實值與預(yù)測值之間的差異，計算以下4個參數(shù)：

真陽性數(shù)（True-Positive，TP）：真實值為惡性并且預(yù)測值也為惡性的樣本個數(shù)；

假陽性數(shù)（False-Positive，TP）：真實值為良性但預(yù)測值為惡性的樣本個數(shù)；

真陰性數(shù)（True-Negative，TN）：真實值為良性并且預(yù)測值也為良性的樣本個數(shù)；

假陰性數(shù)（False-Negative，F(xiàn)N）：真實值為惡性但預(yù)測值為良性的樣本個數(shù)。

可以通過以上4 個參數(shù)計算如下幾個常用的分類性能評價指標(biāo)：

本文還引入了受試者工作特征曲線（Receiver Operating Characteristic，ROC）來對模型進(jìn)行更直觀的評估，ROC 曲線線下面積（Area Under Curve，AUC）越大，證明模型的綜合性能越好。

3.3 實驗結(jié)果

3.3.1 三維各向異性卷積分類實驗結(jié)果

在訓(xùn)練階段采用Adam 優(yōu)化函數(shù)[23]，學(xué)習(xí)率設(shè)置為0.000 2，激活函數(shù)為Leaky ReLU，并且在每個卷積層后都接有批均一化層（Batch Normalization，BN），損失函數(shù)為二進(jìn)制交叉熵函數(shù)（Binary Cross Entropy，BCE）。表2展示了本文模型和一些國內(nèi)外相關(guān)研究工作的對比。

表2 實驗結(jié)果對比

文獻(xiàn)[15]采用基于傳統(tǒng)影像組學(xué)的方法，只提取了肺結(jié)節(jié)基于灰度共生矩陣的紋理特征并分類，因此性能較差。文獻(xiàn)[19]和文獻(xiàn)[24]均使用了三維卷積神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)[19]利用多尺度中心裁剪操作，提升網(wǎng)絡(luò)對結(jié)節(jié)中心區(qū)域的特征提取能力，但是忽視了周圍環(huán)境信息對肺結(jié)節(jié)良惡性的影響；文獻(xiàn)[24]同樣使用了中心裁剪操作，并且使用多尺度空洞卷積（Dilated Convolution）提升感受野，一定程度上提高了網(wǎng)絡(luò)對環(huán)境信息的感知能力，因此性能優(yōu)于文獻(xiàn)[19]，但是空洞卷積仍無法提取圖像的全局信息。本文算法可以同時提取結(jié)節(jié)中心區(qū)域和全局信息，因而性能全面優(yōu)于文獻(xiàn)[19]和文獻(xiàn)[24]。

文獻(xiàn)[12]額外引入了1 893 例無標(biāo)簽的天池肺結(jié)節(jié)數(shù)據(jù)，通過半監(jiān)督學(xué)習(xí)的方式輔助LIDC-IDRI數(shù)據(jù)集的良惡性分類訓(xùn)練，并且使用了集成學(xué)習(xí)及自然圖像預(yù)處理等操作。本文實驗設(shè)計旨在驗證提出的三維各向異性卷積組及裁剪-非局部池化操作的有效性，因此并沒有引入額外的數(shù)據(jù)集，也沒有使用集成學(xué)習(xí)等訓(xùn)練策略，從而算法總體性能略差于文獻(xiàn)[12]。但是本文算法在敏感性指標(biāo)上優(yōu)于文獻(xiàn)[12]，更高的敏感性在臨床上會減少惡性病例誤判為良性的概率，從而減少惡性病例漏診的風(fēng)險。

3.3.2 消融實驗

本文分別對比了標(biāo)準(zhǔn)三維卷積（模型A）、不加入裁剪-非局部池化操作的三維各向異性卷積（模型B）以及三維各向異性卷積結(jié)合裁剪-非局部池化操作（模型C）的性能，考慮到訓(xùn)練時間的因素，只用五折數(shù)據(jù)中的4份進(jìn)行訓(xùn)練，剩余1份進(jìn)行測試，實驗結(jié)果如表3所示。

表3 消融實驗結(jié)果對比

標(biāo)準(zhǔn)三維卷積整體網(wǎng)絡(luò)結(jié)構(gòu)與本文提出的網(wǎng)絡(luò)結(jié)構(gòu)相同，只是用標(biāo)準(zhǔn)的k×k×k 三維卷積核代替k×k×1和1×1×k 的卷積核，用最大池化層代替裁剪-非局部池化操作，并且利用雙線性插值將分辨率統(tǒng)一為0.5 mm，保證不損失分辨率；三維各向異性卷積是使用最大池化層代替裁剪-非局部池化操作，其余部分與本文提出的網(wǎng)絡(luò)結(jié)構(gòu)相同。實驗結(jié)果顯示，本文提出的方法取得了最優(yōu)的性能。模型A 與模型B 的結(jié)果對比證明了本文提出的采用三維各向異性卷積組代替標(biāo)準(zhǔn)三維卷積方法的有效性。三維各向異性卷積獲得了與標(biāo)準(zhǔn)三維卷積近似的性能，同時顯著減少了網(wǎng)絡(luò)參數(shù)量，并且不需要插值等額外的預(yù)處理操作，提高了模型的訓(xùn)練效率，減少了模型的內(nèi)存占用。模型B 與模型C 的結(jié)果對比證明了裁剪-非局部池化模塊可以提升網(wǎng)絡(luò)分類性能。裁剪-非局部池化模型加強(qiáng)了對圖像塊中心部分的特征提取，同時也兼顧了全局特征感知能力。雖然增加了部分參數(shù)量，但是獲得的性能提升是顯著的，并且參數(shù)量仍遠(yuǎn)小于標(biāo)準(zhǔn)三維卷積。為了更直觀地對比，繪制了三種模型的ROC曲線（圖6），可以看到三維各向異性卷積結(jié)合裁剪-非局部池化網(wǎng)絡(luò)的ROC曲線線下面積最大，可以進(jìn)一步證明本文提出網(wǎng)絡(luò)的有效性。

圖6 三種網(wǎng)絡(luò)結(jié)構(gòu)的ROC曲線

4 結(jié)束語

本文提出了一種三維各向異性卷積神經(jīng)網(wǎng)絡(luò)用于肺結(jié)節(jié)良惡性分類任務(wù)。網(wǎng)絡(luò)不需要對分辨率不同的CT 圖像進(jìn)行額外的插值操作。在充分利用CT 圖像三維信息的同時，減少了網(wǎng)絡(luò)參數(shù)量及計算量，引入的裁剪-非局部池化操作可以使淺層網(wǎng)絡(luò)獲取全局信息，實現(xiàn)了較好的分類性能。層間分辨率不同的現(xiàn)象在多種三維醫(yī)學(xué)圖像中廣泛存在，例如磁共振圖像、數(shù)字乳腺X線斷層合成圖像等，本文的網(wǎng)絡(luò)結(jié)構(gòu)也可以移植到以上的醫(yī)學(xué)圖像分類任務(wù)。在后期的工作中，將探索網(wǎng)絡(luò)對其他三維醫(yī)學(xué)圖像分類任務(wù)的有效性。