孫浩天，袁 剛，楊 楊，劉含秋，鄭 健，楊曉冬，張 寅

1.中國科學技術大學，合肥230026

2.中國科學院 蘇州生物醫(yī)學工程技術研究所 醫(yī)學影像實驗室，江蘇 蘇州215163

3.復旦大學附屬華山醫(yī)院 放射科，上海200041

肺癌在我國和世界范圍內都是發(fā)病率和死亡率最高的癌癥之一。2019 年國家癌癥中心統(tǒng)計數(shù)據(jù)顯示，2015 年我國肺癌發(fā)病率和死亡率分別達到每10 萬人57.26 人、每10 萬人45.87 人，在全部癌癥中均高居榜首[1]。肺結節(jié)是肺癌的早期癥狀之一，通常是存在于肺實質區(qū)域內直徑在3～30 mm 左右的近似球型病灶[2]。肺結節(jié)的早期發(fā)現(xiàn)及治療是提升肺癌患者生存率的關鍵，而肺結節(jié)的良惡性診斷對治療方案的選取起著至關重要的作用[3-5]。計算機斷層成像（Computed Tomography，CT）是臨床上主要的肺結節(jié)篩查手段之一。由于肺結節(jié)體積較小，醫(yī)生在閱片時注意力需高度集中，長時間閱片容易疲勞，從而造成誤診或漏診的現(xiàn)象發(fā)生。計算機輔助診斷系統(tǒng)（Computer Aided Diagnosis systems，CADs）可以輔助醫(yī)生進行篩查及診斷，減輕醫(yī)生的負擔。完整的肺結節(jié)CADs包括肺結節(jié)檢測、假陽性降低及肺結節(jié)良惡性分類三部分。由于肺結節(jié)尺寸、形狀、紋理多樣（圖1），CADs 在肺結節(jié)良惡性分類問題上還存在挑戰(zhàn)。

圖1 良性肺結節(jié)與惡性肺結節(jié)示意圖

CT 圖像由于采集設備及參數(shù)設置的不同，病例之間普遍存在層間分辨率不同的現(xiàn)象。例如公開數(shù)據(jù)集Lung Image Database Consortium and Image Database Resource Initiative（LIDC-IDRI）[6-8]的數(shù)據(jù)來自7 家不同的醫(yī)院或研究機構，CT 層間分辨率范圍在0.6～6.0 mm而層內分辨率普遍在0.5 mm 左右。對此，大多數(shù)文獻的做法是采用插值的方法使所有數(shù)據(jù)的層內層間分辨率統(tǒng)一[9-13]，例如采用雙線性插值將分辨率統(tǒng)一為1.0 mm 或者0.5 mm。但是如果插值為較大的分辨率（如1.0 mm），則層內分辨率降低，丟失部分信息（如圖2所示，結節(jié)內部紋理信息及邊緣信息都有不同程度上的丟失），插值為較小的分辨率（如0.5 mm），則會大幅增加CT 圖像矩陣的存儲空間及后續(xù)算法處理的計算量，并且插值操作本身也增加了數(shù)據(jù)預處理的復雜度。

圖2 插值前后圖像分辨率對比

卷積是一種局部性的特征提取操作，為了獲取全局信息，需要將網(wǎng)絡層數(shù)加深，使卷積擁有更大的感受野。但是三維卷積神經(jīng)網(wǎng)絡的參數(shù)量較多，受顯卡的顯存限制，三維卷積神經(jīng)網(wǎng)絡深度有限，使淺層三維卷積獲取全局信息是提升網(wǎng)絡性能的關鍵。

針對以上情況，本文提出了一種基于三維各向異性卷積的神經(jīng)網(wǎng)絡，通過將標準的三維卷積拆分為k×k×1和1×1×k 兩種各向異性卷積，分別進行層內特征提取和層間特征融合。此外還提出了裁剪-非局部池化模塊，使淺層網(wǎng)絡也可以提取全局特征，提升了網(wǎng)絡的分類性能。將標準三維卷積拆分為兩種各向異性卷積的策略避免了CT圖像層間分辨率不同的影響。相較于標準三維卷積，本文網(wǎng)絡在充分利用CT 圖像的三維信息的同時減少了網(wǎng)絡參數(shù)及計算量，并且不需要插值等額外操作，減少了預處理的復雜度。

1 相關工作

近年來有許多肺結節(jié)良惡性分類算法的研究工作，根據(jù)算法特點大致可分為兩類：基于影像組學的方法和基于深度學習的方法。傳統(tǒng)影像組學的方法是通過提取人工設計的特征，利用傳統(tǒng)的機器學習分類器進行訓練，獲得分類性能較好的模型。例如Jacobs等人[14]提取了肺結節(jié)的灰度、形狀、紋理等特征用于分類；Han 等人[15]提取了Haarlick 紋理特征和Gabor 特征，利用支持向量機（Support Vector Μachine，SVΜ）進行分類。近幾年深度學習在自然圖像領域取得了巨大的成功[16-18]，越來越多的研究者采用深度學習的方法處理醫(yī)學圖像。Shen等人[19]設計了一個多尺度裁剪網(wǎng)絡，利用多尺度池化操作，實現(xiàn)了對不同尺寸結節(jié)的準確分類。Xie等人[10]通過在網(wǎng)絡中額外引入肺結節(jié)紋理和邊緣信息，提升了結節(jié)良惡性分類的準確度。Li 等人[20]設計了一個多任務神經(jīng)網(wǎng)絡，通過引入對肺結節(jié)形態(tài)學特征（如分葉、毛刺等）的分類任務，輔助肺結節(jié)良惡性分類，提升網(wǎng)絡性能。

采用二維卷積神經(jīng)網(wǎng)絡只能提取單一切片的特征，不能充分利用CT圖像的三維信息，而文獻[9-12]采用在包圍結節(jié)的立方體中截取橫斷面、冠狀面、矢狀面及6個體對角線切面的策略，可以為二維網(wǎng)絡引入偽三維信息，但會增加較多的預處理步驟。三維卷積神經(jīng)網(wǎng)絡參數(shù)量較大，會增加較多的計算量與訓練時間，并且需要額外的統(tǒng)一分辨率操作。本文提出的模型預處理階段不需要進行插值，在減少網(wǎng)絡參數(shù)量的同時兼顧了CT圖像的三維信息。

2 三維各向異性卷積神經(jīng)網(wǎng)絡

本文提出的三維各向異性卷積神經(jīng)網(wǎng)絡結構如圖3所示。網(wǎng)絡首先使用一個卷積核為7×7×1 的三維卷積提取輸入圖像塊的二維層內特征，避免了層間信息交流；之后使用1×1×7 的卷積對得到的特征圖進行層間特征融合，層間信息交流只在特征圖層面上進行，避免了輸入圖像塊的層間分辨率不同的影響。然后使用三組尺寸為3×3×1 和1×1×3 的各向異性卷積組提取深層特征。之后裁剪-非局部池化模塊與三維各向異性卷積組交替使用，提升網(wǎng)絡對結節(jié)位置特征及全局特征的感知能力。最后使用全連接層分類，獲得預測結果。具體的網(wǎng)絡參數(shù)設置參見表1。

表1 三維各向異性卷積網(wǎng)絡結構

2.1 三維各向異性卷積

三維各向異性卷積是標準三維卷積的變體，本文分別采用了卷積核為k×k×1 和1×1×k 的兩種三維各向異性卷積。這兩種卷積結合使用即可代替標準的三維卷積。本文將一個標準的三維卷積用如下公式表示：

其中，F(xiàn)in和Fout分別表示輸入和輸出的特征圖；W、H、D 分別為三維特征圖的寬、高、深度三個維度的尺寸；C為通道數(shù)，代表特征圖的個數(shù)；K 代表卷積核，K 的下標代表卷積核的尺寸為k×k×k×Cin，Cin是輸入特征圖的通道數(shù)，K 的上標Cout是輸出特征圖的個數(shù)?？梢詫藴实娜S卷積拆成如下兩個步驟：

式（2）表示k×k×1 的三維各向異性卷積，本文稱之為層內卷積；式（3）表示1×1×k 的三維各向異性卷積，本文稱之為層間卷積。三維特征圖Fin通過一個層內卷積操作得到中間特征圖Ftemp，由于卷積核的第三個維度為1，因此Ftemp中的每個切片的特征間是沒有交互的，相當于只提取了各切片的二維特征，相對應的Ftemp中的深度維度仍為Din；之后利用1×1×k 的層間卷積進行層間特征融合，獲得三維特征圖。這樣，層間信息交流只發(fā)生在特征圖的層面，避免了輸入圖像塊層間分辨率不同的影響。

此外，標準三維卷積拆分為層內卷積和層間卷積也減少了卷積核的參數(shù)及卷積操作的計算量。為了計算簡便，令Ctemp=Cout=Cin=C,Win=Wout=W,Hin=Hout=H,Din=Dout=D,并且忽略偏置項，標準三維卷積的參數(shù)量和計算量分別為：

兩次各向異性卷積的參數(shù)量和計算量分別為：

圖3 本文提出的網(wǎng)絡結構（C表示按通道維度拼接）

由上可知，用兩種各向異性卷積來代替標準的三維卷積參數(shù)量減少(k×k×k-(k×k+k))×C2，計算量減少(k×k×k-(k×k+k))×C2×W×H×D ，當k＞1 時，參數(shù)量及計算量都顯著減少。此外，Ctemp屬于可以手動調節(jié)的超參數(shù)，也可以將Ctemp設置為一個小于初始特征通道的值，這樣形成類似文獻[16]中的瓶頸層操作，可以進一步減少參數(shù)量及計算量。

2.2 裁剪-非局部池化模塊

裁剪-非局部池化模塊是將輸入的特征圖分別進行中心裁剪及非局部池化操作，最后將得到的兩組特征圖按通道維度并聯(lián)，得到輸出的特征圖。

由于結節(jié)多出現(xiàn)于三維圖像塊的中心位置，裁剪操作是將特征圖的中心區(qū)域裁剪，每個維度的裁剪尺寸為輸入特征圖尺寸的一半，可以使網(wǎng)絡更關注于中心區(qū)域的特征。中心裁剪操作如圖4所示，具體可由如下公式表示：

圖4 中心裁剪操作

由于卷積操作是局部性的，淺層網(wǎng)絡感受野較小，無法捕獲全局特征，本文提出了非局部池化操作。非局部池化是對輸入特征圖全部空間位置的信息加權，輸出的特征包含圖像全局特征。本文首先利用空間位置加權函數(shù)得到尺寸與輸入大小相同的權重圖，權重圖中每個位置的特征向量由輸入特征圖全部位置的特征向量加權得到，將原始特征圖與權重圖點乘得到加權特征圖，最后利用三維最大池化操作獲得與中心裁剪分支相同尺寸的特征圖并將其按通道維度拼接。記輸入非局部池化層的特征圖為F( )W,H,D,C ，空間位置加權函數(shù)可用以下公式表示：

其中，yi代表輸出權重圖位置i 處的特征向量，xj代表輸入特征圖位置j 處的特征向量。r( )xj是映射函數(shù)，可以將特征向量xj映射到不同維度的空間，本文用1×1×1 的三維卷積實現(xiàn)此函數(shù)，將輸入特征向量映射到C/2 維空間，以減少計算量及內存占用。ηi,j是計算輸入特征圖中i 和j 兩點特征向量相關性的函數(shù)，具體為：

式中，exp表示自然對數(shù)，p( xi)和q( xj)與r( xj)含義相同，上標T 表示矩陣轉置，ηi,j是通過將特征圖與自身的轉置相乘實現(xiàn)全局相關性計算的。ηi,j同樣也是一種自注意力函數(shù)[21]，因此非局部池化也是一種注意力機制。將權重圖與輸入特征圖點乘可得到與輸入同尺寸的輸出，再經(jīng)過一個2×2×2 的三維最大池化操作即可得到非局部池化的輸出。非局部池化操作的具體結構如圖5所示。

圖5 非局部池化操作（T表示轉置操作，?表示矩陣乘法）

3 實驗結果及分析

本文進行了一系列實驗來驗證本文提出的網(wǎng)絡性能。實驗基于Python 環(huán)境的Κeras 深度學習工具包，TensorFlow 為后端，在配有64 GB 內存，兩塊TITAN V顯卡的工作站上運行。

3.1 數(shù)據(jù)集及預處理操作

本實驗數(shù)據(jù)集采用公開的肺結節(jié)數(shù)據(jù)集LIDCIDRI數(shù)據(jù)集[6-8]，數(shù)據(jù)集中的肺結節(jié)由4名醫(yī)生分別標定惡性程度，等級從1 到5，其中1 和2 代表良性，4 和5 代表惡性，3代表惡性程度不確定。由于醫(yī)生的主觀性影響，會存在同一結節(jié)良惡性標注不同的現(xiàn)象，因此對同一結節(jié)的惡性等級取平均，若均值大于3則認為是惡性結節(jié)，均值小于2則認為是良性結節(jié)，均值等于3則認為良惡性不確定，舍棄此類樣本。最終從數(shù)據(jù)集中選出了1 185例肺結節(jié)，其中良性718例，惡性467例。

對CT圖像進行了常見的預處理操作后[22]提取了包含肺結節(jié)區(qū)域的32×32×32 的圖像塊作為網(wǎng)絡的輸入。采用五折交叉驗證進行實驗，將數(shù)據(jù)平均分成5 份，分別用其中的4份作訓練集，1份作測試集進行5次實驗，最終的性能是5次實驗的均值。對于訓練集數(shù)據(jù)，進行了常見的數(shù)據(jù)增強手段，例如隨機旋轉、平移、翻轉等。

3.2 網(wǎng)絡性能評價指標

為了評估網(wǎng)絡性能，通過對比真實值與預測值之間的差異，計算以下4個參數(shù)：

真陽性數(shù)（True-Positive，TP）：真實值為惡性并且預測值也為惡性的樣本個數(shù)；

假陽性數(shù)（False-Positive，TP）：真實值為良性但預測值為惡性的樣本個數(shù)；

真陰性數(shù)（True-Negative，TN）：真實值為良性并且預測值也為良性的樣本個數(shù)；

假陰性數(shù)（False-Negative，F(xiàn)N）：真實值為惡性但預測值為良性的樣本個數(shù)。

可以通過以上4 個參數(shù)計算如下幾個常用的分類性能評價指標：

本文還引入了受試者工作特征曲線（Receiver Operating Characteristic，ROC）來對模型進行更直觀的評估，ROC 曲線線下面積（Area Under Curve，AUC）越大，證明模型的綜合性能越好。

3.3 實驗結果

3.3.1 三維各向異性卷積分類實驗結果

在訓練階段采用Adam 優(yōu)化函數(shù)[23]，學習率設置為0.000 2，激活函數(shù)為Leaky ReLU，并且在每個卷積層后都接有批均一化層（Batch Normalization，BN），損失函數(shù)為二進制交叉熵函數(shù)（Binary Cross Entropy，BCE）。表2展示了本文模型和一些國內外相關研究工作的對比。

表2 實驗結果對比

文獻[15]采用基于傳統(tǒng)影像組學的方法，只提取了肺結節(jié)基于灰度共生矩陣的紋理特征并分類，因此性能較差。文獻[19]和文獻[24]均使用了三維卷積神經(jīng)網(wǎng)絡。文獻[19]利用多尺度中心裁剪操作，提升網(wǎng)絡對結節(jié)中心區(qū)域的特征提取能力，但是忽視了周圍環(huán)境信息對肺結節(jié)良惡性的影響；文獻[24]同樣使用了中心裁剪操作，并且使用多尺度空洞卷積（Dilated Convolution）提升感受野，一定程度上提高了網(wǎng)絡對環(huán)境信息的感知能力，因此性能優(yōu)于文獻[19]，但是空洞卷積仍無法提取圖像的全局信息。本文算法可以同時提取結節(jié)中心區(qū)域和全局信息，因而性能全面優(yōu)于文獻[19]和文獻[24]。

文獻[12]額外引入了1 893 例無標簽的天池肺結節(jié)數(shù)據(jù)，通過半監(jiān)督學習的方式輔助LIDC-IDRI數(shù)據(jù)集的良惡性分類訓練，并且使用了集成學習及自然圖像預處理等操作。本文實驗設計旨在驗證提出的三維各向異性卷積組及裁剪-非局部池化操作的有效性，因此并沒有引入額外的數(shù)據(jù)集，也沒有使用集成學習等訓練策略，從而算法總體性能略差于文獻[12]。但是本文算法在敏感性指標上優(yōu)于文獻[12]，更高的敏感性在臨床上會減少惡性病例誤判為良性的概率，從而減少惡性病例漏診的風險。

3.3.2 消融實驗

本文分別對比了標準三維卷積（模型A）、不加入裁剪-非局部池化操作的三維各向異性卷積（模型B）以及三維各向異性卷積結合裁剪-非局部池化操作（模型C）的性能，考慮到訓練時間的因素，只用五折數(shù)據(jù)中的4份進行訓練，剩余1份進行測試，實驗結果如表3所示。

表3 消融實驗結果對比

標準三維卷積整體網(wǎng)絡結構與本文提出的網(wǎng)絡結構相同，只是用標準的k×k×k 三維卷積核代替k×k×1和1×1×k 的卷積核，用最大池化層代替裁剪-非局部池化操作，并且利用雙線性插值將分辨率統(tǒng)一為0.5 mm，保證不損失分辨率；三維各向異性卷積是使用最大池化層代替裁剪-非局部池化操作，其余部分與本文提出的網(wǎng)絡結構相同。實驗結果顯示，本文提出的方法取得了最優(yōu)的性能。模型A 與模型B 的結果對比證明了本文提出的采用三維各向異性卷積組代替標準三維卷積方法的有效性。三維各向異性卷積獲得了與標準三維卷積近似的性能，同時顯著減少了網(wǎng)絡參數(shù)量，并且不需要插值等額外的預處理操作，提高了模型的訓練效率，減少了模型的內存占用。模型B 與模型C 的結果對比證明了裁剪-非局部池化模塊可以提升網(wǎng)絡分類性能。裁剪-非局部池化模型加強了對圖像塊中心部分的特征提取，同時也兼顧了全局特征感知能力。雖然增加了部分參數(shù)量，但是獲得的性能提升是顯著的，并且參數(shù)量仍遠小于標準三維卷積。為了更直觀地對比，繪制了三種模型的ROC曲線（圖6），可以看到三維各向異性卷積結合裁剪-非局部池化網(wǎng)絡的ROC曲線線下面積最大，可以進一步證明本文提出網(wǎng)絡的有效性。

圖6 三種網(wǎng)絡結構的ROC曲線

4 結束語

本文提出了一種三維各向異性卷積神經(jīng)網(wǎng)絡用于肺結節(jié)良惡性分類任務。網(wǎng)絡不需要對分辨率不同的CT 圖像進行額外的插值操作。在充分利用CT 圖像三維信息的同時，減少了網(wǎng)絡參數(shù)量及計算量，引入的裁剪-非局部池化操作可以使淺層網(wǎng)絡獲取全局信息，實現(xiàn)了較好的分類性能。層間分辨率不同的現(xiàn)象在多種三維醫(yī)學圖像中廣泛存在，例如磁共振圖像、數(shù)字乳腺X線斷層合成圖像等，本文的網(wǎng)絡結構也可以移植到以上的醫(yī)學圖像分類任務。在后期的工作中，將探索網(wǎng)絡對其他三維醫(yī)學圖像分類任務的有效性。