曹帥，嚴加勇，崔崤峣，于振坤

(1.上海理工大學醫(yī)療器械與食品學院，上海 200093；2.上海健康醫(yī)學院醫(yī)療器械學院，上海 201318；3.上海健康醫(yī)學院附屬周浦醫(yī)院，上海201318；4.中科院蘇州生物醫(yī)學工程技術(shù)研究所，蘇州 215163；5.南京同仁醫(yī)院，南京211102)

1 引 言

目前淋巴結(jié)的自動檢測方法大多分為兩個步驟：(1)提取候選淋巴結(jié)；(2)降低假陽性淋巴結(jié)數(shù)量。步驟(1)包括人為設(shè)定特征和采用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks, CNN)訓練兩種方式提取候選淋巴結(jié)。人為設(shè)定特征的方式主要基于淋巴結(jié)的形態(tài)特征，設(shè)計合適的濾波器，用濾波器對CT圖像進行濾波，找出具有高響應(yīng)值的點作為候選淋巴結(jié)。Barbu等[1]主要使用Haar濾波器和自適應(yīng)濾波器級聯(lián)的方式提取頸部和腹部候選淋巴結(jié)。Liu等[2]用閾值法對肺、氣管和脊柱等解剖標志點分割，找到縱隔區(qū)域，利用空間先驗知識和隨機森林提取候選淋巴結(jié)。與上述方法相類似，Nakamura等[3]使用基于Hessian矩陣的增強濾波器和級聯(lián)的Haar濾波器提取候選淋巴結(jié)。采用卷積神經(jīng)網(wǎng)絡(luò)是使用大量的數(shù)據(jù)訓練CNN自動提取特征。Oda等[4]用3D-Unet網(wǎng)絡(luò)檢測和分割縱隔淋巴結(jié)，把淋巴結(jié)和縱隔區(qū)域的一些器官一起訓練，來解決淋巴結(jié)樣本的不平衡和單一目標檢測精度較低等問題。秦品樂等[5]使用級聯(lián)的全卷積網(wǎng)絡(luò)(fully convolution network, FCN)識別頸部淋巴結(jié)，該方法首先提取淋巴結(jié)醫(yī)學分區(qū)，之后從分區(qū)內(nèi)提取候選淋巴結(jié)，但級聯(lián)的FCN識別精度有限，可能無法識別和軟組織粘連的淋巴結(jié)。針對步驟(2)的去除假陽性工作，以往大多采用傳統(tǒng)的機器學習的方法進行分類，分類器主要為支持向量機(support vector machine, SVM)[3,6-7]。由于CNN在圖像分類領(lǐng)域取得了多項突破[8-9]，被越來越多的研究人員采用。Roth等[10]把淋巴結(jié)候選點的冠狀面、水平面和矢狀面疊成一個2.5D彩色圖像作為樣本，訓練卷積網(wǎng)絡(luò)用于分類，但該算法對樣本空間信息利用不足，難以分辨較為復(fù)雜的樣本。秦品樂等[5]使用3D的VGG網(wǎng)絡(luò)，并引入特征塊平均池化層提高分類精度。

本研究針對CT圖像縱隔部位的淋巴結(jié)，提出了一種基于傳統(tǒng)方法和深度學習相結(jié)合的自動檢測方法，首先使用基于Hessian矩陣的多尺度增強濾波器獲取候選淋巴結(jié)，然后設(shè)計多視圖卷積網(wǎng)絡(luò)對候選淋巴結(jié)分類，減少假陽性淋巴結(jié)數(shù)量，提升淋巴結(jié)檢測性能。

2 方法

本研究提出的基于Hessian矩陣與多視圖卷積網(wǎng)絡(luò)的方法主要包含三個步驟：(1)定位CT圖像中縱隔區(qū)域并分割縱隔部位內(nèi)與淋巴結(jié)無關(guān)的組織和器官；(2)基于Hessian矩陣的多尺度增強濾波器對縱隔內(nèi)圓形物體進行增強，提取候選淋巴結(jié)；(3)結(jié)合CT圖像三個視圖信息，利用多視圖網(wǎng)絡(luò)對輸入樣本進行二分類，減少假陽性淋巴結(jié)數(shù)量?？v隔淋巴結(jié)自動檢測方法整體流程圖，見圖1。

圖1 淋巴結(jié)自動檢測方法的流程圖

2.1 提取目標區(qū)域

本研究是檢測縱隔區(qū)域的淋巴結(jié)，縱隔區(qū)域可以確定為兩肺之間，即為目標區(qū)域。肺部可以用閾值法[11]分割得到二值化圖像，之后處理肺部區(qū)域圖像得到目標區(qū)域。通過先驗知識了解到，淋巴結(jié)不存在任何器官中，因此，可以分割目標區(qū)域內(nèi)存在的器官來定位淋巴結(jié)存在區(qū)域。目標區(qū)域內(nèi)的干擾器官主要有脊柱、動脈、心臟、氣管和食道；脊柱可以用閾值法分割；動脈、心臟、氣管和食道，本研究采用改進的Unet網(wǎng)絡(luò)進行分割[12]。最后定義式(1)對目標區(qū)域上的像素點p0進行處理，得到二值化圖像M。目標區(qū)域提取結(jié)果見圖2，部分器官的分割結(jié)果見圖3。

圖2 目標區(qū)域提取結(jié)果

圖3 不同器官分割的結(jié)果圖

(1)

2.2 候選淋巴結(jié)檢測

2.2.1圓形結(jié)構(gòu)增強濾波器的構(gòu)造 基于Hessian矩陣的方法常被用于增強圖像上具有某些結(jié)構(gòu)的特征，如管狀、團狀等[13-14]。Hessian矩陣是一個由二階偏導(dǎo)數(shù)組成的方陣。若要分析圖像L上某點p0所具有的結(jié)構(gòu)特征，一般是考慮點p0周圍領(lǐng)域的泰勒展開,其數(shù)學表達式為：

(2)

五歲以下的兒童受影響嚴重。報道稱，目前看起來，大多數(shù)國家都不太可能完成世界衛(wèi)生組織定下的營養(yǎng)目標，特別是兒童群體。五歲以下的兒童中，仍然有很多患有各種形式的營養(yǎng)失調(diào)癥：1.5億兒童發(fā)育不良（在非洲之外的地區(qū)，這個數(shù)字有所下降）、5000萬兒童處于消瘦狀況、3800萬兒童深受超重困擾，而且地區(qū)分布不平衡的特點依然存在。根據(jù)地區(qū)不同，即使是在同一個國家內(nèi)，比例也差距很大。此外，一方面，每年有2000萬的嬰兒在出生時體重不足。另一方面，超重和肥胖的人數(shù)創(chuàng)下了紀錄，有四成兒童都深受其害。

二維CT圖像上像素點p0在L(x,y)處的Hessian矩陣是一個2×2的實對稱矩陣，具體數(shù)學表達式為:

(3)

式中,Lxx,Lxy,Lyx,Lyy表示圖像L點(x,y)處的二階偏導(dǎo)數(shù)。圖像由一系列的離散數(shù)據(jù)組成，因此二階偏導(dǎo)數(shù)可以用差分的形式表示。

x方向上的二階偏導(dǎo)數(shù)：

y方向上的二階偏導(dǎo)數(shù)：

x，y方向上的混合偏導(dǎo)數(shù)：

L(x+1,y)-L(x,y+1)

二階偏導(dǎo)數(shù)構(gòu)成的Hessian矩陣的特征值表示圖像本質(zhì)的特征，由于二階Hessian矩陣是實對稱方陣，因而可以得到其兩個特征值λ1和λ2。假設(shè)某像素點處的Hessian矩陣特征值為λ1和λ2，且假定|λ1|≤|λ2|，則圖像中不同區(qū)域的結(jié)構(gòu)特性與特征值的關(guān)系如表1所示。淋巴結(jié)在2D平面上具有圓形結(jié)構(gòu)，據(jù)此可以構(gòu)造圓形增強濾波器。由于我們增強的是暗色背景下的亮點，需要考慮符號問題，因而構(gòu)造圓形結(jié)構(gòu)增強濾波器[15]如下：

表1 Hessian矩陣特征值與圖像中結(jié)構(gòu)特性關(guān)系

(4)

(5)

其中，二元高斯函數(shù)為:

(6)

Dσi(x,y)=Zσi(x,y)M(x,y),i=1,…,4

(7)

CT圖像上具有高響應(yīng)值的點更有可能是淋巴結(jié)候選點，對增強后的圖像使用閾值操作，保留圖像上響應(yīng)值大于0.2的像素點，之后提取圖像中每個連通域的最小外接矩形框作為候選淋巴結(jié)樣本。

圖4 提取候選淋巴結(jié)

2.3 去除假陽性淋巴結(jié)

通過Hessian濾波器提取的候選淋巴結(jié)中含有大量假陽性淋巴結(jié)，主要由血管和其他的軟組織組成，兩者在CT圖像水平面上形狀相似，較難區(qū)分，但是淋巴結(jié)在空間上呈現(xiàn)團狀，而血管在空間呈現(xiàn)柱狀，可以從CT圖像的冠狀面和矢狀面區(qū)分出來，因此，本研究設(shè)計基于CT圖像三個視圖的分類網(wǎng)絡(luò)來進行分類，降低假陽性淋巴結(jié)數(shù)量。

2.3.1多視圖網(wǎng)絡(luò)結(jié)構(gòu) 多視圖卷積網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，見圖5。特征提取CNN提取每個視圖的特征，視圖合并層整合每個通道提取的特征后，輸送到CNN分類層，對整合特征分類。特征提取層的結(jié)構(gòu)(見圖6)由7個卷積層和3個最大池化層組成；第一、二層是連續(xù)的兩個卷積層，由16個3*3的卷積核組成；第三、四層是連續(xù)的兩個卷積層，由32個3*3的卷積核組成；第五、六層是連續(xù)的兩個卷積層，由64個3*3的卷積核組成；第七層是單個卷積層，由128個3*3的卷積核組成；其中每個卷積層的步長為1，填充為1。卷積層后加入批量歸一化(batch normalization，BN)、修正線性單元(rectified linear unit，ReLU)，以避免過擬合，提高模型的穩(wěn)定性。最大池化層的池化單元尺寸均為2×2，步長為2。視圖合并層參考DenseNet[16]的思想對子網(wǎng)絡(luò)的輸出特征拼接合并成一個新的特征標量。之后將合并的特征放入分類器中，分類CNN是一個全連接層，經(jīng)過全連接層后使用Sigmoid激活層輸出預(yù)測概率，為了減輕過擬合，在全連接層前加入?yún)?shù)為0.5的Dropout層對全連接層進行失活處理。對于候選樣本正負比例不平衡的問題，本研究選擇Focal loss[17]作為損失函數(shù)。見式(8)：

圖5 多視圖卷積網(wǎng)絡(luò)結(jié)構(gòu)

圖6 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

Loss=αy(1-yt)γlog(yt)+(1-α)(1-yt)(yt)γlog(1-yt)

(8)

其中y∈{0,1}是樣本中真實標簽，yt是網(wǎng)絡(luò)預(yù)測概率結(jié)果。α和γ是可以調(diào)節(jié)的超參數(shù)，分別取0.5和2。

3 實驗結(jié)果與分析

本研究所使用的實驗數(shù)據(jù)集是公共數(shù)據(jù)集[18]，數(shù)據(jù)集的信息見表2，淋巴結(jié)大小見表3。由于數(shù)據(jù)集中圖像分辨率不同，因此把所有CT圖像采樣到相同的分辨率(1 mm×1 mm×1 mm)并把圖像CT值固定到[-100,200]HU，該范圍內(nèi)淋巴結(jié)顯示效果最明顯且干擾因素較少；然后用Hessian濾波器提取候選淋巴結(jié)樣本，對于由Hessian濾波器提取的候選淋巴結(jié)，本研究以候選樣本矩形框的中心點，裁剪32×32大小的區(qū)域進行后續(xù)的分類。

表2 數(shù)據(jù)集具體信息

表3 按短軸分類的淋巴結(jié)數(shù)目Table 3 Number of lymph nodes categorized by short axes

數(shù)據(jù)集中訓練集和測試集比例為8:1。為了應(yīng)對數(shù)據(jù)量不足問題，本研究對數(shù)據(jù)集進行擴充，使用隨機翻轉(zhuǎn)，隨機正負15o旋轉(zhuǎn),像素值偏移等增強策略。優(yōu)化算法采取隨機梯度下降(stochastic gradient descent, SGD)算法，動量設(shè)置為0.9，學習率初始設(shè)置為0.01，批處理大小為32，為了防止網(wǎng)絡(luò)中負樣本比例過多，使得網(wǎng)絡(luò)學習的結(jié)果更傾向于負樣本，本研究對正樣本重復(fù)使用，當批處理中正樣本數(shù)據(jù)不足時，隨機從原始樣本中選取正樣本加入，使得批處理中正負樣本比例為1:1，訓練輪次為200輪，并且每輪學習率衰減為原來的0.95，當學習率為0.0001時，停止衰減。實驗環(huán)境為：Ubuntu 18.04,GPU為GTX 2080ti，所使用的框架是Pytorch。

測試結(jié)果的評估使用接受者操作特性自由響應(yīng)(free response operating characteristic, FROC)曲線，見圖7。通過計算不同假陽性下的淋巴結(jié)召回率，以評估不同條件的誤檢和漏檢情況。FROC曲線的橫軸代表每個患者的假陽性淋巴結(jié)數(shù)量，單位FPs/patient,曲線縱軸代表靈敏度，即召回的正樣本占比。從FROC曲線可以看出，在9FPs/patient的條件下，該網(wǎng)絡(luò)最終可以達到90.32%的淋巴結(jié)召回率。對于二分類結(jié)果受試者工作特征(receiver operating characteristic，ROC)曲線下的面積(area under curve,，AUC)可以達到0.94。由表4可知，本研究檢測算法在測試集上的效果與其他文獻中所列出的檢測方法的效果對比。從表中可以看出，本研究檢測算法比所列出的檢測算法有一定的提升。真陽性(TP)，假陽性(FP)，假陰性(FN)的淋巴結(jié)檢測結(jié)果示例，見圖8。

表4 各檢測方法性能的比較

圖7 測試結(jié)果曲線

圖8 候選淋巴結(jié)檢測樣例

本研究算法在自動檢測縱隔區(qū)域淋巴結(jié)時，仍然存在一些局限性。在提取疑似淋巴結(jié)時，某些淋巴結(jié)與周圍軟組織粘連，并且形態(tài)不規(guī)整，造成某些淋巴結(jié)無法提取，后續(xù)會探索更適合的識別算法，如Mask R-CNN；此外，使用多視圖網(wǎng)絡(luò)進行分類時，某些軟組織在三視圖上具有與淋巴結(jié)相似的結(jié)構(gòu)，導(dǎo)致部分假陽性淋巴結(jié)識別錯誤，后續(xù)可以考慮利用淋巴結(jié)的3D空間結(jié)構(gòu)，使用3D網(wǎng)絡(luò)來進行分類。

4 結(jié)語

本研究提出一種基于Hessian矩陣的多尺度增強濾波器和多視圖卷積分類網(wǎng)絡(luò)淋巴結(jié)自動檢測方法。構(gòu)造了基于Hessian矩陣的多尺度圓形結(jié)構(gòu)增強濾波器對CT圖像中的縱隔區(qū)域進行增強，獲取候選淋巴結(jié)，設(shè)計基于冠狀面、矢狀面和水平面的多視圖分類網(wǎng)絡(luò)對候選淋巴結(jié)分類，降低假陽性淋巴結(jié)數(shù)量，提升整體檢測性能。通過對90組CT患者的測試，表明本研究方法能夠在產(chǎn)生較低的假陽性淋巴結(jié)的情況下，有效地檢測出不同大小的淋巴結(jié)，對后續(xù)腫瘤療效的評估和分期具有重要的意義。