黃柯敏

（廣東工業(yè)大學(xué)信息工程學(xué)院，廣州510006）

0 引言

乳腺癌的發(fā)病率在女性癌癥中位居首位，占所有新確診癌癥的29%[1]。腋窩淋巴結(jié)的狀態(tài)是乳腺癌最重要的預(yù)后因素之一，及時、準(zhǔn)確地檢測腋窩淋巴結(jié)轉(zhuǎn)移狀態(tài)對指導(dǎo)乳腺癌的臨床治療至關(guān)重要[2]。淋巴結(jié)活檢是臨床判定淋巴結(jié)轉(zhuǎn)移狀態(tài)的金標(biāo)準(zhǔn)。然而，淋巴結(jié)活檢是一種有創(chuàng)的手術(shù)方式，會導(dǎo)致諸多術(shù)后并發(fā)癥，例如淋巴水腫、血清瘤和感染性神經(jīng)病變等。并且，對于乳腺癌早期患者而言，淋巴結(jié)活檢會讓患者承擔(dān)不必要的術(shù)后風(fēng)險(xiǎn)與醫(yī)療費(fèi)用，導(dǎo)致過度治療[3]?，F(xiàn)有的腋窩淋巴結(jié)無創(chuàng)術(shù)前影像學(xué)評估方法主要有乳腺鉬靶攝影、CT、MRI、PET/CT和超聲檢查。乳腺鉬靶攝影不能完全覆蓋腋窩區(qū)域，診斷價值有限。PET或PET/CT對于鑒別轉(zhuǎn)移性淋巴結(jié)的敏感性與特異性都不高。MRI的優(yōu)點(diǎn)是取圖時對操作者的依賴性小，并且可以比較雙側(cè)腋窩淋巴結(jié)，但是MRI檢測范圍有限，不能檢測到所有腋窩淋巴結(jié)[4]。腋窩超聲檢查是一種無創(chuàng)、無輻射且廣泛應(yīng)用于乳腺病變患者腋窩淋巴結(jié)評估的方法。超聲評估分為兩種方式：一種是B型超聲，其主要依據(jù)形態(tài)學(xué)特征來檢測惡性淋巴結(jié)；另一種超聲是剪切波彈性成像（SWE）技術(shù)，它基于健康淋巴結(jié)和轉(zhuǎn)移淋巴結(jié)在硬度上的顯著差異，通過剪切波彈性成像技術(shù)測量淋巴結(jié)組織硬度，在淋巴結(jié)形態(tài)變化不明顯的情況下，定量評估淋巴結(jié)轉(zhuǎn)移狀態(tài)[5]。然而，超聲圖像的判讀依賴于放射科醫(yī)生的主觀評估，這導(dǎo)致了不同觀察者之間存在差異。此外，即使結(jié)合了剪切波彈性成像技術(shù)，超聲診斷淋巴結(jié)轉(zhuǎn)移的診斷效能也不高[6]。綜上所述，傳統(tǒng)無創(chuàng)檢測腋窩淋巴結(jié)轉(zhuǎn)移的能力有限，因此有必要研究一種客觀、準(zhǔn)確、可靠的方法，輔助醫(yī)生提高對腋窩淋巴結(jié)轉(zhuǎn)移狀態(tài)的診斷準(zhǔn)確性。

綜上所述，傳統(tǒng)無創(chuàng)檢測腋窩淋巴結(jié)轉(zhuǎn)移的能力有限，因此有必要研究一種客觀、準(zhǔn)確、可靠的方法，輔助醫(yī)生提高對腋窩淋巴結(jié)轉(zhuǎn)移狀態(tài)的診斷準(zhǔn)確性[7-8]。然而，提取影像組學(xué)（Radiomics）特征對精確地分割病變輪廓有嚴(yán)格的要求，這意味著可能會導(dǎo)致某些有用的醫(yī)學(xué)信息丟失，尤其是病變周圍組織中的醫(yī)學(xué)信息。越來越多的研究人員將卷積神經(jīng)網(wǎng)絡(luò)（CNN）引入醫(yī)學(xué)圖像處理中，這是由于其具有的卷積結(jié)構(gòu)，可以從大量數(shù)據(jù)中進(jìn)行自主學(xué)習(xí)的出色能力。與傳統(tǒng)的影像組學(xué)相比，它可以更深入地挖掘病變及其周圍組織的醫(yī)學(xué)特征[9-10]。為了充分揭示B型和SWE超聲圖像中的潛在醫(yī)學(xué)提示，我們提出構(gòu)建基于深度學(xué)習(xí)多源異構(gòu)數(shù)據(jù)融合模型（DLHM），該模型將B型超聲的影像組學(xué)特征與B型和SWE超聲的深度特征無縫地結(jié)合到一起，對腋窩淋巴結(jié)轉(zhuǎn)移狀態(tài)進(jìn)行評估。

1 方法

1.1 基于深度學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合預(yù)測模型

模型的輸入為B型超聲與剪切波彈性超聲圖像，由深度網(wǎng)絡(luò)進(jìn)行特征提取與特征融合，然后經(jīng)過訓(xùn)練的模型輸出樣本的預(yù)測分類結(jié)果。在主模型內(nèi)，有3個模塊分別提取不同類型的特征，其分別為影像組學(xué)特征模塊、B型超聲圖像深度學(xué)習(xí)圖像特征模塊和剪切波彈性超聲深度學(xué)習(xí)圖像特征模塊。其中影像組學(xué)特征模塊設(shè)計(jì)一個多層感知器提取特征，而B型超聲與剪切波彈性超聲模塊是兩個結(jié)構(gòu)相同且共享權(quán)重參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)。每一個模塊輸出各自特征圖的特征向量，然后將其拼接融合后送進(jìn)全連接層，訓(xùn)練網(wǎng)絡(luò)參數(shù)。設(shè)置Softmax作為最后一個全連接層的激活函數(shù)，以輸出模型的分類結(jié)果。模型的主要結(jié)構(gòu)如圖1所示。

圖1基于深度學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合模型

1.2 影像組學(xué)特征模塊

此模塊應(yīng)用Pyradiomics（https://pyradiomics.readthedocs.io）的開源工具箱，從每個B型超聲圖像中計(jì)算出放射線學(xué)的數(shù)值特征。特征組有3種基本類型：形態(tài)特征、強(qiáng)度特征和紋理特征。提取了描述感興趣區(qū)域（ROI）幾何特征的9個形狀特征，提取了描述ROI強(qiáng)度的一階分布的18個強(qiáng)度特征，計(jì)算了73種紋理特征以使用5種不同方法描述ROI強(qiáng)度的模式或高階分布，包括灰度共生矩陣（GLCM）、灰度游程長度矩陣（GLRLM）、灰度大小區(qū)域矩陣（GL?SZM）、灰度依賴性矩陣（GLDM）和鄰域灰度差矩陣（NGTDM）。另外，通過小波變換從四個方向分解圖像，然后計(jì)算每個方向的一階統(tǒng)計(jì)量和紋理特征，稱為小波特征。最終獲得每個樣本1×464大小的一維矩陣，即464個影像組學(xué)特征。接下來需要從464個傳統(tǒng)影像組學(xué)數(shù)值特征中提取出與淋巴結(jié)轉(zhuǎn)移狀態(tài)相關(guān)的共性特征。設(shè)計(jì)一個由輸入層、隱藏層和輸出層構(gòu)成的多層感知器網(wǎng)絡(luò)。給定一個大小為n的樣本X，輸入個數(shù)為d，多層感知器隱藏單元數(shù)為h。隱藏層的輸出為H，有H∈Rn×h。隱藏層和輸出層均是全連接層，設(shè)隱藏層的權(quán)重參數(shù)和偏差參數(shù)分別為Wh∈Rd×h和bh∈R1×h，輸出層的權(quán)重和偏差參數(shù)分別為Wo∈Rh×q和bo∈R1×q。隱藏層的輸出通過激活函數(shù)進(jìn)行變換。其輸出O∈Rn×q的計(jì)算為：

其中?為激活函數(shù)，這里選擇的激活函數(shù)為ReLU函數(shù)。

1.3 B型超聲與剪切波彈性超聲圖像深度特征模塊

在B型超聲與剪切波彈性超聲圖像深度特征提取模塊中，采用卷積神經(jīng)網(wǎng)絡(luò)對輸入圖像提取特征。卷積核在圖像上滑動濾波采樣，提取圖像特征并輸出圖像的特征圖，然后經(jīng)由池化層進(jìn)行下采樣，對特征進(jìn)行降維，最后一個池化層使用的是全局平均池化去除冗余信息，減少過擬合，并整合全局空間信息。為了能夠建立一個更具代表性的特征空間表示，兩個模塊均采用在大規(guī)模自然圖像數(shù)據(jù)集ImageNet中預(yù)訓(xùn)練的權(quán)重參數(shù)深度網(wǎng)絡(luò)模型，并且兩個模塊之間參數(shù)共享，實(shí)現(xiàn)特征信息流通。

2 實(shí)驗(yàn)

2.1 圖像采集與預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)圖像由中山大學(xué)附屬腫瘤醫(yī)院提供，共計(jì)216例患者的220幅超聲圖像，其中轉(zhuǎn)移性淋巴結(jié)60例，未發(fā)生轉(zhuǎn)移的淋巴結(jié)160例。實(shí)驗(yàn)取得患者的書面同意。

具有10年以上乳腺超聲經(jīng)驗(yàn)的放射科醫(yī)生，使用配備5~14 MHz線性陣列換能器和4~9 MHz線性陣列換能器的Siemens S2000超聲掃描儀的設(shè)備對乳腺和腋窩進(jìn)行超聲檢查。醫(yī)生先在常規(guī)超聲上選擇目標(biāo)淋巴結(jié)，然后使用聲觸診組織成像定量技術(shù)測量（VTIQ）不同淋巴結(jié)組織內(nèi)部的剪切波速度（SWV），保存圖像質(zhì)量最好，偽影最少的剪切波彈性超聲圖像（SWE）。最后由放射科醫(yī)生在計(jì)算機(jī)上使用La?belme軟件，對淋巴結(jié)在圖像中的位置進(jìn)行勾畫。

圖2腋窩淋巴結(jié)超聲圖像

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)操作系統(tǒng)平臺為Ubuntu 16.04，工作站顯卡為NVIDIA GTX 2080，內(nèi)存為12 GB。使用Python 3.6編程語言，在TensorFlow 1.13為后端框架的Keras 2.25平臺上進(jìn)行編碼。采用二元交叉熵?fù)p失函數(shù)和Adam優(yōu)化器進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.0001，batch_size為16，epoch設(shè)置為500。為了減小模型的過擬合風(fēng)險(xiǎn)，采取少數(shù)類樣本過采樣的方法（SMOTE），自動生成影像組學(xué)特征數(shù)據(jù)中的少數(shù)類樣本。對于圖像數(shù)據(jù)，將其隨機(jī)旋轉(zhuǎn)、修剪和縮放，以擴(kuò)充訓(xùn)練集樣本量。此外，將訓(xùn)練集中10%的數(shù)據(jù)作為一個驗(yàn)證集，在訓(xùn)練過程中實(shí)時指導(dǎo)超參數(shù)的選擇和評估訓(xùn)練模型的泛化能力。

3 結(jié)果

3.1 評價指標(biāo)

為了量化評估分類模型的預(yù)測性能，在二分類模型中，靈敏度（sensetive，SEN）和特異度（specificity，SPE）是比較合適的評價指標(biāo)。此外，采用分類準(zhǔn)確度（accuracy，ACC）衡量整體預(yù)測準(zhǔn)確性，同時通過受試者操作特性曲線下面積（AUC）和受試者操作特性曲線（ROC）評估不同方法之間的診斷性能。

3.2 不同深度特征提取網(wǎng)絡(luò)模型結(jié)果

合適的卷積神經(jīng)網(wǎng)絡(luò)框架對于從圖像中提取深度特征至關(guān)重要。本文驗(yàn)證了具有相同特征提取階段的6種流行CNN，這些特征提取階段具有相同的特征提取階段，分別提取了B型和SWE的影像組學(xué)特征和深層特征。如表1所示，多源異構(gòu)數(shù)據(jù)模型中的VGG19在測試集中達(dá)到和0.911（95%置信區(qū)間：0.826-0.963）的AUC。因此，我們選擇VGG19作為基礎(chǔ)的深度特征提取網(wǎng)絡(luò)，建立多源異構(gòu)模型的深度特征模塊。

表1不同深度特征提取網(wǎng)絡(luò)預(yù)測性能比較

3.3 多種模塊數(shù)據(jù)組合模型結(jié)果

為了揭示從B型和SWE超聲圖像中提取的不同特征對模型的貢獻(xiàn)，我們評估了具有不同特征模塊的不同模型以及針對深層特征模塊的VGG19。值得注意的是，當(dāng)特征提取中僅涉及一個功能模塊時，多源異構(gòu)數(shù)據(jù)模型就簡化為簡單的機(jī)器學(xué)習(xí)模型。如表2與圖5所示，包含影像組學(xué)特征，B型和SWE超聲圖像深度特征的3個特征模塊的模型在訓(xùn)練集和測試集中均實(shí)現(xiàn)了最佳性能?？梢园l(fā)現(xiàn)，模型涉及的功能模塊越多，診斷性能就越好。例如，由具有3個特征模塊的異構(gòu)數(shù)據(jù)模型實(shí)現(xiàn)的測試隊(duì)列的AUC不僅明顯大于僅具有一個特征模塊的模型所實(shí)現(xiàn)的最佳AUC（0.911 vs 0.776），同時也是具有兩個特征模塊的模型所獲得的最佳AUC（0.911 vs 0.830）。

表2不同模塊數(shù)據(jù)組合模型預(yù)測性能比較

圖3不同模塊數(shù)據(jù)組合模型預(yù)測結(jié)果ROC曲線

4 結(jié)語

本文提出一種新型的多源異構(gòu)數(shù)據(jù)深度學(xué)習(xí)模型去預(yù)測腋窩淋巴結(jié)轉(zhuǎn)移狀態(tài)，首次將影像組學(xué)數(shù)值特征、B型超聲圖像及剪切波彈性超聲圖像3個模態(tài)異構(gòu)數(shù)據(jù)融合在一個深度學(xué)習(xí)模型中，充分挖掘不同模態(tài)超聲影的多維度、高通量的病灶特征，彌補(bǔ)了傳統(tǒng)影像組學(xué)所忽略的病灶區(qū)邊緣特征信息。使用多源異構(gòu)數(shù)據(jù)的組合，可以解決在小樣本的情況下，特征信息量不足而導(dǎo)致深度學(xué)習(xí)模型預(yù)測性能不佳的問題。隨著在更大規(guī)模數(shù)據(jù)集中的進(jìn)一步驗(yàn)證和模型校準(zhǔn)，這種方法有可能成為臨床上無創(chuàng)檢測腋窩淋巴結(jié)轉(zhuǎn)移狀態(tài)的輔助工具。