李練兵 芮瑩瑩* 尚建偉 李政宇 李 鐸

1(河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院 天津 300130) 2(天津市口腔醫(yī)院口腔病理科 天津 300041)

0 引 言

口腔癌是發(fā)生在人體口腔中惡性腫瘤的總稱，是頭頸部較為常見的惡性腫瘤之一，全球每年新發(fā)病例超過640 000例[1]，其中大部分屬于口腔鱗狀上皮細(xì)胞癌(Oral squamous cell carcinoma，OSCC)，簡稱口腔鱗癌，即黏膜發(fā)生變異?？谇话┎粌H會出現(xiàn)口腔功能障礙，還會發(fā)生淋巴轉(zhuǎn)移，嚴(yán)重者可危及生命。鉗取或切取活組織檢查是確診口腔癌的重要手段，可有效幫助醫(yī)生進(jìn)行診斷，診斷要求得出定位、定性與范圍的判斷。

傳統(tǒng)口腔鱗癌病理分析主要是通過病理醫(yī)生在顯微鏡下對病變的組織和細(xì)胞學(xué)特征作人工分析，易受醫(yī)生主觀性影響，對醫(yī)生的經(jīng)驗要求較高，同時效率低。病理圖像的數(shù)字化給設(shè)計計算機(jī)輔助診斷系統(tǒng)輔助醫(yī)生診斷帶來可能性[2]。據(jù)了解目前暫未有專門針對口腔鱗癌病理圖像分類的計算機(jī)輔助細(xì)胞學(xué)診斷系統(tǒng)，但深度學(xué)習(xí)在乳腺癌[3]、前列腺癌[4]、胃癌[5]、腦部疾病[6]、肺結(jié)節(jié)[7]等領(lǐng)域的應(yīng)用已有較廣泛深入的研究，且診斷準(zhǔn)確率達(dá)到了95%以上。計算機(jī)輔助細(xì)胞學(xué)診斷系統(tǒng)能夠大大減輕病理醫(yī)師繁瑣的閱片任務(wù)，提高診斷效率，節(jié)省醫(yī)療成本。

正?？谇患?xì)胞切片圖像形態(tài)與口腔鱗癌切片圖像的形態(tài)特征差異較為明顯，但也存在如早期癌變不明顯、正常上皮細(xì)胞形態(tài)特殊等不易分辨的情況，對于基層縣級醫(yī)院或鄉(xiāng)鎮(zhèn)醫(yī)院的醫(yī)生而言會因缺少專業(yè)的經(jīng)驗及知識而無法給出結(jié)果。因此訓(xùn)練了基于DenseNet的神經(jīng)網(wǎng)絡(luò)對正常和癌變圖像做二分類，輔助醫(yī)生給出結(jié)果，以免耽誤病情。在專業(yè)醫(yī)生的診斷中，往往不僅需要知道是否癌變，還需要定位癌變區(qū)域，不同階段及個體差異等會導(dǎo)致不同病理圖像中細(xì)胞形態(tài)、排列方式等的差異，選取了幾種典型的鱗癌病理圖像用于訓(xùn)練基于UNet++[8]架構(gòu)的神經(jīng)網(wǎng)絡(luò)，將癌變區(qū)域作為前景，未被癌細(xì)胞侵染的部位作為背景，實現(xiàn)癌變區(qū)域的分割定位，幫助醫(yī)生對癌變區(qū)域定位，對患者后續(xù)治療產(chǎn)生積極意義。

1 鱗癌組織病理特點及數(shù)據(jù)集構(gòu)建

鱗癌發(fā)生在口腔黏膜或者皮膚的鱗狀上皮,癌瘤是鱗狀上皮增殖形成的。增殖的上皮侵入結(jié)締組織內(nèi)，會形成許多互相連接的細(xì)胞巢即為癌巢。

口腔鱗狀細(xì)胞癌分級的主要依據(jù)就是組織學(xué)特征，口腔鱗癌病理圖像對應(yīng)的特征為:上皮組織、纖維組織及腺體組織等混為一體，出現(xiàn)以團(tuán)塊狀排列的區(qū)域(癌變區(qū))。對于完整的口腔病理切片圖像，醫(yī)生診斷時，除判斷是否有呈團(tuán)塊狀排列的區(qū)域出現(xiàn)外，表皮、纖維、腺體等組織是否混為一體也是一個重要指標(biāo)。與此同時，不同個體的正常的口腔表皮細(xì)胞形態(tài)、排列等也有不同，有些切片圖像中表皮細(xì)胞的排列類似于團(tuán)塊狀，判別中易混淆。圖1所示為正常口腔切片圖像，其中圓圈標(biāo)記部分為正常切片圖像的上皮組織，圖2為癌變口腔切片圖像，且其中包含未被侵染的上皮組織及癌變區(qū)域(圓圈標(biāo)記內(nèi)為癌變區(qū)域)。

圖1 正常的口腔病理切片圖像

圖2 癌變的口腔病理切片圖像

本文收集天津市口腔醫(yī)院的口腔細(xì)胞切片圖像，建立了口腔細(xì)胞病理切片掃描圖像數(shù)據(jù)集。由專業(yè)病理醫(yī)生對正常與癌變圖像進(jìn)行分類，同時，對確定為鱗癌圖像中的癌變區(qū)域進(jìn)行了精細(xì)的標(biāo)注，并由另一名經(jīng)驗豐富的病理醫(yī)生對標(biāo)注的圖進(jìn)行檢驗。最終數(shù)據(jù)集中圖像共785幅，其中包括非癌癥樣本130幅，帶有標(biāo)注的癌癥樣本655幅。數(shù)據(jù)處理階段的流程如圖3所示。

圖3 數(shù)據(jù)處理流程

由于個體差異性及病變時期的不同，口腔鱗癌病理切片圖像之間的細(xì)胞排列及細(xì)胞形態(tài)也會有差異。如圖4(a)-圖4(f)為未標(biāo)注的具有不同形態(tài)特征的口腔鱗癌病理切片圖像，圖5(a)-圖5(f)分別為對應(yīng)于圖4中各圖標(biāo)注后的圖像，即分割金標(biāo)準(zhǔn)(ground truth)。

(a) (b) (c)

(d) (e) (f)圖5 已標(biāo)注鱗癌病理切片圖像(淺色標(biāo)記為癌變區(qū)域)

由于原始圖像數(shù)量不多且圖像尺寸較大(圖像原始大小為2 880×2 048)，對圖像做了隨機(jī)旋轉(zhuǎn)、隨機(jī)顏色變換、隨機(jī)加噪聲等數(shù)據(jù)增強(qiáng)操作，從而模仿不同染色劑及不同視野下的圖像，擴(kuò)大數(shù)據(jù)集，減少過擬合問題的產(chǎn)生。用高分辨率圖像作為原始輸入，會導(dǎo)致微調(diào)和訓(xùn)練網(wǎng)絡(luò)的時間代價變高，故而采用圖像分塊策略[9]，通過對圖像隨機(jī)裁剪，最終得到大小為512×512的圖塊，改善此情況的同時擴(kuò)大數(shù)據(jù)集。圖6所示為其中一圖進(jìn)行數(shù)據(jù)增強(qiáng)及隨機(jī)裁剪的效果。

圖6 數(shù)據(jù)增強(qiáng)后的效果

上述數(shù)據(jù)處理后，最終參與圖像分類神經(jīng)網(wǎng)絡(luò)訓(xùn)練的正常細(xì)胞圖塊約2 850幅，鱗癌圖塊約2 900幅，參與圖像分割模型訓(xùn)練的已標(biāo)注的圖塊約16 500幅。

2 深度學(xué)習(xí)模型

2.1 圖像分類模型

DenseNet[10]卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域有著杰出表現(xiàn)，本文設(shè)計了基于DenseNet的卷積神經(jīng)網(wǎng)絡(luò)對口腔細(xì)胞切片圖像進(jìn)行識別。DenseNet中dense block的設(shè)計使得每個層的輸入不僅為上一個層的輸出，而是融合了前面所有層的結(jié)果，從而使輸入圖像具有更多的特征，加強(qiáng)了特征的傳遞，更加有效地利用了卷積網(wǎng)絡(luò)學(xué)習(xí)到的特征。同時，dense block中每個卷積層的輸出特征圖數(shù)量都很小，即網(wǎng)絡(luò)寬度很窄，從而在一定程度上減少了參數(shù)數(shù)量。DenseNet中每層以之前層的輸出為輸入，對于有L層的傳統(tǒng)網(wǎng)絡(luò)，一共有L個連接，對于DenseNet，連接數(shù)為L(L+1)/2。

本文選用DenseNet-BC網(wǎng)絡(luò)，網(wǎng)絡(luò)每個dense block中除包含標(biāo)準(zhǔn)的卷積塊(每個卷積塊包含1個批標(biāo)準(zhǔn)化(Batch Normalization，BN)層、1個ReLU激活層、1個卷積層、1個Dropout層)外，在3×3卷積層前面還有一個1×1卷積操作，稱為bottleneck layer，使得網(wǎng)絡(luò)在融合各通道特征的同時能夠降維，減少計算量。連接各個dense block的transition layer中包括1個BN層、1個激活層、1個1×1卷積層、1個Dropout層、1個池化層。其中，1×1卷積層的輸出channel設(shè)置為輸入channel的0.8倍(默認(rèn)0.5)，從而進(jìn)一步壓縮參數(shù)。同時，Dropout層會使得網(wǎng)絡(luò)在訓(xùn)練過程中按照一定概率丟棄網(wǎng)絡(luò)中的部分節(jié)點，能夠有效防止過擬合[11]。網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 分類DenseNet網(wǎng)絡(luò)結(jié)構(gòu)圖

本文所用網(wǎng)絡(luò)中4個dense block的layer數(shù)依次為6、12、48、32，代表block中的卷積塊個數(shù)。Dropout層設(shè)定rate為0.2，即每5個神經(jīng)元中隨機(jī)去掉一個。為避免時間代價過高，本文使用裁剪后的圖像塊作為卷積神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練。但同時原標(biāo)簽為癌變的圖像，分塊后也存在未被癌細(xì)胞侵染的正常區(qū)域，故在輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練前，要根據(jù)標(biāo)注情況，保證標(biāo)簽為癌變的圖塊中包含癌變區(qū)域，使得網(wǎng)絡(luò)更好地的學(xué)習(xí)口腔鱗狀上皮細(xì)胞癌的細(xì)胞形態(tài)與特征。

2.2 圖像分割模型

深度學(xué)習(xí)的圖像分割來源于分類，分割即為對圖片中每個像素所屬的區(qū)域進(jìn)行分類[12]。與機(jī)器學(xué)習(xí)中使用聚類進(jìn)行的圖像分割不同，深度學(xué)習(xí)中的圖像分割是有監(jiān)督問題，需要有圖像分割的金標(biāo)準(zhǔn)作為訓(xùn)練的標(biāo)簽，故而本文所用數(shù)據(jù)集中的圖片均已經(jīng)過病理醫(yī)師的精心標(biāo)注。

基于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[13]的模型與傳統(tǒng)用CNN進(jìn)行圖像分割的方法相比，可以接受擁有任意尺寸的輸入圖像，同時能夠避免如CNN中使用像素塊所帶來的重復(fù)存儲和計算卷積的問題，提高了醫(yī)學(xué)圖像語義分割的準(zhǔn)確度與精度，但其缺點是分割結(jié)果細(xì)節(jié)不夠好。

2015年，Ronneberger等[14]提出了使用編碼-解碼器結(jié)構(gòu)[15]的U-Net用于圖像分割。編碼器部分與FCN類似進(jìn)行圖像的特征提取，可使用獲得過較好圖像特征提取結(jié)果的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)(不包含全連接層)，如AlexNet[16]、GoogleNet[17]、VGGNet[18]、ResNet[19]、DenseNet等。解碼器部分主要進(jìn)行上采樣來恢復(fù)特征，每上采樣一次，就和特征提取部分對應(yīng)的通道數(shù)相同尺度融合。這種結(jié)構(gòu)解決了使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割帶來的精度與感受野不能兼得的問題。卷積神經(jīng)網(wǎng)絡(luò)中的池化層能夠增加網(wǎng)絡(luò)感受野大小，從而學(xué)習(xí)更加抽象的特征，但同時也丟失了精確的位置信息，與語義分割需要準(zhǔn)確的像素位置信息相矛盾。編碼-解碼結(jié)構(gòu)使用池化層逐漸減少空間維度，而解碼器則可恢復(fù)目標(biāo)對象的細(xì)節(jié)和空間維度，把抽象的特征再還原解碼到原圖尺寸得到分割結(jié)果。類似U-Net編碼-解碼的拓?fù)浣Y(jié)構(gòu)可簡單描述為圖8。

圖8 編碼-解碼拓?fù)浣Y(jié)構(gòu)

在U-Net基礎(chǔ)上，Zhou等[8]提出了UNet++結(jié)構(gòu)，在保留U-Net原本的長連接的情況下，不止融合同一尺度的特征，每一個尺度均融合其他所有深層與淺層的特征，即將1至4層的U-Net全部連接，橫著的一層很像DenseNet的結(jié)構(gòu)，使網(wǎng)絡(luò)能夠自己學(xué)習(xí)更多不同深度的特征。UNet++結(jié)構(gòu)如圖9所示。

圖9 UNet++結(jié)構(gòu)圖

其中編碼器部分包括X0,0、X1,0、X2,0、X3,0、X4,0，可選用分類網(wǎng)絡(luò)結(jié)構(gòu)，本文對比使用了ResNet及DenseNet網(wǎng)絡(luò)作為編碼網(wǎng)絡(luò)結(jié)構(gòu)，可明顯看出使用DenseNet網(wǎng)絡(luò)結(jié)構(gòu)獲得的效果最為理想。因為收集大量醫(yī)療圖像數(shù)據(jù)集并進(jìn)行很好標(biāo)注的人力時間等成本巨大，故而使用遷移-微調(diào)方法，預(yù)訓(xùn)練網(wǎng)絡(luò)可以大幅減少訓(xùn)練時間，同時有助于防止過擬合。本文編碼器結(jié)構(gòu)選用DenseNet，故而使用DenseNet在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練得到的模型參數(shù)作為網(wǎng)絡(luò)初始化參數(shù)，遷移[20]到目標(biāo)數(shù)據(jù)集上訓(xùn)練，之后微調(diào)對模型進(jìn)行優(yōu)化。

本文使用的優(yōu)化方法為Adam，網(wǎng)絡(luò)中如編碼器結(jié)構(gòu)中的dense block等卷積塊的激活函數(shù)為ReLU函數(shù)，由于本文任務(wù)是分割前景(癌變區(qū)域)與背景(正常區(qū)域)，可看作二分類問題，網(wǎng)絡(luò)結(jié)構(gòu)最后卷積層的激活函數(shù)設(shè)定為Sigmoid函數(shù)。另外，定義了結(jié)合二值交叉熵與soft dice loss的損失函數(shù)對問題進(jìn)行優(yōu)化，具體表述為:

(1)

式中：lbce是二值交叉熵(binary_crossentropy)損失函數(shù)；ldice為soft dice loss。設(shè)有m個樣本，yi為樣本的標(biāo)簽，hω(xi)為模型預(yù)測的結(jié)果，則二值交叉熵?fù)p失函數(shù)J(ω)可以表示為：

(2)

Dice系數(shù)是綜合衡量精度以及召回率的一個指標(biāo)，衡量兩個樣本的重疊部分，指標(biāo)范圍從0到1，其中“1”表示完整的重疊，計算公式如下:

(3)

式中：GT為對應(yīng)圖像的金標(biāo)準(zhǔn)標(biāo)簽圖像；SR為模型的分割結(jié)果；smooth是為防止分母為0情況發(fā)生而引入的標(biāo)量。反向傳播中是通過降低損失值來優(yōu)化模型，Dice系數(shù)越大，代表模型的預(yù)測值越接近于真實值，相應(yīng)損失應(yīng)越小。因此在圖像分割的神經(jīng)網(wǎng)絡(luò)中一般使用1-Dice損失函數(shù)，也被稱為soft dice loss，即本文中的ldice=1-Dice。

組合交叉熵與soft dice loss能夠避免像素不均衡的問題，其有效性已在由全球最大的數(shù)據(jù)科學(xué)競賽平臺Kaggle與Booz Allen Hamilton咨詢公司共同推出的2018年Data Science Bowl比賽上的第一名方案中得到證明。交叉熵?fù)p失把每個像素作為單獨的一個目標(biāo)來考慮，會使得預(yù)測的mask有些模糊;soft dice loss對圖像中的所有像素點進(jìn)行計算，因此預(yù)測結(jié)果有較好的形狀，不模糊，但不足是有些分類錯誤的像素，其概率也接近于0或1。將兩者結(jié)合可以更好地克服它們的不足，發(fā)揮更好的效果。

3 實 驗

3.1 分類結(jié)果

使用Tensorflow框架，訓(xùn)練時以Adam作為網(wǎng)絡(luò)優(yōu)化算法，使用二值交叉熵?fù)p失函數(shù)，訓(xùn)練后能夠預(yù)測出輸入的口腔細(xì)胞圖像屬于口腔鱗癌的概率。訓(xùn)練時初試學(xué)習(xí)率設(shè)為0.000 1，由于使用的訓(xùn)練平臺硬件條件限制，batch-size最大只能設(shè)置為10，故而會使得損失值及準(zhǔn)確率等波動較明顯，但最終收斂到理想值。圖10所示為網(wǎng)絡(luò)訓(xùn)練過程中損失值變化曲線，圖11所示為網(wǎng)絡(luò)在訓(xùn)練集上的準(zhǔn)確率變化曲線。數(shù)據(jù)集中每幅圖的大小為512×512，訓(xùn)練集圖像共5 750幅，測試集共500幅。

圖10 訓(xùn)練損失值變化曲線

圖11 訓(xùn)練準(zhǔn)確率變化曲線

本文設(shè)定最大迭代次數(shù)為70，迭代總次數(shù)的0.5倍后，學(xué)習(xí)率比初始學(xué)習(xí)率減小10倍，迭代總次數(shù)的0.75倍時，學(xué)習(xí)率再減小10倍，最終在測試集上得到的圖像分類準(zhǔn)確率達(dá)98.46%。圖12為網(wǎng)絡(luò)在測試集上的損失值變化曲線，圖13為網(wǎng)絡(luò)在測試集上的準(zhǔn)確率變化曲線。

圖12 測試集損失值變化曲線

圖13 測試集準(zhǔn)確率變化曲線

使用測試集圖像進(jìn)行結(jié)果預(yù)測，將預(yù)測圖及預(yù)測結(jié)果與實際結(jié)果顯示在圖片上方，如圖14所示。

(a) 正常圖預(yù)測結(jié)果1 (b) 癌變圖預(yù)測結(jié)果1

(c) 癌變圖預(yù)測結(jié)果2 (d) 癌變圖預(yù)測結(jié)果3

(e) 正常圖預(yù)測結(jié)果2 (f) 癌變圖預(yù)測結(jié)果4圖14 分類預(yù)測圖

圖14(a)和(b)兩圖中框內(nèi)區(qū)域特征相似，但圖14(a)中為正常上皮細(xì)胞，而圖14(b)中為癌變團(tuán)塊區(qū)域；同時，圖14(e)和(f)也有較為相似的特征形態(tài)，測試得到結(jié)果與真實標(biāo)簽一致，更加證明該網(wǎng)絡(luò)的有效性與可行性。圖14(c)為經(jīng)過顏色變換的鱗癌圖塊，網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較為準(zhǔn)確的識別。

3.2 分割結(jié)果

使用Tensorflow做后端的Keras庫，依賴OpenCV及PIL庫進(jìn)行圖片數(shù)據(jù)讀取及數(shù)據(jù)處理等。本文對比了DenseNet169作為編碼結(jié)構(gòu)的U-Net、ResNet作為編碼結(jié)構(gòu)的UNet++，以及DenseNet169作為編碼結(jié)構(gòu)的UNet++等分別在口腔鱗癌數(shù)據(jù)集上的分割結(jié)果。訓(xùn)練以Adam作為網(wǎng)絡(luò)優(yōu)化算法，設(shè)定batch-size為4，分批進(jìn)行訓(xùn)練，共有參與訓(xùn)練的圖塊16 500幅，分出其20%即3 300幅作為驗證集，其余作為訓(xùn)練集參與訓(xùn)練，測試集共有圖300幅。

圖15所示為兩種方案對于鱗癌圖像癌變區(qū)域的預(yù)測對比圖，預(yù)測圖經(jīng)過二值化處理，其中白色部分為癌變區(qū)域。

(a) 原圖

(b) GT

(c) Dense-U-Net

(d) Res-UNet++

(e) Dense-UNet++圖15 分割預(yù)測結(jié)果

圖15展示了兩種模型在三幅圖像上的分割預(yù)測結(jié)果對比。其中，圖15(a)表示原鱗癌口腔細(xì)胞病理切片圖像，圖15(b)-(e)分別表示圖15(a)的分割金標(biāo)準(zhǔn)、使用DenseNet網(wǎng)絡(luò)結(jié)構(gòu)作為編碼器的U-Net分割圖、使用ResNet網(wǎng)絡(luò)結(jié)構(gòu)作為編碼器的UNet++分割圖，以及使用DenseNet網(wǎng)絡(luò)結(jié)構(gòu)作為編碼器的UNet++分割圖?？梢钥闯?，使用ResNet網(wǎng)絡(luò)作為分割網(wǎng)絡(luò)中編碼器結(jié)構(gòu)得到的分割結(jié)果最不理想，幾乎不能完成分割任務(wù)，而使用DenseNet作為編碼結(jié)構(gòu)的U-Net與UNet++能夠完成圖像分割，且使用UNet++架構(gòu)得到的分割結(jié)果邊界更加平滑，識別結(jié)果更接近于金標(biāo)準(zhǔn)，能夠更加準(zhǔn)確地識別出鱗癌病理圖像的癌變區(qū)域。

4 結(jié) 語

本文從口腔鱗癌的自動分類與診斷出發(fā)，設(shè)計了基于深度學(xué)習(xí)的分類與分割算法，實現(xiàn)了口腔切片細(xì)胞正常與鱗癌的分類。同時，在獲得醫(yī)生精準(zhǔn)標(biāo)注的數(shù)據(jù)集的基礎(chǔ)上，設(shè)計訓(xùn)練了圖像分割網(wǎng)絡(luò)，較好地實現(xiàn)了口腔鱗癌圖像的癌變區(qū)域與未被侵染區(qū)域的分割定位。