謝　欣,夏哲雷

(中國計量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

宮頸癌是威脅廣大女性身體健康的常見惡性腫瘤[1].為實現(xiàn)宮頸癌細(xì)胞識別的智能化,將深度學(xué)習(xí)應(yīng)用到宮頸癌細(xì)胞識別,以降低識別過程中出現(xiàn)的假陰性率、假陽性率,其中減小識別錯誤率成為智能識別宮頸癌細(xì)胞的關(guān)鍵.

深度學(xué)習(xí)在圖像識別應(yīng)用中發(fā)揮著越來越重要的作用,它主要是通過組合低層特征形成高層抽象來表示圖片特征,這種方式能夠更好的表達(dá)出數(shù)據(jù)的最本質(zhì)特征[2].卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的重要組成部分.1998年,Lecun等提出的LeNet-5[3]采用了基于梯度反向傳播模型對網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練,該網(wǎng)絡(luò)主要用于識別10個手寫數(shù)字,對圖像識別效果較差.為提高卷積神經(jīng)網(wǎng)絡(luò)的識別效果,2012年,Krizhevsky等提出了AlexNet,該網(wǎng)絡(luò)在大型圖像數(shù)據(jù)庫ImageNet[4-5]的圖像分類競賽中取得優(yōu)異成績,卷積神經(jīng)網(wǎng)絡(luò)獲得了學(xué)術(shù)界的廣泛關(guān)注,可是將AlexNet應(yīng)用于宮頸癌細(xì)胞數(shù)據(jù)集并沒有取得令人滿意的結(jié)果.繼AlexNet之后,2014年Karen Simonyan和Andrew Zisserman提出了更深的VGG(Visual Geometry Group)[6],它的提出證明網(wǎng)絡(luò)的深度是模型優(yōu)良性能的關(guān)鍵部分,但是該網(wǎng)絡(luò)存在大量無關(guān)參數(shù),以致耗費計算資源,識別效率低.

針對以上問題,本文基于深度卷積神經(jīng)網(wǎng)絡(luò),提出一種由七層卷積層和兩層全連接層串聯(lián)的模型,通過并聯(lián)卷積層增加該網(wǎng)絡(luò)寬度,減少網(wǎng)絡(luò)參數(shù)來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu).將該模型應(yīng)用到宮頸癌細(xì)胞識別中,對中間層特征圖像采用批量歸一化方法進(jìn)行預(yù)處理,以加快網(wǎng)絡(luò)訓(xùn)練,降低分類錯誤率.與其他同類相關(guān)文獻(xiàn)相比,識別效果更好.

1　卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是一種前饋神經(jīng)網(wǎng)絡(luò),它主要由輸入層、卷積層、激活函數(shù)、池化層、全連接層組成[3].

卷積層中通過可學(xué)習(xí)的卷積核(Filter)按照一定步長與圖像像素做對應(yīng)相乘再相加的運算,進(jìn)行特征提取得到特征圖.上一卷積層得到特征圖經(jīng)過激活函數(shù)作為下一卷積層的輸入.卷積過程如圖1.

圖1　卷積過程Figure 1　Convolution process

卷積過程計算公式如下[7]:

(1)

激活函數(shù)為卷積神經(jīng)網(wǎng)絡(luò)引入非線性部分,增強網(wǎng)絡(luò)的表達(dá)能力.近幾年的卷積神經(jīng)網(wǎng)絡(luò)中多采用不飽和非線性函數(shù)ReLU,在訓(xùn)練梯度下降時ReLU比傳統(tǒng)的飽和非線性數(shù)有更快的收斂速度,因此在訓(xùn)練整個網(wǎng)絡(luò)時,訓(xùn)練速度也比傳統(tǒng)的方法快很多.

池化層又稱為下采樣層,主要分兩種:最大池化和平均池化.池化操作對輸入的特征圖進(jìn)行壓縮,一方面使特征圖變小,簡化網(wǎng)絡(luò)計算復(fù)雜度;另一方面進(jìn)行特征壓縮,提取主要特征.池化過程計算公式如下[7]:

(2)

2　改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型

本文學(xué)習(xí)和研究經(jīng)典串連卷積神經(jīng)網(wǎng)絡(luò)模型,提出一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)模型,通過增加并聯(lián)卷積神經(jīng)層拓展網(wǎng)絡(luò)寬度、調(diào)整網(wǎng)絡(luò)參數(shù)來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu).網(wǎng)絡(luò)的深度和寬度,訓(xùn)練數(shù)據(jù)集大小,卷積核的大小及個數(shù)等是影響卷積神經(jīng)網(wǎng)絡(luò)分類性能的重要因素[8].先設(shè)計一個由7個卷積層和2個全連接層串聯(lián)卷積神經(jīng)網(wǎng)絡(luò),然后在卷積層Conv1與卷積層Conv4中間并聯(lián)一個Conv2′與Conv3′串聯(lián)的結(jié)構(gòu),增加網(wǎng)絡(luò)的寬度,實現(xiàn)多尺度特征提取、融合.網(wǎng)絡(luò)輸出經(jīng)過Softmax分類器進(jìn)行分類,調(diào)整網(wǎng)絡(luò)的參數(shù),優(yōu)化網(wǎng)絡(luò)模型.

本文設(shè)計優(yōu)化的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2,利用宮頸癌細(xì)胞圖片數(shù)據(jù)集訓(xùn)練測試網(wǎng)絡(luò),調(diào)整卷積神經(jīng)網(wǎng)絡(luò)中卷積核的個數(shù)及大小,優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu).該模型以pad(增加圖片的維度)后的RGB圖片作為輸入,將32×32的宮頸癌細(xì)胞RGB圖片擴充為40×40作為網(wǎng)絡(luò)輸入.Conv1的輸出分別作為Conv2和Conv2′輸入,經(jīng)過并聯(lián)模塊后輸入到Conv4之后的串聯(lián)部分,通過分類器輸出分類結(jié)果.卷積層中將上一卷積層輸出的特征圖進(jìn)行批量歸一化(Batch Normalization)[9]處理,經(jīng)過激勵層ReLu作為下一卷積層的輸入,批量歸一化方法可有效地防止“梯度彌散”,加速網(wǎng)絡(luò)訓(xùn)練,本結(jié)構(gòu)中采用最大池化來壓縮特征圖.

圖2　本設(shè)計優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Figure 2　The optimized convolution neural network structure

3　實驗分析及結(jié)果

由于癌細(xì)胞的細(xì)胞核很大,一般核、質(zhì)比例與正常細(xì)胞恰好相反;癌細(xì)胞的外形不規(guī)則,而正常細(xì)胞外形規(guī)整,多為圓形或橢圓形;癌細(xì)胞核內(nèi)染色質(zhì)出現(xiàn)團塊,而正常細(xì)胞核內(nèi)染色質(zhì)均勻等,根據(jù)是否病變及病變程度將宮頸細(xì)胞分為四類[10]:正常宮頸細(xì)胞(Normal)、非典型意義不明確(ASCUS)、低度鱗狀上皮內(nèi)病變(LSIL)、高度鱗狀上皮內(nèi)病變(HSIL).宮頸細(xì)胞的圖片如圖3.

圖3　不同病變程度的宮頸細(xì)胞Figure 3　Cervical cells with different pathological changes

實驗采用包含四類宮頸細(xì)胞的圖像數(shù)據(jù)集共2 180張,四類細(xì)胞的張數(shù)如表1.模型輸出層經(jīng)過Softmax分類器進(jìn)行分類,與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)對比著手實驗,研究本文網(wǎng)絡(luò)模型的分類效果.

3.1　與經(jīng)典模型相比

將本文模型與經(jīng)典模型做對比,采用2 180張宮頸細(xì)胞,觀察宮頸癌細(xì)胞分類錯誤確率.經(jīng)典模型LeNet網(wǎng)絡(luò)由三個卷積層,兩個池化層,一個全連接層和一個輸出層構(gòu)成,輸出層函數(shù)采用RBF函數(shù).AlexNet相比LeNet,加入了dropped out方法來抑制過擬合的發(fā)生.VGG網(wǎng)絡(luò)與前兩個網(wǎng)絡(luò)相比更“深”,增加了卷積的層數(shù)以及卷積中卷積核的個數(shù).與這三個網(wǎng)絡(luò)做對比,采用相同大小的宮頸細(xì)胞樣本,比較相同實驗樣本下,經(jīng)典模型與本文網(wǎng)絡(luò)模型的分類錯誤率如表2;相同迭代次數(shù)下,經(jīng)典模型與本文模型在訓(xùn)練時分類錯誤率的變化趨勢如圖4.

表1　宮頸細(xì)胞數(shù)據(jù)集

表2　本文方法與不同模型分類錯誤率對比

圖4　模型錯誤率隨迭代次數(shù)的變化趨勢Figure 4　Change trend of the inaccuracy of the model with the number of iterations

由表2可以看出在相同的宮頸癌細(xì)胞訓(xùn)練、測試樣本情況下,LeNet與AlexNet的分類效果較差,VGG網(wǎng)絡(luò)分類錯誤率低于LeNet和AlexNet,但略高于本文設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).圖4四種網(wǎng)絡(luò)的訓(xùn)練錯誤率經(jīng)過500次迭代的變化趨勢.由圖4可以看出開始訓(xùn)練時,四種網(wǎng)絡(luò)的錯誤率都迅速下降,最后四種方法下降的趨勢都趨于平緩.AlexNet隨著迭代次數(shù)的增加,分類錯誤率低于LeNet,而VGG和本文方法在100次迭代后,錯誤率明顯低于前兩種,隨著迭代次數(shù)的增加,本文設(shè)計的網(wǎng)絡(luò)錯誤率低于VGG網(wǎng)絡(luò).

3.2　與同類文獻(xiàn)相比

將本文實驗與同類相關(guān)文獻(xiàn)相比.文獻(xiàn)[11]在LeNet的基礎(chǔ)上增加了卷積兩層卷積層和兩層池化層,實驗數(shù)據(jù)采用精子、紅細(xì)胞、白細(xì)胞.文獻(xiàn)[12]在卷積層3與卷積層6之間并聯(lián)了一層卷積,數(shù)據(jù)集采用中西方繪畫圖像.用宮頸癌細(xì)胞數(shù)據(jù)集對上述文獻(xiàn)進(jìn)行訓(xùn)練測試,實驗結(jié)果與本文方法相比如表3.

表3　本文方法與同類相關(guān)文獻(xiàn)錯誤率對比

實驗結(jié)果證明與經(jīng)典的網(wǎng)絡(luò)模型相比,本文設(shè)計的網(wǎng)絡(luò)通過增加的寬度,并聯(lián)了一個兩層卷積串聯(lián)的模塊來優(yōu)化網(wǎng)絡(luò)模型,減少學(xué)習(xí)參數(shù),能更好的學(xué)習(xí)宮頸細(xì)胞圖片特征,與其他同類方法相比分類效果更好.

4　總　結(jié)

本文提出一種深度卷積神經(jīng)網(wǎng)絡(luò)模型,通過改變網(wǎng)絡(luò)模型的寬度,并聯(lián)卷積層實現(xiàn);對中間層特征圖像采用批量歸一化方法進(jìn)行預(yù)處理,加快網(wǎng)絡(luò)訓(xùn)練.利用宮頸癌細(xì)胞圖像數(shù)據(jù)集訓(xùn)練測試網(wǎng)絡(luò),與同類方法相比,本文方法對宮頸癌細(xì)胞圖像識別分類效果更好.后續(xù)將繼續(xù)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型,研究影響模型性能的因素,如圖片的格式、預(yù)處理的方法、分類器的改進(jìn)等.實驗?zāi)繕?biāo)為實現(xiàn)更低的宮頸癌細(xì)胞錯誤率,將卷積神經(jīng)網(wǎng)絡(luò)更好的應(yīng)用在細(xì)胞識別中去.