馬 力，帥仁俊+，劉文佳，李文煜

(1.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211816；2.南京醫(yī)科大學(xué)附屬醫(yī)院南京鼓樓醫(yī)院 消化內(nèi)科，江蘇 南京 211166)

0 引 言

在臨床醫(yī)學(xué)上，人體內(nèi)血液主要由紅細(xì)胞、白細(xì)胞和血小板組成[1]。其中白細(xì)胞在人體免疫系統(tǒng)中發(fā)揮重要作用，與許多疾病密切相關(guān)[2]。根據(jù)白細(xì)胞細(xì)胞質(zhì)的顆粒信息和形狀信息將白細(xì)胞分為5類：中性粒細(xì)胞、嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、單核細(xì)胞和淋巴細(xì)胞[3]。不同種類的白細(xì)胞的總數(shù)和比例都對(duì)應(yīng)著不同的疾病，同時(shí)也是臨床醫(yī)生診斷和治療疾病的重要參考資料，因此需要對(duì)白細(xì)胞更加快速準(zhǔn)確地進(jìn)行分類。

傳統(tǒng)的白細(xì)胞分類方法主要是血液學(xué)專家將血細(xì)胞染色并在光學(xué)顯微鏡下對(duì)它們進(jìn)行識(shí)別計(jì)數(shù)[4]。這種方法工作量大，效率低，對(duì)專業(yè)人員素養(yǎng)要求高，而且分類和計(jì)數(shù)的結(jié)果易受人為因素的影響[2]。白細(xì)胞分類是一個(gè)熱點(diǎn)問(wèn)題，很多專家學(xué)者都進(jìn)行了這方面的研究。隨著計(jì)算機(jī)技術(shù)的發(fā)展，通過(guò)機(jī)器學(xué)習(xí)建立的分類模型被廣泛用于白細(xì)胞分類[5]。目前主要包括K-近鄰(KNN)算法[6]、支持向量機(jī)算法(SVM)[7]、隨機(jī)森林算法[8]、貝葉斯算法[9]。

近年來(lái)隨著計(jì)算機(jī)性能和人工智能的快速發(fā)展[10]，深度學(xué)習(xí)技術(shù)得到了廣泛的應(yīng)用，并在圖像處理方面取得了很大的進(jìn)展[11,12]。深度神經(jīng)網(wǎng)絡(luò)在處理數(shù)百萬(wàn)圖像數(shù)據(jù)方面顯示出了良好的優(yōu)勢(shì)，并且可以更準(zhǔn)確地檢測(cè)，識(shí)別圖像中的對(duì)象和區(qū)域[13]。很多專家學(xué)者利用神經(jīng)網(wǎng)絡(luò)對(duì)白細(xì)胞圖像進(jìn)行特征提取，然后進(jìn)行識(shí)別分類，取得了不錯(cuò)的效果[14，15]。

通過(guò)目前的研究結(jié)果可以發(fā)現(xiàn)，無(wú)論是利用機(jī)器學(xué)習(xí)還是深度學(xué)習(xí)來(lái)對(duì)白細(xì)胞分類，其使用的樣本量很少或者使用自己的數(shù)據(jù)庫(kù)，而且利用機(jī)器學(xué)習(xí)建立的模型需要在分類之前對(duì)白細(xì)胞圖像進(jìn)行分割預(yù)處理，分割算法的質(zhì)量直接影響提取特征的質(zhì)量最終影響分類的效果。為了解決上述問(wèn)題，本文提出了一種白細(xì)胞分類框架。圖1顯示了模型的流程圖。通過(guò)遷移學(xué)習(xí)來(lái)提高模型的魯棒性。改進(jìn)的殘差神經(jīng)網(wǎng)絡(luò)ResNet(residual neural network)架構(gòu)可以提高訓(xùn)練的速度，加強(qiáng)模型的泛化能力。改進(jìn)的損失函數(shù)采用硬樣本挖掘戰(zhàn)略,過(guò)濾容易分類的樣本，縮小同類別樣本的差距，增大不同類別的差異,從而提高分類器的分類效果。

圖1 模型流程

1 理論和方法

本文提出了一種基于殘差神經(jīng)網(wǎng)絡(luò)的白細(xì)胞分類架構(gòu)。圖2顯示了模型的總體框架。該框架由兩個(gè)主要部分組成：①采用基于ImageNet數(shù)據(jù)集的遷移學(xué)習(xí)，進(jìn)行參數(shù)遷移。②ResNet網(wǎng)絡(luò)通過(guò)對(duì)網(wǎng)絡(luò)層和分類器損失函數(shù)的改進(jìn)對(duì)圖像提取特征并分類。

圖2 模型的總體框架

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)的總體思路是利用已有的知識(shí)系統(tǒng)，即模型從任務(wù)中學(xué)習(xí)到的許多有標(biāo)記的訓(xùn)練數(shù)據(jù)可以用在另一個(gè)具有不同數(shù)據(jù)樣本的新任務(wù)中。通過(guò)這種方式，可以降低用大量資源標(biāo)記數(shù)據(jù)的成本，同時(shí)可以顯著提高的學(xué)習(xí)性能[16]。目前的遷移學(xué)習(xí)方法主要有實(shí)例遷移、特征遷移、共享參數(shù)遷移和關(guān)系知識(shí)遷移[17]。本文采用參數(shù)遷移方法進(jìn)行學(xué)習(xí)，發(fā)現(xiàn)了源域和目標(biāo)域模型之間共享的參數(shù)或先驗(yàn)，從而大大提高了學(xué)習(xí)效率[18]。

我們使用除了完全連接層外的ResNet體系結(jié)構(gòu)[19]對(duì)1000個(gè)類別的ImageNet數(shù)據(jù)集[20]的模型參數(shù)進(jìn)行了預(yù)訓(xùn)練。這樣，有效地調(diào)整了卷積層的預(yù)訓(xùn)練參數(shù)，以初始化網(wǎng)絡(luò)參數(shù)。最后，利用新的全連通層對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行再培訓(xùn)。通過(guò)遷移學(xué)習(xí)，可以顯著提高模型的精度，增強(qiáng)模型的魯棒性。

1.2 ResNet

本文以34層的ResNet為主要學(xué)習(xí)網(wǎng)絡(luò)。ResNet是由He等[21]提出的。這些網(wǎng)絡(luò)克服了網(wǎng)絡(luò)深度增加帶來(lái)的退化問(wèn)題。ResNet的主要思想是在網(wǎng)絡(luò)中添加一個(gè)直接連接通道，允許保留一定比例的前一層網(wǎng)絡(luò)輸出。ResNet解決了傳統(tǒng)的卷積網(wǎng)絡(luò)或全連通網(wǎng)絡(luò)在傳輸信息時(shí)會(huì)丟失信息的問(wèn)題，同時(shí)也存在梯度消失或梯度爆炸的問(wèn)題，導(dǎo)致深度較深的網(wǎng)絡(luò)無(wú)法訓(xùn)練[22]。ResNet的思想與公路網(wǎng)非常相似，可以將原始輸入的信息直接傳遞到后面的層。如圖3所示，這一層神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)之前的網(wǎng)絡(luò)輸出，而不需要學(xué)習(xí)整個(gè)輸出。所以ResNet也被稱為殘差網(wǎng)絡(luò)。

圖3 殘差塊對(duì)比

為了減少轉(zhuǎn)換網(wǎng)絡(luò)的計(jì)算成本，增強(qiáng)模型的泛化能力，本文運(yùn)用IBN(instance-batch-normalization)殘差塊設(shè)計(jì)了一個(gè)結(jié)構(gòu)更為精簡(jiǎn)的圖像分類網(wǎng)絡(luò)。在原始的殘差網(wǎng)絡(luò)中每個(gè)卷積層后面都會(huì)添加一個(gè)BN(batch-normalization)層，BN層的使用可以加快網(wǎng)絡(luò)的訓(xùn)練速度，同時(shí)提高網(wǎng)絡(luò)的泛化能力

(1)

其中，x∈N×C×H×W為BN層輸入，γ∈C和β∈C是從數(shù)據(jù)中學(xué)習(xí)到的映射參數(shù)，u(x)∈C和σ(x)∈C分別為輸入的平均值和標(biāo)準(zhǔn)差

(2)

(3)

Huang等[23]通過(guò)實(shí)驗(yàn)驗(yàn)證，BN層模型可以增強(qiáng)語(yǔ)義特征之間的差異性，保留圖片中的語(yǔ)義信息，IN層(instance-normalization)模型具有更快的訓(xùn)練速度。IN層的計(jì)算公式為

(4)

(5)

(6)

本文將相同通道數(shù)的IN層和BN層添加到殘差塊的低層網(wǎng)絡(luò)中，將IN層添加到殘差塊的高層網(wǎng)絡(luò)中。使用基于IBN殘差塊替換原網(wǎng)絡(luò)的所有基于BN殘差塊，充分利用IN層和BN層的優(yōu)點(diǎn)。

圖3(a)為原始的基于BN層的殘差塊結(jié)構(gòu)，圖3(b)中的IBN層由32通道的IN層和32通道的BN層組成，由于IBN層的通道數(shù)等于原網(wǎng)絡(luò)BN層的通道數(shù)，所以網(wǎng)絡(luò)的計(jì)算量沒(méi)有增加。在網(wǎng)絡(luò)低層中添加部分BN層可以保留特征的語(yǔ)義信息，在網(wǎng)絡(luò)高層添加IN層加速損失的收斂，能夠提升網(wǎng)絡(luò)圖片分類的能力。

1.3 損失函數(shù)的改進(jìn)

(7)

其中，fi∈d表示xi從DNN中學(xué)習(xí)得到的深度特征向量，Wj∈d表示第j類的權(quán)重向量，bj是對(duì)應(yīng)的偏置項(xiàng)。所以從概率的角度，softmax損失給出了屬于所有類別的每個(gè)樣本的概率分布。雖然softmax損失可以有效地懲罰分類，但它忽略了類內(nèi)和類間的關(guān)系。

為了提高深度學(xué)習(xí)特征的判別能力，我們定義了一個(gè)新的損失函數(shù)來(lái)減小類內(nèi)樣本間的差異，擴(kuò)大類間樣本的差異。我們考慮一個(gè)新的三重態(tài)(fi,cyi,fj)，其中fi為錨點(diǎn)，與其它類別的中心cyi相關(guān)聯(lián)，fi表示來(lái)自其它類別的樣本，m>0是邊緣距離。我們期望在樣本fi與其類中心cyi之間的距離應(yīng)該小于fi與cyi之間的距離。它們的相對(duì)距離關(guān)系表示為

d(fi,cyi)+m

(8)

(9)

圖4 提出的方法說(shuō)明

(10)

其中，(·)+=max(·,0)表示為鉸鏈函數(shù)。在DNN訓(xùn)練階段，可以根據(jù)反向傳播(BP)算法更新?lián)p失函數(shù)的梯度。當(dāng)Lf≤0時(shí)，fi的梯度為0，否則fi的梯度計(jì)算方法如下所示

(11)

因此，softmax損失側(cè)重于將樣本映射到離散的標(biāo)簽上，而我們的修改的損失則是使用度量學(xué)習(xí)來(lái)約束所學(xué)習(xí)的特征，具有更明顯的類內(nèi)和類間區(qū)分能力。因此，可以將這兩個(gè)損失組合在一起，以實(shí)現(xiàn)更有鑒別力和魯棒性的嵌入。最終損失函數(shù)可表示為

L=Lsoftmax+λLf

(12)

其中，λ是平衡這兩部分的超參數(shù)。

2 實(shí)驗(yàn)和結(jié)果分析

2.1 數(shù)據(jù)及其預(yù)處理

我們選擇了BCCD的公共數(shù)據(jù)庫(kù)，其中包含12 500張血細(xì)胞增強(qiáng)圖像(JPEG)，細(xì)胞類型標(biāo)簽(CSV)包含9957個(gè)訓(xùn)練圖像和2487張測(cè)試圖像。我們將這些細(xì)胞圖像分為4種類型：嗜酸性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞和中性粒細(xì)胞。原始訓(xùn)練圖像中有2497個(gè)嗜酸性粒細(xì)胞，2483個(gè)淋巴細(xì)胞，2478個(gè)單核細(xì)胞，2499個(gè)中性粒細(xì)胞。測(cè)試圖像包括623個(gè)嗜酸性粒細(xì)胞、623個(gè)淋巴細(xì)胞、620個(gè)單核細(xì)胞和624個(gè)中性粒細(xì)胞。圖5顯示了不同類型的細(xì)胞圖像。

圖5 不同種類的細(xì)胞圖像

為了提高模型的精度并減少過(guò)度擬合，我們使用矩陣變換來(lái)增加圖像樣本的數(shù)量。圖6顯示了矩陣變換后的細(xì)胞圖像。其它數(shù)據(jù)增強(qiáng)方法，比如比例變換和顏色變換，不使用，因?yàn)榧?xì)胞核的大小和強(qiáng)度是區(qū)分細(xì)胞的基本特征。雖然旋轉(zhuǎn)細(xì)胞圖像可能會(huì)略微降低圖像的質(zhì)量，但通過(guò)實(shí)驗(yàn)結(jié)果表明本文提出的框架模型對(duì)增強(qiáng)細(xì)胞圖像是有意義的。

圖6 矩陣變換后的細(xì)胞圖像

2.2 模型訓(xùn)練

為了訓(xùn)練分類模型，我們的模型的卷積層的權(quán)值由ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練網(wǎng)絡(luò)的傳輸參數(shù)初始化。并利用隨機(jī)初始化器對(duì)模型中完全連通層的參數(shù)進(jìn)行初始化。

在實(shí)驗(yàn)中，改進(jìn)的ResNet對(duì)圖像特征進(jìn)行提取并分類，所有的訓(xùn)練數(shù)據(jù)歸一化成224*224*3，然后分為小批次訓(xùn)練。最小批量大小設(shè)為128。采用隨機(jī)梯度下降法作為模型訓(xùn)練的優(yōu)化策略。初始學(xué)習(xí)率設(shè)置為0.001，動(dòng)量設(shè)置為0.9。整個(gè)網(wǎng)絡(luò)使用ReLU作為默認(rèn)的激活函數(shù)。

2.3 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境是python3.6。處理器為i7-6800k，內(nèi)存為32 G，顯卡為GTX1080Ti，操作系統(tǒng)為L(zhǎng)inux。整個(gè)實(shí)驗(yàn)基于開源的深度學(xué)習(xí)框架pytorch 0.4。

2.4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證我們的模型具有更好的分類效果，我們選取了一些現(xiàn)有的模型架構(gòu)對(duì)我們的公共數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)[19,21,26]。表1 給出了不同類型細(xì)胞的分類準(zhǔn)確率、查全率和F-值，表2給出了不同模型的分類精度。結(jié)果表明，本文使用的分類模型比卷積神經(jīng)網(wǎng)絡(luò)(CNN)準(zhǔn)確率高5%，比卷積神經(jīng)網(wǎng)絡(luò)-對(duì)抗神經(jīng)網(wǎng)絡(luò)(CNN-RNN)準(zhǔn)確率高2%，總體達(dá)到了較好的分類效果，準(zhǔn)確率達(dá)到92%。

表1 不同類型細(xì)胞的分類準(zhǔn)確率、查全率和F-值

表2 不同模型的分類精度

3 結(jié)束語(yǔ)

本文提出了一種白細(xì)胞圖像分類框架。首先利用矩陣變換擴(kuò)大可靠的訓(xùn)練樣本，然后通過(guò)改進(jìn)的ResNet架構(gòu)和改進(jìn)的損失函數(shù)來(lái)對(duì)白細(xì)胞圖像分類。其中在公共數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)結(jié)果表明，結(jié)合不同的神經(jīng)網(wǎng)絡(luò)模型，樣本三倍中心損失是有效的。采用硬樣本挖掘戰(zhàn)略，過(guò)濾器易分類樣本和增大類間差異，減小類內(nèi)差異,能顯著提高殘差神經(jīng)網(wǎng)絡(luò)的圖像鑒別分類能力。該模型解決了數(shù)據(jù)樣本不足、數(shù)據(jù)不平衡等問(wèn)題，可以充分利用圖像特征進(jìn)行分類，不需要圖像分割。與現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)相比，該方法對(duì)WBCs圖像分類的準(zhǔn)確率最高。本文的模型也存在一定的缺陷，白細(xì)胞總共有5類，本文只對(duì)其中的4類進(jìn)行了識(shí)別分類，因此還需要更加完善的數(shù)據(jù)庫(kù)系統(tǒng)。在實(shí)際臨床中，細(xì)胞往往可能不都是在成熟期，不同階段的細(xì)胞狀態(tài)，還需要做進(jìn)一步的模型分析。在未來(lái)，我們希望繼續(xù)完善現(xiàn)有的網(wǎng)絡(luò)架構(gòu)，進(jìn)一步加強(qiáng)，并開發(fā)一個(gè)自動(dòng)分類系統(tǒng)，不僅能識(shí)別白細(xì)胞，還能識(shí)別其它血細(xì)胞，從而更好地輔助醫(yī)生診斷。