馮紹瑋，李秋男，張中華，蔡小雨，姜小明

（1.重慶郵電大學(xué)生物信息學(xué)院，重慶 400065；2.重慶郵電大學(xué)重慶市醫(yī)用電子與信息技術(shù)工程研究中心，重慶 400065）

血細胞的形態(tài)學(xué)檢測能夠彌補生化檢測的不足之處，通過顯微鏡鏡檢，對檢測多種血液疾病有著特殊的意義[1-5]。隨著卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，為細胞自動化形態(tài)檢測提供了新的機遇。但深度學(xué)習(xí)假定測試集與訓(xùn)練集的相互獨立且分布相同，一旦數(shù)據(jù)分布發(fā)生變化，許多模型需要重新訓(xùn)練[6]。而由于細胞個體的多樣性、各批次染色試劑效果以及操作人員染色手法的差異，不同血液涂片的顏色與分辨率大相徑庭，普通的神經(jīng)網(wǎng)絡(luò)無法適應(yīng)各種類型的數(shù)據(jù)集。在具有多領(lǐng)域的數(shù)據(jù)集中，深度卷積網(wǎng)絡(luò)的分類準確率明顯降低，無法滿足臨床檢測的需要。

通常解決此問題的方法是通過對數(shù)據(jù)集進行預(yù)處理，使用圖像處理算法將數(shù)據(jù)集遷移到統(tǒng)一領(lǐng)域。隨著計算機視覺的發(fā)展，許多優(yōu)化方法也可以應(yīng)用到數(shù)字圖像的處理中。但深度學(xué)習(xí)所需的數(shù)據(jù)集規(guī)模較大，傳統(tǒng)的圖像處理算法需要消耗大量的時間與資源，同時也無法滿足實時處理的要求[7]。

綜上所述，該文提出一種顏色均衡分類網(wǎng)絡(luò)URNET，此網(wǎng)絡(luò)能夠同時實現(xiàn)快速地數(shù)據(jù)集顏色均衡化與異常紅細胞的準確識別。

1 顏色均衡分類網(wǎng)絡(luò)U-RNET

1.1 總體設(shè)計

常見的異常紅細胞形態(tài)有鐮刀形、半月形、淚滴形、球形等[8]，該文選取六類異常紅細胞，分別為球形、橢圓形、水滴形、靶形、裂紅細胞和棘紅細胞。文中所提到的算法流程如圖1 所示。首先，使用最優(yōu)傳輸算法對數(shù)據(jù)集進行顏色均衡化處理，通過處理后的數(shù)據(jù)集訓(xùn)練顏色均衡網(wǎng)絡(luò)U-net，然后將U-net與訓(xùn)練好的分類網(wǎng)絡(luò)進行拼接，最后使用凍結(jié)層（Frozen）方法對網(wǎng)絡(luò)進行微調(diào)，從而合成網(wǎng)絡(luò)URNET 實現(xiàn)結(jié)合顏色均衡的更精確廣泛的異常紅細胞識別。

1.2 最優(yōu)傳輸模型

傳統(tǒng)數(shù)學(xué)模型在圖像處理領(lǐng)域有著不可替代的作用，它能對數(shù)據(jù)本身進行處理而不需要額外的標(biāo)簽或參照。最優(yōu)傳輸模型廣泛地應(yīng)用于兩個樣本域之間的遷移轉(zhuǎn)換中。最優(yōu)傳輸具有悠久的歷史，涉及概率論、偏微分方程和凸幾何等多種理論[9]。

該文中，最優(yōu)傳輸作為數(shù)據(jù)集預(yù)處理方法，解決數(shù)據(jù)集顏色均衡化問題。通過代價函數(shù)，尋找一種原數(shù)據(jù)集到新數(shù)據(jù)集的最優(yōu)空間映射，使多個領(lǐng)域內(nèi)的數(shù)據(jù)集能夠幾乎無損失地遷移到另一個相同領(lǐng)域中。

1.3 顏色均衡網(wǎng)絡(luò)U-net

顏色均衡網(wǎng)絡(luò)的輸入應(yīng)為原始圖像，輸出則為顏色均衡化后的圖像。網(wǎng)絡(luò)需要實現(xiàn)將個體多且個體邊界小的細胞圖像盡可能完美地遷移到與標(biāo)簽相同的顏色分布。在醫(yī)學(xué)圖像領(lǐng)域，U-net 可以很好地勝任這項任務(wù)。首先在下采樣過程中通過卷積層與池化層提取圖像所需要的信息，然后運用轉(zhuǎn)置卷積實現(xiàn)反編碼，在上采樣過程中剪裁并融合已獲得的特征，最后通過激活函數(shù)對像素分類，獲得所需要的遷移圖像。U-net 獨特的譯碼-解碼結(jié)構(gòu)完整地保留了圖像的低分辨率與高分辨率信息，且能夠?qū)崿F(xiàn)圖像的像素級分類，輸出為每個像素點的類別，不同類別的像素顯示不同的顏色，對于該文所涉及的邊界模糊、梯度復(fù)雜、個體小、背景大的細胞圖像，U-net能發(fā)揮十分優(yōu)異的性能。

1.4 圖像分類網(wǎng)絡(luò)

常用的圖像分類網(wǎng)絡(luò)有AlexNet、VGGNet、ResNet與Inception-net 等。其中，ResNet 獨特的結(jié)構(gòu)使它的識別準確率與識別速度領(lǐng)先于其他網(wǎng)絡(luò)。在臨床中，需要更迅速、更準確地對病理圖像進行檢測，因此該文選用ResNet50 作為圖像分類網(wǎng)絡(luò)。

ResNet 引入殘差網(wǎng)絡(luò)結(jié)構(gòu)，通過這種結(jié)構(gòu)可以使神經(jīng)網(wǎng)絡(luò)搭建到更深的層數(shù)。殘差網(wǎng)絡(luò)模仿了高速網(wǎng)絡(luò)中躍層連接的思想，改變了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)依次連接的慣例，后一層的輸入來自于跳躍多層的神經(jīng)網(wǎng)絡(luò)層的輸出。殘差塊中有兩個相同輸出通道數(shù)的3×3 卷積層，每個卷積層后連接一個BN 層（Batch Normalization）和ReLu 激活函數(shù)。

ResNet50[10-14]沿用了VGG 全3×3 卷積層的設(shè)計，共分為五個stage。第一個階段在輸出通道為64、步幅為2 的7×7 卷積層后依次連接了BN 層、ReLu 激活函數(shù)以及3×3 的最大池化層。在此之后，連接了四個殘差塊模塊，每個模塊由若干殘差塊組成。第一個模塊的通道數(shù)與輸入通道數(shù)相同，之后的每個模塊在第一個殘差塊基礎(chǔ)上通道數(shù)加倍，高和寬減半。最后，通過平均池化層，經(jīng)全連接層展開后，由softmax 激勵函數(shù)輸出最后的分類結(jié)果。

1.5 顏色均衡分類網(wǎng)絡(luò)U-RNET搭建

首先通過最優(yōu)傳輸方法將數(shù)據(jù)集遷移到同一顏色分布，遷移后的數(shù)據(jù)集作為標(biāo)簽，原數(shù)據(jù)集作為輸入訓(xùn)練顏色均衡網(wǎng)絡(luò)U-net，保存訓(xùn)練后的權(quán)重。然后將U-net 輸出的圖像作為新的數(shù)據(jù)集，圖像類別作為標(biāo)簽，訓(xùn)練圖像分類網(wǎng)絡(luò)ResNet50，保存訓(xùn)練后的權(quán)重。最后，級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)將權(quán)重按層進行搭載，并通過凍結(jié)層方法對網(wǎng)絡(luò)進行微調(diào)，最終得到顏色均衡分類網(wǎng)絡(luò)U-RNET。U-RNET 搭建過程如圖2所示。

圖2 U-RNET搭建過程

2 實 驗

2.1 實驗數(shù)據(jù)集

該文數(shù)據(jù)集來自重慶德方信息技術(shù)有限公司的血液細胞采樣圖，由9 556 張1 500×1 122 RGB 圖像組成，數(shù)據(jù)集中部分圖像如圖3 所示，每張圖像均使用矩形框?qū)Ω骷毎M行了標(biāo)注和分類，細胞類型與矩形框位置信息獨立存放在xml文件中。

圖3 部分細胞采樣圖

按xml 文件對原始圖像進行剪裁并關(guān)聯(lián)標(biāo)簽，然后對這些圖像進行篩選并分類。根據(jù)文獻[9]中的常見異常紅細胞類型，共選取六類異常紅細胞，分別為球形、橢圓形、水滴形、靶形、棘紅細胞和裂紅細胞。各類細胞圖像如圖4 所示。

圖4 六類紅細胞圖像

六類細胞共有11 995 張細胞圖像。按照已標(biāo)注的數(shù)據(jù)類型，將圖像歸類為0-5。同時，按照7∶3 隨機將數(shù)據(jù)集劃分為互不包含的訓(xùn)練集和測試集。各類細胞圖數(shù)量如表1 所示。

表1 各類細胞圖數(shù)量

2.2 實驗準備

與實驗相關(guān)的工作環(huán)境設(shè)置為：深度學(xué)習(xí)平臺操作系統(tǒng)為Windows 11。Nvidia GeForce GTX 3090顯卡，CPU 為Intel i7-10700，Python 版本3.7.0，深度學(xué)習(xí)框架使用TensorFlow 2.6.0。

深度學(xué)習(xí)優(yōu)化器為Adam；顏色均衡網(wǎng)絡(luò)損失函數(shù)采用均方差（MSE），Loss 函數(shù)采用交叉熵；訓(xùn)練周期為200 次；每批次訓(xùn)練16 張圖片；學(xué)習(xí)率為0.001；采用圖像增強方法擴大數(shù)據(jù)集，在訓(xùn)練模型時：1）統(tǒng)一將圖像調(diào)整為128×128×3；2）對圖像進行隨機翻轉(zhuǎn)，范圍為-45°～45°[15-16]。

通過最優(yōu)傳輸方法，將數(shù)據(jù)集中的圖像遷移到同一領(lǐng)域，作為訓(xùn)練領(lǐng)域遷移網(wǎng)絡(luò)的標(biāo)簽。同時，為了驗證該文方法的有效性，對數(shù)據(jù)集使用直方圖匹配與之進行對比實驗。

2.3 圖像遷移與分類結(jié)果

通過1.5 節(jié)中給出的訓(xùn)練步驟，訓(xùn)練U-net 時，統(tǒng)計每一個訓(xùn)練周期內(nèi)網(wǎng)絡(luò)的損失與準確率。訓(xùn)練集Loss 隨著網(wǎng)絡(luò)訓(xùn)練的迭代迅速下降，經(jīng)過200 個epoch 后，最優(yōu)傳輸測試集Loss 為1.1×10-4；直方圖匹配測試集Loss 為5.3×10-4，則模型最后已經(jīng)收斂，很好地擬合數(shù)據(jù)集，在該數(shù)據(jù)集上能夠表現(xiàn)出較高的性能。Loss 曲線如圖5 所示。

圖5 測試集與訓(xùn)練集Loss曲線

最終各圖像處理結(jié)果如圖6 所示，可以看出最優(yōu)傳輸方法能夠平滑地將圖像遷移到同一顏色分布，遷移后的圖像噪聲并不明顯；使用U-net 進行顏色均衡后，結(jié)果與直接用最優(yōu)傳輸遷移相近，但特征與邊緣更加清晰。而直方圖匹配會帶來大量噪聲，圖像中會產(chǎn)生較多的噪點，使用直方圖匹配后的數(shù)據(jù)集訓(xùn)練U-net可以去除一部分噪聲。綜上，最優(yōu)傳輸可以表現(xiàn)出比直方圖匹配更優(yōu)異的性能，神經(jīng)網(wǎng)絡(luò)則能夠提升遷移的速度并做到信號濾波作用。實驗證明了將最優(yōu)傳輸方法與神經(jīng)網(wǎng)絡(luò)結(jié)合的有效性。

圖6 各圖像對比結(jié)果

在訓(xùn)練分類網(wǎng)絡(luò)時，隨機劃分數(shù)據(jù)集并進行五次交叉實驗。經(jīng)過200 個epoch 后，細胞圖像總體識別準確率如表2 所示。

表2 各種方法的識別準確率

最終，U-RNET 的總體識別準確率要高于其他三種遷移方法，達到95.5%，準確率曲線如圖7 所示。除此之外，統(tǒng)計得出該神經(jīng)網(wǎng)絡(luò)處理一張圖片所需的時間為41 ms，而最優(yōu)傳輸方法需要2 s，說明U-RNET 具有良好的識別準確性與實時性。由于經(jīng)過顏色均衡網(wǎng)絡(luò)處理后的圖像噪聲更小，特征更加清晰，也使得被識別圖像的數(shù)據(jù)分布更能滿足神經(jīng)網(wǎng)絡(luò)的傾向。因此，U-RNET 最終的識別準確率高于最優(yōu)傳輸本身，且由于最優(yōu)傳輸處理數(shù)據(jù)集的優(yōu)越性，準確率遠遠高于其他算法。

圖7 測試集與訓(xùn)練集準確率曲線

3 結(jié)束語

該文針對細胞圖像的特點，提出融合最優(yōu)傳輸方法的U-RNET 細胞分類網(wǎng)絡(luò)。利用最優(yōu)傳輸方法處理數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，能夠充分利用神經(jīng)網(wǎng)絡(luò)自主提取圖像特征，對多領(lǐng)域的細胞圖像能夠幾乎無損失地遷移到同一領(lǐng)域，顯著提高細胞類別的分類準確率。在該文所提供細胞數(shù)據(jù)集上的實驗表明，該文方法對六類細胞形態(tài)識別可以達到95.5%的識別準確率，高于其他傳統(tǒng)方法。且單幅圖像處理時間僅41 ms，遠小于傳統(tǒng)數(shù)學(xué)模型遷移方法。實驗表明，該文設(shè)計的融合最優(yōu)傳輸方法的細胞識別分類網(wǎng)絡(luò)U-RNET 在提高細胞圖像識別率的同時，加快了目標(biāo)圖像的處理速度。