程 凱，王 妍，劉劍飛

（1.安徽大學電氣工程與自動化學院，合肥 230061；2.安徽大學計算機科學與技術學院，合肥 230061）

（*通信作者電子郵箱1259827579@qq.com）

0 引言

私人醫(yī)學［1］的關鍵是定量評估生物學個體，評估信息通常從顯微鏡圖像分析細胞形態(tài)和組織結構中獲得。顯微鏡圖像的定量分析涉及細胞密度、形狀、大小、質地和其他圖像屬性的測量。在顯微鏡圖像中對細胞核進行分割是必要且重要的任務。人工測量無法滿足高通量處理顯微鏡圖像的臨床需求，因為這是一個需要消耗大量時間和精力的過程。另外，人工測量也是不可復現(xiàn)的，這使得難以用于縱向跟蹤疾病進展。

自動細胞核分割［2-3］由于可以產(chǎn)生可重復的測量結果而極具應用價值。準確地分割細胞核是計算機輔助圖像分析中至關重要的步驟，用于提取豐富的特征進行細胞估計以及診斷和治療。然而，如圖1 所示，對顯微鏡細胞核的精準分割往往存在較大的困難。一方面，是由于細胞/細胞核區(qū)域與背景之間通常存在較小的對比度，這可能是由于圖像采集過程中圖像噪聲和細胞運動性引起的；另一方面，由于細胞圖像的差異性，譬如細胞的形狀、大小和質地通常會表現(xiàn)出明顯的區(qū)別。

圖1 顯微鏡圖像中細胞核的示例Fig.1 Nucleus examples in microscopic images

目前有很多基于顯微鏡圖像特征的方法來實現(xiàn)細胞核自動分割，例如灰度閾值［4］、分水嶺［5-6］、活動輪廓［7］，以及上述各種方法的組合，這些方法也通常輔以不同的預處理和后處理步驟。盡管在這些方法中精心設計了數(shù)學模型以適應圖像特征，但由于顯微鏡圖像的復雜性，這些模型往往得不到比較滿意的結果。目前，最先進的語義分割方法往往基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）。例如，Ronneberger 等［8］提出了U-Net 分割網(wǎng)絡，以及Kraus 等［9］提出了深度多示例學習來分割顯微鏡圖像，可以直接從顯微鏡圖像建立數(shù)學模型。這些基于深度學習的方法通過利用大量標記圖像可以實現(xiàn)精確的細胞核分割。然而，標記顯微鏡圖像是一個非常繁瑣的過程，為大量顯微鏡圖像制作標簽在實際臨床操作中通常不具有可行性。

標記顯微圖像的過程繁瑣，促使我們開發(fā)一種半監(jiān)督學習策略，以減少對標記圖像數(shù)量的依賴性。生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）［10］在機器學習領域的成功，提示可以通過生成未標記圖像的置信圖來增加訓練數(shù)據(jù)?；谶@種想法，本文提出了一種新穎的基于半監(jiān)督學習細胞核分割方法。新穎的卷積神經(jīng)網(wǎng)絡可以從背景中自動提取細胞核區(qū)域。與最新的分割網(wǎng)絡結構相比，本文設計的網(wǎng)絡結構具有較少的參數(shù)，并且將特征層次結構的各層組合在一起，從而改善了輸出概率圖的空間精度。在本文的方法中，通過應用全卷積網(wǎng)絡生成判別器網(wǎng)絡模型的置信圖，并將對抗損失與標準交叉熵損失耦合，用于改善分割網(wǎng)絡的性能。結合標記圖像、未標記圖像與置信圖來訓練分割網(wǎng)絡，最終可以識別提取的細胞區(qū)域中的單個核。本文的主要工作如下：

1）提出了一種輕型神經(jīng)網(wǎng)絡Light-Unet 識別顯微圖像中的細胞核。該網(wǎng)絡的多層上采樣網(wǎng)絡可以增強細胞核圖像分割中特有的邊緣信息。實驗結果表明，Light-Unet網(wǎng)絡比現(xiàn)有的網(wǎng)絡（例如U-Net）計算速度更快、參數(shù)量更少。

2）設計了一個對抗網(wǎng)絡，通過在判別器網(wǎng)絡中采用對抗損失來進行對抗學習以提高細胞核分割的準確性，而無需在網(wǎng)絡的前向計算中增加額外的運算量。

3）對于未標注的圖像，利用判別器網(wǎng)絡的半監(jiān)督學習方案可以很好地幫助分割網(wǎng)絡的訓練。

1 基于GAN的細胞核分割算法

本章首先提出基于生成對抗網(wǎng)絡的細胞核分割算法，然后介紹設計的分割網(wǎng)絡結構和全卷積判別器網(wǎng)絡結構，并給出分割網(wǎng)絡和判別器網(wǎng)絡的詳細學習方案。

1.1 框架

基于GAN 的細胞核分割算法包括一個判別器網(wǎng)絡和一個分割網(wǎng)絡。在本文中，判別器網(wǎng)絡和分割網(wǎng)絡分別用S(·)和D(·)表示，圖2 為細胞核分割算法框架。給定一個大小為H×W×3的輸入圖像，分割網(wǎng)絡會輸出大小為H×W×C的概率圖。本文中，C的值被設置為2，那么，判別器網(wǎng)絡的輸出概率圖的大小則為H×W×2。

圖2 基于生成對抗網(wǎng)絡的細胞核分割算法框架Fig.2 Nuclei segmentation algorithm framework based on generative adversarial network

1.1.1 判別器

判別器網(wǎng)絡的作用是將生成器生成的概率圖和真值標簽圖區(qū)分開來。判別器網(wǎng)絡的輸入是來自分割網(wǎng)絡輸出的分割圖S(Xn)或來自真值標簽，且真值標簽需要在訓練之前進行一次One-hot 編碼；輸出的是空間概率圖，且圖中的每個像素值代表像素來自這些分割圖或真值標簽的概率。典型的GAN是將固定大小的圖像作為輸入和輸出，反映了圖像是真實還是偽造的單一概率值。受全卷積網(wǎng)絡的啟發(fā)，本文使用的判別器網(wǎng)絡是一個全卷積網(wǎng)絡，能輸入任意大小的圖像并輸出概率圖，可以反映空間水平。值得注意的是，判別器網(wǎng)絡的參數(shù)僅在帶標簽的圖像訓練中被更新。

1.1.2 細胞分割網(wǎng)絡

對于細胞分割網(wǎng)絡，給定一個大小為H×W×3 的輸入圖像，輸出大小為H×W×2 的類別概率圖。當訓練帶標簽的圖像時，通過使用真值標簽優(yōu)化標準交叉熵損失（Lce）和使用判別器網(wǎng)絡優(yōu)化對抗損失（Ladv）來訓練分割網(wǎng)絡，此時僅使用標記圖像來訓練判別器網(wǎng)絡。當訓練無標簽圖像時，使用判別器網(wǎng)絡和半監(jiān)督損失訓練具有對抗損失的分割圖。在訓練帶標簽圖像和無標簽圖像時，分割網(wǎng)絡的參數(shù)均會被更新。

在訓練過程中，在半監(jiān)督設置下同時使用帶標簽圖像和無標簽圖像。當訓練帶標簽的圖像時，通過使用真值標簽優(yōu)化標準交叉熵損失（Lce）和使用判別器網(wǎng)絡優(yōu)化對抗損失（Ladv）來訓練分割網(wǎng)絡。對于無標簽圖像，用判別器網(wǎng)絡和半監(jiān)督損失訓練具有對抗性損失的分割網(wǎng)絡。通過經(jīng)過判別器網(wǎng)絡的初始分割圖S(Xn)獲得置信圖。置信圖像是一個指導者，指導分割網(wǎng)絡在概率圖S(Xn)中選擇置信區(qū)域，然后在置信域執(zhí)行半監(jiān)督性損失。由于對抗損失僅與判別器網(wǎng)絡有關，因此分割網(wǎng)絡始終受到對抗損失的監(jiān)督。

1.2 網(wǎng)絡框架

本節(jié)提出的分割網(wǎng)絡結構受到U-Net的啟發(fā)，包含6個卷積層，2 個上采樣層。在每一層之后還執(zhí)行批量標準化（batch-normalization）［11］和Xavier 初始化［12］。由于提出的網(wǎng)絡參數(shù)比U-Net 少得多，因此將其命名為Light-Unet。與U-Net相似，上采樣部分具有大量特征通道，這些特征通道允許網(wǎng)絡將上下文信息傳播到更高分辨率的層。Light-Unet 的網(wǎng)絡結構如圖3所示，每層的參數(shù)列于表1。

圖3 Light-Unet結構Fig.3 Structure of Light-Unet

表1 Light-Unet的相關層及其參數(shù)Tab.1 Relevant layers and their parameters of Light-Unet

對于判別器網(wǎng)絡，遵循Radford等在文獻［13］中使用的結構。它包含5個具有尺寸為4×4卷積核的卷積層，步長為2，通道數(shù)為{64，128，256，512，1}。此外，在每個卷積層后應用Leaky-ReLU［14］激活函數(shù)。

1.3 訓練

給定大小為H×W×3 的輸入圖像Xn，分割網(wǎng)絡表示為S(·)，S(·)將預測大小為H×W×2的概率圖S(Xn)。對于全卷積判別器網(wǎng)絡，將其表示為D(·)，它輸入大小為H×W×2 的概率圖并輸出大小為H×W×1的置信圖。

1.3.1 判別器網(wǎng)絡訓練

訓練判別器網(wǎng)絡時，使用與Goodfellow 等［10］相同的方法，利用對抗損失函數(shù)，可定義為：

其中：x表示來自未知分布Pdata的原始圖像；z是生成網(wǎng)絡G(·)的輸入噪聲；G(z)是生成網(wǎng)絡的輸出圖。判別器D(·)和生成器G(·)在利用此損失函數(shù)做最大化和最小化交替游戲。也可以將式（1）轉換為另一種形式：

其中：θdis是判別器網(wǎng)絡參數(shù)；Xn是第n個輸入圖像。當yn=0時，表示判別器網(wǎng)絡的輸入是分割網(wǎng)絡的預測分割圖；當yn=1 時，表示輸入圖像是從真值標簽中采樣的。需要注意的是，真值標簽圖像只是一個通道，需要執(zhí)行一位有效編碼（onehot decode）將真值通道轉換為與訓練前的概率圖S(Xn)相同。

1.3.2 分割網(wǎng)絡訓練

在此訓練階段，本文提出一種多任務損失來優(yōu)化分割網(wǎng)絡。損失函數(shù)可以定義為：

其中：θseg是判別器網(wǎng)絡參數(shù)；Lseg、Ladv和Lsemi分別代表交叉熵損失、對抗損失和半監(jiān)督損失。此外還有兩個超參數(shù)λadv和λsemi，這些參數(shù)的作用是平衡多任務訓練。

當訓練帶標簽的圖像時，使用標準的交叉熵損失對其進行優(yōu)化。損失定義為：

其中：S(Xn)是第n個輸入圖像的分割網(wǎng)絡的預測結果，標準的交叉熵損失Lce可以使預測的概率圖分布更加接近真值標簽分布。通過使用對抗損失來進行對抗學習，該損失定義為：

使用對抗性損失Ladv，可以在考慮真值分布的情況下最大限度地提高預測分割圖S(Xn)的概率。

當訓練無標簽圖像時，在半監(jiān)督環(huán)境下進行對抗訓練。盡管Lce不適用于多任務，但Ladv仍適用，因為它僅依賴于判別器網(wǎng)絡。判別器網(wǎng)絡可以生成空間概率圖，置信圖反映的是預測結果接近地面真值圖分布的概率。再通過設置閾值Tsemi對置信圖進行二值化。最后，真值標簽表示為結合了該二值化置信圖掩模分割預測=arg max(S(Xn))。半監(jiān)督損失定義為：

其中：I(·)是激活函數(shù)；Tsemi是控制置信區(qū)域的閾值。在訓練過程中，已經(jīng)獲得了，可以將其視為標準的交叉熵損失。利用半監(jiān)督損失Lsemi，可以通過使用更多無標簽圖像來增強分割網(wǎng)絡的性能。學習目標是判別器網(wǎng)絡中的參數(shù)θdis和分割網(wǎng)絡中的θseg。判別器網(wǎng)絡中的θdis僅傳播帶標簽圖像的訓練參數(shù)，并通過自適應矩估計（Adam）［15］進行更新；參數(shù)θseg通過隨機梯度下降（Stochastic Gradient Descent，SGD）來更新。

2 實驗與結果分析

2.1 實驗細節(jié)

應用標準隨機梯度下降算法（SGD）來優(yōu)化分割網(wǎng)絡參數(shù)，其中，動量設置為0.9，批尺寸為10，權重衰減為0.000 4，初始學習率為0.001。訓練判別器網(wǎng)絡，采用Adam 優(yōu)化器，學習率為0.000 1，動量設置為0.999。

對于半監(jiān)督訓練階段，在每次迭代中隨機選擇標記圖像和未標記圖像。在開始半監(jiān)督學習之前，僅在實驗中的前600 次迭代中開始使用帶標簽的圖像進行訓練。由于該模型將受到初始噪聲掩膜和預測結果的影響，且經(jīng)過600 次迭代，因此分割網(wǎng)絡的初始分割圖是較精準的。每次迭代過程中，當訓練帶標簽圖像時，會同步更新分割網(wǎng)絡和判別器網(wǎng)絡；當使用無標簽圖像進行訓練時，僅使用半監(jiān)督學習更新分割網(wǎng)絡。

獲得分割結果后，可進一步利用OpenCV 庫進行分水嶺操作，這對于分割粘連細胞核效果顯著。

2.2 數(shù)據(jù)處理

2.2.1 數(shù)據(jù)集

實驗數(shù)據(jù)來自公開的競賽數(shù)據(jù)集（2018 Data Science Bowl competition）。該數(shù)據(jù)集包含大量關于細胞核分割的圖像。圖像是在多種條件下采集的，并且包含的細胞種類、放大率和成像方式（明光與熒光）方面有所不同。如圖4 所示，此數(shù)據(jù)集包含3種不同類型的圖像。此數(shù)據(jù)集中，訓練集有670張圖像，測試集有65 張圖像。由于圖像的大小不同，因此需要進行預處理，實驗中將所有圖像裁剪尺寸為256 × 256。另外，在這個公開數(shù)據(jù)集中某些細胞核圖像有一些錯標注。從圖5 可以看到某些細胞核圖像存在錯誤標注的情況，比如第一列和第二列圖像展示圖像中有明顯的核，但是人工分割可能會忽略了它。盡管在測試階段本文提出的網(wǎng)絡的預測分割圖可以輕易地發(fā)現(xiàn)它，但是人類專家很容易忽略它。圖5 中第三列的細胞圖像中某些細胞核是獨立的，而人工卻將其標注為聚合在一起的細胞核。由于此公開數(shù)據(jù)集存在這些問題，最后在原有的測試數(shù)據(jù)集中選擇了40 張沒有明顯此類問題的圖像作為測試圖像。

2.2.2 數(shù)據(jù)擴充

小數(shù)據(jù)集或復雜的神經(jīng)網(wǎng)絡結構可能會導致嚴重的過擬合，因此本文采用兩種數(shù)據(jù)擴充方式對數(shù)據(jù)進行擴充：一種是方式是通過水平旋轉；另一種方式是隨機裁剪。裁剪時首先將細胞核圖像縮放尺寸為331× 331，然后隨機裁剪成尺寸為256 × 256的圖像。數(shù)據(jù)增強操作使得提出的方法更加健壯。

2.3 評價指標

為了評估檢測性能，采用F1來度量，定義為：

其中：P=代表精準度；R=代表召回率。具體地，TP指“真正”，即模型判斷為真的正確率（True Positive）；FP為“假正”，即誤報率（False Positive）；FN為“假負”，即漏報率（False Negative）。

使用分割準確率度量（SEGmentation accuracy measurement，SEG）來評估分割掩模的準確性，基于Jaccard相似性。其中Jaccard 相似度的計算公式為J(G，S)=，SEG可表示為：

其中：i是第i個輸入核測試圖像；j是測試圖像中的第j個核。SEG是所有GT 核的Jaccard 相似性指數(shù)的平均值，范圍在0～1。SEG值越大，分割的輸出圖像與標簽圖像之間的相似性就越高，表明單個核與原始人工標注越相似。

圖4 數(shù)據(jù)集中的三種細胞核圖像示例Fig.4 Three kinds of nuclei images in dataset

圖5 數(shù)據(jù)集中具有弱標注和錯誤標注的細胞核圖像示例Fig.5 Examples of nucleus images with weak labels and wrong labels in dataset

2.4 實驗結果對比

本節(jié)展示基于GAN 的細胞核分割半監(jiān)督學習方法的實驗結果，并將其與深度學習分割方法進行比較，如表2 所示。其中：由Ronneberger 等［8］提出了U-Net 網(wǎng)絡能夠很好地識別細胞核，是現(xiàn)存的最先進的分割方法之一；Deeplab-v2 網(wǎng)絡由Chen 等［16］提出，本文將其用作分割網(wǎng)絡，以在顯微鏡圖像中識別細胞核。從表2 可知，本文提出的模型比DeepLab-v2 有更好的分割結果，且與U-Net 相比具有更少的參數(shù)量，Light-Unet 與U-Net 的參數(shù)量和推斷速度的對比如表3 所示。實驗時，Light-Unet中的參數(shù)設置為：Ladv=0.002，Lsemi=0.1，Tsemi=0.2。

為了驗證半監(jiān)督方案，實驗隨機選擇了訓練集總數(shù)的1/32、1/16、1/8 張帶標簽圖像，其余訓練數(shù)據(jù)均無標簽來訓練網(wǎng)絡。通過使用對抗損失Ladv，該模型的F1 得分比基準模型高約1.4%～1.9%，表明了提出的對抗損失方案可以促進分割網(wǎng)絡從真值標簽分布中學習結構信息。當同時使用對抗損失Ladv和半監(jiān)督損失Lsemi時，該模型可以比基準模型再提高約2.8～3.2個百分點的F1得分。

表2 與其他深度學習分割方法的比較Tab.2 Comparison with other deep learning segmentation methods

表3 Light-Unet與U-Net的比較Tab.3 Comparison between Light-Unet and U-Net

當使用DeepLab-v2 網(wǎng)絡并選擇訓練集帶標簽數(shù)據(jù)的1/8訓練網(wǎng)絡時，可以獲得78.1%的最佳SEG得分。然而，分割結果需要結合SEG和F1 得分來作出準確的決定。盡管該方案獲得了最高的SEG得分，但F1 得分僅為65.6%，表明圖像中的許多細胞核無法被完全識別出來。這主要有兩方面原因：首先，由于細胞圖像中的上下文特征比現(xiàn)實世界中的圖像更加簡單和穩(wěn)定，因此像Deeplab-v2 這樣的更深層網(wǎng)絡會帶來更多參數(shù)，并且會在像細胞分割這樣的小數(shù)據(jù)集中引起過擬合問題。其次，Light-Unet 采用經(jīng)典的編碼器-解碼器體系結構，其中低級和高級特征的融合可以實現(xiàn)更精細的對象邊界恢復。

此外，還可以從表2中得知最高的F1得分僅為76.1%，意味著有大約1/4的細胞核沒有被清楚地識別出來。事實上，這是由于本文使用的數(shù)據(jù)集中一張圖像可能包含300 多個細胞核，在這種情況下，即使人類專家也無法清楚地識別全部或者大多數(shù)細胞核。不同于現(xiàn)存的大多數(shù)細胞核分割的數(shù)據(jù)集中每張圖像僅包含有約30 個細胞核，本文使用的測試集中每張測試圖像的細胞核數(shù)量從十幾個到幾百個不等。當在每張圖像中包含少量的細胞核的數(shù)據(jù)集中測試時，本文方法測得的F1得分可以達到86.0%。

2.5 超參數(shù)分析

分割任務采用多任務學習策略來學習兩個超參數(shù)λadv和λsemi，并使用Tsemi來控制半監(jiān)督學習中的敏感度。本節(jié)通過設置不同的超參數(shù)來分析分割結果，如表4所示。

實驗首先評估λadv的影響，注意到在沒有λadv損失的情況下，該模型獲得75.5%的F1 得分和78.1%的SEG得分。當λadv被設置等于0.002，該模型的F1 得分將提高1.2 個百分點，SEG得分將提高0.2 個百分點。而當λadv=0.005時，模型性能的F1得分將下降約1.5%，表明對抗損失太大。

其次，表4 還展示了使用數(shù)據(jù)總量的1/16 時，Tsemi=0.002且λadv值在不同情況下進行的比較，以及λadv=0.002的情況下改變Tsemi值的比較。當將Tsemi分別設置為{0.05，0.1，0.2}時，可知在僅有λadv損失的情況下，基準模型能獲得70.2%的F1得分和76.1%的SEG得分。一般而言，當Tsemi=0.1 時模型具有最佳的性能，與沒有Tsemi損失時相比，F(xiàn)1得分提高了1.8個百分點。

表4 超參數(shù)分析Tab.4 Hyperparameter analysis

最后，設置不同的Tsemi值進行實驗來對比分割結果。具體地，先設置λadv=0.002，λsemi=0.1，再將Tsemi分別設置為{0.1，0.2，0.3，0.4，1}。對于未標記的圖像，Tsemi越高，代表著只選擇結構相似度更接近與真值標簽分布的真值標簽圖。如表4 所示，Tsemi被設置為0 時F1 得分下降到69.5%，Tsemi被設置為1 時F1 得分為70%，這兩種極端情況下均未取得很好的結果。當Tsemi的值被設置為0.2 時，該算法的效果最佳，此時F1 得分達到了72.0%，SEG得分達到75.9%。在此比較過程中，訓練沒有對抗損失λadv和半監(jiān)督損失Tsemi的Light-Unet 作為實驗的基準模型。細胞核分割結果如圖6 所示，第一行顯示了細胞核之間分離良好，可以將這種輸入圖像成為“易分割”圖像；第三行存在許多簇細胞核，可以將稱為“難分割”圖像。對于“難分割”圖像，可以發(fā)現(xiàn)即使是人工標注也難很好地分割出簇狀核，然而本文方法卻可以有效地分割出這些簇狀核。圖6 也展示了對分割結果進一步進行分水嶺操作的結果。

3 結語

本文提出了一種新穎的半監(jiān)督學習方法用于顯微鏡圖像的自動細胞核分割。受生成對抗網(wǎng)絡的啟發(fā)，方法設計為由分割網(wǎng)絡和判別器網(wǎng)絡組成。分割網(wǎng)絡通過一小部分標記的顯微鏡圖像對模型進行初始化。通過使用來自判別器網(wǎng)絡的置信圖將無標簽圖像作為訓練數(shù)據(jù)，可以不斷改善分割效果，與此同時，分割網(wǎng)絡的損失函數(shù)也隨著對抗損失而更新。實驗結果表明本文方法在小的顯微鏡圖像數(shù)據(jù)集上實現(xiàn)了高分割精度，且與基于大量標記圖像的現(xiàn)有方法具有可比性。

本文提出的基于半監(jiān)督學習的細胞核分割方法在實際臨床應用中具有巨大潛力。目前大多數(shù)細胞核分割方法都需要大量標記圖像來監(jiān)督神經(jīng)網(wǎng)絡學習，而本文方法僅需要少量具有代表性的帶標記圖像，這對于專家建立訓練數(shù)據(jù)來說是可接受的；而且此方法不限于特定的細胞核類型，它可以用作于不同類型的顯微圖像上的通用分割框架。

將來，我們還需要確定標記圖像的最小數(shù)量，以實現(xiàn)臨床上更高的分割精度。本文提出的半監(jiān)督學習方法可以使用少量標記圖像來實現(xiàn)高分割精度，說明了這個方法作為高通量顯微鏡圖像分析臨床工具的巨大潛力。

圖6 使用1/16訓練數(shù)據(jù)進行細胞核分割的結果Fig.6 Results of nuclei segmentation using 1/16 training data