張澤林，徐 軍

（江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室（南京信息工程大學），南京 210044）

（*通信作者電子郵箱xujung@gmail.com）

0 引言

上皮和間質(zhì)區(qū)域是病理組織圖像中的兩種基本結(jié)構(gòu)，在乳腺病理圖像中，約有80%的腫瘤起源于上皮組織［1］，并且上皮-間質(zhì)轉(zhuǎn)化（Epithelial-Mesenchymal Transition，EMT）過程參與了腫瘤的惡性進展［2］，因此上皮和間質(zhì)區(qū)域的自動分割對乳腺癌的診斷和預后具有重要的臨床價值。但是，在組織病理圖像中上皮和間質(zhì)組織的自動分割具有以下的挑戰(zhàn)：1）上皮和間質(zhì)兩種組織的紋理結(jié)構(gòu)復雜，不同病理圖像之間以及不同的病理分級之間兩種組織的差異性大，因此很難提取到適應(yīng)性很強的組織區(qū)域識別特征；2）上皮和間質(zhì)組織區(qū)域之間沒有明顯的邊界，甚至兩種組織區(qū)域交疊在一起，所以模型對兩種區(qū)域的區(qū)分很困難；3）染色劑和掃描儀等一些外部因素造成的病理圖像之間的差異也對模型識別兩種區(qū)域帶來了挑戰(zhàn)。

傳統(tǒng)的分割方法如文獻［3］中使用超像素過分割的方法從病理圖像中提取小圖像塊，然后訓練支持向量機（Support Vector Machine，SVM）［4］，最后以圖像塊分類的方式分割口腔鱗癌圖像中上皮和間質(zhì)組織；文獻［5］中提出了基于貝葉斯表決模型的上皮區(qū)域分割方法，該方法使用間質(zhì)區(qū)域細胞的紋理和顏色特征，通過貝葉斯投票的方式去除了間質(zhì)區(qū)域所有的細胞，從而得到了上皮區(qū)域的分割結(jié)果；文獻［6］使用了基于二值圖割的方法來分割牙源性囊腫圖像中的上皮和間質(zhì)區(qū)域，其中二值圖的權(quán)重大小取決于圖像中上皮和間質(zhì)區(qū)域的顏色直方圖概率；文獻［7］中首先用80×80 的滑動窗提取了重疊的圖像小塊，之后提取了圖像小塊的局部二值模式（Local Binary Pattern，LBP）特征，最后用提取的小塊LBP 特征訓練SVM分類器來分割上皮和間質(zhì)區(qū)域。

相較于傳統(tǒng)的分割模型，深度學習分割模型具有更高的分割準確性和魯棒性。深度學習分割模型的分割機制一般分為基于滑動塊分類預測的分割機制和端到端的分割機制?；诨瑒訅K分類預測的模型在分割大尺寸的病理圖像時將會花費大量的時間。如文獻［8］首先根據(jù)專家標記的上皮和間質(zhì)區(qū)域邊界線來重疊地提取兩種區(qū)域圖像塊構(gòu)建訓練集，然后訓練分類卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）Alexnet［9］，最后逐塊地預測上皮和間質(zhì)兩種區(qū)域；文獻［10］中提出了一種結(jié)合有監(jiān)督CNN 分類網(wǎng)絡(luò)和無監(jiān)督圖分割模型的方法來分割上皮和間質(zhì)區(qū)域，該方法通過結(jié)合分類識別兩種區(qū)域和定位兩種區(qū)域的邊緣，從而可以更準確地分割兩種區(qū)域；文獻［11］分別用CNN和LBP、區(qū)域感知以及像素強度三種傳統(tǒng)特征的提取方式分別提取了上皮和間質(zhì)區(qū)域的2 類特征，然后用SVM 分類器對四種方式提取的特征分類來對上皮和間質(zhì)區(qū)域進行分割，實驗結(jié)果表明，基于CNN 深度特征的方式可以取得最好的分割性能。

和基于滑動塊分類預測的分割模型相比，端到端的分割模型在分割效率上更高，但是端到端模型的訓練會更加困難。因為一般對于分類器網(wǎng)絡(luò)，架構(gòu)都只有一個編碼器，而端到端的分割網(wǎng)絡(luò)則需要多訓練一個解碼器，解碼器的訓練要比編碼器的訓練更加困難。因此基于編碼器的結(jié)構(gòu)，文獻［12］中提出了全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）解決了語義分割的問題。FCN 相對于分類器網(wǎng)絡(luò)的主要變化是在編碼器的輸出端串聯(lián)了由一個反卷積構(gòu)成的解碼器，這樣就可以實現(xiàn)端到端的分割?；贔CN 的結(jié)構(gòu)，越來越多的端到端模型被提出并成功地運用在醫(yī)學圖像的分割任務(wù)中。文獻［13］中先將免疫組織化學（ImmunoHistoChemistry，IHC）［14］染色的病理圖像和對應(yīng)的蘇木素和伊紅（Hematoxylin and Eosin，H&E）染色的病理圖像配準，然后在IHC染色的病理圖像中用顏色反卷積［15］算法分離通道，并訓練一個Unet［16］分割I(lǐng)HC 染色中上皮區(qū)域，最后用訓練好的分割模型微調(diào)訓練配準的H&E 染色的病理圖像數(shù)據(jù)集，并在H&E 染色的病理圖像中分割上皮和間質(zhì)區(qū)域；文獻［17］中基于VGG（Visual Geometry Group）網(wǎng)絡(luò)［18］、殘差網(wǎng)絡(luò)（Residual Network，Resnet）［19］和預訓練的Resnet 三種CNN 的結(jié)構(gòu)設(shè)計了三種端到端的分割模型來對乳腺H&E 染色病理圖像中的上皮和間質(zhì)區(qū)域進行分割。

本文構(gòu)建了一種端到端的上皮間質(zhì)分割條件對抗網(wǎng)絡(luò)（EPithelium and Stroma segmentation conditional Generative Adversarial Network，EPScGAN）對上皮和間質(zhì)區(qū)域進行自動分割，與一般深度學習分割模型相比，EPScGAN 具有更好的分割性能。

1 EPScGAN模型

一般的深度學習模型都會用一個預定義的損失函數(shù)來計算模型輸出和標記之間的誤差，從而監(jiān)督模型的訓練。對于不同的模型和任務(wù)都會有不同的損失函數(shù)，因此損失函數(shù)的選擇會對網(wǎng)絡(luò)的性能產(chǎn)生較大的影響。對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［20］提供了可訓練的損失函數(shù)機制。因為GAN 中的生成器可以是一個解碼器網(wǎng)絡(luò)，也可以是一個端到端的分割網(wǎng)絡(luò)，而判別器的作用是提取生成器生成圖像和標記圖像的特征，然后在特征水平上判斷生成器的生成結(jié)果和標記圖像之間的差距。GAN 的優(yōu)化目標函數(shù)如式（1）：

其中：x是生成器的輸入；z是生成器的輸出；G代表生成器網(wǎng)絡(luò)；D代表判別器網(wǎng)絡(luò)。但是生成器的生成輸入都是一系列隨機的噪聲，因此生成結(jié)果無法控制。條件對抗生成網(wǎng)絡(luò)（conditional GAN，cGAN）［21］通過在生成器和判別器的輸入中添加生成條件，從而使得生成器的輸出變得可控。cGAN的優(yōu)化目標函數(shù)如式（2）所示：

其中：y為添加的約束條件。

Pix2pix 模型［22］首次應(yīng)用cGAN 機制完美地解決了圖像翻譯問題。Pix2pix的優(yōu)化目標函數(shù)如式（3）：

在Pix2pix 中生成器的輸入x由隨機向量變成了圖像，判別器的輸入在原來的生成圖像z或標記圖像y中拼接了原始輸入圖像x作為條件進行判別。本文基于cGAN 和Pix2pix 的模型結(jié)構(gòu)，構(gòu)建了上皮和間質(zhì)組織分割模型EPScGAN，模型結(jié)構(gòu)如圖1所示。

圖1 EPScGAN模型結(jié)構(gòu)Fig.1 Structure of EPScGAN model

EPScGAN 包含1 個生成器網(wǎng)絡(luò)和1 個判別器網(wǎng)絡(luò)，生成器的主要作用是分割輸入的病理圖像并輸出分割結(jié)果，而判別器的主要作用是判別生成器生成的圖像和真實的標記圖像之間的誤差。生成器網(wǎng)絡(luò)是一個端到端的CNN 分割模型，而判別器網(wǎng)絡(luò)是一個多層的CNN分類模型。

1.1 生成器結(jié)構(gòu)

在醫(yī)學圖像分割任務(wù)中，端到端的分割模型越來越得到了廣泛的應(yīng)用。主要過程是先用編碼器下采樣提取特征，然后再用解碼器上采樣解碼輸出分割結(jié)果。目前在醫(yī)學圖像分割中比較流行的幾個端到端分割框架有FCN、Unet 等。FCN根據(jù)其上采樣的步長大小又可以分為：FCN32s、FCN16s 和FCN8s。Unet 的網(wǎng)絡(luò)結(jié)構(gòu)和FCN 類似，都是在多個尺度下將編碼器提取的深度特征和解碼器特征進行了融合。但不同之處在于FCN 的解碼器只有一個反卷積層，因此是將其他尺度的編碼器特征上采樣后直接和解碼器特征拼接融合，而Unet采用了和編碼器相同尺度的對稱解碼器結(jié)構(gòu)，將編碼器不同尺度下的深度特征和相同尺度的解碼器特征相融合。一系列的實驗結(jié)果表明，Unet 的這種短連接對端到端的分割網(wǎng)絡(luò)非常有效。因為編碼器的編碼過程會使得一些細節(jié)特征被下采樣，導致解碼器沒有足夠的信息來恢復細節(jié)的結(jié)構(gòu)。而短連接操作可以將原始圖像的細節(jié)信息盡可能地保留下來，從而使得網(wǎng)絡(luò)可以更精確地分割一些細小的目標。在一定的情況下，這種結(jié)構(gòu)和Resnet 結(jié)構(gòu)非常相似。和Unet 類似，Segnet［23］也使用了這種短連接操作，與Unet 不同的是Segnet 的解碼器使用了上采樣串聯(lián)1×1 的平滑卷積來替代反卷積操作，這樣就使得解碼器的訓練相對更加容易。但是直接采用這種跳躍式的短連接結(jié)構(gòu)存在語義代溝問題。文獻［24］中提出的Unet++結(jié)構(gòu)，主要是解決一般Unet 網(wǎng)絡(luò)的深度和語義代溝問題。因為在Unet 中短連接操作直接把編碼器的低維特征拼接到了解碼器的高維特征中，而且編碼器層數(shù)越淺，語義代溝越大。所以為了避免語義代溝的問題，本文使用無短連接的編碼解碼結(jié)構(gòu)，生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 EPScGAN生成器框架結(jié)構(gòu)Fig.2 Framework of EPScGAN generator

為了盡可能多地保留細節(jié)信息，本文的編碼器只使用了3 個下采樣卷積層，并且為了增加生成器網(wǎng)絡(luò)的魯棒性，本文用一系列的Resnet 模塊來增加網(wǎng)絡(luò)的參數(shù)容量。Resnet 模塊不僅能夠保留輸入圖像或特征的細節(jié)信息，而且可以有效地避免加深網(wǎng)絡(luò)導致的梯度消失問題。Resnet提供了一種非常有效的深度特征融合方式，最大的特點是將輸入的特征圖和輸出的特征圖相加得到最終的輸出。一個Resnet模塊的輸入x和輸出y之間的關(guān)系表達如式（4）：

其中：F表示整個Resnet 模塊的運算映射；x和Wx代表輸入和對應(yīng)輸入的卷積操作；σ表示Resnet 模塊中的激活函數(shù)。因此在加入了Resnet 連接的反向傳播中，如果對式（4）求x的偏導數(shù)可以得到如式（5）所示的結(jié)果：

所以當網(wǎng)絡(luò)很深時，dF/dx有可能等于0，此時dy/dx恒等于1，對于整個網(wǎng)絡(luò)的前向傳播仍然有效。

為了方便反向傳播求梯度，EPScGAN 生成器中的激活函數(shù)均使用線性整流單元（Rectified Linear Unit，ReLU）函數(shù)，ReLU函數(shù)的計算表達式如式（6）：

從式（6）可以看出，ReLU 函數(shù)只輸出大于0 的特征，因此在反向求梯度的過程中，該激活函數(shù)對輸入x的偏導數(shù)恒等于1，所以使用ReLU激活函數(shù)可以加快網(wǎng)絡(luò)的訓練。

并且為了增加網(wǎng)絡(luò)訓練的穩(wěn)定性，一般深度網(wǎng)絡(luò)中的卷積操作后會用一個標準化層對卷積的輸出進行標準化操作。標準化層的主要作用是將網(wǎng)絡(luò)的輸出一直保持在一個相同的分布區(qū)間，同時可以避免梯度消失，正則化網(wǎng)絡(luò)和提高網(wǎng)絡(luò)的泛化能力。常用的標準化方式為批量標準化（Batch Normalization，BN）［25］，該標準化方式的計算表達式如式（7）：

其中：x代表卷積層輸出的特征張量B×C×H×W，B代表特征張量中批量樣本的數(shù)量，C代表特征張量的通道數(shù)，H×W代表特征張量中的特征圖譜；xi表示特征張量中的每個具體值；μ(x)和σ(x)為輸出特征張量的均值和標準差。批量樣本的數(shù)量會對批量標準化的效果產(chǎn)生重要的影響，但是批量樣本的數(shù)量會受限于GPU 的顯存大小。所以EPScGAN 中的所有標準化方式都采用了組標準化（Group Normalization，GN）［26］來替代BN。GN和BN的主要區(qū)別是GN首先將特征張量的通道分為許多組，然后對每一組做歸一化，即將特征張量矩陣的維度由［B，C，H，W］改變?yōu)椋跙，C/G，H，W］，然后歸一化的維度（求均值和方差的維度）為［C/G，H，W］，所以GN 的效果不會受到批量樣本數(shù)量B的影響。生成器各層的詳細結(jié)構(gòu)如圖3所示。

圖3 EPScGAN生成器模塊結(jié)構(gòu)Fig.3 Module structure of EPScGAN generator

輸入層的作用是用大卷積核的卷積操作將輸入圖像快速轉(zhuǎn)化為稀疏多通道的特征映射，而輸出層的作用是將特征反稀疏化，從而快速得到分割結(jié)果。EPScGAN 生成器的輸出層末尾使用了雙曲正切（hyperbolic Tangent，Tanh）激活函數(shù)對卷積輸出進行激活。因為和生成器的深層卷積輸出特征相比，輸出層的卷積輸出特征圖中目標和背景的特征差異已經(jīng)足夠明顯，并且Tanh激活函數(shù)是0均值輸出，可以增大分割結(jié)果中背景和目標的差異性，使分割結(jié)果更加明顯。

卷積下采樣層的作用為下采樣并融合特征，同時提升輸出通道，增強特征的可表達性。EPScGAN 生成器的編碼器使用了3 個相同結(jié)構(gòu)的卷積下采樣層，每個下采樣層中的卷積都使用了3×3 的小卷積核，2×2 的卷積步長提取特征，并且對卷積運算前的輸入特征進行了大小為1 的零擴充操作，從而保證了每個下采樣層的下采樣倍數(shù)都為2。反卷積上采樣層的作用為上采樣并解碼深度特征，同時減少輸出通道，融合解碼后的特征來得到分割結(jié)果。類似于EPScGAN 生成器的編碼器，EPScGAN 生成器的解碼器使用了3 個相同結(jié)構(gòu)的反卷積上采樣層，每個上采樣層中的反卷積都使用了3×3 的小卷積，2×2 的卷積步長提取特征，并且對反卷積運算輸入特征和輸出特征都進行了大小為1 的零擴充操作，從而保證了每個上采樣層的上采樣倍數(shù)都為2。

Resnet模塊的作用為融合深度特征，增加網(wǎng)絡(luò)容量，提升網(wǎng)絡(luò)的魯棒性，同時可以避免梯度消失。在EPScGAN 的生成器中用6 個相同結(jié)構(gòu)的Resnet 模塊串聯(lián)融合特征，并且連接編碼器和解碼器。每個Resnet 模塊的每個卷積中都使用了3×3 的小卷積核，同時為了保證輸入和輸出特征圖的大小相等，每個卷積步長的步長都為1×1，并且對卷積輸出的特征進行了大小為1的零擴充操作。

1.2 判別器結(jié)構(gòu)

判別器的主要作用是判別生成器的生成圖像和真實的標記圖像。在GAN 中：生成器的優(yōu)化目標是最小化生成損失，使得判別器很難判別生成圖像和真實圖像的差異，而判別器的優(yōu)化目標是最小化判別損失，要盡可能地找出生成圖像和真實圖像的差異；在GAN 的訓練過程中，判別器會逐漸地提升判別能力，生成器也會提升生成能力，并且指導生成器訓練的反向傳播誤差損失來源于判別器。因此判別器相當于一個可訓練的損失函數(shù)，它可以從深層的數(shù)據(jù)分布上計算生成器生成的結(jié)果和真實數(shù)據(jù)之間的差異，所以它可以很好地監(jiān)督生成器的訓練。判別器網(wǎng)絡(luò)是一個編碼器結(jié)構(gòu)，因此判別器比生成器更容易訓練。所以為了避免判別器判別能力過強而導致生成器訓練崩潰的問題，同時為了防止判別器過擬合，EPScGAN 的判別器由2 個下采樣層和3 個卷積過渡層構(gòu)成。EPScGAN的判別器結(jié)構(gòu)如圖4所示。

圖4 EPScGAN判別器結(jié)構(gòu)Fig.4 Structure of EPScGAN discriminator

EPScGAN 判別器的輸入為原始病理圖像級聯(lián)生成圖像或真實標記圖像構(gòu)成的圖像對，原始病理圖像的作用是判別輸入條件。在深度圖像分類網(wǎng)絡(luò)中，編碼器的輸出特征會被扁平化為特征向量，然后連接全連接層輸出分類結(jié)果，因此分類網(wǎng)絡(luò)的輸入圖像尺寸是固定的。但在分割模型訓練的過程中，反向傳播計算會消耗很大的GPU 內(nèi)存，所以輸入圖像的尺寸一般都比較小，但是在測試過程中可以用更大尺寸的圖像進行測試，所以分割網(wǎng)絡(luò)的輸入圖像尺寸大小可以不固定。端到端的分割模型可以適應(yīng)不同尺度的輸入，但是GAN 中的判別器結(jié)構(gòu)為一個二分類網(wǎng)絡(luò)，所以為了能夠分割多尺寸的圖像，同時也為了穩(wěn)定生成器的訓練，EPScGAN 的判別器采用了Pix2pix中的patch-GAN技術(shù)。該技術(shù)是去掉了判別器中的特征扁平化操作和全連接層，直接讓判別器輸出一個單通道的特征圖，然后用生成數(shù)據(jù)的判別特征和真實數(shù)據(jù)的判別特征進行特征匹配［27］，這樣就可以通過判別器輸出特征的傳遞來更好地訓練生成器，增強生成器的生成能力。常用的特征匹配損失函數(shù)為正則化損失函數(shù)l1 函數(shù)和l2 函數(shù)［28］。相對于l2損失函數(shù)，l1損失函數(shù)由于內(nèi)置特征選擇，所以有很多不確定解，因此魯棒性更高。因此，EPScGAN 的判別器中使用了l1損失函數(shù)對兩種判別特征進行特征匹配。

EPScGAN 判別器中使用了2 個相同結(jié)構(gòu)的卷積下采樣層，每個下采樣層中的卷積都使用了4×4 的小卷積核，2×2 的卷積步長提取特征，并且對卷積運算前的輸入特征進行了大小為2 的零擴充操作，從而有效地融合并下采樣特征，同時稀疏化輸出特征，并且避免了過多的下采樣操作造成的細節(jié)特征丟失和過擬合問題。同時EPScGAN 判別器還使用了3 個相同結(jié)構(gòu)的卷積過渡層，每個過渡層中的卷積都使用了4×4的小卷積，用1×1的卷積步長提取特征，并且對卷積運算前的輸入特征進行了大小為2 的零擴充操作。因此過渡層不改變特征的尺寸大小，并且可以有效地融合特征，并通過零填充操作有效地稀疏化特征。EPScGAN 判別器的特征輸出層為1個卷積層，該卷積層的卷積核大小為3×3，卷積步長為1×1，卷積輸入零擴充的尺寸大小為1，這樣就保證了不會對輸出特征層進行下采樣，同時輸出的系數(shù)特征可以用l2 損失函數(shù)更好地進行特征匹配。

EPScGAN 的判別器中所使用的激活函數(shù)均為LeakyReLU。當輸入的特征值小于零時，ReLU 函數(shù)的輸出始終為零，所以其一階導數(shù)也始終為零，這樣就會導致神經(jīng)元參數(shù)不再更新，出現(xiàn)“死神經(jīng)元”現(xiàn)象。和ReLU 函數(shù)不同，當輸入特征張量中的值小于零時，LeakyReLU 會有一個泄露值輸出，因此使用LeakyReLU 函數(shù)可以避免判別器中出現(xiàn)“死神經(jīng)元”現(xiàn)象。LeakyReLU函數(shù)的表達式如式（8）所示。

EPScGAN 判別器中所有的LeakyReLU 激活函數(shù)泄露值ε均設(shè)置為0.2。

1.3 損失函數(shù)

EPScGAN 使用了和Pix2pix相同的損失函數(shù)。式（3）計算的是cGAN 損失，主要的優(yōu)化目標是生成器和判別器，為了增強生成器的生成能力以及穩(wěn)定生成器的訓練，損失函數(shù)部分還包括特征匹配l1 損失。l1 特征匹配的損失函數(shù)如式（9）所示：

所以EPScGAN 的最終優(yōu)化目標損失函數(shù)的表達式如式（10）所示：

其中：λ為l1 損失的懲罰系數(shù)，通過多次實驗發(fā)現(xiàn)，最終確定λ=10時訓練最穩(wěn)定。

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)

本文的實驗數(shù)據(jù)集是由文獻［29］中荷蘭癌癥研究所（Netherlands Cancer Institute，NKI）和溫哥華綜合醫(yī)院（Vancouver General Hospital，VGH）兩個單位提供的總共576張像素尺寸為1 128×720 的H&E 染色乳腺癌病理圖像構(gòu)成。其中NKI 提供了248 張，VGH 提供了328 張，每張圖像都有病理專家手動標記的乳腺組織上皮和間質(zhì)區(qū)域。本文在原始576 張1 128×720 大小的圖像中隨機裁剪出了1 286 張像素尺寸為512×512的圖像作為最終的實驗數(shù)據(jù)集。

2.2 實驗結(jié)果

本文將1 286 張512×512 尺寸大小的H&E 染色病理圖像按照7∶3 的比例隨機地劃分為訓練集（900 張）和測試集（386張）對EPScGAN 模型和目前流行的醫(yī)學圖像分割網(wǎng)絡(luò)進行訓練和測試。本文使用的實驗平臺為Ubuntu 16.04 操作系統(tǒng)，Nvidia GTX 1080Ti 的GPU。網(wǎng)絡(luò)固定的超參數(shù)為：優(yōu)化器選用自適應(yīng)的Adam［30］，初始化學習率為0.000 2，訓練的總迭代次數(shù)為200，深度學習框架采用Pytorch1.0。不同模型在測試集上的分割結(jié)果對比如圖5所示。

圖5 不同模型的分割結(jié)果對比Fig.5 Segmentation results comparison of different models

從圖5 所示的分割結(jié)果對比圖中可以發(fā)現(xiàn)：FCN 的解碼器比較弱而且和編碼器不對稱，所以很難準確地分割出上皮和間質(zhì)組織區(qū)域；而其他4 種模型結(jié)構(gòu)都采用了對稱的編碼解碼結(jié)構(gòu)，因此整體分割的效果比較好。本文對比了4 種對稱結(jié)構(gòu)的分割結(jié)果細節(jié)，如圖6 所示，從分割結(jié)果的細節(jié)展示中可以發(fā)現(xiàn)：Segnet 和Unet++會把淋巴細胞區(qū)域誤分割為間質(zhì)組織區(qū)域（圓圈內(nèi)所示），Unet、Segnet 和Unet++都容易把一些細小的間質(zhì)區(qū)域漏掉（三角形所指和方框內(nèi)所示）。

3 結(jié)果評估分析

3.1 多類像素準確率評估

為了定量的說明模型對不同區(qū)域的分割性能，使用了像素準確率（Pixel Accuracy，PA）［31］對背景，上皮組織和間質(zhì)組織區(qū)域進行了評估，計算表達式如式（11）：

其中：TP表示分割網(wǎng)絡(luò)正確分為正樣例的像素點數(shù)量（True Positive）；TN表示分割網(wǎng)絡(luò)正確分為負樣本的像素點數(shù)量（True Negative）；FP表示分割網(wǎng)絡(luò)錯誤分為正樣例的像素點數(shù)量（False Positive）；FN表示分割網(wǎng)絡(luò)錯誤分為負樣本的像素點數(shù)量（False Negative）。像素準確率是評估語義分割結(jié)果的常用指標，反映了分割正確的像素點數(shù)量占所有分割像素的比例。對于每一類區(qū)域的類像素準確率（Class Pixel Accuracy，CPA）的計算公式如式（12）所示，最終的評估結(jié)果如表1所示。

表1 不同模型的CPA評估結(jié)果Tab.1 CPA evaluation results of different models

從評估結(jié)果中可以看出，F(xiàn)CN 對上皮組織區(qū)域的分割準確率要高于對間質(zhì)組織區(qū)域的分割準確率，同時對背景區(qū)域的分割準確率要遠低于上皮區(qū)域。主要是因為FCN 的網(wǎng)絡(luò)結(jié)構(gòu)中解碼器較弱，因此無法對一些細小的敏感區(qū)域進行精準分割。而Unet 對背景區(qū)域和間質(zhì)區(qū)域的分割準確率較低，因為語義代溝的問題，所以無法很好地區(qū)分上皮和間質(zhì)區(qū)域，Segnet和Unet++則對三類的分割都比較均衡。對比其他端到端的深度學習分割模型，EPScGAN 可以在保證三類分割比較均衡的前提下，每一類的分割像素準確率都達到最高。

3.2 平均交并比評估

平均交并比（mean Intersection over Union，mIoU）在深度學習圖像分割領(lǐng)域中是一個衡量圖像分割精度的重要指標。交并比（Intersection over Union，IoU）的計算公式如式（13）所示：

所以IoU 計算了分割結(jié)果和真實標記交集和并集的比例。先求出分割結(jié)果在每一類上的IoU 值，然后計算平均值就可以得到mIoU 值。不同模型在測試集上的mIoU 對比結(jié)果如表2所示。

表2 不同模型的mIoU評估結(jié)果 單位：%Tab.2 mIoU evaluation results of different models unit：%

從表2可以看出，本文提出的EPScGAN 模型在H&E 染色的上皮和間質(zhì)組織區(qū)域病理圖像分割任務(wù)中比其他的流行醫(yī)學圖像分割模型具有更高的分割精度。

圖6 對稱結(jié)構(gòu)分割模型的分割結(jié)果細節(jié)展示Fig.6 Detailed display of segmentation results of symmetric structure segmentation models

4 結(jié)語

為了有效地分割出H&E 染色病理組織圖像中的上皮和間質(zhì)區(qū)域，本文提出了基于cGAN 的分割模型EPScGAN。該模型中使用了Resnet 模塊增加網(wǎng)絡(luò)容量來提升網(wǎng)絡(luò)的魯棒性，同時使用了cGAN 中的判別機制來為生成器的訓練提供了可訓練的損失函數(shù)，使得網(wǎng)絡(luò)得到了充分的訓練。對比實驗結(jié)果表明，與一般的深度分割模型相對比，EPScGAN 模型能夠更加有效地提取上皮和間質(zhì)組織區(qū)域的語義特征，并且對兩種區(qū)域的多樣性識別具有更高的魯棒性。目前我們只使用了乳腺組織病理圖像中的上皮和間質(zhì)區(qū)域區(qū)域數(shù)據(jù)集進行了實驗，因此下一步工作是把EPScGAN 模型用到其他的醫(yī)學圖像分割任務(wù)中，并和一般的深度分割模型作比較。