盧梓菡，張 東，楊 艷，楊 雙

（1.武漢大學(xué)物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430072；2.桂林航天工業(yè)學(xué)院電子信息與自動化學(xué)院，廣西 桂林 541004）

0 引 言

乳腺癌是一種兇險的惡性腫瘤，其發(fā)病率位居女性患惡性腫瘤的首位［1］，及時的診斷和準(zhǔn)確的治療是降低患者死亡率的關(guān)鍵。為了對患者制定精細的治療計劃，醫(yī)學(xué)上需要進行組織病理學(xué)檢查。首先將患者病理組織制成蘇木精和伊紅（HE）染色的切片，由病理學(xué)家在顯微鏡下對HE 染色切片進行初步觀察，隨后需要檢驗?zāi)[瘤細胞特定蛋白的表達，如人表皮生長因子受體2（HER2），并根據(jù)HER2水平為患者制定精確的治療計劃。HER2 共有0、1+、2+、3+這4 種表達水平［2］，HER2水平越高，腫瘤的侵襲性越高。臨床上將HER2 水平為0 或者1+代表陰性結(jié)果，此時無需靶向治療，應(yīng)主要采取化療、放療、手術(shù)治療；將HER2表達為3+代表陽性結(jié)果，此時需要用靶向藥物赫賽汀進行靶向治療；若HER2 表達為2+，則需要進一步做基因檢測，以判斷是否適合靶向治療［3］。

醫(yī)學(xué)上通常采用免疫組化技術(shù)［4］（IHC）來常規(guī)評估HER2 的表達［5］。這需要額外制備一個IHC 染色切片，如圖1 所示。然后病理學(xué)家通過檢查IHC 染色的切片，獲得HER2的表達狀態(tài)，劃分標(biāo)準(zhǔn)如下：

圖1 不同HER2表達水平的IHC圖片

1）HER2 0：切片中有≤10%的腫瘤細胞，未見染色或膜染色不完整，微弱/幾乎不可見，如圖1（a）所示。

2）HER2 1+：切片中有＞10%的腫瘤細胞，膜染色微弱/幾乎不可見，如圖1（b）所示。

3）HER2 2+：切片中有＞10%的腫瘤細胞，可見弱至中度完全膜染色，如圖1（c）所示。

4）HER2 3+：切片中有＞10%的腫瘤細胞，周膜染色完全，強烈，如圖1（d）所示。

近些年來，隨著神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)領(lǐng)域的不斷發(fā)展，HER2 水平的檢測方法也有了新的突破［6］。Conde-Sousaa 等［7］提出了一種多階段ResNet34模型，可以由乳腺癌HE 切片直接預(yù)測包含HER2在內(nèi)的多種免疫組化結(jié)果，Chen 等［8］開發(fā)出了一種XGBoost 模型，可以由乳腺癌CT 圖像預(yù)測HER2 狀態(tài)。Samer等［9］提出了一種金字塔pix2pix網(wǎng)絡(luò)，可以由乳腺癌HE染色切片生成IHC 染色切片，生成圖像的SSIM 為0.477，PSNR為21.16 dB。李雨萌［10］提出了一種基于非配對圖像間的腎臟切片HE染色與IHC染色轉(zhuǎn)化方法。

本文提出一種預(yù)測網(wǎng)絡(luò)和一種生成對抗網(wǎng)絡(luò)，其中預(yù)測網(wǎng)絡(luò)可以直接由乳腺癌HE 染色切片預(yù)測HER2水平，且預(yù)測準(zhǔn)確率可達到97.5%以上，該預(yù)測結(jié)果與經(jīng)真實免疫組化染色后的評估結(jié)果高度一致。同時，生成對抗網(wǎng)絡(luò)可以根據(jù)預(yù)測網(wǎng)絡(luò)得到的HER2水平，由乳腺癌HE 染色圖像生成相應(yīng)水平的模擬IHC 染色圖像，該模擬圖像在低HER2 水平下與真實圖像有很高的相似度，可以省去額外制作IHC染色切片的時間和費用。

1 方 法

1.1 數(shù)據(jù)集與算法流程

本文使用的數(shù)據(jù)集為BCI數(shù)據(jù)集，這是一個配對的HE 到IHC 圖像翻譯數(shù)據(jù)集，也是第一個用于免疫組化圖像生成的大規(guī)模公開數(shù)據(jù)集。其中訓(xùn)練集有3696 對數(shù)據(jù)，測試集共有900 對數(shù)據(jù)，比例為4：1。數(shù)據(jù)集的原始圖片尺寸為1024×1024，各個級別數(shù)據(jù)分布不均衡，共有0 級 608 對，1+級1053 對，2+級1500對，3+級1435對，因此首先對低級別數(shù)據(jù)對進行數(shù)據(jù)增強，采用旋轉(zhuǎn)、縮放、對比度變化的方法進行數(shù)據(jù)增強，盡量減少人工干預(yù)對數(shù)據(jù)集擴充的影響，最終使得各類數(shù)據(jù)對均保持在1200張以上。

本文算法流程步驟如下：

1）數(shù)據(jù)集制作，包含圖像預(yù)處理、標(biāo)簽制作、數(shù)據(jù)集增強等操作。

2）搭建一種基于改進的ResNet34 的預(yù)測網(wǎng)絡(luò)來對HER2水平進行預(yù)測。

3）搭建一種多尺度的生成對抗網(wǎng)絡(luò)來生成模擬IHC染色圖像，并自定義損失函數(shù)。

4）將測試集分別投入預(yù)測模型和生成模型，分析模型效果。

本文算法整體流程如圖2所示。

圖2 本文算法流程

1.2 預(yù)測模型網(wǎng)絡(luò)設(shè)計

ResNet 網(wǎng)絡(luò)首次將殘差學(xué)習(xí)的思想加入傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中，很好地解決了網(wǎng)絡(luò)深度較深時梯度消失的問題［11］。注意力機制能夠使網(wǎng)絡(luò)學(xué)習(xí)特定的特征并抑制不需要的特征，可以顯著提高網(wǎng)絡(luò)的訓(xùn)練效果。本文的預(yù)測網(wǎng)絡(luò)在ResNet 殘差模塊上引入了通道注意力和空間注意力機制，實現(xiàn)了混合注意力殘差模塊。并基于ResNet34 網(wǎng)絡(luò)構(gòu)造了一個混合注意力預(yù)測網(wǎng)絡(luò)，即將ResNet34 中原始的殘差模塊均替換為混合注意力殘差模塊［12］。混合殘差模塊由卷積函數(shù)、批標(biāo)準(zhǔn)化函數(shù)、ReLU 激活函數(shù)和CBAM 模塊組成，如圖3 所示。CBAM 模塊由通道注意力機制模塊和空間注意力機制模塊2個部分構(gòu)成，如圖4所示。

圖3 混合注意力殘差模塊

（a）卷積塊的注意力機制模塊

CBAM 模塊可以幫助網(wǎng)絡(luò)更有側(cè)重性地學(xué)習(xí)輸入圖像在空間和通道維度上的權(quán)重分布。其工作流程為：首先將輸入特征圖F輸入到通道注意力模塊，得到通道注意力特征圖Mc。再將Mc和原始特征圖F做矩陣乘法，生成Fc。然后再使Fc輸入到空間注意力模塊，得到空間注意力特征圖Ms。最后將Ms和特征圖Fc做矩陣法［13］，生成F′，生成圖像的大小與輸入圖像保持一致。

1.3 生成對抗網(wǎng)絡(luò)設(shè)計

生成對抗網(wǎng)絡(luò)在醫(yī)學(xué)圖像生成領(lǐng)域已經(jīng)有了很廣泛的應(yīng)用，CycleGan［14］給出了一種無監(jiān)督的圖像轉(zhuǎn)換方法，可以應(yīng)用于未配對的數(shù)據(jù)集，但更適合應(yīng)用于風(fēng)格遷移，生成圖像質(zhì)量較差［15］。Pix2pix［16］是一種開創(chuàng)性的有監(jiān)督圖像轉(zhuǎn)換算法，它是一種通用的圖像轉(zhuǎn)換算法，可以應(yīng)用于各種配對圖像翻譯任務(wù)。本文方法在Pix2pix 框架的基礎(chǔ)上，搭建一個金字塔結(jié)構(gòu)的多尺度生成對抗網(wǎng)絡(luò)，將生成器由原來的Unet256 替換成由混合注意力殘差塊構(gòu)成的ResNet-9blocks 生成器，判別器使用70×70 的PatchGan，并自定義了多尺度的損失函數(shù)。整體的網(wǎng)絡(luò)框架如圖5所示。

圖5 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)

ResNet-9blocks 生成器的框架如圖6 所示，該網(wǎng)絡(luò)由卷積模塊、CBAM 模塊和混合注意力殘差模塊構(gòu)成。卷積模塊由卷積函數(shù)、InstanceNorm 歸一化和ReLU 激活函數(shù)構(gòu)成，CBAM 模塊和混合注意力殘差模塊在上文已經(jīng)敘述過。生成器整體框架是一個編解碼結(jié)構(gòu)，網(wǎng)絡(luò)在編碼過程和解碼過程之間加入了9個混合注意力殘差模塊，以充分提取圖像信息。

圖6 ResNet-9blocks生成器

1.4 損失函數(shù)

對于預(yù)測網(wǎng)絡(luò)，本文使用交叉熵損失，與ResNet34保持一致。對于生成對抗網(wǎng)絡(luò)，本文自定義了生成器的損失函數(shù)，其中內(nèi)容損失由SmoothL1損失、SSIM 損失和自定義的多尺度損失組成，表達式如公式（1）所示，對抗損失仍與Pix2pix 保存一致，表達式如公式（2）所示，生成器G試圖最小化這個函數(shù)，而鑒別器D試圖最大化它。SSIM 損失表達式如公式（3）所示。多尺度損失定義如下：對生成的圖像和真實圖像進行相同的尺度變換，比較尺度變化后圖像間的差異［17-21］。尺度變換包括2 個步驟：首先使用4 個高斯濾波器對圖像進行平滑處理，然后對平滑圖像進行降采樣。這一尺度變化可以執(zhí)行n層，第i層的尺度損失記作Si，表達式如公式（4）所示，最后總的尺度損失為各層Si之和，表達式如公式（5）所示。生成器的總損失為對抗損失與內(nèi)容損失的加權(quán)和，表達式如公式（6）所示。所有公式中F表示高斯濾波處理，x為輸入圖像，y為真實圖像。

2 實驗與結(jié)果分析

本文所有實驗的硬件實驗環(huán)境配置均為 Intel i7-9850H 的中央處理單元（CPU），運行內(nèi)存大小為8 GB 的NVIDIA RTX 2060 圖形處理單元（GPU），以及64 位的Windows 10 操作系統(tǒng)。所有實驗網(wǎng)絡(luò)均使用Adam 優(yōu)化器進行網(wǎng)絡(luò)優(yōu)化［22］，所有網(wǎng)絡(luò)均訓(xùn)練200輪，前100輪學(xué)習(xí)率為0.002，后100輪學(xué)習(xí)率線性衰減為0，并保存訓(xùn)練過程最優(yōu)模型。

2.1 預(yù)測網(wǎng)絡(luò)

為了便于訓(xùn)練，首先對輸入圖像Resize 為256×256 的圖像，然后中心裁剪為224×224，并按照均值和方差將圖像歸一化到（-1，1），之后將預(yù)處理后的HE圖像輸入到預(yù)測網(wǎng)絡(luò)中，輸出為預(yù)測的HER2 水平，共有0、1+、2+、3+這4種等級。

2.1.1 評價指標(biāo)

為了準(zhǔn)確分析算法模型的預(yù)測效果，選擇準(zhǔn)確率（Accuracy），召回率（Recall）、精確率（Precision）這3類評價指標(biāo)來衡量由HE 預(yù)測的HER2 水平與實際IHC染色后真實HER2水平的差異。計算公式如下：

式中，真陽性（TP）為預(yù)測正樣本，實際為正樣本；假陽性（FP）為預(yù)測正樣本，實際為負樣本；真陰性（TN）為預(yù)測負樣本，實際為負樣本；假陰性（FN）為預(yù)測負樣本，實際為正樣本

2.1.2 實驗結(jié)果與對比分析

為了分析本文算法的優(yōu)越性，實驗對比了傳統(tǒng)ResNet34、VggNet16［23］網(wǎng)絡(luò)，并進行消融實驗，對比僅在殘差塊外加入CBAM 模塊的效果。最終確定在殘差塊內(nèi)加入CBAM 模塊具有最好的預(yù)測效果。實驗分別計算了整體準(zhǔn)確率以及各個HER2 水平下的召回率和精確率，結(jié)果如表1～表4所示。

表1 ResNet34預(yù)測效果

表2 VggNet16預(yù)測效果

表3 僅在殘差塊外引入CBAM預(yù)測效果

表4 本文算法預(yù)測效果

經(jīng)過對比實驗可知，本文算法具有最高的準(zhǔn)確率，達到97.5%以上，相比傳統(tǒng)ResNet提高了2.5個百分點以上，同時，在高HER2 水平下預(yù)測結(jié)果顯著優(yōu)于其他對比實驗。召回率和精確率均較傳統(tǒng)ResNet提高了3 個百分點以上。值得注意的是，加入CBAM模塊的位置對網(wǎng)絡(luò)的預(yù)測結(jié)果也有很大影響，若僅僅在殘差塊外引入CBAM模塊，對網(wǎng)絡(luò)效果并沒有很大的提升。同時，引入CBAM模塊會提高模型的訓(xùn)練時長。

2.2 生成對抗網(wǎng)絡(luò)

本文采用有監(jiān)督的多尺度生成對抗網(wǎng)絡(luò)來生成模擬IHC染色圖像，這需要配對的數(shù)據(jù)集。首先將數(shù)據(jù)集中成對的HE圖像和IHC圖像拼接成一張配對后HE-IHC 圖像，便于送入網(wǎng)絡(luò)。由于內(nèi)存限制，加載時分別將圖像大小Resize 為256×256，batch 的大小設(shè)置為2。生成器總損失中λ設(shè)置為15，生成器內(nèi)容損失中的α、β、γ分別為0.4、0.3、0.3。

2.2.1 評價指標(biāo)

本文使用峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM）［24］和FID 作為生成IHC 模擬圖像質(zhì)量的評價指標(biāo)。PSNR 是基于2 幅圖像對應(yīng)像素之間的誤差，是應(yīng)用最廣泛的客觀評價指標(biāo)之一。然而，PSNR 與人類視覺系統(tǒng)（HVS）的評價結(jié)果可能會有所不同［25］。因此，本文也使用SSIM，它全面測量圖像亮度、對比度和結(jié)構(gòu)的差異。該評價結(jié)果更接近于人類的視覺系統(tǒng)。同時，為了判斷生成圖像與真實圖像特征向量之間的距離，本文也引入了FID 評價指標(biāo)。PSNR、SSIM及FID的計算分別如式（10）～式（13）所示：

2.2.2 實驗結(jié)果與對比分析

本文提出一種基于配對數(shù)據(jù)的有監(jiān)督生成對抗網(wǎng)絡(luò)來進行圖像轉(zhuǎn)換?，F(xiàn)有的圖像轉(zhuǎn)換模型包括基于配對數(shù)據(jù)集的模型和非配對的模型，其中配對模型的代表是Pix2pix，非配對模型的代表是CycleGan。近些年，Pix2pix 的變種網(wǎng)絡(luò)也得到了發(fā)展，如Pix2pixHD 提出了多尺度生成器和鑒別器架構(gòu)，Pix2pix（ResNet）在生成器中使用ResNet 模塊進行特征提取。本文與配對模型Pix2pix、Pix2pixHD、Pix2pix（ResNet）進行了對比，同時也參考對比了非配對模型CycleGan。各種方法的染色圖像如圖7所示。

圖7 不同網(wǎng)絡(luò)生成模擬IHC圖像對比圖

各種方法在不同HER2 水平下，生成圖像的評價結(jié)果如表5～表9所示。

表5 CycleGan生成圖像評價結(jié)果

表6 Pix2pix（Unet）生成圖像評價結(jié)果

表7 Pix2pix（ResNet）生成圖像評價結(jié)果

表8 Pix2pixHD生成圖像評價結(jié)果

經(jīng)過對比實驗可知，本文所提出的多尺度生成對抗網(wǎng)絡(luò)，在各個HER2 水平下生成的模擬IHC 圖像，都具有最高的SSIM 和PSNR。相較于以Unet 為生成器［26］的傳統(tǒng)Pix2pix網(wǎng)絡(luò)，SSIM 約提高了4個百分點，PSNR 提高了3 dB。相較于CycleGan 則提高得更多。總體來說，本文方法在HER2 低表達（0/1+）的情況下效果更好，生成的圖像與真實圖像之間的差異較小。但在HER2 高表達（3+）時，本文方法與其他方法相同，生成圖像的質(zhì)量較差，與真實圖像的差異很大。這也是未來需要解決的問題。

利用深度學(xué)習(xí)進行醫(yī)學(xué)圖像轉(zhuǎn)換的研究層出不窮，但大多數(shù)都是將醫(yī)學(xué)影像作為研究目標(biāo)，如利用CT 圖像合成核磁共振圖像，這些圖像在結(jié)構(gòu)上嚴(yán)格對齊，轉(zhuǎn)化過程可以看作是一種物理影像學(xué)變化，不涉及化學(xué)反應(yīng)。而本文創(chuàng)新性地將研究目標(biāo)轉(zhuǎn)向了病理切片，臨床上制備IHC染色切片需要進行抗原抗體化學(xué)反應(yīng)，所以HE 切片與IHC 切片在結(jié)構(gòu)上對齊性較弱，從而導(dǎo)致切片染色生成效果低于醫(yī)學(xué)影像。另一方面，病理切片中包含“空白”區(qū)域和“病理”區(qū)域，本文的算法在病理區(qū)域上有較好的視覺轉(zhuǎn)換效果，根據(jù)生成的IHC 染色圖像，可以直觀地判斷出病理區(qū)域的HER2表達情況，具有一定的應(yīng)用前景

3 結(jié)束語

本文首先提出了一種基于混合注意力殘差模塊的HER2 水平預(yù)測網(wǎng)絡(luò)，基本實現(xiàn)了由HE 染色切片直接預(yù)測HER2 水平，預(yù)測準(zhǔn)確率可高達97.5%以上。其次，本文提出了一種多尺度生成對抗網(wǎng)絡(luò)，以加入CBAM 模塊的ResNet-9blocks［27］為生成器，以PatchGan 為判別器，并構(gòu)建了多尺度損失函數(shù)，實現(xiàn)了由HE 染色圖像分別生成各種HER2 水平的模擬IHC 圖像，該網(wǎng)絡(luò)在HER2 低表達（0/1+）有較好的效果，可以初步解決乳腺癌切片IHC染色昂貴且費時的問題。

病理切片有多種染色結(jié)果，如HE 染色、糖原染色和針對不同特異性蛋白的IHC 染色，包括HER2 蛋白、Ki-67 蛋白等?，F(xiàn)階段學(xué)者對病理切片染色轉(zhuǎn)換的研究較少，且效果普遍不理想。本文提出的網(wǎng)絡(luò)結(jié)構(gòu)，為乳腺癌HER2 蛋白的IHC 染色圖像生成提供了新思路，也為后續(xù)其他切片染色的生成提供了可能，且具有一定的參考性。