明子雯

（中央民族大學(xué)信息工程學(xué)院 北京 100000）

0 引言

近年來(lái)，醫(yī)學(xué)圖像處理為醫(yī)生鑒定圖像和診斷疾病帶來(lái)了巨大的便利[1]。對(duì)腦損傷的定量分析可以提高我們對(duì)腦疾病的認(rèn)識(shí)和治療[2]。自動(dòng)的腦損傷圖像分割可以高效多次進(jìn)行腦損傷分析，節(jié)省醫(yī)生對(duì)圖像進(jìn)行人工標(biāo)注的時(shí)間。在圖像識(shí)別算法中，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNNs)可以通過(guò)訓(xùn)練來(lái)實(shí)現(xiàn)相關(guān)領(lǐng)域的學(xué)習(xí)[3]。卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)已實(shí)現(xiàn)了最先進(jìn)的腦損傷圖像分割的性能[4-5]。面對(duì)醫(yī)學(xué)圖像病變區(qū)域復(fù)雜，邊界不清晰，來(lái)源單一，數(shù)量稀少，數(shù)據(jù)采集多樣化的特點(diǎn)，數(shù)據(jù)增強(qiáng)可以從現(xiàn)有的訓(xùn)練數(shù)據(jù)中生成額外的訓(xùn)練數(shù)據(jù)來(lái)改進(jìn)CNNs的訓(xùn)練，通過(guò)基本的圖像變換來(lái)實(shí)現(xiàn)，包括旋轉(zhuǎn)變換、平移變換、翻轉(zhuǎn)變換等，按照規(guī)則將現(xiàn)有的訓(xùn)練圖像與注釋一起進(jìn)行轉(zhuǎn)換。但是通過(guò)一些基本的圖像變換生成的數(shù)據(jù)多樣性有限，于是人們開發(fā)了很多新的算法。

例如Mixup隨機(jī)線性地組合兩張帶注釋的圖像和相應(yīng)的注釋[6]，創(chuàng)造了大量的新的訓(xùn)練圖像。Random Erasing則是隨機(jī)擦除圖像中隨機(jī)選擇的一個(gè)矩形區(qū)域的像素，生成具有不同程度遮擋的訓(xùn)練圖像[7]。CutMix生成的新圖像中一個(gè)區(qū)域來(lái)自一個(gè)圖像，其余區(qū)域來(lái)自另一個(gè)圖像，兩個(gè)圖像所占整個(gè)新圖像的比例是隨機(jī)的，生成的新注釋根據(jù)則每個(gè)圖像在新圖像中所占的比例進(jìn)行線性組合[8]。然而，這些基于圖像組合或隨機(jī)擦除的數(shù)據(jù)增強(qiáng)方法適用于圖像分類，而對(duì)于3D的腦損傷圖像分割則不夠精確，于是我們提出了一種新的數(shù)據(jù)增強(qiáng)方法稱為病變鏡像。

1 病變鏡像方法

我們將一組三維圖像表示為Xi，i表示第i張圖像，這組三維圖像對(duì)應(yīng)的注釋表示為Yi。另一組三維圖像表示為Xj，j表示第j張圖像，這組三維圖像對(duì)應(yīng)的注釋表示為Yj。用Xi和Yi來(lái)生成新的圖像X 和注釋Y，同原有的圖像和注釋一起進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是我們常用的數(shù)據(jù)增強(qiáng)方法。通過(guò)對(duì)圖像對(duì)的組合變換或者單個(gè)圖像的平移、旋轉(zhuǎn)、對(duì)稱等操作來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)，可以有效提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像分類問(wèn)題和圖像分割問(wèn)題的處理效率。

例如Mixup和CutMix就是對(duì)圖像對(duì)進(jìn)行組合變換，這兩種都是多樣本數(shù)據(jù)增強(qiáng)。具體來(lái)講就是用Xi和Xj以及對(duì)應(yīng)的Yi和Yj生成新的圖像X 和注釋Y。而Random Erasing，則通過(guò)對(duì)單個(gè)圖像進(jìn)行隨機(jī)擦除，是單樣本數(shù)據(jù)增強(qiáng)。具體來(lái)講就是通過(guò)對(duì)圖像Xi的隨機(jī)擦除和計(jì)算變化后的Yi來(lái)產(chǎn)生新的圖像X 和注釋Y。但是普遍的數(shù)據(jù)增強(qiáng)方式是為了改善圖像分類問(wèn)題，并不適用于腦損傷分割問(wèn)題和有關(guān)于腦損傷病變的圖像，因此我們提出了一種數(shù)據(jù)增強(qiáng)方法稱為病變鏡像。這種方法能產(chǎn)生更加多樣化的數(shù)據(jù)，易于實(shí)現(xiàn)腦損傷圖像分割。但與Random Erasing、Mixup和CutMix都不同的是，我們的方法基于病變區(qū)域，更適合腦損傷圖像分割。

在病變鏡像中，我們考慮的是二元的腦損傷分割，因此圖像中病變區(qū)域的強(qiáng)度是1，表示病變，圖像中的其他區(qū)域強(qiáng)度為0，表示背景。⊙表示體素級(jí)乘法。生成新的圖像和注釋分別為X 和Y。其數(shù)學(xué)表達(dá)式為：

其中，Xi表示原腦損傷圖像，如圖1(a)所示。Yi表示病變區(qū)域，如圖1(b)灰色部分。Xi′表示原腦損傷圖像經(jīng)過(guò)變換后的圖形。Yi′表示病變區(qū)域經(jīng)過(guò)變換后的圖形，如圖1(c)左灰色部分。我們以圖像中心為原點(diǎn)，分別以X、Y、Z軸為基準(zhǔn)，計(jì)算機(jī)以1/2的概率隨機(jī)選擇是否將Xi和Yi進(jìn)行鏡像對(duì)稱，在體素上，Xi′和Yi′ 的數(shù)學(xué)表達(dá)式為：

2 實(shí)驗(yàn)

2.1 對(duì)照組Mixup、Cutmix和TDA

Mixup和Cutmix都是對(duì)兩組腦部圖像進(jìn)行組合，適用于圖像分類問(wèn)題，而不適用于基于病變區(qū)域的圖像分割問(wèn)題。而病變鏡像只對(duì)一組腦部圖像和病變區(qū)域圖像進(jìn)行操作，通過(guò)對(duì)病變區(qū)域進(jìn)行鏡像對(duì)稱，從而生成新的圖像和注釋。我們總結(jié)并比較了Mixup和CutMix中的數(shù)據(jù)生成過(guò)程。對(duì)于Mixup和CutMix，注釋的生成被擴(kuò)展到體素級(jí)。Mixup和CutMix都沒(méi)有注意到病變區(qū)域，生成的新圖像沒(méi)有特別注意病變。此外，在CutMix中新注釋的生成只是根據(jù)圖像所占新圖像的比例進(jìn)行線性結(jié)合，Mixup將兩張圖像進(jìn)行線性結(jié)合，CutMix考慮原圖像在新生成圖像中的比例，都沒(méi)有考慮病變區(qū)域的占比程度。病變鏡像解決了腦損傷分割的這些限制，其中新圖像的生成基于病變區(qū)域，而注釋的生成與圖像的生成是一致的。病變鏡像與最先進(jìn)的分割框架nnU-Net[4]結(jié)合。nnU-Net中默認(rèn)的傳統(tǒng)數(shù)據(jù)增強(qiáng)（Traditional Data Augmentation,TDA）包括旋轉(zhuǎn)、縮放、鏡像、彈性變形、強(qiáng)度擾動(dòng)和低分辨率的模擬。為了評(píng)估我們的方法，我們將選擇Mixup、Cutmix和TDA作為對(duì)照組進(jìn)行實(shí)驗(yàn)。

2.2 數(shù)據(jù)描述

實(shí)驗(yàn)所采取的數(shù)據(jù)集為公開的可用的ATLAS（Anatomical Tracings of Lesions After Stroke）[9]。這些圖像具有相同的大小為1mm的各向同性的體素。具體的數(shù)據(jù)劃分和實(shí)驗(yàn)設(shè)置，我們參照了文獻(xiàn)CarveMix[10]。我們選擇了50張圖像作為測(cè)試集，對(duì)剩余的170張圖片選擇不同的數(shù)量的訓(xùn)練設(shè)置，我們分別使用了170、85、43和22個(gè)標(biāo)注的訓(xùn)練圖像，分別占可用標(biāo)注圖像總數(shù)的100%、50%、25%和12.5%。此外，從訓(xùn)練數(shù)據(jù)中選擇20%作為驗(yàn)證集，用于選擇最好的分割網(wǎng)絡(luò)模型[10]。

2.3 實(shí)驗(yàn)結(jié)果

病變鏡像與Mixup和CutMix的默認(rèn)參數(shù)進(jìn)行了比較。對(duì)于病變鏡像、Mixup和CutMix，生成了新的注釋圖像，因此總共有1 000張圖像可用于訓(xùn)練。病變鏡像、Mixup和CutMix與nnU-Net結(jié)合，因此這3種方法也被進(jìn)行了TDA。由于在網(wǎng)絡(luò)訓(xùn)練中每種方法使用相同的訓(xùn)練代數(shù)和批處理量，并且TDA是隨機(jī)在線執(zhí)行的，包括TDA在內(nèi)的所有方法都使用了相同數(shù)量的訓(xùn)練樣本，模型參數(shù)和超參數(shù)。因此，選擇TDA作為對(duì)照組是合理的。對(duì)于分割過(guò)程中的評(píng)價(jià)標(biāo)準(zhǔn)主要采用Dice相似系數(shù)(Dice Similariy Coefficient,DSC)，用于計(jì)算兩個(gè)樣本的相似度，值的范圍是0～1，分割結(jié)果最好時(shí)值為1，最差時(shí)值為 0，分割結(jié)果的Dice系數(shù)的平均值見(jiàn)表1。

表1 分割結(jié)果的Dice系數(shù)（百分制）

我們對(duì)病變鏡像進(jìn)行了定性評(píng)估。病變鏡像和每種對(duì)照方法的代表性測(cè)試的分割結(jié)果以及專家注釋的平面視圖見(jiàn)圖2。在這里，結(jié)果是用100%的訓(xùn)練數(shù)據(jù)(170個(gè)注釋訓(xùn)練掃描圖像）。我們可以看到病變鏡像產(chǎn)生的分割結(jié)果比對(duì)照組的方法更與注釋接近。接下來(lái)，對(duì)病變鏡像進(jìn)行定量評(píng)價(jià)。對(duì)于每種方法和訓(xùn)練集的每種實(shí)驗(yàn)設(shè)置，我們計(jì)算了在測(cè)試集上的分割結(jié)果的Dice系數(shù)的均值，這些結(jié)果在表1中顯示。大部分情況下，病變鏡像都以更高的Dice系數(shù)優(yōu)于比較方法。Mixup和CutMix最初并不是為腦損傷分割而設(shè)計(jì)的，與TDA相比，它們并不一定能提高分割質(zhì)量。所以，我們的數(shù)據(jù)增強(qiáng)方法病變鏡像提升了分割精度，在腦損傷圖像分割中更加適用。

3 結(jié)語(yǔ)

我們提出了病變鏡像這樣一種簡(jiǎn)單的腦損傷圖像分割數(shù)據(jù)增強(qiáng)方法。該方法以圖像中心為原點(diǎn)，對(duì)病變區(qū)域分別以X、Y、Z3軸為基準(zhǔn)，以1/2的概率隨機(jī)選擇是否將原圖像和注釋進(jìn)行鏡像對(duì)稱來(lái)生成新的訓(xùn)練圖像和注釋。對(duì)照Mixup、Cutmix和TDA的實(shí)驗(yàn)結(jié)果表明，病變鏡像提高了分割精度，在大部分情況下，優(yōu)于對(duì)照組的數(shù)據(jù)增強(qiáng)策略。