羅耀
(廣東機電職業(yè)技術(shù)學(xué)院 計算機與設(shè)計學(xué)院,廣東 廣州 510550)
將腦瘤從圖像中分離出來是圖像醫(yī)學(xué)和人工智能醫(yī)學(xué)的重要分支。腦瘤可以分布在大腦的任意區(qū)域,幾乎可以變成任意大小和形狀,使得人工分割的時候容易產(chǎn)生誤差。同時,由于病人人數(shù)激增,產(chǎn)生大量亟待處理的磁共振成像MRI(Magnetic Resonance Imaging)等影像資料。為提高效率和準確率,同時減輕工作人員的工作負擔和工作壓力,使用計算機技術(shù)設(shè)計一款輔助軟件分擔他們的工作是非常必要的。
隨著計算機科學(xué)的發(fā)展,機器學(xué)習(xí)成為醫(yī)學(xué)圖像分割的重要研究方向。從監(jiān)督的角度看,這些機器學(xué)習(xí)分割方法可分為:非監(jiān)督學(xué)習(xí)方法、半監(jiān)督學(xué)習(xí)方法和監(jiān)督學(xué)習(xí)方法。非監(jiān)督學(xué)習(xí)方法屬于傳統(tǒng)方法,按照原理大致分為:基于閾值的方法、基于區(qū)域的方法、基于像素的方法和基于形態(tài)學(xué)的方法。優(yōu)點是簡單,計算速度快,對算力要求不高,對樣本數(shù)的要求也不高。缺點是不太準確。監(jiān)督學(xué)習(xí)方法的方法眾多,從復(fù)雜性和可解釋性來分,有比較簡單并容易解釋的svm,rf和crf等方法,也有較復(fù)雜的不易解釋神經(jīng)網(wǎng)絡(luò)[1]等方法。較非監(jiān)督學(xué)習(xí)方法來說,監(jiān)督學(xué)習(xí)方法較準確,缺點是所用樣本較多,對算力的要求較高,計算速度也較慢。半監(jiān)督學(xué)習(xí)方法則需要在以上二者之間進行權(quán)衡,努力尋找優(yōu)缺點間的平衡點。
基于ResUnet對抗網(wǎng)絡(luò)的腦瘤圖像分割方法(以下簡稱對抗法)為了保證準確率采用監(jiān)督學(xué)習(xí)的方法,融合了ResUnet和對抗網(wǎng)絡(luò)的技術(shù),為進一步提高準確率使用混合濾波器對輸入圖像進行預(yù)處理。
對抗法由兩部分組成,一部分是預(yù)處理部分,另一部分是對抗網(wǎng)絡(luò)。其中對抗網(wǎng)絡(luò)分為生成器和判別器[2-3],生成器中內(nèi)嵌ResUnet。
通過預(yù)處理可以對圖像起到去噪、去冗余以及增強的作用。通過對比度受限的自適應(yīng)直方圖均衡化(CLAHE)、高斯濾波與Gabor濾波相結(jié)合進行預(yù)處理可以獲得比較好的預(yù)處理效果。直方圖均衡化能比較好地突出圖像的細節(jié),但是可能使得圖像對比度嚴重失真。通過使用CLAHE,提高圖像的局部對比度,起到了增強圖像的作用,同時避免因過度調(diào)整對比度造成的圖像失真。為盡可能去除更多的噪音,采用二維旋轉(zhuǎn)高斯濾波的方法,以水平方向為起點,每旋轉(zhuǎn)10度做一次高斯濾波。高斯濾波器在去除噪音的同時也使得圖像變得模糊,特別是圖像的邊界變得模糊。為了使得圖像中的邊界變得清晰,使用了Gabor濾波器。Gabor濾波器利用Gabor小波對紋理和邊緣較高敏感性,突出圖像中的邊緣。具體細節(jié)如圖1所示。
圖1 預(yù)處理圖
對抗法目標是實現(xiàn)像素到像素的直接輸出。腦部磁共振圖像MRI經(jīng)預(yù)處理后進入生成器。內(nèi)嵌于生成器的ResUnet分成編碼器(encoder)和解碼器(decoder),如圖2所示。
圖2 對抗法結(jié)構(gòu)圖
編碼器各模塊處理過程中,首先使用自然分布的方法對輸入數(shù)據(jù)進行歸一化處理(BN),在激活層中使用relu函數(shù)抑制或激活部分信號。在卷積層中,使用VGGNet卷積網(wǎng)絡(luò)處理圖像,一張磁共振圖像有 512×512 個像素點,在dicom文件中每個像素由2字節(jié)表示,圖像中每個像素都是整數(shù),由于圖片為單通道,畫圖渲染出來為黑白圖。按照VGGNet的思想使用多個較小卷積核(3×3)的卷積層代替一個卷積核較大的卷積層,一方面可以減少參數(shù),另一方面可以增加網(wǎng)絡(luò)的擬合能力。編碼器各模塊結(jié)構(gòu),按從上至下編號,如表1所示。
表1 編碼器結(jié)構(gòu)表
在解碼器中,反卷積層是stride為2的卷積的逆運算,它可以將圖像擴大一倍。連接層將對應(yīng)層的圖像連接融合在一起,起到降低計算量的作用。解碼器各模塊結(jié)構(gòu),按從下至上編號,如表2所示。
表2 解碼器結(jié)構(gòu)表
由解碼器輸出的圖像和按金標準分割的圖像在判別器中進行比較,當判別器不能分辨金標準分割圖與編碼器輸出圖的區(qū)別時訓(xùn)練結(jié)束,否則不斷優(yōu)化生成器,同時判別器不斷進化提高自己的判別能力。
ResUnet是Unet和殘缺網(wǎng)絡(luò)的結(jié)合體。對于一個給定的圖像Imagei,經(jīng)過網(wǎng)絡(luò)模塊處理后得到目標值為Yi,設(shè)網(wǎng)絡(luò)參數(shù)為Net,圖像Imagei經(jīng)過網(wǎng)絡(luò)后的實際值為F(Imagei;Net)。由此可以給出網(wǎng)絡(luò)的損失函數(shù)如式(1)。
(1)
對抗法屬于監(jiān)督式學(xué)習(xí),以金標準作為標簽來調(diào)整整個網(wǎng)絡(luò)的參數(shù),以便網(wǎng)絡(luò)在訓(xùn)練過程中快速收斂,從而達到獲得病灶圖像的目的。網(wǎng)絡(luò)主體采用GAN模型,訓(xùn)練網(wǎng)絡(luò)的過程是一個對抗博弈的過程。
首先以判別器的損失函數(shù)為指引,采用動量隨機梯度下降算法和反饋算法先訓(xùn)練判別器。訓(xùn)練判別器時,先將生成器的權(quán)值參數(shù)固定,優(yōu)化判別器D的過程就是最小化交叉熵的過程,其損失函數(shù)如式(2)。
(2)
其中,Pdata(x)為x的概率分布函數(shù);Pz(z)(噪聲分布)為z的概率分布函數(shù);E(·)為數(shù)學(xué)期望。將式(2)整理成連續(xù)空間上的表達式,如式(3)。
(3)
給定生成器G,最小化表達式(3),目標函數(shù)LOSTD(θD,θG)在D(x)取以下的DG(x)值時得到最小值,如式(4)。
(4)
判別器的目標是,當數(shù)據(jù)來源于真實數(shù)據(jù)時,判別器的輸出值即D(x)趨近于1,當數(shù)據(jù)來源于生成器生成的數(shù)據(jù)G(z)時,判別器的輸出值即D(G(z))趨近于零。
判別器訓(xùn)練好后固定判別器,訓(xùn)練生成器。判別器和生成器之間是一個零合博弈的過程,他們的損失函數(shù)互為相反數(shù)。判別器內(nèi)嵌了一個ResUnet,所以判別器的優(yōu)化過程也是一個ResUnet的優(yōu)化過程。優(yōu)化過程通過采用梯度下降的方法使得式(1)中的損失函數(shù)值LOST(Net)達到最小值,并求得當損失函數(shù)達到最小值的時候網(wǎng)絡(luò)參數(shù)Net的值。
就整體而言,整個網(wǎng)絡(luò)的優(yōu)化問題就是一個極小化生成器極大化判別器的問題,GAN網(wǎng)絡(luò)的目標函數(shù)為式(5)。
(5)
驗證對抗法可行性的程序用Python語言編寫完成。
驗證過程所使用的數(shù)據(jù)集是由廣東某大醫(yī)院提供的膠質(zhì)腦損傷的MRI圖像。此數(shù)據(jù)集收錄了49個病患的病例,每個病例中包含若干個切片圖像,總共1 127個切片圖像。每個病例都由專業(yè)醫(yī)生對腫瘤部位進行了標注。為了進行精確標注,數(shù)據(jù)集使用二進制的mask圖形進行標注,每張切片圖像的大小為512×512個像素。
為驗證對抗法在MRI圖像上分割腦瘤的有效性,特將此方法與區(qū)域生長法(Region Growing,下文簡稱RG)和模糊C均值法(Fuzzy C Means,下文簡稱FCM)的結(jié)果進行比較。
在使用區(qū)域生長法得出分割圖像的時候,首先請醫(yī)生幫忙在最有可能出現(xiàn)腫瘤的地方設(shè)置種子點,然后運行算法得到分割圖像;在使用模糊C均值法分割圖像時,為方便實驗將聚類類別設(shè)置為2 ,收斂系數(shù)設(shè)置為0.000 1。
實驗結(jié)果如圖3所示。
圖3 3種方法分割腦瘤結(jié)果對比圖
其中,A列是醫(yī)院提供的原始MRI圖像;B列是由區(qū)域生長法產(chǎn)生的圖像;C列是由模糊C均值法生成的圖像;D列是對抗法生成的圖像;E列是由專家提供的金標準。
從圖3的結(jié)果來看使用區(qū)域生長法分割圖像時,當圖像灰度值變化不大時效果較好,一旦腫瘤質(zhì)地不均勻效果就不好;使用模糊C均值法分割圖像時,當腫瘤與背景區(qū)別不大時效果欠佳。使用對抗法分割出來的圖像比前面兩種都要全,細節(jié)把握的也比較理想。
經(jīng)過上述的實驗后,發(fā)現(xiàn)單純使用傳統(tǒng)方式分割圖像,未必得到滿意的效果,究竟傳統(tǒng)方法和對抗法得到的分割圖與金標準誰更相似,特用以下幾個評價指標對這些圖像進行客觀評價,即將區(qū)域生長法RG[4]、模糊C均值法FCM[5]和對抗法(GAN)分割出來的圖像與金標準相比較。這幾個標準分別是:峰值性噪比PSNR(Peak Signal-to-Noise Ratio)、結(jié)構(gòu)相似性SSIM(Structural Similarity Index)及COSIN相似度(余弦相似度)。評價結(jié)果如表3所示。
表3 三種方法結(jié)果評價表(廣東某大醫(yī)院提供數(shù)據(jù))
其中,PSNR 是使用最廣泛最普遍的一種圖像客觀評價指標,它是基于對應(yīng)像素點間的誤差,即基于誤差敏感的圖像質(zhì)量評價。PSNR值越大,圖像越接近。第二個尺度是SSIM,它用于評估兩張圖片整體上的相似性。具體而言,SSIM分別從亮度、對比度和結(jié)構(gòu)3方面度量圖像的相似性,取值范圍為[0,1],值越大相似性越高。第三個尺度是COSIN,它通過測量兩個向量夾角的余弦值來度量不同圖像之間的相似性,取值范圍為[-1,1],值越大相似性越高。從表3數(shù)據(jù)可以看出,對抗法優(yōu)于區(qū)域生長法和模糊C均值法。
預(yù)處理是對抗法重要的一步,它保證了圖像分割的質(zhì)量。對抗法將GAN網(wǎng)絡(luò)與ResUnet網(wǎng)絡(luò)融合。GAN的特點可以保持圖像較高分辨率,ResUnet網(wǎng)絡(luò)具有跳過若干層再連接的特點,這一特點不僅簡化了訓(xùn)練,而且簡化了整個神經(jīng)網(wǎng)絡(luò),大幅度減少了計算量。通過實驗和數(shù)據(jù)驗證,對抗法相對于傳統(tǒng)分割算法有一定的先進性。