彌佳，周宇佳，馮前進(jìn)

南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院/廣東省醫(yī)學(xué)圖像重點實驗室，廣東廣州510515

前言

動態(tài)對比增強(qiáng)磁共振（Dynamic Contrast-Enhanced Magnetic Resonance Imaging,DCE-MRI）通過快速成像序列連續(xù)采集造影劑注射前、中、后的圖像，監(jiān)測血管與血管外細(xì)胞外空間（Extravascular Extracellular Space, EES）之間的造影劑交換［1］，可對早期肝癌實現(xiàn)有效的檢查［2-3］。藥代動力學(xué)的定量和半定量分析是DCE-MRI診斷和疾病鑒別的主要評價手段，其通過分析一個感興趣區(qū)域（Region of Interest,ROI）內(nèi)的時間信號強(qiáng)度曲線（Time Intensity Curve,TIC），可以得到血液動力學(xué)特征和對應(yīng)的藥代動力學(xué)參數(shù)值，反映腫瘤分級、血管生成和細(xì)胞增殖情況，從而幫助規(guī)劃治療和預(yù)測預(yù)后［4-5］。

為監(jiān)測造影劑流入流出情況，圖像采集時間需要持續(xù)幾分鐘或者更長?；颊叩淖灾骱头亲灾鬟\動不可避免［6］，由此引發(fā)的不同時間點上的體素或ROI的位置偏差，會嚴(yán)重影響后續(xù)定量分析的準(zhǔn)確性。圖像配準(zhǔn)是解決上述運動問題的最直接方法，然而造影劑的注入為圖像引入了新的信息，不同時間點之間的灰度變化同時與運動和造影劑有關(guān)，傳統(tǒng)基于灰度的配準(zhǔn)方法可能會導(dǎo)致配準(zhǔn)后增強(qiáng)區(qū)域的體積產(chǎn)生錯誤的膨脹或收縮［7-8］。去增強(qiáng)方法認(rèn)為運動和造影劑造成的灰度變化的本質(zhì)屬性不同，基于此區(qū)分兩者，分解數(shù)據(jù)，如基于Principal Component Analysis（PCA）［9］、Independent Component Analysis

（ICA）［10］、Robust PCA（RPCA）的方法。但是這些方法的分解能力往往取決于運動的性質(zhì)。Hamy 等［11］提出的基于RPCA 的方法假設(shè)DCE-MRI中的灰度變化可以被分解為兩類：涉及到絕大部分視野的平滑、緩慢的變化（即運動相關(guān)的）和局部的、快速的變化（即造影劑造成的），因此一個時間序列可以被分解為一個低秩成分和一個稀疏成分，使用前者來校正運動造成的各時間點之間的未對齊。但實際上，分解模型并不能完全將兩者分解，因為上述假設(shè)存在一定的局限性，比如腸蠕動就僅僅出現(xiàn)在一個短暫的時間內(nèi)且只涉及到局部的灰度變化。且RPCA 并不能完全分離運動和造影劑造成的灰度變化，因此該方法使用迭代的策略，通過調(diào)整權(quán)衡參數(shù)，在每一次迭代中控制低秩矩陣中包含的運動成分。

近年，深度學(xué)習(xí)的興起為圖像分解問題提供了新的思路。但現(xiàn)有的方法要應(yīng)用于DCE-MRI 的分解，仍存在困難之處。監(jiān)督學(xué)習(xí)的方法需要成對的真實數(shù)據(jù)，直接合成訓(xùn)練數(shù)據(jù)的方式被發(fā)現(xiàn)在泛化能力上表現(xiàn)較差［12］，精確還原圖像的形成過程又是一個復(fù)雜的問題。而現(xiàn)有的基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks, GAN）［13］的無監(jiān)督圖像分解方法大部分是對自然圖像提出的，往往假設(shè)已知兩個成分各自所屬的分布。在分解過程中使用兩個GAN，兩個判別器分別對分解出的兩種成分的真實性進(jìn)行評價［14-15］。Liao 等［16］提出ADN 來解決CT 圖像中金屬偽影的分解，不需要上述假設(shè)。ADN將圖像分解為偽影成分和語義成分。偽影成分將重新與任意一張不含偽影的圖像融合，得到新的含偽影圖像。ADN 中的兩個判別器分別作用于含/不含金屬偽影的圖像，降低了對訓(xùn)練數(shù)據(jù)的要求。

本研究從圖像到圖像生成的角度，提出一種基于GAN的無監(jiān)督圖像分解方法，以實現(xiàn)DCE-MRI中造影劑造成的灰度變化的分解。該方法假設(shè)DCEMRI 中包含增強(qiáng)成分和解剖成分，前者是造影劑造成的灰度變化，后者則是圖像中的其他內(nèi)容，兩者可分別獨立構(gòu)成一張圖像。排除造影劑的影響后，使用解剖成分即可對運動進(jìn)行校正。雙路生成對抗網(wǎng)絡(luò)能分別提取解剖成分的信息和增強(qiáng)成分的信息，對兩者進(jìn)行分解。GAN 對抗學(xué)習(xí)的策略，使得其在不需要成對數(shù)據(jù)的情況下，仍然能學(xué)習(xí)到不同數(shù)據(jù)分布之間的映射，實現(xiàn)源分布到目標(biāo)分布的生成。在DCE-MRI的分解中，兩種成分的信息量是不等的，因此基于各成分復(fù)雜度的先驗設(shè)計生成器，以確保兩種信息的有效分解。同時，用兩個輸出重建原圖，作為一種反饋來約束生成。本方法不需要考慮患者各種運動的不同性質(zhì)，也不需要成對數(shù)據(jù)的監(jiān)督。筆者首先在手寫體數(shù)據(jù)集（Mixed National Institute of Standards and Technology database,MNIST）驗證了方法的有效性，之后則在臨床的DCE-MRI 數(shù)據(jù)上實現(xiàn)了造影劑造成的灰度變化的分解。實驗結(jié)果表明該方法能有效分解圖像中的增強(qiáng)成分。

1 方法

1.1 框架

假設(shè)DCE-MRI 中包含兩種成分，一種是造影劑造成的灰度變化（增強(qiáng)成分），另一種是由圖像中其他信息構(gòu)成的成分（解剖成分），運動造成的灰度變化包含在后者中。對圖像進(jìn)行分解后，即可排除造影劑的影響，利用后者完成對運動的校正。

具體地說，增強(qiáng)圖像y∈Iy包含兩種成分，分別是增強(qiáng)成分contrast（c）和解剖成分anatomy（a）。解剖成分和增強(qiáng)成分的信息在原圖中耦合，而獨立的生成過程可以對其進(jìn)行解耦。如圖1所示，兩個生成器（G1,G0）分別作為兩條信息提取通路，用于提取輸入圖像中的解剖成分信息和增強(qiáng)成分信息。生成器的設(shè)計是基于所生成成分的復(fù)雜度考慮的，在該成分的信息量一定的情況下，如果生成器在編解碼過程中存在冗余，編碼中就可能包含另一個成分的信息；而如果編碼被壓縮到不足以表達(dá)所有信息，生成的內(nèi)容就可能不夠完整，信息有所損失。編碼尺寸恰好能夠容納所需的信息時，就能更準(zhǔn)確地保留所需的信息而去除冗余。在DCE-MRI 分解問題中，增強(qiáng)成分的編碼尺寸應(yīng)該小于解剖成分。

判別器D用于評價生成結(jié)果的真實性。G1和G0兩者的輸出可以重建輸入圖像，作為對生成過程的約束。

則可以重建原圖為：

G1使用了Ronneberger 等［17］提出的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)。U-net包含收縮路徑和擴(kuò)張路徑，網(wǎng)絡(luò)的收縮路徑提取圖像淺層的、局部的信息，擴(kuò)張路徑還原特征圖分辨率，包含的是圖像深層的、抽象的特征。跳躍連接將每一級同分辨率的兩種信息融合，結(jié)合各層級的結(jié)果來優(yōu)化輸出。這樣，減少了信息在逐個層級之間的損失，能做到準(zhǔn)確定位，得到更精細(xì)的結(jié)果。收縮路徑中，每兩個連續(xù)的3×3卷積后連接一個步長為2的池化，使用線性整流函數(shù)激活。將通道數(shù)擴(kuò)大至512，特征圖尺寸為輸入的1/16，即20×20。來自收縮路徑的特征圖與擴(kuò)張路徑中對應(yīng)的特征圖拼接，經(jīng)過兩個連續(xù)的3×3 卷積后，雙線性插值上采樣到兩倍的尺寸。擴(kuò)張路徑中特征圖通道數(shù)不斷減小，最終用1×1的卷積實現(xiàn)輸出。

G0與G1相似但沒有跳躍連接，對稱的下采樣與上采樣過程，最后用1×1的卷積實現(xiàn)輸出。上采樣之前的過程將特征圖壓縮至10×10，通道數(shù)為4。

D是一個基于patch 的判別器［18］，將輸入圖像分成patch按照相同的方式獨立處理。不同于傳統(tǒng)判別器僅輸出一個值，輸出的是以patch 的判斷結(jié)果作為元素的矩陣。矩陣的每個元素實際上對應(yīng)的是一個較大的感受野，適用于對輸出分辨率要求較高的GAN。D通過連續(xù)的卷積層縮小特征圖的尺寸，輸出大小為20×20。

1.2 損失函數(shù)

網(wǎng)絡(luò)的參數(shù)更新可以分成兩個部分。

首先，更新G1和D構(gòu)成的GAN 的參數(shù)。在這個任務(wù)中，我們給判別器的標(biāo)準(zhǔn)是真實的無增強(qiáng)圖像。G1負(fù)責(zé)產(chǎn)生對應(yīng)于輸入的無增強(qiáng)圖像，D評定G1的輸出與真實的無增強(qiáng)圖像的接近程度。兩者互相對抗以提高生成結(jié)果的質(zhì)量。此外，網(wǎng)絡(luò)應(yīng)該學(xué)習(xí)區(qū)分增強(qiáng)圖像和無增強(qiáng)圖像，在輸入無增強(qiáng)圖像的時候，網(wǎng)絡(luò)的生成結(jié)果應(yīng)該與原圖完全一致。因此，G1的損失?G1包含兩項，分別是對抗損失項?adv和誤差驗證項?val，均使用均方誤差來進(jìn)行衡量。兩者之間通過系數(shù)λ進(jìn)行平衡。

判別器D的損失函數(shù)：

第二部分考慮對輸入的重建。兩個生成器能夠有效地實現(xiàn)單個成分的輸出時，兩者輸出之和就可以重建輸入?；谶@個假設(shè)，我們通過重構(gòu)誤差?recon來要求兩者輸出之和盡可能與輸入相似，這一項同時對G0和G1作用。而G0在輸入無增強(qiáng)圖像時，輸出應(yīng)該是空白圖像，以此作為誤差驗證項?val。

2 實驗

2.1 實驗環(huán)境

所有實驗均在12 G 的TITAN X（Pascal）上完成，使用深度學(xué)習(xí)框架PyTorch 1.3.1實現(xiàn)。

2.2 MNIST數(shù)據(jù)集分解

本文基于MNIST 數(shù)據(jù)集（http://yann.lecun.com/exdb/mnist/）對提出的方法有效性進(jìn)行驗證。隨機(jī)取其中的“0”、“1”、“2”、“6”、“8”各1張，按照像素求和，生成混合圖像作為網(wǎng)絡(luò)的輸入，用G1分解出其中的“0”，G0分解出其余的“1”、“2”、“6”、“8”，并使用GAN、CycleGAN 和ADN 進(jìn)行對比。訓(xùn)練集共包含1 600 張圖像，批大小設(shè)置為32，epoch 為500，學(xué)習(xí)率為5e-6，訓(xùn)練用時約30 min。

合成的數(shù)據(jù)可以利用Ground Truth 進(jìn)行量化分析。使用均方誤差（Mean-Square Error, MSE）、峰值信噪比（Peak Signal to Noise Ratio,PSNR）、結(jié)構(gòu)相似性（Structural Similarity Index, SSIM）作為度量。對于MSE，值越小說明誤差越小，PSNR和SSIM 則是越大越好。

表1 和圖2 展示了各種方法在MNIST 數(shù)據(jù)集分解任務(wù)上的對比?？梢钥吹?，本文的方法可以實現(xiàn)有效的分解。GAN 可以生成難辨真假的“0”，但是其與Ground Truth 的誤差較大。CycleGAN 和ADN 相對于GAN，則維持了與輸入更好的一致性。但是對于CycleGAN 來說，正向的生成（根據(jù)多個數(shù)字疊加的圖像分解出其中包含的“0”）是信息減少的過程，而反向的生成則是信息增加的過程。由于CycleGAN 對稱的結(jié)構(gòu)，待轉(zhuǎn)換的兩個域復(fù)雜度的不對稱會影響其表現(xiàn)［20］。而本文方法由于有重構(gòu)損失作為約束，分解結(jié)果能同時考慮與期望數(shù)據(jù)分布和輸入數(shù)據(jù)的一致性。G1的生成結(jié)果是從輸入中分解出來的，而不是僅僅靠判別器的指導(dǎo)生成的。上述這些基于GAN 的方法，由于有判別器將輸出與真實數(shù)據(jù)分布進(jìn)行對比，都將輸入中的離群數(shù)據(jù)進(jìn)行了修改（如圖2 中紅色框所示）。注意到，由于ADN 對數(shù)據(jù)的操作是在其編碼上（如偽影與不含偽影的圖像融合），而不是直接對圖像進(jìn)行，因此其生成的圖像具有較高完整性。

表1 不同方法MNIST分解結(jié)果量化對比Tab.1 Quantitative comparison of decomposition results among different methods on MNIST dataset

本文的方法在MNIST 的分解中，在3 個度量指標(biāo)上都達(dá)到了最優(yōu)，略優(yōu)于CycleGAN和ADN。

此外，保持G1的編碼尺寸不變，修改G0壓縮特征圖的尺寸，對比分解效果，如表2和圖3所示。

圖2 不同方法MNIST分解結(jié)果對比Fig.2 Comparison of decomposition results among different methods on MNIST dataset

表2 不同尺寸編碼下MNIST分解結(jié)果量化指標(biāo)對比Tab.2 Quantitative comparison of decomposition results under different code sizes on MNIST dataset

圖3 不同尺寸編碼下MNIST分解結(jié)果對比（編碼尺寸=1×size）Fig.3 Comparison of decomposition results under different code sizes on MNIST dataset(code size=1×size)

從表2的量化對比結(jié)果中可以看到，最優(yōu)的分解結(jié)果出現(xiàn)在G0編碼尺寸較大的分解中，但并非最大的編碼尺寸。說明存在一個與信息量相適應(yīng)的編碼尺寸能較好地保留所需信息且去除冗余。圖3 中的結(jié)果也說明了這一點，當(dāng)G0的編碼尺寸過小時，G0的生成結(jié)果比較模糊，細(xì)節(jié)有所損失，而這些損失的信息則被G1所提取。隨著G0編碼尺寸的增大，能容納更多的信息，其生成結(jié)果的細(xì)節(jié)也逐漸增多，能更好地還原Ground Truth。

2.3 DCE-MRI分解

實驗使用的數(shù)據(jù)是1.5T 的T1加權(quán)梯度回波序列下采集的20名患者的3D肝部橫斷面圖像，TR=11 ms，TE=3 ms，翻轉(zhuǎn)角=15°，每個患者根據(jù)腫瘤大小獲得22～26 個切片。圖像大小為320×320，切片像素間距為1.093 75 mm×1.093 75 mm，切片厚度為8.3 mm，切片間隙為4.15 mm。以注入造影劑的時間點作為起點，之后采集的圖像為增強(qiáng)圖像，之前的則為無增強(qiáng)圖像。此外，每個患者還采集了一組靜態(tài)的3D 肝部橫斷面圖像，翻轉(zhuǎn)角=5°，也作為無增強(qiáng)圖像。

以增強(qiáng)圖像作為生成器的輸入，無增強(qiáng)的圖像作為判別器的輸入。兩種輸入取自不同病人，盡可能確保數(shù)據(jù)之間的獨立性。初始學(xué)習(xí)率設(shè)置為5e-5，λ=1.25，批大小為6，訓(xùn)練epoch=200，耗時約15 h。圖4 為部分?jǐn)?shù)據(jù)的分解結(jié)果?？梢钥吹?，圖像中由于造影劑造成的高對比度被去除，腫瘤顯影不再明顯，僅有深色陰影（如圖中紅色框所示）。同時，分解出的成分與原圖也保持著良好的一致性。而增強(qiáng)成分則是細(xì)節(jié)較少，更為平滑的圖像。

圖4 DCE-MRI分解Fig.4 DCE-MRI image decomposition

圖5 對比了分解結(jié)果和同位置無增強(qiáng)圖像?？梢姳疚牡姆椒茌^好地分解增強(qiáng)成分與解剖成分，還原出的無增強(qiáng)圖像很接近實際。當(dāng)然也存在一些誤差，可能是由于有些信息無法僅從增強(qiáng)圖像中推理出來，所以與實際存在差異（如圖中黃色框所示）。

圖5 DCE-MRI分解結(jié)果與無增強(qiáng)圖像對比Fig.5 Comparison of DCE-MRI image decomposition results with no-enhancement images

圖6 為對于無增強(qiáng)圖像的處理結(jié)果。G1的輸出很好地還原了輸入的原圖，而G0的輸出則是幾乎空白的圖像。

與MNIST 數(shù)據(jù)集上的實驗類似，保持G1編碼尺寸不變，改變G0的編碼尺寸，對分解結(jié)果進(jìn)行對比（圖7）。當(dāng)增強(qiáng)成分對應(yīng)的編碼尺寸較大時，輸入圖像中亮度較低的部分，在輸出中反而亮度比周圍組織高。隨著編碼尺寸減小，這種現(xiàn)象有所改善（如圖中白色虛線框所示）。且可以清楚地看到，較小的編碼尺寸使得輸出中保留了更多真實的細(xì)節(jié)，而這些細(xì)節(jié)在較大編碼尺寸的輸出中是不存在的（如圖中白色箭頭所示）。

3 討論

DCE-MRI作為一種可以監(jiān)測血管與EES之間的造影劑交換的成像技術(shù)，可對早期肝癌實現(xiàn)有效的檢查。但是由于采集過程中患者不可避免的運動，定量分析參數(shù)的準(zhǔn)確性會受到各時間點圖像之間的未對齊影響。為減少造影劑造成的灰度變化對傳統(tǒng)基于灰度的配準(zhǔn)方法的影響，本研究提出了一種基于GAN的無監(jiān)督DCE-MRI分解方法，實現(xiàn)了對造影劑造成的灰度變化的有效分解。

同時，本方法也有一些問題需要解決。分解得到的增強(qiáng)成分圖像中仍然保留了一定的解剖信息，如腹部外圍的肌肉。這些組織的高亮并不是造影劑造成的，但是網(wǎng)絡(luò)在區(qū)分兩者時遇到了困難，一并作為造影劑進(jìn)行了分解。此外，重新將生成的兩幅圖像疊加在一起與原圖比較，會發(fā)現(xiàn)損失了一定的細(xì)節(jié)。這會對后續(xù)的工作產(chǎn)生一定影響。

不同于其他DCE-MRI 的分解方法，本研究利用深度學(xué)習(xí)，從圖像到圖像生成的角度解決問題。假設(shè)增強(qiáng)圖像中包含解剖成分和增強(qiáng)成分兩種信息，而這兩種成分可以獨立構(gòu)成圖像。則問題可以重新解釋為根據(jù)輸入的增強(qiáng)圖像生成解剖圖像和造影劑圖像，以實現(xiàn)兩種信息的分解。生成的過程是對圖像編碼再解碼的過程，在對數(shù)據(jù)進(jìn)行壓縮、抽象的過程中，分離、提取所需的信息。本研究基于分解成分的復(fù)雜度設(shè)計生成器，以更好地提取所需信息。兩種成分的信息也因此在兩個獨立的編解碼過程中被分解開來。從臨床數(shù)據(jù)上的分解結(jié)果來看，本文的方法可以實現(xiàn)有效的分解。

本文的方法不需要考慮具體的患者運動性質(zhì)（如運動涉及的區(qū)域大小、運動是周期的還是隨機(jī)的），其分解能力不取決于運動的性質(zhì)。此外，本方法也有希望在更多應(yīng)用中得到推廣，如金屬植入物在CT 圖像中造成的金屬偽影的去除、MRI 預(yù)處理時的偏移場校正等。對于其他問題，本文所假設(shè)的兩種成分重建原圖的方法可能不再成立，應(yīng)考慮重新設(shè)計重建方式。該方法是一個端對端的方法，適合沒有可用監(jiān)督數(shù)據(jù)的問題。

本文僅是提出了一種新的解決無監(jiān)督圖像分解問題的思路，在擴(kuò)展應(yīng)用范圍和提升表現(xiàn)上還有很多工作需要實現(xiàn)。

4 結(jié)論

為排除DCE-MRI中造影劑對圖像定量分析的影響，本文提出一種基于GAN的無監(jiān)督DCE-MRI圖像分解方法。該方法利用GAN 在無監(jiān)督條件下，實現(xiàn)源分布到目標(biāo)分布的映射的能力，來引導(dǎo)有效的分解?；趯Ω鞒煞謴?fù)雜度的先驗設(shè)計生成器，通過雙路生成對抗網(wǎng)絡(luò)，同時但獨立地提取解剖成分的信息和增強(qiáng)成分的信息。同時，引入圖像重構(gòu)損失作為反饋信號來約束生成。我們利用該方法實現(xiàn)了DCE-MRI中造影劑造成的灰度變化的分解。該方法無需對數(shù)據(jù)進(jìn)行復(fù)雜的解釋分析，且對于混合圖像的物理機(jī)制未做任何假設(shè)。在未來的工作中可以進(jìn)一步改善表現(xiàn)、拓展應(yīng)用。