李 萌，秦品樂，曾建潮*，李俊伯

（1.山西省醫(yī)學(xué)影像與數(shù)據(jù)分析工程研究中心（中北大學(xué)），太原 030051；2.中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051；3.山西省醫(yī)學(xué)影像人工智能工程技術(shù)研究中心（中北大學(xué)），太原 030051）

0 引言

在現(xiàn)代醫(yī)學(xué)領(lǐng)域中，計(jì)算機(jī)斷層掃描（Computed Tomography，CT）［1］、磁共振成像（Magnetic Resonance Imaging，MRI）［2］和其他醫(yī)學(xué)成像技術(shù)得到了廣泛應(yīng)用。通過可視化顯示人體組織或器官的重建技術(shù)，可以將醫(yī)學(xué)成像系統(tǒng)獲得的一系列完整的二維數(shù)據(jù)聚合為三維體數(shù)據(jù)。為了提供必要的人體視覺信息，需要獲取高分辨率、高對(duì)比度的醫(yī)學(xué)圖像。對(duì)于MRI，獲取高分辨率圖像需要很長時(shí)間。因此，為了減少因患者身體位移所造成的誤差，降低內(nèi)存成本，通常只存儲(chǔ)必要數(shù)量的切片，所以大多數(shù)醫(yī)學(xué)成像是各向異性的，切片內(nèi)的分辨率高，切片間的分辨率低。在這些設(shè)備獲得的三維體積數(shù)據(jù)中，切片之間的間距比其相鄰像素之間的間距要大得多，包含階梯狀邊緣、不連續(xù)表面、間斷細(xì)節(jié)和其他現(xiàn)象。所以這些不完整的數(shù)據(jù)具有較低的診斷意義。

醫(yī)學(xué)數(shù)據(jù)插值的早期工作可以追溯到1992 年，Goshtasby等［3］提出利用連續(xù)切片之間的小且漸進(jìn)的解剖學(xué)差異，并通過搜索小鄰域來找到像素之間的對(duì)應(yīng)關(guān)系。傳統(tǒng)的切片插值方法有兩類：基于強(qiáng)度的方法和基于變形的方法。線性和三次樣條插值方法是基于強(qiáng)度的方法的經(jīng)典示例，它們直接根據(jù)相鄰切片的強(qiáng)度執(zhí)行插值。在后面的研究，研究者們提出了以尋找更精確的變形場(chǎng)為重點(diǎn)的許多方法，包括基于形狀的方法［4］、基于形態(tài)學(xué)的方法［5］和基于配準(zhǔn)的方法［6］等。在上述方法中作出的重要假設(shè)是，相鄰切片包含相似的解剖結(jié)構(gòu)，即結(jié)構(gòu)的變化必須足夠小，以便可以在兩個(gè)切片之間找到密集的對(duì)應(yīng)關(guān)系。這種假設(shè)在很大程度上限制了切片插值方法的適用性，尤其是在稀疏采樣切片時(shí)。此外，這些方法沒有利用兩個(gè)相鄰切片之外的信息。當(dāng)切片之間的解剖差異很大時(shí)，需要更復(fù)雜的建模方法。文獻(xiàn)［7-9］的方法直接基于像素灰度。這些方法的優(yōu)點(diǎn)是操作原理簡單、計(jì)算復(fù)雜度低，且易于實(shí)現(xiàn)、應(yīng)用范圍廣。但是，它們忽略了一個(gè)重要因素：像素變化是由對(duì)象的結(jié)構(gòu)引起的。對(duì)于線性插值和最鄰近插值而言尤其如此，由于線性插值和最近鄰插值僅考慮了很少的相鄰像素進(jìn)行插值處理，因此無法考慮許多相關(guān)像素，導(dǎo)致插值精度很低，圖像模糊，某些結(jié)構(gòu)上的細(xì)節(jié)殘缺，視覺真實(shí)性差，并且可能出現(xiàn)偽像。隨后，文獻(xiàn)［10-12］提出了其他基于像素的方法，并嘗試將更多的相鄰像素應(yīng)用于插值算法。Penney等［13］提出了一種基于非剛性配準(zhǔn)的方法，以更好地找到具有相似結(jié)構(gòu)特征的切片之間的映射關(guān)系。此外，F(xiàn)rakes 等［14］還提出了一種改進(jìn)的網(wǎng)格控制插值方法。盡管現(xiàn)有研究已經(jīng)取得了一些進(jìn)展，但是仍然存在偽影和模糊的問題。

由于深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN）在醫(yī)學(xué)圖像分析方面的表現(xiàn)優(yōu)于傳統(tǒng)方法，文獻(xiàn)［15-17］提出了通過對(duì)數(shù)據(jù)中的復(fù)雜變化建模，可以用于學(xué)習(xí)從各向異性磁共振（Magnetic Resonance，MR）到各向同性的映射。Dong 等［18］首先提出了使用深度卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率（image Super-Resolution using deep Convolutional Neural Network，SRCNN），學(xué)習(xí)一種通過三層CNN 將低分辨率（Low Resolution，LR）圖像轉(zhuǎn)換為高分辨率（High Resolution，HR）圖像的映射。許多研究探索了改善單幅圖像超分辨率（Single Image Super Resolution，SISR）的策略，例如使用更深的架構(gòu)和權(quán)重共享［19］。但是，這些方法需要將插值作為預(yù)處理步驟，從而極大增加了數(shù)據(jù)的計(jì)算復(fù)雜性和前導(dǎo)率。為了解決上述問題，Dong 等［20］提出將反卷積層應(yīng)用于低分辨率圖像以直接上采樣至更高分辨率。具體來說，Zhang 等［21］結(jié)合了殘差學(xué)習(xí)塊和密集塊，并引入了殘差密集塊（Residual Dense Block，RDB），以使所有層的功能都可以被其他層直接看到，從而進(jìn)一步提高了性能，表明了殘差學(xué)習(xí)在圖像超分辨率上擁有更好的效果。除此之外，晉銀峰等［22］在對(duì)抗生成網(wǎng)絡(luò)的基礎(chǔ)上提出基于對(duì)抗生成網(wǎng)絡(luò)框架和正則化的超分辨率重建算法，保證了低分辨率MR 圖像到高分辨率圖像的映射一致性。

為了使上采樣因子更具靈活性，以實(shí)現(xiàn)更快的部署和更高的魯棒性，Lim 等［23］提出了用于單一圖像超分辨率的增強(qiáng)型深度殘差網(wǎng)絡(luò)（Enhanced Deep residual networks for single image Super-Resolution，EDSR），通過在模型中創(chuàng)建單個(gè)子結(jié)構(gòu)，以適應(yīng)不同的上采樣因子。Hu等［24］提出的用于超分辨率的任意放大網(wǎng)絡(luò)（Magnification-arbitrary network for Super-Resolution，Meta-SR）可為每個(gè)LR-SR 像素對(duì)動(dòng)態(tài)生成濾波器，從而允許任意上采樣因子。

為了獲得更高分辨率的冠狀面和矢狀面視覺效果，提高其在醫(yī)學(xué)診斷中的意義，本文提出了一種多視角超分辨率重建融合網(wǎng)絡(luò)，分別對(duì)冠狀面和矢狀面進(jìn)行特征提取后，通過空間矩陣濾波器生成動(dòng)態(tài)權(quán)重用于任意尺度上采樣，在聚合成三維體數(shù)據(jù)后沿軸狀方向分割成二維圖像再進(jìn)行兩兩融合。相較于直接對(duì)三維圖像進(jìn)行超分辨率重建及融合，二維圖像需要消耗的內(nèi)存及圖形處理器（Graphics Processing Unit，GPU）資源更少，網(wǎng)絡(luò)更加輕量級(jí)且收斂速度更快。

1 相關(guān)工作

1.1 上采樣層

在超分辨率網(wǎng)絡(luò)中，較為主流的上采樣層方法有反卷積層和像素篩選（Pixel Shuffle），由于反卷積層是先填充零再進(jìn)行卷積操作達(dá)到放大圖像的目的，因此會(huì)產(chǎn)生難以避免的偽影，導(dǎo)致重建效果較差。Pixel Shuffle 則是通過卷積得到r2（r為上采樣因子，即圖像的擴(kuò)大倍率）個(gè)通道的特征圖，然后通過周期篩選的方法得到高分辨率圖像，但是由于感受野分布不均勻，因此可能會(huì)使圖像邊界發(fā)生畸變。

除上述方法外，一種用于超分辨率的任意放大網(wǎng)絡(luò)（Meta-SR）在超分辨率重建的效果上取得了巨大的提升，該算法提出的Meta-Upscale 包含三個(gè)重要的函數(shù)：Location Projection、Weight Prediction、Future Mapping。Location Projection 函數(shù)把像素投射到LR 圖像上，Weight Prediction 函數(shù)為SR 圖像上每個(gè)像素預(yù)測(cè)對(duì)應(yīng)濾波器的權(quán)重，最后Feature Mapping 函數(shù)利用預(yù)測(cè)得到的權(quán)重將LR 圖像的特征映射回SR圖像空間來計(jì)算其像素值。

本文受Meta-SR 的Meta-Upscale 啟發(fā)，結(jié)合Pixel Shuffle設(shè)計(jì)了上采樣模塊，Meta-SR 通過輸入-輸出映射，缺少對(duì)三維空間下分辨率變化的考慮。本文設(shè)計(jì)的各向異性插值模塊采用了一種新的圖像范圍投影，針對(duì)醫(yī)學(xué)圖像三維數(shù)據(jù)的空間分辨率的變化，通過計(jì)算圖像中體素的空間位置信息，動(dòng)態(tài)獲取上采樣層所需要上采樣卷積核的權(quán)重，這樣網(wǎng)絡(luò)可以不用保存每個(gè)尺度對(duì)應(yīng)模型的權(quán)重，從而實(shí)現(xiàn)對(duì)輸入低分辨率圖像的任意尺度超分辨率放大。

1.2 多視角融合

Peng 等［25］提出了基于邊緣超分辨率、融合和細(xì)化的深層切片插值（Deep Slice Interpolation via Marginal Super-Resolution，fusion and refinement，DSIM-SR），首先對(duì)冠狀面和矢狀面通過邊緣超分辨率（Marginal Super-Resolution，MSR）網(wǎng)絡(luò)分別得到目標(biāo)分辨率的體數(shù)據(jù)，然后通過兩視圖融合修正（Two-view Fusion and Refinement，TFR）學(xué)習(xí)沿軸向的結(jié)構(gòu)變化來進(jìn)一步提高切片插值的質(zhì)量，在重建效果上取得了一定的提升。TFR 網(wǎng)絡(luò)將冠狀面和矢狀面通過MSR 之后得到的體數(shù)據(jù)分別重新截取獲得軸狀面的數(shù)據(jù)，將對(duì)應(yīng)的軸狀面兩兩作為輸入進(jìn)入融合網(wǎng)絡(luò)。融合網(wǎng)絡(luò)采用殘差密集網(wǎng)絡(luò)（Residual Dense Network，RDN），訓(xùn)練融合網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

本文提出了一種多視角融合網(wǎng)絡(luò)結(jié)構(gòu)，通過對(duì)冠狀面和矢狀面層間插值之后得到的體數(shù)據(jù)沿軸狀方向提取軸狀面數(shù)據(jù)，對(duì)得到的兩部分軸狀面數(shù)據(jù)一一對(duì)應(yīng)，進(jìn)行融合，根據(jù)軸狀方向數(shù)據(jù)進(jìn)行約束，增強(qiáng)兩種數(shù)據(jù)的共同特征，然后將融合后的數(shù)據(jù)和通過RDN 特征提取后的數(shù)據(jù)進(jìn)行逐像素加，從而達(dá)到提高重建效果的目的。

2 多視角超分辨率重建融合網(wǎng)絡(luò)

本文所提出的多視角超分辨融合網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1 所示。所提網(wǎng)絡(luò)主要分為兩個(gè)階段：第一個(gè)階段為層間插值階段，首先采用RDN 對(duì)低分辨率圖像進(jìn)行特征提取，其次通過生成不同大小的卷積濾波器和各向異性亞像素卷積來得到任意的上采樣因子，通過執(zhí)行亞像素卷積和周期性轉(zhuǎn)換操作以產(chǎn)生放大后的圖像。第二個(gè)階段為多視角融合階段，對(duì)完成第一階段的冠狀圖和矢狀圖所得到的體數(shù)據(jù)沿軸狀方向切割成二維數(shù)據(jù)，兩兩進(jìn)行融合，結(jié)合軸狀面進(jìn)一步提高切片插值的質(zhì)量。

令I(lǐng)(x，y，z)∈Rx×y×z表示MR 的切片。通常來說，將x軸稱為矢狀軸，將y軸稱為冠狀軸，將z軸稱為軸狀軸，因此各面的切片表示為：1）矢狀面，Ix(y，z)=I(x，y，z)，?x；2）冠狀面，Iy(x，z)=I(x，y，z)，?y；3）軸狀面，Iz(x，y)=I(x，y，z)，?z。

同時(shí)，以軸狀面為例，其稀疏采樣定義為：

2.1 層間插值

在準(zhǔn)備階段，將MR 體數(shù)據(jù)分別沿矢狀方向和冠狀方向獲取到Ix(y，z)、Iy(x，z)，分別對(duì)Ix(y，z)和Iy(x，z)進(jìn)行下采樣后，再進(jìn)行特征提取，獲取到特征提取圖FLR，然后再通過空間矩陣濾波器，計(jì)算得到動(dòng)態(tài)權(quán)重，通過周期性Pixel Shuffle 獲取到超分辨率后的結(jié)果ISR。

2.1.1 特征提取

在特征提取階段，將單張矢狀切面或冠狀切面輸入RDN中進(jìn)行特征提取，如圖2 所示。對(duì)于給定的低分辨率圖像，特征提取階段僅提取特征圖FLR：

圖2 特征提取網(wǎng)絡(luò)Fig.2 Feature extraction network

其中θFL是過濾器學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)。

2.1.2 空間濾波器

由于MR 的拍攝時(shí)間較長，且病人移動(dòng)會(huì)對(duì)成像造成影響，通常會(huì)采用適量減少切片的方式來減少拍攝時(shí)長；且由于設(shè)備及實(shí)際情況的差異，不同數(shù)據(jù)在插值階段所需要的縮放因子也存在較大的差異。傳統(tǒng)的上采樣模塊會(huì)預(yù)定義卷積核的數(shù)量以及由訓(xùn)練集學(xué)習(xí)得到的權(quán)重，Meta-SR 采用Meta-Upscale Module 代替?zhèn)鹘y(tǒng)的放大模塊。針對(duì)任意縮放因子，Meta-Upscale Module 可以通過縮放因子動(dòng)態(tài)地預(yù)測(cè)放大濾波器的權(quán)重，進(jìn)而使用這些權(quán)重生成任意大小的高分辨率圖像，實(shí)現(xiàn)單一模型解決任意縮放因子的超分辨率問題。

如圖3 所示，本文受Meta-SR 的啟發(fā)，為了解決MR 圖像普遍存在的切片內(nèi)分辨率高、切片間分辨率低導(dǎo)致的各向異性，在上采樣模塊中首先設(shè)計(jì)了一個(gè)空間位置矩陣濾波器（Space Position Filter，SPF），通過像素之間的空間位置計(jì)算得到權(quán)重，從而允許任意大小的上采樣因子。將ISR的空間分辨率表示為(Rh，Rw)。為了找到體素之間的對(duì)應(yīng)關(guān)系，首先計(jì)算ILR生成的特征塊中每一個(gè)點(diǎn)與ISR之間的坐標(biāo)距離，根據(jù)它們?cè)谧罱K圖像ISR中的坐標(biāo)位置，用坐標(biāo)距離乘以空間分辨率(Rh，Rw)，從而得出其對(duì)應(yīng)的物理距離關(guān)系。以目標(biāo)通道c、濾波尺寸k、空間分辨率(Rh，Rw)以及通道c在坐標(biāo)位置的映射Mc作為輸入可得空間位置矩陣Pc：

圖3 層間插值上采樣Fig.3 Inter-layer interpolation upsampling

由計(jì)算Pc的輸入?yún)?shù)可以看出，Pc包含了給定切片的空間分辨率信息并且與目標(biāo)通道建立了關(guān)聯(lián)關(guān)系，同時(shí)會(huì)對(duì)后續(xù)參與的計(jì)算同樣建立起這種關(guān)系。

最后，將空間位置矩陣作為輸入，進(jìn)入到過濾器生成階段，該階段由5 個(gè)卷積層和4 個(gè)ReLU 組成：第一層卷積的輸出通道為32，即RDN 中的默認(rèn)超參數(shù)；第二、三、四層卷積的輸出通道數(shù)為64；第五層卷積的輸出通道數(shù)為FLR的通道數(shù)，最后得到可根據(jù)空間分辨率變化的過濾器權(quán)重Wc。將FLR與Wc相乘，得到對(duì)應(yīng)坐標(biāo)的值，通過周期性篩選得到ISR。

2.2 多視角融合網(wǎng)絡(luò)

本文提出了多視角融合網(wǎng)絡(luò)通過學(xué)習(xí)單個(gè)切片的結(jié)構(gòu)變化來進(jìn)一步提高切片插值的質(zhì)量。如圖4 所示，該網(wǎng)絡(luò)分為兩個(gè)部分，本文用矢狀和冠狀超分辨率后體數(shù)據(jù)的Isag(x，y，z)和Icor(x，y，z)分別獲得單張軸向切片(x，y)和(x，y)用作輸入。

圖4 多視角融合網(wǎng)絡(luò)Fig.4 Multi-view fusion network

在第一部分中，首先對(duì)(x，y)和(x，y)取均值，得到=(x，y)，由于(x，y)和(x，y)的每個(gè)像素代表從矢狀和冠狀方向的最佳估計(jì)，因此切片(x，y)的平均值可以減少某些方向上的偽影。令(x，y) 的網(wǎng)絡(luò)輸入為X=(batch，h，w，256)(x，y)的網(wǎng)絡(luò)輸入為Y=(batch，h，w，256)。首先，經(jīng)過Embedded Gaussian 中的兩個(gè)嵌入權(quán)重變換，分別得到(batch，h，w，128)和(batch，h，w，128)，通過降低通道數(shù)，達(dá)到減少計(jì)算量的目的。其次，對(duì)這兩個(gè)輸出進(jìn)行reshape 操作，使之變成(batch，h×w，256)對(duì)這兩個(gè)矩陣進(jìn)行矩陣乘，計(jì)算相似性，得到(batch，h×w，h×w)，在第2 個(gè)維度上進(jìn)行SoftMax 操作，得到(batch，h×w，h×w)找到當(dāng)前圖片中每個(gè)像素與其他所有位置像素的歸一化相關(guān)性；然后，對(duì)均值也采用一樣的操作，先通道降維后resha pe；接下來，和(batch，h×w，h×w)進(jìn)行矩陣乘，得到(batch，h×w，128)，本質(zhì)就是輸出的每個(gè)位置值都是其他所有位置的加權(quán)平均值，通過SoftMax 操作可以進(jìn)一步突出共性。經(jīng)過一個(gè)1× 1卷積恢復(fù)輸出通道，保證輸入輸出尺度完全相同。最后，和進(jìn)行逐像素加，目標(biāo)函數(shù)為：

在第二部分中，本文采用具有5 個(gè)RDB 的RDN，每個(gè)RDB有4個(gè)卷積層，增長率為16的目標(biāo)函數(shù)為：

RDN 通過密集卷積層來提取充分的局部特征，對(duì)于每一個(gè)RDB，不僅允許將前一個(gè)RDB 的狀態(tài)直接連接至當(dāng)前RDB的所有層形成連續(xù)記憶，還可以通過局部密集連接充分利用其中的所有層，再通過局部特征融合（Local Feature Fusion，LFF）自適應(yīng)地保留累積的特征。通過使用RDB 中的局部特征融合來自適應(yīng)學(xué)習(xí)來自先前和當(dāng)前局部特征的更有效特征，并穩(wěn)定更大網(wǎng)絡(luò)的訓(xùn)練。在完全獲得密集的局部特征后，使用全局特征融合將所有RDB 提取到的特征融合在一起，自適應(yīng)地學(xué)習(xí)全部分層特征，得到全局特征。

最后，對(duì)第一部分和第二部分得到的結(jié)果進(jìn)行逐像素加得到最終的結(jié)果。

在融合部分中的兩部分圖像是由冠狀面和矢狀面分別進(jìn)行超分辨率重建后重新聚合成三維數(shù)據(jù)后，再次切片得到的軸狀面數(shù)據(jù)，融合旨在獲取圖像不同面的關(guān)聯(lián)性，對(duì)軸向進(jìn)行約束。通過第一部分中的兩層（4 個(gè)）卷積能夠弱化圖像中的偽影，再與第二部分中得到的結(jié)果進(jìn)行逐像素加后，可以達(dá)到增強(qiáng)圖像中的關(guān)鍵組織區(qū)域的紋理信息的目的。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)參數(shù)

本文使用了15 個(gè)來自阿茲海默癥神經(jīng)成像計(jì)劃（Alzheimer’s Disease Neuroimaging Initiative，ADNI）數(shù)據(jù)集中的MR T1 權(quán)重的腦部數(shù)據(jù)，MR 以1mm × 1mm × 1mm 的各向同性采樣。原數(shù)據(jù)在軸狀面的分辨率均為256 × 256，部分?jǐn)?shù)據(jù)軸狀方向的切片數(shù)量略少于256，本文選擇將其零填充到256 × 256 × 256后重新獲取切片，最終在軸狀面、矢狀面和冠狀面各得到3840個(gè)切片。進(jìn)一步通過系數(shù)k=2、k=3、k=4對(duì)各向同性數(shù)據(jù)進(jìn)行抽樣，得到I↓k(x，y，z)，大小分別為256 ×256 × 128、256 × 256 × 85 和256 × 256 × 64。本文將數(shù)據(jù)分成訓(xùn)練集、驗(yàn)證集和測(cè)試集三部分，樣本數(shù)量分別為12、1、2。在測(cè)試集中，本文僅采用具有腦部組織區(qū)域的圖組成測(cè)試集。

實(shí)驗(yàn)階段本文使用PyTorch1.0，對(duì)所有模型采用Adam 作為梯度下降優(yōu)化器，動(dòng)量為0.5，學(xué)習(xí)率為1× 10-4，學(xué)習(xí)率衰減為1× 10-5，每當(dāng)訓(xùn)練損失的最優(yōu)值在20 個(gè)epoch 內(nèi)沒有改善時(shí)，學(xué)習(xí)率進(jìn)行衰減，訓(xùn)練使用一臺(tái)NVIDIA P100 GPU 服務(wù)器。

3.2 對(duì)比實(shí)驗(yàn)

為了測(cè)試本文算法的性能，將本文算法與傳統(tǒng)的最近鄰差值（Bilinear），雙三次插值法（Bicubic），基于神經(jīng)網(wǎng)絡(luò)的RDN，Meta-SR 以及同樣進(jìn)行了多視角融合的DSIM-SR 算法進(jìn)行了性能對(duì)比。

表1 給出了尺度分別為×2、×3、×4 時(shí)各算法的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）值和結(jié)構(gòu)相似 性（Structural SIMilarity，SSIM）指標(biāo)。與同樣進(jìn)行了多視角融合的DSIM-SR 相比，本文算法在各個(gè)尺度上均有1 dB 左右PSNR 值的提升，且與其他算法相比，本文算法和DSIM-SR 的性能表現(xiàn)都更優(yōu)，這是由于本文算法和DSIM-SR 均設(shè)計(jì)了多視角融合模塊，通過約束軸狀方向，對(duì)單一視角重建的結(jié)果進(jìn)行了修正。且本文算法在融合模塊進(jìn)一步進(jìn)行了結(jié)構(gòu)優(yōu)化，更為突出了圖像高頻信息較為豐富的區(qū)域，進(jìn)一步提高了邊界區(qū)分度。

表1 不同算法在測(cè)試集上的PSNR和SSIM對(duì)比Tab.1 PSNR and SSIM comparison of different algorithms on test set

為了客觀顯示本文算法與各個(gè)算法的重建效果，本文從測(cè)試集中選取了兩幅高分辨率圖像，分別進(jìn)行4 倍下采樣后輸入以上6 個(gè)算法，重建效果如圖5 所示。由圖5 可以看出，相較于其他5 個(gè)算法，從視覺效果上來看，本文算法提升明顯；且與同樣進(jìn)行了多視角融合的DSIM-SR相比，本文算法在圖像的細(xì)節(jié)上也取得了更優(yōu)的還原度。

圖5 不同算法重建效果對(duì)比Fig.5 Reconstruction effect comparison of different algorithms

3.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證多視角融合網(wǎng)絡(luò)的作用，在實(shí)驗(yàn)中去掉本文算法的多視角融合網(wǎng)絡(luò)部分，分別使用僅對(duì)冠狀面進(jìn)行超分辨率重建的結(jié)果和僅對(duì)矢狀面進(jìn)行超分辨率重建的結(jié)果，與多視角融合之后的結(jié)果進(jìn)行比較，如圖6所示。

由圖6 可以看出，僅對(duì)冠狀面進(jìn)行重建和僅對(duì)矢狀面進(jìn)行重建時(shí)，由于缺乏軸向方向上的約束，均表現(xiàn)出一定的方向偽影。在本文算法的融合部分中，通過對(duì)兩個(gè)面進(jìn)行軸向約束，降低偽影對(duì)圖像的影響，融合的圖像更貼近真實(shí)圖像。

圖6 消融實(shí)驗(yàn)中多視角融合前后重建效果對(duì)比Fig.6 Comparison of reconstruction effect before and after multi-view fusion in ablation experiment

表2 中給出了尺度分別為×2、×3、×4 時(shí)僅對(duì)冠狀面進(jìn)行重建、僅對(duì)矢狀面進(jìn)行重建和多視角融合后的PSNR 和SSIM指標(biāo)。

從表2中可以看出，多視角融合后的PSNR 相較于僅對(duì)冠狀面進(jìn)行重建和僅對(duì)矢狀面進(jìn)行重建的結(jié)果在各個(gè)尺度中均有一定的提升。

表2 融合前后的PSNR和SSIM對(duì)比Tab.2 PSNR and SSIM comparison before and after fusion

4 結(jié)語

針對(duì)MR 圖像切片內(nèi)分辨率高而切片間分辨率低導(dǎo)致的冠狀面和矢狀面缺乏醫(yī)學(xué)診斷意義這一問題，本文提出了一種新的多視角超分辨率融合算法。該算法可以實(shí)現(xiàn)任意上采樣因子放大低分辨率的圖像，同時(shí)通過以軸狀面作為約束進(jìn)行多視角融合，進(jìn)一步提升了圖像的視覺感知效果。實(shí)驗(yàn)結(jié)果表明，該算法可以對(duì)存在各向異性的MR 圖像進(jìn)行重建，將冠狀面和矢狀面的圖像恢復(fù)至與軸狀面相同分辨率，便于醫(yī)學(xué)診斷。但是該算法中均采用將三維數(shù)據(jù)轉(zhuǎn)換成二維數(shù)據(jù)后進(jìn)行處理，因此在處理過程中，僅考慮了橫向與縱向之間的關(guān)聯(lián)關(guān)系，缺少對(duì)于斜向角度中關(guān)系的利用，因此接下來將進(jìn)一步研究直接針對(duì)三維體數(shù)據(jù)進(jìn)行三維上的處理。