李俊伯，秦品樂，曾建潮*，李 萌

（1.山西省醫(yī)學(xué)影像與數(shù)據(jù)分析工程研究中心（中北大學(xué)），太原 030051；2.中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051；3.山西省醫(yī)學(xué)影像人工智能工程技術(shù)研究中心（中北大學(xué)），太原 030051）

0 引言

在現(xiàn)代醫(yī)學(xué)領(lǐng)域中，計(jì)算機(jī)斷層掃描（Computed Tomography，CT）和核磁共振成像（Magnetic Resonance Imaging，MRI）等層析成像技術(shù)被廣泛應(yīng)用于醫(yī)學(xué)研究和臨床診斷。作為臨床醫(yī)學(xué)最基本的影像之一，CT 由于其本身掃描速度快且圖像清晰，又可結(jié)合Hu 值調(diào)整窗寬窗位以獲得各種組織最佳顯示的特點(diǎn)，被應(yīng)用于多種生物疾病的檢查。因?yàn)镃T 影像本身屬于連續(xù)完整的二維數(shù)據(jù)切片，可通過疊加重建技術(shù)將其轉(zhuǎn)化為體數(shù)據(jù)，所以可實(shí)現(xiàn)人體組織和器官的三維可視化［1］。盡管CT 掃描使用的電離X 射線輻射可能增加癌癥的風(fēng)險(xiǎn)，可對(duì)于臨床醫(yī)學(xué)診斷與治療領(lǐng)域其仍需要被大量使用，所以根據(jù)病例需求和設(shè)備條件，通常會(huì)在確保診斷正確的情況下盡量采用較大的層厚掃描。具有厚度的掃描造成了CT 的部分容積效應(yīng)，切片與切片之間的間距往往比軸狀位圖中像相鄰像素之間的物理間距大得多，直接對(duì)這種體數(shù)據(jù)進(jìn)行可視化會(huì)導(dǎo)致三維模型在非冠狀位視角中的鋸齒狀邊緣、條紋狀偽影和不連續(xù)表面等現(xiàn)象，直接影響到病變判斷，因此基于層間插值［2-6］的層析影像體數(shù)據(jù)的三維重建成為了熱門的研究方向。

近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)由于能夠?qū)W習(xí)到復(fù)雜圖像中高低頻結(jié)構(gòu)特征信息，在醫(yī)學(xué)圖像處理方向取得了優(yōu)于傳統(tǒng)算法［2，7-9］的結(jié)果，基于深度學(xué)習(xí)的層析影像三維重建算法一定程度上消除了容積效應(yīng)，保持了體數(shù)據(jù)各向同性。然而先前的上采樣方法大都只考慮相鄰的兩張切片的數(shù)據(jù)預(yù)測(cè)中間像素值，并沒有利用到二維切片正交方向上的整體融合信息。Peng 等［10］在邊緣超分辨率深度切片插值方法中提出在單軸方向上的超分辨率任務(wù)以完成MRI 圖像冠狀位和矢狀位上采樣重建，結(jié)合了切片正交方向上的上下文內(nèi)容。受其啟發(fā)，本文基于單個(gè)方向上的超分辨率方法進(jìn)行腹部CT 序列圖像的三維重建，意在降低輻射強(qiáng)度的同時(shí)，提高CT 層析影像三維模型的質(zhì)量。

基于學(xué)習(xí)的圖像超分辨率（Super-Resolution，SR）［11-13］通過學(xué)習(xí)一系列高低分辨率圖像之間的像素結(jié)構(gòu)映射關(guān)系，可預(yù)測(cè)像素值提高圖像分辨率?；仡檲D像超分辨率技術(shù)的發(fā)展歷程，Dong 等［11］提出 SRCNN（Super-Resolution Convolutional Neural Network）首次將深度學(xué)習(xí)用于SISR（Single Image Super-Resolution），網(wǎng)絡(luò)一開始就采用雙三次插值然后使用簡(jiǎn)單的三個(gè)卷積層學(xué)習(xí)特征。Shi 等［14］提出的ESPCN（Efficient Sub-Pixel Convolutional Neural Network）直接在低分辨率圖像上做提取特征以縮短訓(xùn)練時(shí)間，然后以亞像素卷積層（Sub-pixel Convolution）上采樣圖像，但這很可能會(huì)導(dǎo)致棋盤效應(yīng)。Lim 等［15］提出的增強(qiáng)型單幅圖像深度殘差超分辨率網(wǎng)絡(luò)EDSR（Enhanced Deep residual network for single image Super-Resolution），去除掉了批量標(biāo)準(zhǔn)化處理（Batch Normalization，BN）操作，但未充分學(xué)習(xí)圖像特征，進(jìn)而限制了網(wǎng)絡(luò)的性能。在分辨率問題中引入殘差機(jī)制具有很好的效果［16-18］，Zhang 等［18］在RDN（Residual Dense Network）中結(jié)合殘差學(xué)習(xí)和密集塊提出了殘差學(xué)習(xí)塊，利用全部層級(jí)特征關(guān)系增強(qiáng)了模型的表達(dá)能力，顯著提高模型特征提取的能力。之后Zhang 等［19］結(jié)合通道注意力機(jī)制提出RCAN（Residual Channel Attention Network），成功提高了特征學(xué)習(xí)能力。Hu 等［20］于2019 年提出Meta-SR，通過動(dòng)態(tài)生成上采樣濾波器，使得單一模型就能夠支持任意縮放因子的上采樣任務(wù)。Liu 等［21］提出的RFA（Residual Feature Aggregation）結(jié)構(gòu)組通過添加跳躍將多個(gè)殘差塊組合，并提出改進(jìn)的空間注意力塊，強(qiáng)化學(xué)習(xí)關(guān)鍵空間內(nèi)容。

到目前為止，主流的超分網(wǎng)絡(luò)多采用后端上采樣（postupsampling）結(jié)構(gòu)。本文提出了一種基于超分辨率網(wǎng)絡(luò)的CT三維重建算法，模型為具有雙重?fù)p失的優(yōu)化學(xué)習(xí)縱軸超分辨率重建網(wǎng)絡(luò)（Double Loss Refinement Network，DLRNet），在模型的上采樣層后設(shè)計(jì)了繼續(xù)優(yōu)化學(xué)習(xí)模塊，并將上采樣層的輸出也和基準(zhǔn)圖也做損失，雙重?fù)p失使網(wǎng)絡(luò)產(chǎn)生了更接近基準(zhǔn)圖的結(jié)果。除此之外，在特征提取部分的密集殘差塊中引入了空間特征金字塔池化和通道注意力機(jī)制，不同感受野的卷積和不同通道的加權(quán)學(xué)習(xí)非常適合應(yīng)對(duì)CT 圖像中不同粗細(xì)以及規(guī)模不一的血管組織的特征；為了滿足任意尺度的上采樣倍數(shù)，采樣上采樣模塊動(dòng)態(tài)生成上采樣濾波器參數(shù)，但與Meta 不同的是，本文生成多組而非單組濾波器計(jì)算后融合結(jié)果；并且不同于以往的圖像超分辨任務(wù)，本文只在縱軸方向上做上采樣，再將高分辨率的冠狀位圖像疊加重建，從而更有針對(duì)性地獲得了更高質(zhì)量的CT 層析影像三維模型。

1 相關(guān)工作

1.1 縱軸方向超分辨率

在以往的SR 任務(wù)中，大都對(duì)單幅圖像沿著長(zhǎng)寬方向進(jìn)行同比例放大。針對(duì)CT 體數(shù)據(jù)三維重建問題，需要對(duì)每幅冠狀位圖像做單一方向上的尺寸放大。令I(lǐng)(x，y，z)∈RN×N×N表示具有各向同性的CT 體數(shù)據(jù)。其中沿x、y、z各軸方向觀察的視角分別為矢狀位、冠狀位和軸狀位。因此，冠狀位切片圖可表示為：

Ix和Iz以此類推。在縱軸超分辨率任務(wù)中，考慮沿著z軸方向進(jìn)行切片插值。所以可將相對(duì)應(yīng)的原始各向異性CT 體數(shù)據(jù)定義為：

其中：k為縮放因子。其目標(biāo)是找到一個(gè)映射關(guān)系T：→RN×N×N使得I↓k(x，y，z)變換后盡量逼近基準(zhǔn)I(x，y，z)。

1.2 通道注意力機(jī)制

計(jì)算機(jī)視覺（computer vision）中的通道注意力機(jī)制（attention）［22］作為近幾年來(lái)的熱點(diǎn)問題，在圖像和自然語(yǔ)言處理等領(lǐng)域中都取得了重要的突破，被證明有益于提高模型的性能，而其本身也是符合人腦和人眼的感知機(jī)制。腹部CT 影像不同于自然圖像，其本身屬于結(jié)構(gòu)較為復(fù)雜的連續(xù)灰度圖序列，在真實(shí)的應(yīng)用場(chǎng)景中，更需要觀察影像中各組織與結(jié)構(gòu)的邊緣細(xì)節(jié)，通過器官邊緣來(lái)判斷病變區(qū)域嚴(yán)重程度。本文的思路是通過縱軸超分上采樣冠狀位的二維影像來(lái)重建三維模型，所以二維圖像中各結(jié)構(gòu)的邊緣質(zhì)量直接影響三維重建的效果。這就需要強(qiáng)調(diào)圖像中邊緣的重建準(zhǔn)確度。雖然各種深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在醫(yī)學(xué)影像的超分辨率任務(wù)中表現(xiàn)出了優(yōu)于傳統(tǒng)方法的效果，但現(xiàn)在的大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）都平等對(duì)待特征的每一個(gè)通道，會(huì)使得網(wǎng)絡(luò)無(wú)法區(qū)分高低頻信息來(lái)學(xué)習(xí)特征。圖像超分辨是為了盡可能多地恢復(fù)高頻信息，而低分辨率的圖片卻包含著許多可以直接被傳播到輸出的低頻信息，因此，特征的所有通道如果被平等對(duì)待則會(huì)使網(wǎng)絡(luò)缺乏辨別學(xué)習(xí)能力。

從原理上來(lái)說，通道注意力模型（Channel Attention，CA）如圖1 所示，輸入為H×W×C的特征圖，經(jīng)過一個(gè)全局平均池化（Global Average Pooling，GAP）操作得到1×1×C的通道描述v∈R1×1×C，然后對(duì)該矢量依次用1×1 卷積層進(jìn)行下采樣再上采樣，再使用Sigmoid 激活函數(shù)得到映射后的1×1×C的通道權(quán)重描述，最后將其與原始特征圖相乘得到通道注意力處理后的特征圖，其中r為特征通道縮放倍數(shù)即縮放因子factor。而將CA 和殘差思想結(jié)合在一起就是RCAB（Residual Channel Attention Block），如圖2 所示為RCAB 結(jié)構(gòu)，輸入特征input，首先進(jìn)行卷積-池化-卷積操作得到，再將f輸入到CA 模塊進(jìn)行通道注意力學(xué)習(xí)得到fCA，然后用一個(gè)長(zhǎng)跳層將fCA與input 相加得到RCAB 塊的輸出。

圖1 通道注意力機(jī)制模型Fig.1 Channel attention mechanism model

圖2 RCAB結(jié)構(gòu)Fig.2 Structure of RCAB

受RCAB 和RDN 中密集殘差學(xué)習(xí)的啟發(fā)，本文提出密集通道注意力機(jī)制塊（Dense Channel Attention Block，DCAB），通過通道注意力機(jī)制幫助抑制CT 灰度圖像特征圖中無(wú)用信息，通過對(duì)特征通道之間的相互依賴性建模來(lái)自適應(yīng)地重新縮放每個(gè)通道的特征，對(duì)邊緣紋理等響應(yīng)程度更高的通道特征圖進(jìn)行著重學(xué)習(xí)，優(yōu)化網(wǎng)絡(luò)學(xué)習(xí)CT 中的器官組織邊緣等感興趣信息，有效提高了深層網(wǎng)絡(luò)的性能。稠密連接使得各層級(jí)特征圖之間直接溝通，增強(qiáng)了網(wǎng)絡(luò)的表達(dá)能力。

1.3 任意縮放因子的上采樣層

上采樣是圖像進(jìn)行超分重建的必要步驟，SR 本身通過預(yù)測(cè)像素值擴(kuò)大圖像尺寸。一般在原始輸入圖像經(jīng)過升維特征提取后，通過上采樣層擴(kuò)大圖像尺寸。深度學(xué)習(xí)模型處理SR 問題中常用到的上采樣方法為反卷積和亞像素卷積層（Sub-pixel Convolution），反卷積通過用0 填充特征圖邊緣來(lái)逐步擴(kuò)大圖像尺寸，這對(duì)于SR 任務(wù)來(lái)說很容易引入偏差，直接限制了模型的性能。Shi 等［14］提出的亞像素卷積如圖3 所示，尺寸為H×W×1 的低分辨率輸入圖像經(jīng)過特征提取后，最后一層卷積將通道數(shù)降為r2，此時(shí)輸出圖形狀為H×W×r2，然后根據(jù)圖中的變換方式轉(zhuǎn)為H×r×W×r的輸出圖，其中H和W均為3，r為2。

圖3 亞像素卷積層Fig.3 Sub-pixel convolutional layer

亞像素卷積層可以讓網(wǎng)絡(luò)學(xué)習(xí)四個(gè)通道的參數(shù)，從而完成插值方法，整個(gè)過程無(wú)需填充特征圖，使用較小的卷積核避免了使用網(wǎng)絡(luò)一開始就進(jìn)行線性插值擴(kuò)大尺寸帶來(lái)的誤差，而且線性插值類上采樣方法本身就是卷積操作的一種特殊情況，使用卷積操作可以更高效地?cái)M合結(jié)果。亞像素卷積具有更大的感受野，能學(xué)習(xí)到更多的周邊結(jié)構(gòu)信息，但是因?yàn)镾huffle 層感受野分布不均勻，會(huì)導(dǎo)致一定程度上的棋盤效應(yīng)和邊緣偽影。

真實(shí)應(yīng)用場(chǎng)景中CT 層析掃描的層厚大都在2 mm～5 mm不固定，所以重建縮小層間距時(shí)會(huì)需要各種大小的縮放因子，這時(shí)模型就需要為各種大小scale factor 設(shè)計(jì)一個(gè)特定的上采樣模塊來(lái)支撐任意縮放因子的上采樣任務(wù)，而且只能縮放整數(shù)倍，這一缺點(diǎn)嚴(yán)重限制了其在現(xiàn)實(shí)中的應(yīng)用。多尺度上采樣層Meta-SR 通過動(dòng)態(tài)生成上采樣卷積濾波器，使得單一模型只需要進(jìn)行一次訓(xùn)練，就可以支持任意縮放因子（包括小數(shù)倍）的上采樣任務(wù)。如圖4 所示，SR 中的每一個(gè)像素（i，j）都是由其在LR（Low Resolution）上對(duì)應(yīng)像素（i′，j′）上的特征和對(duì)應(yīng)濾波器計(jì)算出來(lái)的。

圖4 多尺度上采樣層Fig.4 Multi-scale upsampling layer

Meta-Upscale 由三個(gè)模塊組成：位置投影（Location Projection）、權(quán)重預(yù)測(cè)（Weight Prediction）和特征映射（Feature Mapping）。本文模型在縱軸上采樣模塊也動(dòng)態(tài)生成卷積核濾波器，從而解決了三維重建難以在實(shí)際場(chǎng)景中應(yīng)用于各種縮放因子的問題。與Meta-SR 不同的是，本文只做縱軸單方向上的上采樣；同時(shí)，動(dòng)態(tài)生成多組而非一組濾波器，這意味著本文的上采樣模塊能夠獲得更多通道的特征，自適應(yīng)融合后效果也有所提高。

2 具有雙重?fù)p失的優(yōu)化學(xué)習(xí)縱軸超分辨率重建網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

對(duì)于CT 冠狀位圖像縱軸方向任意縮放因子的上采樣重建任務(wù)，本文設(shè)計(jì)的具有雙重?fù)p失的優(yōu)化學(xué)習(xí)縱軸超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示，輸入圖像在進(jìn)入模型后依次經(jīng)歷三個(gè)模塊：1）特征提取模塊；2）任意尺度的縱軸上采樣模塊VM-Meta（Vertical Multiple-Meta）；3）優(yōu)化學(xué)習(xí)模塊CRM（Continuous Refinement Module）。

圖5 具有雙重?fù)p失的優(yōu)化學(xué)習(xí)縱軸超分辨率重建網(wǎng)絡(luò)Fig.5 Double Loss Refinement Network（DLRNet）

本文模型以低分辨率的圖像ILR作為輸入，首先經(jīng)過兩個(gè)連續(xù)的MASPP（Multiscale Atrous Spatial Pyramid Pooling）塊提取淺層特征，有：

其中：HMASPP代表本文的多尺度特征提取層；F-1和F0分別代表兩個(gè)卷積層計(jì)算出來(lái)的結(jié)果。接著F0進(jìn)入密集通道注意力塊組DCAB 學(xué)習(xí)各級(jí)層深度特征，它包含n個(gè)DCAB層，有：

其中：HDCAB，n代表第n個(gè)DCAB 操作；Fn和Fn-1均是每個(gè)對(duì)應(yīng)DCAB 內(nèi)部特征融合與殘差學(xué)習(xí)的結(jié)果。本文的HDCAB，1的輸入為MASPP 的輸出F0。DCAB 抽取足夠多的密集特征后，將各DCAB 學(xué)習(xí)到的級(jí)層局部特征進(jìn)行全局特征信息整合。其包含兩個(gè)部分：全局特征融合（Global Feature Fusion，GFF）和全局殘差學(xué)習(xí)（Global Residual Learning，GRL）。GFF 具體操作為圖中Concat 以及之后的1×1 卷積的減少多余特征和3×3 卷積再學(xué)習(xí)，有：

其中：HGFF代表全局特征融合操作；[F1，F(xiàn)2，…，F(xiàn)N]代表N個(gè)DCAB 的結(jié)果Concat 起來(lái)。因?yàn)槭歉鱾€(gè)層級(jí)的特征圖Concat起來(lái)的，所以有必要使用1×1 卷積操作減少特征通道數(shù)。此時(shí)再將淺層特征F-1和最高層的全局融合特征進(jìn)行殘差連接得到FLR，有：

至此FLR結(jié)合了淺層特征和N個(gè)層級(jí)抽取的深度特征，包含最豐富、全面的圖像特征信息。

將這些特征作為輸入送進(jìn)縱軸上采樣層VM-Meta 得到目標(biāo)尺寸的初步超分辨圖像ISR′，最后把初步超分辨率圖ISR′送入優(yōu)化學(xué)習(xí)模塊CRM，繼續(xù)細(xì)化學(xué)習(xí)得到最終的縱軸超分辨率圖像ISR，有：

其中：優(yōu)化學(xué)習(xí)模塊CRM 類似于特征提取模塊但結(jié)構(gòu)更簡(jiǎn)單，在開頭和結(jié)尾分別具有一個(gè)3×3 卷積核。中間為三個(gè)殘差密集塊，塊中卷積大小均為3×3，然后同樣進(jìn)行全局特征融合，最后有一個(gè)殘差連接ISR′。

2.2 多尺度特征融合（空間特征金字塔）

由于腹部CT 圖像本身的特征多樣性和結(jié)構(gòu)復(fù)雜性，對(duì)圖像中不同尺寸目標(biāo)使用相同大小的卷積核操作無(wú)疑會(huì)給學(xué)習(xí)帶來(lái)困難，使得網(wǎng)絡(luò)最終無(wú)法恢復(fù)出足夠清晰的紋理特征，不同粗細(xì)的血管和不同規(guī)模的器官組織往往需要不同視野的濾波器提取特征。為了獲取更加強(qiáng)大的特征表達(dá)，本文在網(wǎng)絡(luò)中引入了多尺度特征融合塊。在傳統(tǒng)圖像處理算法中，有一個(gè)很重要的概念，即圖像金字塔和高斯金字塔。而卷積神經(jīng)網(wǎng)絡(luò)通過逐層抽象的方式來(lái)提取目標(biāo)的特征，其中一個(gè)重要的概念就是感受野。如果感受野太小，則只能觀察到局部的特征，如果感受野太大，則獲取了過多的無(wú)效信息?？斩纯臻g卷積金字塔池化ASPP（Atrous Spatial Pyramid Pooling）對(duì)所給定的輸入以不同采樣率的空洞卷積并行采樣，相當(dāng)于以多個(gè)比例捕捉圖像的上下文信息。

本文針對(duì)醫(yī)學(xué)層析影像超分辨率網(wǎng)絡(luò)模型配置了一種并行多尺度特征融合模塊MASPP 以代替網(wǎng)絡(luò)剛開始的兩個(gè)淺層特征提取卷積層，如圖6 所示。MASPP 由五個(gè)尺度的卷積并行，包含一個(gè)1×1 卷積，一個(gè)3×3 卷積，以及三個(gè)空洞率不同的5×5 空洞卷積，其特征圖用Concat 連接然后通過1×1卷積進(jìn)行融合。由于超分辨任務(wù)不適合使用池化操作降低特征尺寸，本文去除了一般ASPP 中的池化操作。

圖6 MASPP塊結(jié)構(gòu)Fig.6 Structure of MASPP block

2.3 稠密連接的通道注意力學(xué)習(xí)DCAB

CT 冠狀位超分辨率任務(wù)中的LR 圖像具有豐富的低頻信息和部分關(guān)鍵的高頻信息，其中低頻部分容易理解，更加扁平化，而高頻信息一般都是區(qū)域的，充滿組織紋理、邊緣以及其他細(xì)節(jié)的，這就需要合理利用高低頻通道之間的關(guān)系。如果直接適用卷積層會(huì)完全平等對(duì)待高低頻通道信號(hào)，這就限制了CNN 的性能。本文結(jié)合RCAN 和RDN 提出稠密連接的通道注意力學(xué)習(xí)DCAB。網(wǎng)絡(luò)的特征提取模塊使用DCAB進(jìn)行深層特征學(xué)習(xí)，它在RDB（Residual Dense Block）的基礎(chǔ)上，引入了通道注意力機(jī)制。具體使用RCAB 代替3×3 卷積和ReLU 激活函數(shù)，如圖7 所示為DCAB 塊結(jié)構(gòu)。

圖7 DCAB塊結(jié)構(gòu)Fig.7 Structure of DCAB block

DCAB 中每個(gè)RCAB 塊依次連接，之后將各RCAB 提取的特征全部Concat 起來(lái)充分利用，使用1×1 卷積是為減少Concat 得到的過多通道數(shù)，得到具有代表性的局部融合特征。除此之外，DCAB 塊的輸入以及塊中每一個(gè)RCAB 的結(jié)果都被發(fā)送到后續(xù)所有的RCAB 中，最后殘差連接塊的輸入和輸出，使得所有的RCAB 都有直接接觸。

在深層特征提取模塊引入通道注意力塊RCAB 較直接卷積而言關(guān)注到了更多的信息，隨著網(wǎng)絡(luò)深度地不斷增加，各層級(jí)特征圖都利用到了其特征通道之間的相互依賴性。同時(shí)使用局部特征融合和局部殘差學(xué)習(xí)充分利用到了所有層的信息特征，進(jìn)一步提高了信息流和網(wǎng)絡(luò)特征提取模塊的表達(dá)能力，所以獲得了更高的性能。

2.4 任意縮放因子的縱軸上采樣層VM-Meta

在CT 影像醫(yī)學(xué)診斷實(shí)際應(yīng)用場(chǎng)景中，考慮到不同部位、病情、儀器條件和輻射劑量，會(huì)進(jìn)行不同層厚的厚層CT 掃描。軸狀位矩陣尺寸通常為512×512，其相鄰像素點(diǎn)間物理空間間隔為5 dm/512≈1 mm。而z軸方向上層厚相對(duì)寬得多，這導(dǎo)致縱軸上物理空間間隔大于1 mm。據(jù)實(shí)際調(diào)查了解，醫(yī)學(xué)影像應(yīng)用中大部分CT 的層厚普遍在2 mm～5 mm，造成了多平面重建中的偽影。所以本文模型用于預(yù)測(cè)并提高CT體數(shù)據(jù)在z軸方向上的分辨率，提高三維重建的質(zhì)量。值得注意的是，大多數(shù)不同病例原始數(shù)據(jù)層厚為2 mm～5 mm 不等，為了將實(shí)際應(yīng)用中各種層厚CT 切片均重建縮小至1 mm左右，需要一個(gè)可以實(shí)現(xiàn)不同縮放因子插值的模型。受CVPR2019 中Hu 等［20］的Meta 上采樣層啟發(fā)，如圖8 所示，本文設(shè)計(jì)了一個(gè)類似的縱軸上采樣層VM-Meta，動(dòng)態(tài)生成上采樣的卷積核，這使得單個(gè)模型可實(shí)現(xiàn)任意縮放因子（包括非整數(shù)）情況下的縱軸超分重建，以保證三維CT 數(shù)據(jù)的各向同性。與Meta 不同的是，本文的上采樣層動(dòng)態(tài)生成多組而非一組卷積核，并且做的是縱軸方向的上采樣。

圖8 多尺度縱軸上采樣層Fig.8 Vertical Multiple-Meta

縱軸上采樣層VM-Meta 分為三部分：位置投影層、權(quán)重預(yù)測(cè)層和特征映射層。其中權(quán)重預(yù)測(cè)層預(yù)測(cè)的是上采樣層濾波器的參數(shù)，本文濾波器的參數(shù)并不是從主干網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的，而是由另外一個(gè)網(wǎng)絡(luò)預(yù)測(cè)出來(lái)的。FLR為特征提取模塊之后提取到的特征圖，F(xiàn)LR′為與動(dòng)態(tài)卷積計(jì)算之后的特征圖，r為scale factor 即放大因子（可以為小數(shù)）。本文動(dòng)態(tài)生成上采樣卷積層的思想是，對(duì)于FLR′中每一個(gè)點(diǎn)（i，j），都有LR 圖像上唯一一個(gè)像素點(diǎn)（i′，j′）與之相對(duì)應(yīng)，不同的通道對(duì)應(yīng)不同的動(dòng)態(tài)卷積核組。其中（i′，j′）有：

權(quán)重預(yù)測(cè)網(wǎng)絡(luò)為全連接網(wǎng)絡(luò)，輸入為二維的vi，輸出維度為W×inC×outC×k×k，其中inC為FLR的通道數(shù)，outC為最終SR 通道數(shù)，k為動(dòng)態(tài)卷積核的尺寸，W為卷積核的組數(shù)，這里取3。用來(lái)輸入到權(quán)重預(yù)測(cè)全連接網(wǎng)絡(luò)的向量為：

像素點(diǎn)（i，j）的值由LR 上像素點(diǎn)（i′，j′）和對(duì)應(yīng)的濾波器組計(jì)算得出，之后由3×3 卷積融合多通道為一，得到粗略提升的高分辨率圖像ISR′。所以動(dòng)態(tài)上采樣層可以看成是FLR到ISR′的映射函數(shù)。

通過動(dòng)態(tài)生成上采樣卷積核的方法可以解決CT 體數(shù)據(jù)重建在實(shí)際應(yīng)用場(chǎng)景中很難支持各種大小縮放因子上采樣任務(wù)的問題。權(quán)重預(yù)測(cè)層生成了多組上采樣卷積核，提升了網(wǎng)絡(luò)學(xué)習(xí)多通道信號(hào)的能力，豐富了剛采樣上來(lái)的信息流，使上采樣層得到了更好的性能。

2.5 損失函數(shù)

在超分辨率任務(wù)中，為了使輸出圖像盡量接近基準(zhǔn)圖，研究人員通常使用最小絕對(duì)值偏差，即L1 作為目標(biāo)函數(shù)。對(duì)于輸入低分辨率圖I和基準(zhǔn)圖G，基于L1 損失函數(shù)的定義為：

其中：θ為神經(jīng)網(wǎng)絡(luò)參數(shù)；f為模型映射結(jié)構(gòu)；W和H分別為高分辨率圖像G的寬度和高度。

由于本文在VM-Meta 上采樣操作之后設(shè)置的繼續(xù)優(yōu)化模塊與基準(zhǔn)圖做損失繼續(xù)細(xì)化提高了圖像質(zhì)量，進(jìn)而本文考慮到上采樣操作之后的大尺寸圖ISR′也應(yīng)該盡量接近于基準(zhǔn)圖。因此本文方法除了計(jì)算基準(zhǔn)圖IHR與ISR之間的損失外，還計(jì)算ISR′即粗略重建與基準(zhǔn)圖的損失，即：

其中：α是控制附加損失LSR′占總損失權(quán)重的參數(shù)。假設(shè)f為整個(gè)DLRNet 模型映射函數(shù)，f1代表特征提取模塊加上采樣模塊的映射函數(shù)，f2代表優(yōu)化學(xué)習(xí)模塊CRM 的映射函數(shù)，有：

其中：θ1為前兩個(gè)模塊卷積核參數(shù)；θ2為CRM 模塊卷積核參數(shù)。LSR′可表示為：

所以本文整體損失函數(shù)Lall可表示為：

其中：LSR學(xué)習(xí)模型的參數(shù)為θ，而LSR′學(xué)習(xí)模型的參數(shù)為θ1，二者分別以粗略超分辨率圖像與優(yōu)化超分辨率圖像的角度觸發(fā)計(jì)算損失，雙重?fù)p失加速了模型的收斂，從而迫使網(wǎng)絡(luò)產(chǎn)生了接近于基準(zhǔn)圖的結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與預(yù)處理

本文數(shù)據(jù)來(lái)源是KITS19 Challenge Homepage 中的腹部CT 公開數(shù)據(jù)集，該數(shù)據(jù)集中大部分病例的切片數(shù)據(jù)層厚大于1 mm，將這些厚層掃描的數(shù)據(jù)作為本文任務(wù)數(shù)據(jù)集中的基準(zhǔn)圖顯然不利于真實(shí)場(chǎng)景的應(yīng)用。因此針對(duì)超分辨率任務(wù)，應(yīng)盡可能獲得低層厚的原始圖像作為數(shù)據(jù)集，挑選出其中CT 層厚最小的15 組病例作為本文任務(wù)的原始數(shù)據(jù)集，其層厚均為0.5 mm～1 mm。接著將原始的軸狀位圖像多平面重建為冠狀位圖像，由于每個(gè)病例的體分辨率均為512×512×N（N為切片數(shù)），所以每個(gè)病例的冠狀位切片序列切片數(shù)均為512 張，最后去除這512 張圖像中不包含主要器官和組織的圖像。共得到15 個(gè)病例共3 124 張紋理豐富，高低頻信號(hào)對(duì)比明顯的冠狀位圖像，挑選其中324 張包含各種形態(tài)的冠狀位圖像作為測(cè)試集，其余2 800 張作為訓(xùn)練集，測(cè)試集中挑選20 張作為驗(yàn)證集?？紤]到CT 厚層掃描的成像原理，高分辨率圖像通過雙三次線性插值法下采樣2、3、4 倍得到不同縮放倍數(shù)的低分辨率圖像。

3.2 實(shí)驗(yàn)參數(shù)

本文進(jìn)行了一系列的初步實(shí)驗(yàn)來(lái)確定最佳卷積寬度（卷積濾波器的數(shù)量）和最佳的補(bǔ)丁大小。為了找到最優(yōu)的補(bǔ)丁大小，本文嘗試了14×14，28×28 和36×36 像素的補(bǔ)丁。在濾波器數(shù)目方面，嘗試將DCAG（Dense Channel Attention Group）組中卷積濾波器的數(shù)量設(shè)置為32、64 和128。這些參數(shù)在本文的數(shù)據(jù)集進(jìn)行100 次迭代得到的結(jié)果如表1 所示，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）在縮放倍數(shù)為2 時(shí)的結(jié)果。

表1 本文模型各參數(shù)選取所對(duì)應(yīng)的訓(xùn)練結(jié)果（倍數(shù)為2）Tab.1 Training results corresponding to selection of each parameter of the proposed model（scaling factor of 2）

其次，本文模型優(yōu)化器選用ADAM（Adaptive Moment Estimation）算法，它結(jié)合了AdaGrad（Adaptive Gradient Algorithm）和RMSProp（Root Mean Square Prop）算法的最優(yōu)性能，可根據(jù)損失函數(shù)針對(duì)參數(shù)一二階矩估計(jì)自適應(yīng)改變學(xué)習(xí)速率，促使模型收斂。參數(shù)設(shè)置為β1=0.9，β2=0.999，ε=10-8。初始學(xué)習(xí)率為10-4，使用mini-batch 作為批量輸入策略，batch-size 為16。項(xiàng)目基于Pytorch V0.4.1 框架進(jìn)行開發(fā)，在一塊顯存為16 GB 的NVIDIA Tesla P100 GPU 上進(jìn)行訓(xùn)練。

3.3 對(duì)比實(shí)驗(yàn)

3.3.1 評(píng)價(jià)指標(biāo)

為了客觀描述不同算法的結(jié)果，本文采用通用的圖像質(zhì)量評(píng)價(jià)指標(biāo)：峰值信噪比和結(jié)構(gòu)相似性對(duì)近年來(lái)在SR 任務(wù)上表現(xiàn)優(yōu)越的深度學(xué)習(xí)算法進(jìn)行比較。

3.3.2 與其他方法的對(duì)比

為了驗(yàn)證本文模型的性能，將DLRNet 與傳統(tǒng)的雙三次插值法（Bicubic）［23］、PIL（Python Image Library）庫(kù)高質(zhì)量抗鋸齒升采樣法（Antialias），以及基于深度學(xué)習(xí)的EDSR、RDN、RCAN 算法結(jié)合縱軸上采樣模塊V-Meta 做對(duì)比（其中RDN為Peng 等［10］使用的特征提取方法）。

如表2 所示，深度學(xué)習(xí)類方法較傳統(tǒng)的Bicubic 和Antialias 算法在評(píng)價(jià)指標(biāo)上有了巨大的提升，而基于深度學(xué)習(xí)的RCAN 模型相較其他模型引入了通道注意力機(jī)制，表現(xiàn)更為出色。本文設(shè)計(jì)了繼續(xù)優(yōu)化學(xué)習(xí)等結(jié)構(gòu)，在增加模型復(fù)雜度的情況下明顯提高了模型的學(xué)習(xí)能力。PSNR 平均較RCAN 模型在縮放2、3、4 倍任務(wù)下分別提升了0.816 dB、0.778 dB、0.773 dB，即在不同縮放倍數(shù)任務(wù)下平均提高0.789 dB。

表2 各種模型在測(cè)試集上的PSNR值和SSIM值（倍數(shù)分別為2、3、4）Tab.2 PSNR and SSIM of each algorithm on test set（scaling factor of 2，3，4）

為了直接可視化本文模型的效果，首先選取了數(shù)據(jù)集中一張腹部CT 冠狀位圖像，通過Bicubic 算法在縱軸方向下采樣4 倍后，使用以上的6 種算法做縱軸上采樣，如圖9 所示。

圖9 不同算法在冠狀位圖上的重建效果對(duì)比Fig.9 Comparison of coronal image reconstruction effect of different algorithms

深度學(xué)習(xí)方法相對(duì)于傳統(tǒng)方法有了巨大的提升，而RCAN 和本文方法在深度學(xué)習(xí)方法中表現(xiàn)更為出色。而相較于RCAN 的縱軸上采樣，本文方法恢復(fù)了更接近于基準(zhǔn)圖細(xì)節(jié)中的光滑邊緣，相對(duì)無(wú)鋸齒，對(duì)比度也更加清晰。本文三維重建并可視化KITS19 腹部CT 影像數(shù)據(jù)集中的一個(gè)病例，同樣做了縮放倍數(shù)為4 的對(duì)比實(shí)驗(yàn)，如果圖10 所示。傳統(tǒng)方法上采樣后的三維重建模型細(xì)節(jié)有較多丟失，紋理更加模糊?；谏疃葘W(xué)習(xí)的方法恢復(fù)了更接近于基準(zhǔn)圖的結(jié)構(gòu)，包括血管組織表面紋理，較粗血管的輪廓和較細(xì)血管的連貫。本文方法相較于RCAN 來(lái)說在細(xì)節(jié)上恢復(fù)程度更高。

圖10 不同算法用于三維重建時(shí)的效果對(duì)比Fig.10 Comparison of three-dimensional reconstruction effect of different algorithms

3.3.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的各模塊作用，在DLRNet 上進(jìn)行了一系列消融實(shí)驗(yàn)，分別去掉了CRM 優(yōu)化學(xué)習(xí)模塊，生成多組濾波器的VM-Meta 改進(jìn)，以及空間特征金字塔和通道注意力機(jī)制。實(shí)驗(yàn)結(jié)果如表3 所示，各模塊的去除均使模型的效果有所下降。本文模型基于RDN 密集殘差的特征提取模塊，在加入通道注意力機(jī)制的同時(shí)，使用MASPP 模塊代替網(wǎng)絡(luò)一開始的前兩個(gè)卷積層，增強(qiáng)了網(wǎng)絡(luò)學(xué)習(xí)不同規(guī)模組織淺層特征的能力，同時(shí)在上采樣操作后加入了CRM 模塊繼續(xù)優(yōu)化細(xì)節(jié)，細(xì)化了邊緣紋理的學(xué)習(xí)。在上采樣層動(dòng)態(tài)生成多組卷積核獲得更豐富的各通道信息。實(shí)驗(yàn)結(jié)果也證明了本文模型的所有改進(jìn)模塊均有效提高了縱軸方向上采樣圖像質(zhì)量，一定程度上縮小了層間距，從而提高了三維重建的質(zhì)量。

表3 測(cè)試集上的消融實(shí)驗(yàn)Tab.3 Ablation experimental on result test set

4 結(jié)語(yǔ)

本文針對(duì)腹部CT 三維重建問題提出了一種具有雙重?fù)p失的優(yōu)化學(xué)習(xí)縱軸超分辨率網(wǎng)絡(luò)，通過對(duì)冠狀位圖像的縱軸上采樣縮小了CT 體數(shù)據(jù)的層間距。本文方法使用動(dòng)態(tài)生成上采樣卷積核解決了實(shí)際應(yīng)用場(chǎng)景中單一模型難以上采樣多種縮放因子影像的問題。引入空間特征金字塔增強(qiáng)了淺層特征提取的感受野，使得網(wǎng)絡(luò)能夠更好地學(xué)習(xí)不同粗細(xì)血管、不同規(guī)模組織的細(xì)節(jié)特征。引入通道注意力機(jī)制加權(quán)學(xué)習(xí)了深層特征中高低頻信號(hào)的相互依賴；并在上采樣層后設(shè)置繼續(xù)細(xì)化學(xué)習(xí)的模塊，又引入了新的損失，這促使網(wǎng)絡(luò)輸出更接近于基準(zhǔn)圖的結(jié)果，從而提高了腹部CT 體數(shù)據(jù)重建可視化的效果。在后續(xù)的工作中，將繼續(xù)探討是否可以找到一種有效的方法能夠融合多幅冠狀位圖像序列之間信息進(jìn)行超分辨率重建，同時(shí)具備時(shí)效性。