楊翠云 侯鈞譯 曹怡亮 朱習(xí)軍 聞衛(wèi)軍

摘 要：相較于傳統(tǒng)的線掃成像，平面波成像由于其超快的成像速度被廣泛應(yīng)用，但其成像質(zhì)量較差，影響醫(yī)生對腫瘤以及血管疾病的精確診斷，現(xiàn)有技術(shù)雖然可以提高成像質(zhì)量，但會降低成像幀頻，無法滿足臨床醫(yī)學(xué)上超快成像的需求。針對上述問題，提出了一種基于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）的圖像重建方法：MFGAN（generative adversarial network with multiscales and feature extraction）。采用基于UNet的生成器，在編碼器中結(jié)合多尺度感受野提取不同層次的信息，在解碼器中提出了疊加采樣機(jī)制（fusionsampling mechanism，F(xiàn)SM），并結(jié)合交叉自注意力（crisscross selfattention，CCSA）分別提取局部和全局特征。在PICMUS 2016數(shù)據(jù)集上進(jìn)行訓(xùn)練，利用組合損失規(guī)范該模型的收斂方向，相較主流基于深度學(xué)習(xí)和波束合成的方法，在點(diǎn)目標(biāo)、囊腫目標(biāo)和體內(nèi)圖像中的重建效果均有明顯提升。綜上所述，MFGAN能夠解決平面波圖像病灶部位不清晰的問題，重建出高質(zhì)量的平面波圖像。

關(guān)鍵詞：平面波圖像；多尺度；疊加采樣機(jī)制；交叉自注意力

中圖分類號：TP391?? 文獻(xiàn)標(biāo)志碼：A?? 文章編號：1001-3695（2023）12-051-3841-07

doi：10.19734/j.issn.10013695.2023.06.0227

Reconstruction of planewave medical image based on feature scale

Abstract：Compared with traditional linescan imaging，planewave imaging is widely used due to its ultrafast speed.However，its poor imaging quality affects doctors accurate diagnosis of tumors and vascular diseases.The existing techniques can improve the imaging quality but reduce the imaging frame rate，which cannot meet the demand for ultrafast imaging in clinical medicine.To address the above problems，this paper proposed an image reconstruction method called generative adversarial network with multi scales and feature extraction （MFGAN）.Combined with multiscale perceptual fields in the encoder，it used a UNetbased generator to extract different levels of information.This paper proposed a fusionsampling mechanism （FSM） in the decoder and combined it with crosscross selfattention （CCSA） to extract local and global features.The MFGAN was trained on the PICMUS 2016 dataset and used the combined loss to normalize the convergence direction.This model significantly improved reconstruction results in point targets，cyst targets，and in vivo authentic images compared to mainstream methods based on deep learning and beam synthesis.In summary，the MFGAN model can solve the problem of unclear lesion sites in planewave images and reconstruct highquality planewave images.

Key words：planewave image；multiscale；fusionsampling mechanism；crosscross selfattention

近年來，超聲成像在醫(yī)學(xué)影像領(lǐng)域得到廣泛應(yīng)用，發(fā)展成為四大醫(yī)學(xué)影像技術(shù)之一［1］。傳統(tǒng)超聲成像每次都需要發(fā)射多束聚焦波，成像幀頻較低，無法滿足瞬態(tài)彈性成像［2］、高速多普勒血流測量［3］等技術(shù)對成像幀頻的要求。為此，平面波技術(shù)開始被廣泛應(yīng)用［4］。該技術(shù)一次發(fā)射即可得到完整的目標(biāo)區(qū)域，成像幀頻較高，但圖像質(zhì)量較差，影響其在醫(yī)學(xué)領(lǐng)域的實(shí)際應(yīng)用。相干平面波復(fù)合合成（coherent planewave compounding，CPWC）［5］技術(shù)提高了生成圖像的質(zhì)量，但復(fù)合過程會降低成像幀頻。因此，研究一種兼顧平面波成像質(zhì)量和幀頻的方法，對該技術(shù)在臨床醫(yī)學(xué)中的應(yīng)用具有重要意義。

1 相關(guān)工作

為克服平面波圖像質(zhì)量差的問題，研究人員引入波束合成方法。目前，基于延時(shí)疊加（delayandsum，DAS）［6］的波束合成方法被廣泛應(yīng)用，該方法采用預(yù)先定義好的加權(quán)系數(shù)，并沒有充分利用回波信息。在此基礎(chǔ)之上，充分利用回波信息優(yōu)化加權(quán)系數(shù)的自適應(yīng)波束合成算法逐漸發(fā)展起來。1969年，Capon［7］提出最小方差（minimum variance，MV）方法，在減小主瓣寬度的同時(shí)抑制旁瓣高度。在此基礎(chǔ)之上，Zhang等人［8］提出了多波束（multibeam MV，MBMV）方法，以提高環(huán)形陣列超聲成像的質(zhì)量。Nair等人［9］將主成分分析引入短間隔空間相干（short lag spatial coherence，SLSC）算法，并將lag和用于加權(quán)，提出了穩(wěn)健的RSLSC（robust SLSC）算法。上述方法雖然對生成圖像的分辨率和對比度有所提高，但仍面臨著計(jì)算量龐大及背景散斑的強(qiáng)度抑制等問題，在投入實(shí)際應(yīng)用時(shí)還將面臨諸多挑戰(zhàn)。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的興起［10］，很多學(xué)者開始利用深度學(xué)習(xí)的自適應(yīng)學(xué)習(xí)能力來獲得不同分辨率圖像之間的非線性映射關(guān)系，進(jìn)而得到清晰的醫(yī)學(xué)影像。如今用于超分辨率重建的網(wǎng)絡(luò)結(jié)構(gòu)主要有卷積神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)兩種。

Dong等人［11］首次在圖像的超分辨率重建問題中引入卷積神經(jīng)網(wǎng)絡(luò)，獲得了比基于插值方式更好的成像效果。之后，很多研究者試圖通過加深網(wǎng)絡(luò)模型來提高成像質(zhì)量，但過深的網(wǎng)絡(luò)結(jié)構(gòu)會帶來權(quán)重衰減、難以收斂、精度下降等問題。殘差神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，有效解決了上述問題。2020年Jiang等人［12］提出分層密集殘差網(wǎng)絡(luò)，實(shí)現(xiàn)了由粗到細(xì)的特征重建。為防止神經(jīng)網(wǎng)絡(luò)過度關(guān)注價(jià)值不高的特征信息，注意力機(jī)制被廣泛應(yīng)用。Wei等人［13］提出CDC模型，引入分而治之的注意力思想，實(shí)現(xiàn)圖像的分區(qū)域重建。Chen等人［14］提出多注意力增強(qiáng)網(wǎng)絡(luò)（multiattention augmented network，MAAN），將注意力增強(qiáng)模塊堆疊到深度殘差架構(gòu)中，充分利用多個表征階段的互補(bǔ)信息。雖然上述方法在重建圖像的峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（structural similarity，SSIM）方面都有所改善，但紋理細(xì)節(jié)模糊，視覺效果較差。

對抗神經(jīng)網(wǎng)絡(luò)的引入充分緩解了上述情況，2017年Ledig等人［15］首次將對抗網(wǎng)絡(luò)應(yīng)用到圖像的超分辨率重建領(lǐng)域，得到了更高質(zhì)量的生成圖像。Wang等人［16］提出增強(qiáng)生成對抗網(wǎng)絡(luò)（enhanced generative adversarial network，EGAN），在獲得多尺度特征的同時(shí)增強(qiáng)高頻信息。Jiang等人［17］將自注意力機(jī)制引入對抗網(wǎng)絡(luò)，不僅獲得更高的PSNR和SSIM值，且生成圖像具備較好的視覺效果。Wang等人［18］在重建中引入高階退化建模過程，使圖像紋理細(xì)節(jié)更加清晰。相對于前者，基于對抗神經(jīng)網(wǎng)絡(luò)的模型所獲圖像肉眼觀察效果更佳，更貼近于實(shí)際應(yīng)用的需求。

本文提出了一種基于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）［19］的端到端圖像重建方法。相較于波束合成方式，該方法在保證平面波成像高幀頻的同時(shí)，解決了成像區(qū)域受限，導(dǎo)致部分區(qū)域被遮掩，以及圖像邊緣模糊等問題，獲得了更清晰的圖像供醫(yī)生對囊腫等病灶作出精確診斷。具體來說，本文的主要貢獻(xiàn)如下：

a）提出用于平面波圖像重建的MFGAN，采用基于UNet的生成器和Patch判別器，在UNet的編碼器中引入多尺度模塊獲取圖像中不同頻率的信息，在解碼器的淺層加入交叉自注意力（crisscross selfattention，CCSA）提取全局特征，并將疊加采樣機(jī)制（fusionsampling mechanism，F(xiàn)SM）添加到解碼器深層，增強(qiáng)紋理信息。

b）在生成器的損失函數(shù)中引入L1_SSIM和感知損失，來規(guī)范該模型的收斂方向。

c）在PICMUS 2016數(shù)據(jù)集［20］上進(jìn)行實(shí)驗(yàn)，從各種圖像評價(jià)指標(biāo)和視覺效果上證明本文方法的有效性。

2 本文方法

本文提出MFGAN模型進(jìn)行平面波圖像重建，整體結(jié)構(gòu)如圖1所示，采用基于UNet的生成器和patch判別器，將單束平面波圖像作為生成器的輸入，75個波束合成的平面波圖像作為真實(shí)標(biāo)簽，生成器根據(jù)輸入圖像生成相應(yīng)的超分辨率圖像，判別器將生成圖像與真實(shí)標(biāo)簽進(jìn)行比較，判別真假。通過生成器與判別器的相互博弈，促使生成器生成更高質(zhì)量的圖像。

2.1 UNet生成器

如圖2所示，在UNet生成器中將ReLU替換為LReLU，減輕了ReLU的稀疏性，將BN替換為IN來保持圖像間的獨(dú)立性。在UNet編碼器中加入多尺度模塊，提取低分辨率圖像中不同頻率的信息，在解碼器的深層和淺層分別引入FSM和CCSA，增強(qiáng)圖像的局部特征并融合全局信息。

2.1.1 多尺度模塊

在單束平面波圖像中，點(diǎn)目標(biāo)周圍存在大量散斑，導(dǎo)致在重建過程中點(diǎn)目標(biāo)邊界難以確定。受文獻(xiàn)［21］中多維特征提取的啟發(fā)，本文設(shè)計(jì)了多尺度模塊，通過不同尺度的卷積操作捕獲各個維度的散斑特征，緩解散斑對圖像重建的干擾。利用較小的卷積核提取圖像的高頻信息，較大的卷積核提取圖像的低頻信息，并在提取低頻特征時(shí)結(jié)合上一層提取的高頻細(xì)節(jié)，從而生成細(xì)節(jié)豐富的低頻特征圖。最終將各層的高低頻信息拼接后輸入到編碼器中，多尺度模塊的結(jié)構(gòu)如圖3所示。

將圖像經(jīng)過D0層處理后，分別輸入D1、D2、D3、D4層，在Dn（n=2，3，4）層提取特征時(shí)會參考Dn-1層提取的高頻信息，最后將各層提取的特征圖拼接到一起。多尺度模塊的主要參數(shù)如表1所示，其中卷積參數(shù)依次為kernel size、stride、padding，通道數(shù)分別表示輸入通道數(shù)和輸出通道數(shù)。

2.1.2 疊加采樣機(jī)制

針對單束平面波圖像對比度低、信噪比低的問題，受文獻(xiàn)［22］中重建模型的啟發(fā)，在UNet生成器的深層對局部特征進(jìn)行增強(qiáng)，但傳統(tǒng)的局部特征提取方式只關(guān)注高頻信息，沒有利用低頻信息，受注意力門控［23］的影響，本文提出了FSM，在增強(qiáng)解碼層高頻信息的同時(shí)，抑制跳躍連接傳遞的編碼層的不相關(guān)區(qū)域，更加有助于重建目標(biāo)的突出表示。FSM大致分為兩部分，首先，疊加高維和低維特征圖，利用高維特征對編碼層的低維特征圖生成軟區(qū)域建議，達(dá)到抑制低維特征圖不相關(guān)區(qū)域特征激活的目的。其次，設(shè)計(jì)了高頻特征強(qiáng)化操作，通過采樣實(shí)現(xiàn)局部特征增強(qiáng)。將疊加和采樣相結(jié)合，不僅突出了對特定任務(wù)有效的相關(guān)特征，還避免了單純的卷積操作對單個像素點(diǎn)的計(jì)算效果造成影響。

如圖4所示，在疊加階段，將解碼層的特征圖G∈Euclid Math TwoRAph×w×c和編碼層的特征圖X∈Euclid Math TwoRAph×w×c分別經(jīng)過1×1的卷積操作得到G′∈Euclid Math TwoRAph×w×c2和X′∈Euclid Math TwoRAph×w×c2，其中， h、w、c分別表示特征圖的長度、寬度和通道數(shù)，將G′和X′相加得到E∈Euclid Math TwoRAph×w×c2，如圖中灰色箭頭所示。對E進(jìn)行ReLU激活、1×1的卷積和sigmoid操作得到權(quán)重圖A1，如圖中黑色箭頭所示。將A1施加到X后得到X″∈Euclid Math TwoRAph×w×c，拼接X″和G得到Z∈Euclid Math TwoRAph×w×2c，如圖中藍(lán)色箭頭所示（參見電子版）。在A1中G和X未對齊的像素點(diǎn)權(quán)重相對變小，因此將A1施加于編碼層的X后可以實(shí)現(xiàn)對不相關(guān)區(qū)域的抑制，進(jìn)而在編碼層突出與高層特征相關(guān)的區(qū)域。

信息的權(quán)重圖A2，如圖中黑色箭頭所示。將Z與A2相乘后的結(jié)果再與Z相加，如圖中藍(lán)色箭頭所示（參見電子版），實(shí)現(xiàn)對原特征圖高頻部分的增強(qiáng)，進(jìn)而突出單束平面波圖像的局部特征，有利于點(diǎn)目標(biāo)和囊腫目標(biāo)的重建。

2.1.3 交叉自注意力

在目前的圖像重建任務(wù)中，大多通過添加自注意力來實(shí)現(xiàn)整體結(jié)構(gòu)的獲取，該方式雖然能較好地解決單束平面波圖像亮度不均以及全局信息難以掌控等問題，但本研究處理的圖像為灰度圖，數(shù)據(jù)分布較為單一，利用傳統(tǒng)的自注意力會出現(xiàn)較多的低頻冗余信息，影響對目標(biāo)區(qū)域的突出表示。參考文獻(xiàn)［24］中全局信息的融合方式，本研究引入了交叉自注意力，通過兩次交叉操作建立起任一像素點(diǎn)與其余位置像素點(diǎn)之間的聯(lián)系，實(shí)現(xiàn)對全局信息的獲取。與傳統(tǒng)自注意力相比，交叉自注意力不僅可以減小計(jì)算量，還能夠減少低頻信息對目標(biāo)區(qū)域的干擾。

具體來說，如圖6所示，對特征圖X∈Euclid Math TwoRAph×w×c進(jìn)行三次1×1的卷積操作，其中， h、w、c分別代表長度、寬度和通道數(shù)，生成Q、K和V，其中{Q，K}∈Euclid Math TwoRAph×w×c′，V∈Euclid Math TwoRAph×w×c，c′為通道數(shù)，從Q的任一位置μ處選取通道方向上的向量Qμ∈Rc′，從K中取以點(diǎn)μ為中心交叉方向上的所有向量，組成集合Ωμ∈R（h+w-1）×c′，隨后將Qμ與Ωμ相乘，對Q中的像素點(diǎn)依次進(jìn)行該操作，即可得到F∈Euclid Math TwoRAph×w×（h+w-1），如圖中灰色箭頭所示。在通道方向?qū)進(jìn)行softmax歸一化處理，可得到融合了交叉方向像素點(diǎn)信息的權(quán)重圖A1，如圖中黑色箭頭所示。在A1的位置μ處得到通道維度上的向量A1μ∈Euclid Math TwoRAph+w-1，從V的任一通道上選擇以μ為中心交叉方向上的像素點(diǎn)組成Viμ∈Euclid Math TwoRAph+w-1，其中i（i=1，2，…，c）表示在V中的通道數(shù)，將A1μ依次與Viμ相乘，可得Iμ∈Euclid Math TwoRApc，將Iμ與X在μ處的向量Jμ∈Euclid Math TwoRApc相加得到Zμ∈Euclid Math TwoRApc，如圖中藍(lán)色箭頭所示（參見電子版）。依次遍歷X中的像素點(diǎn)，可在X的每個像素點(diǎn)處引入交叉方向像素點(diǎn)的信息。再次重復(fù)上述操作，得到特征圖Z′，在Z′中建立了任意像素點(diǎn)與其余位置像素點(diǎn)的聯(lián)系，從而實(shí)現(xiàn)全局信息的獲取。

2.2 損失函數(shù)

本研究在原對抗損失的基礎(chǔ)之上，引入L1_SSIM和感知損失來促使生成器生成目標(biāo)清晰且符合視覺效果的圖像，如式（1）所示。

Loss=LossG+LossL_S+LossP（1）

2.2.1 對抗損失函數(shù)

本研究保留了GAN中的原始對抗損失，如式（2）所示，該損失本質(zhì)上是一種二分類交叉熵?fù)p失。通過該損失函數(shù)建立起生成器與判別器之間的對抗關(guān)系，促使生成器更加準(zhǔn)確地?cái)M合真實(shí)數(shù)據(jù)的分布。

LossG（X，Y，G，D）=D（Y）·log（σ（D（G（X））））+

（1-D（Y））·log（1-σ（D（G（X））））（2）

其中：X表示單束平面波圖像，Y表示75束波下CPWC合成的真實(shí)圖像，G表示生成器，D表示判別器。

2.2.2 L1_SSIM損失函數(shù)

L1損失從像素級別衡量兩張圖片的相似程度，如式（3）所示，可以較好地保留圖像的灰度信息，但L1損失受單個像素點(diǎn)的影響較大，對噪聲較敏感，且無法準(zhǔn)確反映圖像的高頻信息。如式（4）所示，多層結(jié)構(gòu)相似性（multiscale structural similarity，MSSSIM）這一指標(biāo)從亮度、對比度和結(jié)構(gòu)等多個角度衡量兩幅圖像的相似程度，側(cè)重于描述邊緣和細(xì)節(jié)信息，但易造成灰度值的偏差。如式（5）所示，本研究將L1損失和MSSSIM損失相結(jié)合，可以同時(shí)兼顧生成圖像的灰度值和結(jié)構(gòu)信息。

其中：α表示MSSSIM的占比因子；Gm表示高斯系數(shù)；LM（G（X），Y）、Cj（G（X），Y）、Sj（G（X），Y）分別表示亮度對比因子、對比度因子和結(jié)構(gòu)對比因子；M表示所劃分窗口的大??；ηj表示j大小下的尺度參數(shù)。

2.2.3 感知損失函數(shù)

本文在GAN模型中引入感知損失，上文所述的損失函數(shù)主要用于對比生成圖像與真實(shí)圖像本身的差異，則感知損失用于計(jì)算兩幅圖像抽象特征之間的差異。具體來說，本文將生成圖像和真實(shí)圖像分別輸入到VGG網(wǎng)絡(luò)中進(jìn)行不同層次的特征提取，計(jì)算各層特征圖之間的差異，促使兩幅圖像包含相似的高層語義信息。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本研究選用PICMUS 2016數(shù)據(jù)集，共360組圖片，包含由Field Ⅱ生成的120組仿真圖像和使用Verasonics Vantage 256研究掃描儀和L11探頭得到的120組實(shí)驗(yàn)圖像以及120組人體頸動脈圖像。其中仿真和實(shí)驗(yàn)圖像分別包含60組點(diǎn)目標(biāo)圖像和60組囊腫目標(biāo)圖像，人體頸動脈圖像分為60組縱切面圖像和60組橫切面圖像，每組圖片由一張單束平面波圖像和一張75束平面波圖像組成。對上述數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)操作后得到1 350組圖片，按照8：2劃分訓(xùn)練集和測試集。

3.2 實(shí)驗(yàn)參數(shù)與評價(jià)指標(biāo)

本文模型在GTX 1080 Ti的GPU上進(jìn)行訓(xùn)練，具體參數(shù)如表2所示。

為精確衡量各類圖像的重建效果，本研究針對每類圖像的特點(diǎn)，選擇了不同的衡量指標(biāo)。用半峰全寬FWHM（full width at half maxima）和對比度CR（contrast ratio）分別衡量點(diǎn)目標(biāo)和囊腫目標(biāo)的重建效果，用PSNR和SSIM衡量體內(nèi)真實(shí)圖像的重建效果。

半峰全寬：表示點(diǎn)擴(kuò)散函數(shù)上-6 dB處的主瓣波束寬度。FWHM值越小，主瓣寬度越小，分辨率越高。

對比度：表示目標(biāo)區(qū)域與背景區(qū)域的區(qū)分程度。CR值越大，目標(biāo)區(qū)域越清晰。

峰值信噪比：用于衡量圖像的重建程度。PSNR值越大，重建圖像質(zhì)量越高。

3.3 對比實(shí)驗(yàn)

為證明MFGAN的有效性，本研究設(shè)置了兩組對比實(shí)驗(yàn)，將該模型與應(yīng)用較為廣泛的深度學(xué)習(xí)方法和波束合成方法進(jìn)行對比，其中深度學(xué)習(xí)方法包括HRGAN［25］、DiVANet［26］、DCGAN［27］、ResGAN［28］和AUGAN［29］，波束合成方法包括CPWC［5］、GCF［30］、ABFMV［31］和CF［32］。

3.3.1 深度學(xué)習(xí)方法對比結(jié)果

如表3所示，在各類圖像的重建中，MFGAN均有較好的表現(xiàn)。具體來說，在點(diǎn)目標(biāo)的重建中，通過多尺度模塊分離高低頻信息，并與FSM和CCSA相結(jié)合，更加準(zhǔn)確地確定點(diǎn)目標(biāo)邊界，減少散斑干擾，使仿真和實(shí)驗(yàn)點(diǎn)目標(biāo)的FWHM相較于ResGAN分別降低了3.98%和2.38%。在囊腫目標(biāo)圖像中，通過在解碼器的深層和淺層分別引入FSM和CCSA，使囊腫目標(biāo)邊緣清晰的同時(shí)準(zhǔn)確建立起圖像的整體結(jié)構(gòu)，所生成仿真和實(shí)驗(yàn)?zāi)夷[目標(biāo)的CR分別為36.555 5 dB和26.235 3 dB，優(yōu)于大多數(shù)主流的深度學(xué)習(xí)方法。在體內(nèi)頸動脈圖像的重建中，所生成圖像的PSNR為34.407 3 dB，相較于DiVANet提升了36.92%，SSIM為0.973 5，遠(yuǎn)高于其余幾種深度學(xué)習(xí)模型。該現(xiàn)象除了得益于多尺度模塊的引入增強(qiáng)了CCSA對低頻信息的精準(zhǔn)捕獲以外，L1_SSIM損失也對生成圖像與真實(shí)圖像的結(jié)構(gòu)相似性起到了正向引導(dǎo)作用。

如圖7所示，MFGAN模型在各類圖像中均能重建出較理想的圖像效果。在點(diǎn)目標(biāo)的重建中，相較ResGAN模型，MFGAN通過CCSA對多尺度模塊分離出的低頻信息進(jìn)行強(qiáng)化處理，實(shí)現(xiàn)被遮蔽區(qū)域高質(zhì)量的重建，與DCGAN和HRGAN相比，通過多尺度模塊對高低頻信息進(jìn)行分離，更加精確地重建出點(diǎn)目標(biāo)邊界，有效去除點(diǎn)目標(biāo)周圍的散斑，且該模型在解碼器中添加了FSM來增強(qiáng)局部特征，使點(diǎn)目標(biāo)更加突出。針對囊腫目標(biāo)，MFGAN將CCSA和FSM相結(jié)合，在提取全局信息之前對局部特征進(jìn)行增強(qiáng)，克服了SRGAN在圖像被遮蔽部分重建效果差的缺陷，解決了DCGAN和HRGAN所生成圖像噪聲嚴(yán)重和細(xì)節(jié)模糊的問題，相較DiVANet，在保證生成圖像結(jié)構(gòu)完整的同時(shí)顯著增強(qiáng)囊腫目標(biāo)。針對體內(nèi)真實(shí)圖像，在MFGAN模型中將多尺度模塊與CCSA相結(jié)合，并引入L1_SSIM損失，相較其他模型能夠更加充分地利用低頻信息，精確建立起圖像的整體結(jié)構(gòu)，提高頸動脈圖像的成像效果。

3.3.2 非深度學(xué)習(xí)方法對比結(jié)果

為進(jìn)一步證實(shí)本文方法的實(shí)用價(jià)值，將該方法與CPWC［5］、GCF［30］、ABFMV［31］和CF［32］等臨床醫(yī)學(xué)上廣泛應(yīng)用的波束合成方法進(jìn)行對比。針對點(diǎn)目標(biāo)，選用FWHM來衡量生成圖像的質(zhì)量；針對囊腫目標(biāo)，選用CR來衡量重建效果；針對體內(nèi)真實(shí)圖像，選擇PSNR作為衡量指標(biāo)。對比結(jié)果如表4所示。

本文方法0.280 0/0.472 336.555 5/26.235 334.407 3? 由表4可以看出，該模型與主流的波束合成方法相比取得了較優(yōu)異的重建效果。針對點(diǎn)目標(biāo)，仿真圖像的FWHM較CF降低了0.012 0 mm；在囊腫目標(biāo)的重建中，仿真和實(shí)驗(yàn)?zāi)夷[目標(biāo)的CR較ABFMV分別提升了1.52%和1.96%；針對體內(nèi)真實(shí)圖像，能夠保持較高的PSNR，明顯優(yōu)于ABFMV方法。

3.3.3 模型體量對比

如表5所示，與目前應(yīng)用較為廣泛的深度學(xué)習(xí)方法相比，MFGAN在模型體量上具有一定優(yōu)勢，相較于HRGAN和DiVANet模型，盡管其參數(shù)量較大但計(jì)算量較小，總體時(shí)間效率較高。

3.4 消融實(shí)驗(yàn)

為從實(shí)驗(yàn)角度證實(shí)各模塊的有效性，本文對該模型的生成器和損失函數(shù)進(jìn)行了消融實(shí)驗(yàn)。在生成器部分對多尺度模塊、CCSA以及FSM進(jìn)行了消融實(shí)驗(yàn)。在損失函數(shù)部分針對L1_SSIM和感知損失進(jìn)行了消融實(shí)驗(yàn)。從視覺效果和評價(jià)指標(biāo)的角度對各類圖像的重建結(jié)果進(jìn)行了分析。

3.4.1 生成器消融實(shí)驗(yàn)

通過生成器的消融實(shí)驗(yàn)證實(shí)了對UNet改進(jìn)的重要性，實(shí)驗(yàn)結(jié)果如表6所示。在點(diǎn)目標(biāo)的重建中，多尺度模塊的加入使仿真點(diǎn)目標(biāo)的FWHM降低了0.013 6 mm，F(xiàn)SM的加入使實(shí)驗(yàn)點(diǎn)目標(biāo)的FWHM降低了0.028 1 mm，這是因?yàn)樵诰幋a器中對高低頻信息進(jìn)行分離，并結(jié)合FSM，能夠?qū)Ψ蛛x出的高頻信息實(shí)現(xiàn)更加充分的利用。在囊腫目標(biāo)的重建中，加入CCSA能夠更好地獲取全局特征，從而準(zhǔn)確地重建出圖像的背景區(qū)域，使仿真和實(shí)驗(yàn)?zāi)夷[目標(biāo)的CR分別提升了31.48%和6.06%。在體內(nèi)真實(shí)圖像的重建中，加入多尺度模塊，頸動脈圖像的PSNR提升了4.594 6 dB，這是因?yàn)槎喑叨饶K對高低頻信息的分離，提升了CCSA對全局信息的提取效果。

如圖8所示，在點(diǎn)目標(biāo)的重建中，加入多尺度模塊后仿真點(diǎn)目標(biāo)明顯增強(qiáng)，這是因?yàn)楦叩皖l信息的分離有助于仿真點(diǎn)目標(biāo)邊界的確定。由于實(shí)驗(yàn)點(diǎn)目標(biāo)圖像背景區(qū)域灰度值的分布較為復(fù)雜，所以加入CCSA有利于掌握背景區(qū)域灰度值的準(zhǔn)確分布，避免生成圖像的背景區(qū)域過暗。在囊腫目標(biāo)的重建中，加入CCSA同樣會提升背景區(qū)域的重建效果，由于FSM能夠?qū)δ繕?biāo)區(qū)域進(jìn)行增強(qiáng)，所以加入FSM后，實(shí)驗(yàn)?zāi)夷[目標(biāo)更加清晰。在體內(nèi)真實(shí)圖像的重建中，加入CCSA后，能夠重建出整體結(jié)構(gòu)更加完整的頸動脈圖像。

3.4.2 損失函數(shù)消融實(shí)驗(yàn)

為驗(yàn)證引入L1_SSIM和感知損失的有效性，本文對損失函數(shù)進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表7所示。僅保留傳統(tǒng)的對抗損失，在點(diǎn)目標(biāo)和體內(nèi)目標(biāo)圖像中各項(xiàng)指標(biāo)均較差，在此基礎(chǔ)之上引入感知損失，各類圖像的實(shí)驗(yàn)指標(biāo)會有所下降，這主要是僅憑對抗損失不能建立起生成圖像的真實(shí)結(jié)構(gòu)，在此情況下，感知損失無法進(jìn)行有效的特征提取，進(jìn)而導(dǎo)致收斂方向出現(xiàn)偏差。將L1_SSIM與對抗損失相結(jié)合，各項(xiàng)指標(biāo)均有所好轉(zhuǎn)，L1_SSIM損失的引入促使生成圖像與真實(shí)圖像保持較高的結(jié)構(gòu)相似性。同時(shí)保留L1_SSIM、感知損失和對抗損失可以進(jìn)一步提升各項(xiàng)實(shí)驗(yàn)指標(biāo)，L1_SSIM損失在保證生成圖像灰度值的同時(shí)構(gòu)建出清晰的圖像結(jié)構(gòu)，在此基礎(chǔ)之上可以充分發(fā)揮感知損失的作用，促使生成圖像與真實(shí)圖像包含相近的高層語義信息。

如圖9所示，僅保留原始的對抗損失，生成圖像無法還原出真實(shí)的整體結(jié)構(gòu)。利用對抗損失與L1_SSIM損失能夠重建出圖像的紋理細(xì)節(jié)。將感知、對抗和L1_SSIM損失相結(jié)合，可以生成紋理更加清晰、對比度更高的平面波圖像。

4 結(jié)束語

本文提出了一種名為MFGAN的端對端平面波圖像重建網(wǎng)絡(luò)，相較于波束合成，該方法在提高圖像質(zhì)量的同時(shí)保證了平面波成像的高幀頻。該模型采用基于UNet的生成器和Patch判別器，在UNet的編碼器中引入多尺度模塊，提取單束平面波圖像中不同頻率的信息，在解碼器中加入CCSA和FSM，融合全局信息的同時(shí)加強(qiáng)局部特征并抑制不相關(guān)區(qū)域。在訓(xùn)練過程中，引入L1_SSIM和感知損失來促使該模型向最優(yōu)解的方向收斂。

實(shí)驗(yàn)表明，本文方法在仿真、實(shí)驗(yàn)和體內(nèi)真實(shí)圖像中均有較好表現(xiàn)。在仿真圖像中點(diǎn)目標(biāo)的FWHM為0.280 0 mm，囊腫目標(biāo)的CR為36.555 5 dB。在實(shí)驗(yàn)圖像中點(diǎn)目標(biāo)的FWHM為0.472 3 mm，囊腫目標(biāo)的CR為26.235 3 dB。在體內(nèi)頸動脈圖像的重建中，該模型所生成圖像的PSNR和SSIM分別為34.407 3 dB和0.973 5。本文方法重建出的平面波圖像具有較好的視覺效果，能夠幫助醫(yī)生對病灶部位作出精確診斷。然而，與目前廣泛使用的波束合成方法相比，該模型在點(diǎn)目標(biāo)上的重建能力仍然有限，考慮到是因?yàn)樯疃葘W(xué)習(xí)方法難以利用聲波信息，所以如何在該模型中充分利用波束相關(guān)信息將成為未來研究的重點(diǎn)方向。

參考文獻(xiàn)：

［1］Avola D，Cinque L，F(xiàn)agioli A，et al.Ultrasound medical imaging techniques：a survey［J］.ACM Computing Surveys，2021，54（3）：138.

［2］Zhang Xinrong，Wong G L H，Wong V W S.Application of transient elastography in nonalcoholic fatty liver disease［J］.Clinical and Molecular Hepatology，2020，26（2）：128.

［3］Van Campen C L M C，Verheugt F W A，Rowe P C，et al.Cerebral blood flow is reduced in ME/CFS during headup tilt testing even in the absence of hypotension or tachycardia：a quantitative，controlled study using Doppler echography［J］.Clinical Neurophysiology Practice，2020，5：5058.

［4］Zheng Chichao，Hu Peng，Zhao Wei.Ultrasound imaging based on coherent plane wave compounding weighted by sign coherence factor［J］.Acta Electonica Sinica，2018，46（1）：31.

［5］Hashemseresht M，Afrakhteh S，Behnam H.Highresolution and highcontrast ultrafast ultrasound imaging using coherent plane wave adaptive compounding［J］.Biomedical Signal Processing and Control，2022，73：103446.

［6］Sohn H Y，Kang J，Cho J，et al.Timesharing bilinear delay interpolation for ultrasound dynamic receive beamformer［J］.Electronics Letters，2011，47（2）：8991.

［7］Capon J.Highresolution frequencywavenumber spectrum analysis［J］.Proceedings of the IEEE，1969，57（8）：14081418.

［8］Zhang Hao，Zhu Yunhao，Zhou Bowen，et al.Multibeam minimum variance beamforming for ring array ultrasound imaging［J］.Physics in Medicine and Biology，2023，68（13）：37295438.

［9］Nair A A，Tran T D，Bell M A L.Robust shortlag spatial coherence imaging［J］.IEEE Trans on Ultrasonics，F(xiàn)erroelectrics，and Frequency Control，2017，65（3）：366377.

［10］張軍陽，王慧麗，郭陽，等.深度學(xué)習(xí)相關(guān)研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2018，35（7）：19211928，1936.（Zhang Junyang，Wang Huili，Guo Yang，et al.A review of deep learning related research［J］.Application Research of Computers，2018，35（7）：19211928，1936.）

［11］Dong Chao，Loy C C，He Kaiming，et al.Learning a deep convolutional network for image superresolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2014：184199.

［12］Jiang Kui，Wang Zhongyuan，Yi Peng，et al.Hierarchical dense recursive network for image superresolution［J］.Pattern Recognition，2020，107：107475.

［13］Wei Pengxu，Xie Ziwei，Lu Hannan，et al.Component divideandconquer for realworld image superresolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020：101117.

［14］Chen Rui，Zhang Heng，Liu Jixin.Multiattention augmented network for single image superresolution［J］.Pattern Recognition，2022，122：108349.

［15］Ledig C，Theis L，Huszár F，et al.Photorealistic single image superresolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：46814690.

［16］Wang Qiang，Zhou Hongbin，Li Guangyuan，et al.Single Image superresolution method based on an improved adversarial generation network［J］.Applied Sciences，2022，12（12）：6067.

［17］Jiang Mingfeng，Zhi Minghao，Wei Liying，et al.FAGAN：fused attentive generative adversarial networks for MRI image superresolution［J］.Computerized Medical Imaging and Graphics，2021，92：101969.

［18］Wang Xintao，Xie Liangbin，Dong Chao，et al.RealESRGAN：training realworld blind superresolution with pure synthetic data［C］//Proc of IEEE/CVF International Conference on Computer Vision.2021：19051914.

［19］張彬，周粵川，張敏，等.生成對抗網(wǎng)絡(luò)改進(jìn)角度與應(yīng)用研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2023，40（3）：649-658.（Zhang Bin，Zhou Echuan，Zhang Min，et al.A review of research on improved perspectives and applications of generative adversarial networks［J］.Application Research of Computers，2023，40（3）：649-658.）

［20］Liebgott H，RodriguezMolares A，Cervenansky F，et al.Planewave imaging challenge in medical ultrasound ［C］//Proc of IEEE International Ultrasonics Symposium.2016：14.

［21］Lyu Yuchao，Xu Yinghao，Jiang Xi，et al.AMSPAN：breast ultrasound image segmentation model combining attention mechanism and multiscale features［J］.Biomedical Signal Processing and Control，2023，81：104425.

［22］Tang Jiahua，Zou Bao，Li Chang，et al.Planewave image reconstruction via generative adversarial network and attention mechanism［J］.IEEE Trans on Instrumentation and Measurement，2021，70：115.

［23］Oktay O，Schlemper J，F(xiàn)olgoc L L， et al.Attention UNet：learning where to look for the pancreas［EB/OL］.（2018）.https：//arxiv.org/abs/1804.03999.

［24］Huang Zilong，Wang Xinggang，Huang Lichao，et al.CCNET：crisscross attention for semantic segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：603612.

［25］Zhang Xi，Li Jing，He Qiong，et al.Highquality reconstruction of planewave imaging using generative adversarial network［C］//Proc of IEEE International Ultrasonics Symposium.Piscataway，NJ：IEEE Press，2018：14.

［26］Behjati P，Rodriguez P，F(xiàn)ernández C，et al.Single image superresolution based on directional variance attention network［J］.Pattern Recognition，2023，133：108997.

［27］Radford A，Metz L，Chintala S.Unsupervised representation learning with deep convolutional generative adversarial networks［EB/OL］.（2015）.https：//arxiv.org/abs/ 1511.06434.

［28］Gan Ling，Zhang Kai.Image superresolution reconstruction based on deep residual network［C］//Proc of IEEE International Conference on Artificial Intelligence and Computer Applications.Piscataway，NJ：IEEE Press，2020：359364.

［29］Tang Jiahua，Zou Bao，Li Chang，et al.Planewave image reconstruction via generative adversarial network and attention mechanism［J］.IEEE Trans on Instrumentation and Measurement，2021，70：115.

［30］Qi Yanxing，Wang Yuanyuan，Yu Jinhua，et al.2D minimum variance based plane wave compounding with generalized coherence factor in ultrafast ultrasound imaging［J］.Sensors，2018，18（12）：4099.

［31］Wang Wenping，He Qiong，Zhang Ziyou，et al.Adaptive beamforming based on minimum variance （ABFMV） using deep neural network for ultrafast ultrasound imaging［J］.Ultrasonics，2022，126：106823.

［32］Guo Wei，Wang Yuanyuan，Yu Jinhua.Ultrasound harmonic enhanced imaging using eigenspacebased coherence factor［J］.Ultrasonics，2016，72：106116.