李垣濤，謝忠文，彭虎

(合肥工業(yè)大學(xué) 生物醫(yī)學(xué)工程系，合肥 230009)

1 引 言

超聲成像因其成本低、便攜、成像快，且無(wú)電離輻射，在臨床中應(yīng)用廣泛。超聲成像廣泛采用聚焦線(xiàn)掃描的發(fā)射方式。聚焦波通過(guò)對(duì)換能器陣列中的每個(gè)陣元施以不同的延時(shí)，來(lái)實(shí)現(xiàn)聲波的聚焦，對(duì)目標(biāo)區(qū)域連續(xù)發(fā)射等間距的超聲波束(即掃描線(xiàn))，并借助接收到的反向散射回波數(shù)據(jù)，來(lái)重建掃描區(qū)域的圖像。因此，掃描時(shí)間隨發(fā)射的掃描線(xiàn)數(shù)量和聲波傳輸時(shí)間而線(xiàn)性增加。

在心臟超聲應(yīng)用中，高時(shí)間分辨率對(duì)于檢查心臟在一個(gè)完整心動(dòng)周期中的實(shí)時(shí)情況至關(guān)重要[1]。Zahnd等[2]證明了頸動(dòng)脈壁的運(yùn)動(dòng)情況可以作為診斷冠狀動(dòng)脈疾病的有效指標(biāo)，如果時(shí)間分辨率足夠高，則可以更精確地觀察到此運(yùn)動(dòng)。為能在以上場(chǎng)景下提高超聲成像的時(shí)間分辨率和成像幀率，Wei等[3]提出了一種基于非衍射波的高幀率超聲成像系統(tǒng)，對(duì)于臨床上廣泛使用的超聲聚焦線(xiàn)掃描來(lái)說(shuō)，需要嘗試降低掃描時(shí)間?？偟膾呙钑r(shí)間隨發(fā)射的掃描線(xiàn)數(shù)量和聲波傳輸時(shí)間而線(xiàn)性增加，聲波的傳輸時(shí)間取決于聲速以及所需的成像深度，這些因素往往由實(shí)際環(huán)境決定，無(wú)法做到人工優(yōu)化。因此，比較直觀的做法是減少發(fā)射次數(shù)，用更少的掃描線(xiàn)來(lái)重建超聲圖像以提高成像幀率。但在這樣降采樣后的數(shù)據(jù)上使用傳統(tǒng)的波束成形技術(shù)會(huì)導(dǎo)致圖像的橫向分辨率顯著降低，使圖像質(zhì)量明顯下滑[4]。

針對(duì)上述問(wèn)題，本研究提出了基于深度學(xué)習(xí)的圖像重建方法來(lái)取代傳統(tǒng)的波束成形技術(shù)。近年來(lái)，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法在分類(lèi)[5]、圖像分割[6]、圖像去噪[7]和語(yǔ)音識(shí)別[8]問(wèn)題上取得了許多成果。在超聲領(lǐng)域，許多學(xué)者也試著將深度學(xué)習(xí)方法引入到超聲圖像的重建。Allman等[9]提出一種深度學(xué)習(xí)方法來(lái)識(shí)別和去除超聲通道數(shù)據(jù)中的反射偽像；Luchies等[10]在頻域用一個(gè)全連接的網(wǎng)絡(luò)來(lái)抑制超聲信道數(shù)據(jù)中的離軸散射，將深度學(xué)習(xí)方法應(yīng)用于超聲圖像重建。Nair等[11]提出的方法可以不經(jīng)過(guò)波束成形，直接由原始通道數(shù)據(jù)分割出病變區(qū)域。Luijten等[12]使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)自適應(yīng)加權(quán)系數(shù)，來(lái)取代傳統(tǒng)的最小方差(minimum variance，MV)波束成形算法，大大降低了成像算法時(shí)間復(fù)雜度。Gasse等[13]和Zhang等[14]分別使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和生成對(duì)抗網(wǎng)絡(luò)(GAN)能由少量平面波重建出75次平面波發(fā)射才能得到的高質(zhì)量圖像。Lu等[15]使用一種特殊的空洞卷積核，以一種無(wú)監(jiān)督的方式實(shí)現(xiàn)了低分辨率超聲圖像到高分辨率圖像的重建。Goudarzi等[16]研究了從單聚焦圖像到多聚焦圖像的重建，為在保證圖像質(zhì)量的情況下提高成像幀率提供了新思路。Yoon等[17]對(duì)原始射頻(radio-frequency，RF)數(shù)據(jù)做降采樣處理，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計(jì)了一種方案對(duì)降采樣的數(shù)據(jù)進(jìn)行插值，減輕了硬件處理的負(fù)擔(dān)，為便攜式超聲系統(tǒng)的應(yīng)用提供了一種可行方案。Khan等[18]對(duì)延時(shí)對(duì)齊后的RF接收通道數(shù)據(jù)做降采樣，由神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)得到逼近于全采樣的圖像質(zhì)量。事實(shí)上，由于每個(gè)接收通道都包含了生成一副超聲圖像的完備信息，由降采樣的接收通道數(shù)據(jù)來(lái)恢復(fù)出原圖像僅通過(guò)相對(duì)簡(jiǎn)單的CNN架構(gòu)即可實(shí)現(xiàn)；并且對(duì)接收通道做降采樣也僅僅減輕了硬件處理大數(shù)據(jù)量的壓力，而無(wú)法有效地減少掃描時(shí)間，提高成像幀率。如果能從發(fā)射通道對(duì)數(shù)據(jù)做降采樣，就能實(shí)現(xiàn)降低數(shù)據(jù)量的同時(shí)提高成像幀率，但是，該方法輸入數(shù)據(jù)的信息將十分稀疏，依據(jù)文獻(xiàn)[18]中的MatConvNet已無(wú)法很好地從中習(xí)得原圖像的映射，因此，需要更有效的方法來(lái)解決該問(wèn)題。

在前人研究的基礎(chǔ)上，本研究使用Unet輔以并行注意力機(jī)制(Dual Attention Module)[19]來(lái)更有效地整合全局的圖像信息，以提高重建圖像的質(zhì)量。網(wǎng)絡(luò)經(jīng)訓(xùn)練后，可成功由降采樣后的發(fā)射通道數(shù)據(jù)恢復(fù)出高質(zhì)量的超聲圖像。

2 遠(yuǎn)聚焦波成像原理

本研究重建數(shù)據(jù)來(lái)源于遠(yuǎn)聚焦像素(far-focused pixel-based，F(xiàn)PB)成像算法。Kim等[20]提出將聚焦點(diǎn)設(shè)在成像區(qū)域外，每次聚焦發(fā)射對(duì)一個(gè)區(qū)域進(jìn)行成像而非一條掃描線(xiàn)，通過(guò)將多次發(fā)射得到的多個(gè)區(qū)域圖像復(fù)合，得到質(zhì)量更優(yōu)的圖像，這種將焦點(diǎn)設(shè)在遠(yuǎn)端的成像方式稱(chēng)為FPB成像[21]。其具體成像過(guò)程見(jiàn)圖1。

圖1 遠(yuǎn)聚焦波成像原理圖

(1)

式中c代表超聲波在人體組織中的傳播速度，xm表示第m個(gè)陣元的橫向坐標(biāo)。因此，sm,n(p)在第n次發(fā)射成像區(qū)域的θn范圍內(nèi)的值可計(jì)算為：

(2)

聚焦點(diǎn)深度Zf通常定義為：

(3)

式中Δx為陣列中相鄰陣元間的距離。由此可得出成像區(qū)域內(nèi)點(diǎn)P(x,p,zp)在第n次發(fā)射事件下對(duì)應(yīng)的輸出值為：

(4)

其中M為激活的陣列陣元數(shù)。用向量S(p)來(lái)存儲(chǔ)每次FPB成像后對(duì)應(yīng)像素點(diǎn)的回波信號(hào)值，即S(p)=[S1(p),S2(p),……,Sn(p)]。疊加復(fù)合后的FPB輸出為：

(5)

3 深度學(xué)習(xí)重建圖像方案

3.1 數(shù)據(jù)集與網(wǎng)絡(luò)重建流程

為充分驗(yàn)證本研究網(wǎng)絡(luò)的普適性和泛化能力，使用了多種場(chǎng)景下的數(shù)據(jù)。首先，采用仿真軟件Field Ⅱ[22]設(shè)置相關(guān)參數(shù)以及成像目標(biāo)，獲得回波數(shù)據(jù)。另外，還使用超聲系統(tǒng)對(duì)模擬人體模型以及人體頸動(dòng)脈進(jìn)行探測(cè)并得到其回波數(shù)據(jù)，仿真和硬件設(shè)備參數(shù)配置見(jiàn)表1。

表1 超聲成像系統(tǒng)參數(shù)

網(wǎng)絡(luò)所用的數(shù)據(jù)集來(lái)自于三個(gè)不同的目標(biāo)，獲取了深度-發(fā)射次數(shù)-寬度的三維數(shù)據(jù)體以及相應(yīng)數(shù)據(jù)體對(duì)應(yīng)的超聲圖像，數(shù)據(jù)體大小統(tǒng)一規(guī)范為512-128-256，即深度(depth)為512，發(fā)射次數(shù)(TE)為128，寬度(width)為256。

網(wǎng)絡(luò)重建圖像的過(guò)程見(jiàn)圖2，本研究使用圖1中回波數(shù)據(jù)延時(shí)后所得的三維數(shù)據(jù)體的一個(gè)TE-width(128-256)切面作為網(wǎng)絡(luò)處理的一次輸入重建過(guò)程，每次僅重建切面所對(duì)應(yīng)的一行圖像(1-256)。而一幅圖像對(duì)應(yīng)一個(gè)三維數(shù)據(jù)體，即通過(guò)網(wǎng)絡(luò)重建出一整幅圖，需要沿深度(depth)方向重復(fù)此過(guò)程，將每次重建的結(jié)果沿深度方向堆疊起來(lái)，則完成一張圖片的重建。

圖2 網(wǎng)絡(luò)處理數(shù)據(jù)示意圖

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

本研究提出的網(wǎng)絡(luò)結(jié)構(gòu)主體采用在醫(yī)學(xué)圖像領(lǐng)域內(nèi)泛用性很好的U-net架構(gòu)[23]，并加入了注意力機(jī)制模塊和跳躍連接層來(lái)提升網(wǎng)絡(luò)性能。其中，注意力機(jī)制模塊使用通道注意力和位置注意力并行的策略(DAM)[19]，更適應(yīng)于本研究中輸入矩陣信息相對(duì)稀疏的情況。通道注意力可通過(guò)卷積層提取重要的特征信息；而位置注意力可把握矩陣的全局信息，以防止在信息稀疏的場(chǎng)景下，出現(xiàn)卷積核感受野內(nèi)無(wú)有效信息，而致使網(wǎng)絡(luò)學(xué)習(xí)效率降低。同時(shí)網(wǎng)絡(luò)中添加了跳躍連接層來(lái)解決因網(wǎng)絡(luò)深度增加而導(dǎo)致的梯度消失問(wèn)題[24]。

網(wǎng)絡(luò)整體結(jié)構(gòu)見(jiàn)圖3。首先以256×128的width-TE切面作為輸入，通過(guò)一個(gè)封裝好的DoubleConv2d結(jié)構(gòu)(見(jiàn)圖4)提取出多層特征后，由池化層做降采樣，再由DAM進(jìn)一步整合信息，使提取出的特征得到更充分地表征。在充分降采樣后，由逆卷積做升采樣操作，并通過(guò)跳躍連接層將相同維度下的特征信息連接在一起，以保證淺層特征信息在深層網(wǎng)絡(luò)仍可被關(guān)注到，從而保證輸出圖像的質(zhì)量。升采樣至原圖大小的維度后，再使用DAM提升關(guān)鍵特征的權(quán)重，最后由一個(gè)二維卷積層和一個(gè)一維卷積層將多通道信息整合，恢復(fù)出切面所對(duì)應(yīng)的超聲圖像。

圖3 網(wǎng)絡(luò)整體結(jié)構(gòu)

圖4 雙層卷積封裝結(jié)構(gòu)圖

3.3 網(wǎng)絡(luò)超參數(shù)設(shè)置及訓(xùn)練環(huán)境

通過(guò)均方誤差(MSE)損失函數(shù)優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)。使用Adam優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率設(shè)置為5e-5，每50個(gè)epoch學(xué)習(xí)率衰減為原來(lái)的一半，隨著訓(xùn)練的加深逐步衰減至3e-6。網(wǎng)絡(luò)權(quán)重初始化使用滿(mǎn)足高斯隨機(jī)分布的Xavier方法[25]。網(wǎng)絡(luò)使用Pytorch深度學(xué)習(xí)框架搭建，部署在顯存為11 GB的GTX2080ti顯卡上進(jìn)行訓(xùn)練。

3.4 并行注意力機(jī)制模塊

由于一般卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)稀疏信息上比較乏力，本研究嘗試將圖5的注意力機(jī)制模塊加在Unet上來(lái)解決該問(wèn)題，成功通過(guò)該模塊在局部特征之間建立起豐富的全局聯(lián)系，使其能更好地從稀疏矩陣上學(xué)習(xí)到全局的信息。

圖5 注意力機(jī)制模塊

3.4.1位置注意力機(jī)制模塊 由圖5上半部分可知，輸入特征A∈RC×H×W先將其送入卷積層分別得到特征圖B和C，再將B和C重構(gòu)到RC×N的特征空間上(N=H×W)之后，用C和B的轉(zhuǎn)置矩陣做矩陣乘法運(yùn)算，并應(yīng)用softmax層來(lái)計(jì)算空間注意力特征圖S∈RN×N:

(6)

sji衡量的是第i個(gè)元素對(duì)第j個(gè)元素施加的影響。兩個(gè)位置的特征越相似，它們之間的相關(guān)性就越高，sji的值就越大。

同時(shí)，A也被用來(lái)得到特征圖D∈RC×H×W并重構(gòu)到RC×N的特征空間上。接著在D和S的轉(zhuǎn)置矩陣間執(zhí)行矩陣乘法，并將結(jié)果重塑為RC×N×W。最后，將其乘以比例系數(shù)α，并對(duì)特征A進(jìn)行逐元素求和運(yùn)算，得出最終輸出E∈RC×H×W，如下所示：

(7)

其中α的初始化值為0，在訓(xùn)練過(guò)程中漸漸增加權(quán)重。由式(7)可知，每個(gè)位置上最終的特征值E是所有位置上的特征值和原始特征值的加權(quán)總和，因此，它具有全局視野，并能根據(jù)空間注意力特征圖選擇性地組合全局信息。相似的語(yǔ)義特征得到了相近的權(quán)重，從而提升了網(wǎng)絡(luò)對(duì)稀疏信息的泛化擴(kuò)展能力。

3.4.2通道注意力機(jī)制模塊 通道注意力模塊的結(jié)構(gòu)見(jiàn)圖5下半部分。與位置注意力模塊不同的是，這里直接由原始特征A計(jì)算通道注意力特征圖X∈RC×C。要將X重構(gòu)到RC×N,然后在A和A的轉(zhuǎn)置之間做矩陣乘法運(yùn)算。最終用softmax層計(jì)算得到通道注意力特征圖X:

(8)

xji衡量第i個(gè)通道對(duì)第j個(gè)通道的影響。此外，在X和A的轉(zhuǎn)置之間執(zhí)行矩陣乘法，并將其結(jié)果重構(gòu)為RC×H×W。然后，將結(jié)果乘以比例系數(shù)β并用A進(jìn)行逐元素求和運(yùn)算，以獲得最終輸出E

(9)

其中β同樣從0開(kāi)始學(xué)習(xí)權(quán)重。式(9)表明每個(gè)通道的最終特征是所有通道的特征與原始特征的加權(quán)總和，通過(guò)對(duì)各個(gè)通道的特征加權(quán)，提升了特征表征能力。

3.5 評(píng)價(jià)指標(biāo)

使用組織對(duì)比度(CR)，信噪對(duì)比度(CNR)，峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)[26]等指標(biāo)來(lái)評(píng)估重建圖像的質(zhì)量。對(duì)比度通過(guò)無(wú)回聲區(qū)和背景區(qū)的信號(hào)功率比計(jì)算：

(10)

μB,μaS,σB,σaS分別是背景區(qū)和無(wú)回聲區(qū)信號(hào)幅值的均值和方差。峰值信噪比(PSNR)作為網(wǎng)絡(luò)重建質(zhì)量的評(píng)估指標(biāo)，其值越大表示圖像重構(gòu)的質(zhì)量越高。PSNR的計(jì)算公式如下:

(11)

(12)

4 實(shí)驗(yàn)

4.1 組織仿真實(shí)驗(yàn)

設(shè)定組織中有三個(gè)直徑為3 mm的無(wú)回聲囊腫，分別位于16、24、32 mm深度處。分別采用DAS，MatConvNet，DAUnet對(duì)發(fā)射16次得到的RF數(shù)據(jù)進(jìn)行圖像重建，圖像動(dòng)態(tài)顯示范圍為50 dB，成像結(jié)果見(jiàn)圖6，圖6(a)為使用16次遠(yuǎn)聚焦掃描采集到的數(shù)據(jù)進(jìn)行DAS后的結(jié)果，圖6(b)—(c)為分別使用MatConvNet和DAUnet對(duì)16次遠(yuǎn)聚焦掃描采集到的數(shù)據(jù)進(jìn)行圖像重建的結(jié)果，圖6(d)為128次遠(yuǎn)聚焦掃描采集到的數(shù)據(jù)徑DAS成像后的結(jié)果，同時(shí)也作為訓(xùn)練所用的真實(shí)參照。結(jié)果顯示，DAS算法在降采樣后圖像質(zhì)量出現(xiàn)明顯下降，而MatConvNet、DAUnet在此場(chǎng)景下均能很好地重建出圖像。

圖6 組織仿真實(shí)驗(yàn)結(jié)果

為精確評(píng)估重建圖像的質(zhì)量，計(jì)算圖像的相關(guān)指標(biāo)，見(jiàn)表2。由表2可知，MatConvNet重建的圖像相較于DAS雖然有很大提升，四項(xiàng)指標(biāo)上分別提升了1.10、0.28、5.74 dB和2%；但在各指標(biāo)上距DAUnet還仍有差距，在指標(biāo)CR、CNR和SSIM上分別比DAUnet低0.10、0.05 dB和2%。而DAUnet幾乎完全重建出了目標(biāo)圖像的質(zhì)量，尤其是在評(píng)估網(wǎng)絡(luò)學(xué)習(xí)效果的指標(biāo)PSNR上，相較于MatConvNet提高14.78 dB。DAUnet重建出的圖像相較于DAS用16次發(fā)射得到的數(shù)據(jù)構(gòu)建出的圖像在CR、CNR、PSNR上分別提高1.18、0.33、10.52 dB，SSIM值則比DAS高4%。

表2 仿真重建指標(biāo)分析

4.2 物理體模實(shí)驗(yàn)

由于對(duì)物理體模的實(shí)際采集聲場(chǎng)環(huán)境比仿真環(huán)境更為復(fù)雜，兩個(gè)網(wǎng)絡(luò)的重建效果都有所減退。由圖7中可知，MatConvNet重建出的圖像質(zhì)量很差，甚至無(wú)法恢復(fù)出DAS圖像的質(zhì)量，而DAUnet有出色的重建效果，在現(xiàn)實(shí)復(fù)雜場(chǎng)景下MatConvNet對(duì)圖像細(xì)節(jié)的學(xué)習(xí)恢復(fù)能力要遠(yuǎn)遜于DAUnet。由表3算得的具體指標(biāo)來(lái)看，MatConvNet在CR和PSNR指標(biāo)上分別比DAS高了0.49 dB和3.64 dB；但在CNR和SSIM上甚至不如傳統(tǒng)的DAS成像。而DAUnet在CR、CNR、PSNR和SSIM上分別比DAS提高0.95、0.05、10.44 dB和10%，對(duì)DAS結(jié)果在四項(xiàng)指標(biāo)上以35%，0.02%，35%，10%的提升；并且相較于MatConvNet，在四項(xiàng)指標(biāo)上也分別提高0.46，0.15，6.8 dB和16%。

圖7 物理體模實(shí)驗(yàn)結(jié)果

表3 物理體模指標(biāo)分析對(duì)比

4.3 體內(nèi)數(shù)據(jù)實(shí)驗(yàn)

該部分自采數(shù)據(jù)取自人體頸動(dòng)脈，MatConvNet在實(shí)際場(chǎng)景中的效果見(jiàn)圖8，雖然大體上重建出了更優(yōu)于DAS的圖像，表4中的CR、CNR、PSNR和SSIM指標(biāo)上相較于DAS也分別有1.71、0.93、4.43 dB和16%的明顯提升，但圖像細(xì)節(jié)信息十分模糊，無(wú)法辨析，而超聲圖像的斑點(diǎn)模式被認(rèn)為在臨床觀察上有特殊價(jià)值，MatConvNet在細(xì)節(jié)學(xué)習(xí)方面的不足，儼然無(wú)法被接受。而DAUnet不僅很好地重建出高質(zhì)量的圖像，且在各項(xiàng)指標(biāo)上都達(dá)到了目標(biāo)圖像的標(biāo)準(zhǔn)，相較于DAS各指標(biāo)分別提升了1.71，0.97，12.98 dB和23%；與MatConvNet相比，其CNR、PSNR和SSIM指標(biāo)均有所提升。

表4 體內(nèi)數(shù)據(jù)指標(biāo)分析對(duì)比

圖8 體內(nèi)數(shù)據(jù)實(shí)驗(yàn)結(jié)果圖

在組織仿真、體模實(shí)驗(yàn)以及人體頸動(dòng)脈的實(shí)驗(yàn)結(jié)果中，DAUnet都成功地通過(guò)16次發(fā)射事件構(gòu)建的數(shù)據(jù)體重建出了128次發(fā)射才能達(dá)到的圖像質(zhì)量。在經(jīng)過(guò)充分訓(xùn)練的情況下，特定場(chǎng)景中，通過(guò)該重建方法可使成像幀率提高8倍，并且不會(huì)犧牲圖像質(zhì)量。

5 結(jié)論

本研究針對(duì)降采樣后的稀疏RF數(shù)據(jù)場(chǎng)景，設(shè)計(jì)了一種基于深度學(xué)習(xí)的超聲RF數(shù)據(jù)圖像重建方案，通過(guò)在Unet上增加并行注意力機(jī)制模塊，成功重建出高質(zhì)量的超聲圖像。與MatConvNet對(duì)比發(fā)現(xiàn)，具有注意力機(jī)制模塊輔助的DAUnet在細(xì)節(jié)恢復(fù)能力上效果突出。此外，本研究提出的DAUnet可以通過(guò)輸入16次超聲聚焦波發(fā)射得到的稀疏RF數(shù)據(jù)，重建出DAS算法在128次發(fā)射時(shí)才能得到的同質(zhì)量超聲圖像。通過(guò)該方法可顯著提高超聲成像幀率，可為深度學(xué)習(xí)算法在醫(yī)學(xué)成像領(lǐng)域內(nèi)的應(yīng)用提供了一個(gè)可行的思路。