隋怡暉 郭星奕 郁鈞瑾 Alexander A.Solovev 他得安1) 許凱亮1)?

1)(復(fù)旦大學(xué)工程與應(yīng)用技術(shù)研究院,上海 200433)

2)(復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院,生物醫(yī)學(xué)工程中心,上海 200438)

3)(復(fù)旦大學(xué)材料科學(xué)系,上海 200438)

超快超聲定位顯微成像(uULM),突破了傳統(tǒng)超聲衍射極限,可實現(xiàn)分辨率遠(yuǎn)小于發(fā)射波長的在體深層微血管精準(zhǔn)成像.通過對微血管中數(shù)以萬計的運(yùn)動微泡進(jìn)行中心點定位和軌跡追蹤,uULM 技術(shù)可重建微血管圖像.通常一張uULM 圖像需要數(shù)十秒甚至數(shù)百秒的連續(xù)長程圖像采集,這在一定程度上限制了其更廣泛的臨床應(yīng)用.針對這一挑戰(zhàn),本研究在闡明了超聲衍射極限、超分辨率定位理論方法的基礎(chǔ)上,給出了基于傅里葉環(huán)相關(guān)的分辨率測定原理和實現(xiàn)方法,并結(jié)合傳統(tǒng)uULM 重建技術(shù),發(fā)展了一種基于生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)超分辨超聲成像方法,以縮減uULM 對圖像采集時長的依賴,提高成像速度和成像分辨率.針對大鼠腦的在體數(shù)據(jù)分析結(jié)果表明,基于生成對抗網(wǎng)絡(luò)的超聲定位顯微技術(shù)微血管分辨達(dá)到10 μm,在保持較高超聲成像空間分辨率和圖像飽和度的同時,數(shù)據(jù)采集時間縮減一半,從而顯著降低了uULM 對圖像數(shù)據(jù)采集時長的依賴.相關(guān)深度學(xué)習(xí)模型連接軌跡的計算復(fù)雜度較小,且避免了人工調(diào)參以及軌跡篩選,為加速超分辨率uULM 微血流成像和提升uULM 成像分辨率提供了一種有效的工具.相關(guān)思路與方法對促進(jìn)超分辨率uULM 成像技術(shù)發(fā)展具有一定的借鑒意義.

1 引言

微血管系統(tǒng)分布于各種組織和器官中,起到維持人體內(nèi)各器官生理功能正常運(yùn)行的作用[1].微血管結(jié)構(gòu)或功能改變將損害正常器官功能或?qū)е录膊“l(fā)生,在包括腫瘤、卒中、阿爾茲海默、心血管病、心腦血管病和糖尿病等重大疾病的發(fā)生、發(fā)展過程中起到了至關(guān)重要的作用[2].因此,發(fā)展“精準(zhǔn)而快速”的微血管及血流成像方法,實現(xiàn)相關(guān)疾病中微血管病變的早期診斷具有重要臨床意義.

目前,臨床在體微血管成像的金標(biāo)準(zhǔn)技術(shù)主要為X 射線計算機(jī)斷層掃描造影技術(shù)(computed tomography angiography,CTA)和磁共振造影技術(shù)(magnetic resonance angiography,MRA).在造影劑的輔助下,CTA[3]和MRA[4]均能夠穿透深層組織將血管分辨率降低到幾十微米,獲得三維血管影像,但掃描時間較長,在人體臨床應(yīng)用中仍有較大挑戰(zhàn).近紅外二區(qū)熒光成像[5]和光聲顯微成像[6]有高空間分辨率和高時間分辨率的優(yōu)點.但缺乏足夠的組織穿透力,無法實現(xiàn)深層腦微血管成像.

超聲具有非侵入性、無輻射的優(yōu)點,作為一種不可或缺的臨床影像模態(tài),已被廣泛用于人體各器官成像[7]和經(jīng)顱骨的腦組織成像[8].近年來,先進(jìn)的超快超聲成像技術(shù)可實時呈現(xiàn)腦、腎臟、肝臟和脊髓中微小血管的高質(zhì)量圖像[9,10].亦可對腦微血流量變化量成像,進(jìn)而利用神經(jīng)血管耦合機(jī)制,實現(xiàn)腦功能成像[11].然而,受限于衍射極限,傳統(tǒng)超聲成像的空間分辨率仍限于發(fā)射聲波波長的一半.提高成像頻率可獲得更短的發(fā)射波長,雖然能提升成像空間分辨率,但也會顯著降低穿透深度[12].當(dāng)前,超快超聲成像技術(shù)仍無法滿足深層微血管的精準(zhǔn)成像需求.

近年來,學(xué)術(shù)界所發(fā)展的超快超聲定位顯微技術(shù)(ultrafast ultrasound localization microscopy,uULM)通過定位和追蹤微泡在微血管中的運(yùn)動軌跡,有效地突破了衍射極限,將分辨率提升了十倍左右.利用微泡的高對比度,uULM 可在保證穿透深度的前提下實現(xiàn)高時空分辨率的超聲微血流成像[13,14].2015年,Errico等[15]應(yīng)用該技術(shù)實現(xiàn)了大鼠腦部的微血流成像,分辨率約10 μm.2017年,Lin等[16]利用ULM 技術(shù)識別大鼠腫瘤血管生成的微血管的形態(tài)特征,并實現(xiàn)了血管的彎曲度定量分析.2021年,Xu等[17]提出魯棒主成分分析方法用于低信噪比條件下的微泡檢出,進(jìn)而提升了大鼠腦ULM 成像質(zhì)量.2022年,Yu等[18]采用ULM 技術(shù)對大鼠脊髓微血流進(jìn)行成像,最終獲得大鼠脊髓微血管超分辨率圖像,可清晰地看到脊髓上下兩個界面的動脈血管以及內(nèi)部的微血流分布.與此同時,ULM 技術(shù)也不斷地向臨床轉(zhuǎn)化.2021年,Demené等[19]的研究表明,ULM 可以對人腦血管進(jìn)行經(jīng)顱成像,并在功能上表征人腦的血流動力學(xué)特征.同年,Huang等[20]利用高幀率的臨床超聲探頭,采用ULM 技術(shù),獲得了人體肝臟、腎和腫瘤的超分辨率血流圖像.

uULM 成像通常需要通過對微泡定位與追蹤來實現(xiàn),相關(guān)算法直接影響了其成像性能.目前主流的定位算法多基于高斯擬合法或質(zhì)心法的單個微泡中心定位算法[21].相關(guān)方法要求每幀圖像中微泡數(shù)量較少,微泡間不產(chǎn)生混疊,便于定位,從而有利于識別單個微泡的中心位置,這客觀上要求使用較低的微泡濃度.然而,為獲得較為準(zhǔn)確的uULM 成像結(jié)果,需要積累數(shù)百萬計的血管內(nèi)游動的微泡事件,這客觀上導(dǎo)致了較長的數(shù)據(jù)采集時間.此外,在uULM 重建微泡運(yùn)動的軌跡連接步驟中,部分誤判為微泡的噪聲會導(dǎo)致錯誤的連接軌跡[21].通常采用軌跡長度閾值將錯誤軌跡濾除,這也帶來了有用軌跡丟失的風(fēng)險,從而降低了圖像的重建飽和度.

近年來,深度學(xué)習(xí)在醫(yī)學(xué)成像領(lǐng)域展現(xiàn)了巨大的潛力,也被廣泛應(yīng)用于uULM 成像,以緩解數(shù)據(jù)采集時間長的問題[22].Youn等[23]訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)從射頻數(shù)據(jù)中檢測和定位高密度多點目標(biāo),可在較短的時間內(nèi)檢測更多微泡,以縮短數(shù)據(jù)采集時間.Sloun等[24]使用卷積神經(jīng)網(wǎng)絡(luò)對高密度微泡進(jìn)行中心定位,證明了深度學(xué)習(xí)可在具有挑戰(zhàn)性的微泡密度下實現(xiàn)超分辨率成像.Liu等[25]提出了一種改進(jìn)的亞像素卷積神經(jīng)網(wǎng)絡(luò),通過加入殘差網(wǎng)絡(luò),進(jìn)一步提高了網(wǎng)絡(luò)訓(xùn)練效率.

目前的研究仍多聚焦于超聲圖像中高濃度微泡的多目標(biāo)定位問題,在微泡定位跟蹤與微血管重建方面仍有所欠缺,特別是相關(guān)微泡軌跡篩選與平滑操作仍受到較多人為因素影響.本研究中提出了一種基于生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)的深度學(xué)習(xí)超快超聲定位顯微技術(shù)(GAN-uULM),并將U-Net 作為生成器網(wǎng)絡(luò).針對微泡的軌跡連接問題,采用GAN-uULM 實現(xiàn)定位后的微泡軌跡重建,從而高效獲得微血管圖像.該網(wǎng)絡(luò)通過在體uULM 數(shù)據(jù)集訓(xùn)練,并在大鼠大腦的在體數(shù)據(jù)中進(jìn)行驗證.最后,通過對比標(biāo)準(zhǔn)uULM 重建算法結(jié)果,對GAN-uULM 處理得到的大鼠腦微血管圖像的血管飽和度和空間分辨率進(jìn)行了定量分析.

2 基本原理

2.1 衍射極限與超分辨率定位理論

成像區(qū)域內(nèi)的一個理想物點,在超聲成像系統(tǒng)的成像下表現(xiàn)為斑點狀,稱為成像系統(tǒng)的點擴(kuò)散函數(shù)(point spread function,PSF).可構(gòu)建一個高斯PSF 物理模型如下式所示

其中z表示理想物點在軸向,即超聲傳播方向上的位置;x表示理想物點在橫向方向上的位置;波長λ=c/f,c為聲速;f為超聲頻率,σz和σx分別是軸向和橫向PSF的方差.超聲圖像可以認(rèn)為是所掃描物體的反射函數(shù)r(x,z)與系統(tǒng)的點擴(kuò)散函數(shù)PSF(x,z)卷積后累加噪聲n(x,z)的結(jié)果,如(2)式所示[23,26]

點擴(kuò)散函數(shù)造成了超聲圖像的模糊,限制了細(xì)小血管的檢測及分離[27].

由于點擴(kuò)散函數(shù)的影響和衍射的限制,超聲成像的分辨率理論上受限在半波長左右,這被稱為“衍射極限”.若多個散射體間的距離小于該極限,它們的s便會重疊在一起,變得難以區(qū)分,如圖1(b)所示.提高超聲頻率可以提高分辨率,但是同時也會增加信號衰減,減少穿透深度.

常用超聲微泡尺寸在2—10 μm 之間,遠(yuǎn)小于超聲波長(本文實驗中所用超聲頻率為15.625 MHz,波長約為100 μm),且微泡在時間和空間上是彼此分離的.因此微泡成像時同樣表現(xiàn)為點擴(kuò)散函數(shù),通過算法計算點擴(kuò)散函數(shù)的中心點,即可定位微泡,如圖1(c)所示.通過累積成千上萬個亞波長的微泡定位點,便可以獲得分辨率遠(yuǎn)小于發(fā)射波長的超分辨率超聲圖像.對于微血管成像,該方法用超快超聲動態(tài)檢測微血管內(nèi)“游走”的超聲微泡,基于微泡點擴(kuò)散函數(shù)擬合獲得微泡中心點坐標(biāo)定位,從而數(shù)十倍地提升顯微成像精度;累積數(shù)以萬計的超聲微泡運(yùn)動軌跡,即可獲得微血管系統(tǒng)的超分辨率圖像.

圖1 超聲成像分辨率及微泡的B-mode 圖像(a)兩微泡間距恰好為半波長;(b)兩微泡間距在半波長內(nèi);(c)實驗測量的微泡點擴(kuò)散函數(shù)及其中心定位(由紅點標(biāo)記)Fig.1.The resolution of ultrasound imaging and a B-mode image of microbubbles:(a)The two sources are exactly half a wavelength apart;(b)the two sources are within a half-wavelength distance;(c)microbubbles appearing as point spread function and their localizations.

2.2 基于傅里葉環(huán)相關(guān)的分辨率測定原理

基于傅里葉環(huán)相關(guān)(Fourier ring correlation,FRC)的方法給uULM 分辨率測定提供了標(biāo)準(zhǔn)方案.該參數(shù)被用于對比標(biāo)準(zhǔn)uULM和GAN-uULM方法的分辨率[28].其原理為,將軌跡數(shù)據(jù)隨機(jī)分成兩子圖像Im1和Im2,計算兩個頻譜FI和F2沿等空間頻率環(huán)r的歸一化相關(guān)性,從而獲得分辨率評價.

其中F為傅里葉變換符號,FIm2(r)?是FIm2(r)的共軛函數(shù).

圖像分辨率為FRC 中低于閾值曲線的空間頻率的倒數(shù).通?？墒褂?σ和1/2 bit 閾值曲線,分別對應(yīng)于高于兩倍等效噪聲水平的相關(guān)和填充半位所需的信息.分辨率被確定為與FRC 曲線的交點,若存在兩個以上交點,則選擇與較低分辨率相對應(yīng)的交點.

2.3 基于超快超聲成像的微泡提取原理與方法

不同于傳統(tǒng)聚焦超聲成像系統(tǒng)實行逐行聚焦線性掃描成像方式,基于平面波發(fā)射的超快超聲成像單次發(fā)射即可覆蓋整個成像區(qū)域,從而極大地提升了成像速度[29].成像幀頻可由傳統(tǒng)超聲的百赫茲發(fā)展到千赫茲甚至上萬赫茲[30].通過波束合成和多角度平面波復(fù)合相干疊加,可有效補(bǔ)償因聲束非聚焦所致的圖像信噪比和分辨率的損失,從而提高成像質(zhì)量[31].近年來,基于超快超聲成像技術(shù)的超快Doppler 成像,為高時空分辨率的小血管血流動力學(xué)成像提供了一種有效的解決方案.超快超聲采集的回波信號,主要由組織信號、微泡信號和噪聲信號組成.由于組織運(yùn)動和血流運(yùn)動在時空一致性方面存在顯著差異,基于時空奇異值分解(singular value decomposition,SVD)的濾波方法可實現(xiàn)有效的雜波抑制[32].時空SVD 濾波實現(xiàn)的基礎(chǔ)主要源自于組織信號、微泡信號和噪聲信號三者的強(qiáng)度差異和靜動變化.簡言之,具有高時空相關(guān)性的靜態(tài)組織信號對應(yīng)了較大特征值的特征向量,而噪聲則對應(yīng)了較小特征值的特征向量,其余特征值和特征向量則可用于重建動態(tài)微泡圖像.

?是大小為(Nx×Nz,Nt)的對角矩陣,對角系數(shù)表示奇異值大小,*代表共軛轉(zhuǎn)置,U和V分別對應(yīng)于S的空間和時間奇異向量矩陣.奇異值矩陣 ?中的系數(shù)按降序排列,具有更高強(qiáng)度和更高空間相干性的組織信號集中在低階奇異向量,低強(qiáng)度的噪聲信號集中在高階奇異向量.可以使用帶通濾波矩陣If去除低階和高階奇異值,濾除組織信號成分.濾波后的信號Sf為

If為對角矩陣,前m個對角元素對應(yīng)了組織信號成分、后n個對角元素可視為噪聲信號成分;若將前m個和后n個對角元素均設(shè)為零,其余的對角系數(shù)為1,則可獲得微泡信號成分.閾值選取會影響成像結(jié)果的對比度和信噪比,在本研究中,閾值選擇的標(biāo)準(zhǔn)是奇異值曲線的拐點[33].此外,為了保證基于奇異值分解的雜波濾波結(jié)果的最佳,多次選取拐點附近的不同閾值,將SVD 濾波方法所對應(yīng)的參數(shù)調(diào)整到最佳值.

2.4 超聲定位顯微原理

uULM的主要流程如圖2 所示,注射超聲造影劑后,使用超快超聲成像技術(shù)連續(xù)采集數(shù)百秒復(fù)合平面波數(shù)據(jù).對采集到的射頻數(shù)據(jù)進(jìn)行波束合成及同相/正交(in-phase/quadrature,I/Q)解調(diào)后,使用奇異值分解雜波濾波器去除組織和噪聲[33,34],從而得到微泡信號.隨后,采用基于相位相關(guān)[35]的運(yùn)動校正方法實現(xiàn)微泡的位置校準(zhǔn).分別使用徑向?qū)ΨQ(radial symmetry,RS)[36]和Kuhn-Munkres 算法[36]實現(xiàn)微泡的定位與追蹤,并疊加微泡的運(yùn)動軌跡.累積數(shù)百秒數(shù)據(jù)中所有超聲微泡中心的軌跡,經(jīng)由圖像重建可得到超分辨率超聲微血流圖像.

對于圖2 中的步驟(c),利用步驟(b)分離得到的組織信號,采用基于相位相關(guān)的運(yùn)動校正方法實現(xiàn)微泡的位置校準(zhǔn),可以減少呼吸心跳產(chǎn)生的微小運(yùn)動對成像質(zhì)量的影響[35].對于兩幀需要校正的組織信號圖像I1(x,z)和I2(x,z)=I1(x+?x,z+?z),其互相關(guān)表達(dá)式為

圖2 uULM 常規(guī)流程(a)超快超聲數(shù)據(jù)在體采集;(b)雜波濾除;(c)運(yùn)動校準(zhǔn);(d)微泡定位;(e)微泡追蹤;(f)超分辨率圖像重建Fig.2.uULM conventional process:(a)In vivo acquisition of ultrafast ultrasound data;(b)clutter filtering;(c)motion correction;(d)microbubble localization;(e)microbubble tracking;(f)super-resolution image reconstruction.

其中F(I2)*是F(I2)的共軛函數(shù),?x,?z為兩幀之間的位移,通過位移即可實現(xiàn)對微泡位置的校正.

將每個數(shù)據(jù)塊的參考幀與第一個數(shù)據(jù)塊的參考幀相關(guān),得到數(shù)據(jù)塊之間的位移,可以實現(xiàn)各個數(shù)據(jù)塊之間的運(yùn)動校正.

高油玉米施肥，一般施氮素300～380kg/hm2、五氧化二磷 125～160kg/hm2、氧化鉀 75～118kg/hm2。具體施肥方法以一次底肥2次追肥為好，底肥一般施有機(jī)肥15～30t/hm2、五氧化二磷 120～150kg/hm2、氧化鉀 75～118kg/hm2、氮素120～150 kg/hm2、硫酸鋅 15～30kg/hm2。追肥一般在苗期施氮素30～45 kg/hm2，促進(jìn)弱苗生長;拔節(jié)后6d重施穗肥，施氮素150～180kg/hm2。在施肥過程中，注意氮、磷、鉀合理配施，這對提高粒重、胚重，尤其對提高籽粒含油量有顯著作用。磷是提高籽粒含油率的主導(dǎo)因素，基肥要重視磷的施入。

在波束形成后的IQ 圖像中,可借助局部極大值識別單個微泡.隨后,使用徑向?qū)ΨQ定位算法實現(xiàn)對微泡中心的精準(zhǔn)定位[36](圖2(d)).RS 算法利用強(qiáng)度梯度來尋找微泡的中心.由于以其最大值為中心的對稱強(qiáng)度剖面上的每一點的強(qiáng)度梯度總是指向該最大值,將微泡中心至等勢線的距離最小化的方法便可以用來定位微泡.

對定位后的圖像使用基于Kuhn-Munkres 算法的追蹤算法獲得微泡的軌跡[36](圖2(e)).對于每個微泡,該算法計算出其與后續(xù)幀中所有微泡的距離.然后,通過最小化總平方距離找到微泡的最佳配對.之后對軌跡進(jìn)行篩選,去除過短或不合理的軌跡,對其余軌跡進(jìn)行插值,以恢復(fù)軌跡中微泡在兩幀之間缺失的數(shù)據(jù)點,從而重建出連續(xù)的微血管信號.

2.5 GAN-uULM 模型

生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[37]在圖像生成領(lǐng)域得到了廣泛的研究和應(yīng)用.它由生成器G 與鑒別器D 兩個模型組成,兩個模型交替訓(xùn)練以相互競爭.鑒別器的目標(biāo)是對真實圖像和生成的“假”圖像進(jìn)行分類,而生成器的目標(biāo)是欺騙鑒別器,使生成的圖像與真實圖像無法區(qū)分.與其他方法模糊且分辨率低的結(jié)果相比,GAN可以生成清晰可信的圖像,滿足超分辨率成像的需求.圖3 展示了GAN-uULM 模型的總體框架.

2.5.1 基于U-Net 實現(xiàn)的GAN 網(wǎng)絡(luò)

如圖3 所示,生成器G 采用一個U-Net 模型,包括一個編碼器和一個解碼器.U-Net 網(wǎng)絡(luò)是一種特殊類型的卷積神經(jīng)網(wǎng)絡(luò),已被證明能有效學(xué)習(xí)圖像的多尺度表示和精確的像素級映射[38].編碼器網(wǎng)絡(luò)中的每個編碼器層組由一組卷積層、批標(biāo)準(zhǔn)化(batch normalization,BN)和修正線性單元(rectified-linear unit,ReLU)組成,之后是池化操作.編碼器層組重復(fù)四次,以實現(xiàn)高效的數(shù)據(jù)壓縮.在編碼器網(wǎng)絡(luò)輸出之后,U-Net 網(wǎng)絡(luò)應(yīng)用具有相同數(shù)量的解碼器層組成的解碼器網(wǎng)絡(luò),通過上采樣恢復(fù)高分辨率特征圖.解碼器網(wǎng)絡(luò)是編碼器的反向過程,由上采樣層、卷積層、BN和ReLU 函數(shù)組成.跳躍連接用于將編碼器的輸出特征映射連接到解碼器中每個對稱塊的輸入特征映射.通過跳躍連接,解碼器可以了解更多關(guān)于輸入的相關(guān)信息.

圖3 GAN-uULM 方法整體框架Fig.3.Overall architecture of the GAN-uULM method.

輸入的微泡圖像采用3×3的卷積核進(jìn)行卷積,并使用dropout[39]優(yōu)化運(yùn)算,避免過擬合.池化操作中,過濾器尺寸均為2×2,進(jìn)行最大池化.在上采樣中對圖像采用2× 2的卷積核進(jìn)行反卷積操作.為測量GAN-uULM 輸出和微泡軌跡圖像之間的差異,使用L1 范數(shù)與多尺度結(jié)構(gòu)相似性指數(shù)(MS-SSIM)[40]的加權(quán)平均值作為損失函數(shù).MSSSIM 容易導(dǎo)致亮度的改變和顏色的偏差,但能保留圖像的邊緣和細(xì)節(jié)信息,而L1 損失函數(shù)能較好地保持亮度和顏色信息:

其中S為輸入的微泡定位圖像;T為相應(yīng)的微泡軌跡圖像;A為網(wǎng)絡(luò)的實際輸出;E表示期望;pdata(S,T)是訓(xùn)練數(shù)據(jù)集中微泡定位圖像S和微泡軌跡T的聯(lián)合概率密度;M S?SSIM(A,T)是A和T之間的多尺度結(jié)構(gòu)相似性指數(shù);Gσ是高斯平滑核;*表示卷積;|A ?T|是絕對差分圖像(即|A(i,j)?T(i,j)|);ρ∈[0,1]是一個標(biāo)量權(quán)重,用于平衡MSSSIM和L1 范數(shù)的相對貢獻(xiàn)[41].

2.5.2 鑒別器網(wǎng)絡(luò)

2.5.3 網(wǎng)絡(luò)整體架構(gòu)

在生成對抗網(wǎng)絡(luò)的生成器與鑒別器構(gòu)建中,用U-Net 作為生成器,生成微泡軌跡圖像,然后將微泡軌跡標(biāo)簽圖像與生成器微泡軌跡圖像輸入鑒別網(wǎng)絡(luò)內(nèi)進(jìn)行鑒別,并根據(jù)前述方法進(jìn)行鑒別器模型優(yōu)化.生成器輸出在鑒別器中判別為真實值,則可證明生成器網(wǎng)絡(luò)的有效性.鑒別器網(wǎng)絡(luò)中提取了生成器微泡軌跡圖像與微泡軌跡標(biāo)簽圖像的特征,根據(jù)特征圖像計算二者差別,有助于整體模型梯度優(yōu)化.模型總損失函數(shù)LSUM(G)由超分辨率重建誤差LSR(G)和生成性對抗網(wǎng)絡(luò)損失函數(shù)LGAN(G,D)兩部分組成:

其中權(quán)重λ是超參數(shù),對于本文實驗,其默認(rèn)值為0.02.

網(wǎng)絡(luò)采用了隨機(jī)旋轉(zhuǎn)、裁剪、平移和彈性變形等數(shù)據(jù)增強(qiáng)方式,并在輸入圖像中添加高斯噪聲,以模擬錯誤檢測和非特定標(biāo)記,從而降低過擬合風(fēng)險.因此,在不過度擬合的情況下,只需要少量微泡軌跡圖像即可成功訓(xùn)練.本文使用隨機(jī)梯度下降和Adam 對生成器網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練,批量大小為1,迭代次數(shù)為200000.采用來自Nvidia的Tesla P100 圖形處理單元進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測試.在圖形處理單元上,GAN-uULM 需要數(shù)小時到數(shù)天的時間完成訓(xùn)練,但從之前訓(xùn)練過的GANuULM 開始,可以在更短的時間內(nèi)完成再訓(xùn)練,具體時長由批量大小和迭代次數(shù)控制.在本研究中,通過法國Langvein 實驗室提供的公開超聲數(shù)據(jù)生成了100 對微泡定位圖像和相應(yīng)的標(biāo)簽,并將其用作訓(xùn)練集[42].經(jīng)過訓(xùn)練后,GAN-uULM 網(wǎng)絡(luò)可以將微泡定位圖像數(shù)據(jù)作為輸入,并在不到一秒鐘的時間內(nèi)輸出重建的微泡軌跡圖像.

3 實驗設(shè)計

采用128 陣元的線陣探頭L22-14v,相鄰陣元間距0.1 mm,發(fā)射信號中心頻率為15.625 MHz.采用5 個不同角度的平面波(–5°,–2°,0°,+2°,+5°),脈沖重復(fù)頻率為31250 Hz,合成幀率為1000 Hz.Vincent等[42]研究表明重建大鼠腦微血管并獲得可靠的成像質(zhì)量通常需要240 s的采集時長,對應(yīng)240 個數(shù)據(jù)塊.因此,實驗共采集292 個數(shù)據(jù)塊,每個數(shù)據(jù)塊記錄600 幀.

所有動物實驗均經(jīng)復(fù)旦大學(xué)動物研究倫理委員會批準(zhǔn)(批件號:202202020Z).如圖4 所示搭建超快超分辨率超聲成像平臺,該平臺由超聲探頭、腦立體定位儀、位移平臺、麻醉機(jī)等部件組成,可實現(xiàn)基于超快超聲Doppler的三維腦血管成像(空間分辨率約100 μm)和基于超聲定位顯微的大鼠腦微血管成像(空間分辨率<20 μm).實驗在400 g成年雄性Sprague-Dawley 大鼠上進(jìn)行,實驗前對大鼠進(jìn)行開顱手術(shù),下腹腔注射濃度8%的水合氯醛溶液實現(xiàn)麻醉后,將大鼠頭部置于腦立體定位儀,使用顱鉆打開約10 mm× 10 mm的顱窗,以適應(yīng)超聲換能器陣列的尺寸.為了防止大腦皮層腫脹或過熱,手術(shù)過程中用生理鹽水冷卻顱骨創(chuàng)面.手術(shù)及實驗全程均在動物麻醉狀態(tài)下進(jìn)行.

圖4 小動物用超快超分辨率超聲腦成像實驗平臺Fig.4.Ultrafast super-resolution ultrasound brain imaging experimental platform for small animals.

為重建大鼠大腦的血管顯微結(jié)構(gòu),將超聲微泡粉末(SonoVue,Bracco,Milan,Italy)溶解于5 mL生理鹽水中,產(chǎn)生濃度為2× 108個微泡/毫升的造影劑溶液[16].將該造影劑溶液通過頸靜脈注射,以60 μL/min的恒定速率注射180 μL,注射30 s 后對大鼠大腦冠狀面進(jìn)行超快超聲圖像采集.微泡注射劑量參考0.8 mL/kg的標(biāo)準(zhǔn),由于持續(xù)灌注的方式,注射造影劑后,血管網(wǎng)絡(luò)中微泡的濃度不會隨時間而變化[43].由于微泡濃度和注射方式與訓(xùn)練集數(shù)據(jù)采取的方式一致[42],故訓(xùn)練集和實驗所得的測試集數(shù)據(jù)微泡濃度沒有差別.

4 實驗結(jié)果

4.1 超分辨率超聲微血流成像結(jié)果

圖5為使用標(biāo)準(zhǔn)uULM 方法(圖5(a))和GANuULM 方法(圖5(b))所得到的大鼠大腦uULM重建結(jié)果.這兩種方法都以高對比度和亞波長級分辨率解析了冠狀面大鼠腦微血管.相比于標(biāo)準(zhǔn)uULM方法,GAN-uULM的血管造影提供了更高的對比度,并分辨出標(biāo)準(zhǔn)uULM 方法無法檢測到以及顯示斷續(xù)的小血管(詳見圖5 中放大的區(qū)域).

圖6(a)和(b)分別給出了圖5 中標(biāo)準(zhǔn)uULM和GAN-uULM的局部血管造影特寫圖,可以觀察到GAN-uULM 在200 μm和700 μm 處分別多分辨出一條血管.這說明相比標(biāo)準(zhǔn)的uULM 方法,GAN-uULM 能夠分辨更多的血管,尤其是顯示斷續(xù)的小血管.如圖6(c)所示,從血管橫向強(qiáng)度分布來看,GAN-uULM 方法比標(biāo)準(zhǔn)uULM 方法提供了更好的分辨率.

圖5 大鼠腦超分辨率定位顯微(a)使用標(biāo)準(zhǔn)uULM 方法的血管造影;(b)使用GAN-uULM 方法的血管造影Fig.5.Ultrasound Localization Microscopy in a rat brain:(a)Angiogram reconstruction using the standard uULM method;(b)angiogram reconstruction using the GAN-uULM method.

圖6 全血管造影的局部特寫及其沿白色虛線的強(qiáng)度分布圖.使用標(biāo)準(zhǔn)uULM(a)和GAN-uULM(b)分別對體內(nèi)數(shù)據(jù)集進(jìn)行uULM 血管造影得到的局部放大圖;(c)綠色和藍(lán)色曲線表示沿水平虛線的強(qiáng)度分布圖Fig.6.Zoomed-in regions of interest from the whole angiogram and their intensity profiles along the white dashed line.Magnified regions from uULM Angiograms for an in-vivo dataset using the standard uULM method(a)and the GAN-uULM(b);(c)the intensity profiles along a given horizontal dashed line overlaid in green and blue.

4.2 GAN-uULM 成像參數(shù)分析

4.2.1 血管飽和度

血管飽和度被量化為有血管造影部分和總面積(即有血管造影部分與無血管造影部分面積)的比值.uULM 重建圖像的血管飽和度參數(shù)會隨著用于重建的數(shù)據(jù)量增加而增加,因而血管飽和度隨重建圖像幀的變化曲線可反映uULM 達(dá)到穩(wěn)定重建所需要的平均采集時間.高效的重建算法將提供較為陡峭的血管飽和度曲線.圖7 對比了標(biāo)準(zhǔn)uULM重建算法和GAN-uULM 重建方法的血管飽和度隨圖像采集時長的變化曲線,以分析重建中所使用的數(shù)據(jù)采集持續(xù)時間對恢復(fù)血管網(wǎng)絡(luò)血管造影的影響.如圖7 所示,當(dāng)使用GAN-uULM 方法時,約一半的采集時長,即可得到與標(biāo)準(zhǔn)uULM 重建算法相同水平的圖像飽和度.同時,在數(shù)據(jù)采集時間為292 s(全部采集時長)時,標(biāo)準(zhǔn)uULM 方法的網(wǎng)絡(luò)填充率僅為33%,GAN-uULM 方法的網(wǎng)絡(luò)填充率為46%,進(jìn)一步驗證了GAN-uULM 能夠顯著提升圖像的飽和度.具體地,兩種方法使用不同數(shù)據(jù)采集時長對應(yīng)的uULM 圖像如圖8 所示.對于GAN-uULM,即使采集時間壓縮到40 s,依然可以生成與數(shù)據(jù)采集時間為292 s的標(biāo)準(zhǔn)uULM重建算法所獲結(jié)果相似的血流圖像,保證了血流的連續(xù)性與豐富性.當(dāng)采集時間為80 s(圖8(c)和圖8(d)),可較為清晰的觀察到GAN-uULM 對遠(yuǎn)場血流有更好的重建能力.

圖7 血管飽和度與累積采集時長的關(guān)系曲線Fig.7.The relationship curves between vascular saturation and cumulative acquisition time.

圖8 不同采集時長對應(yīng)的超分辨率血流圖像(a),(b)uULM和GAN-uULM 在采集時長為40 s 時的血流圖像;(c),(d)uULM和GAN-uULM 在采集時長為80 s 時的血流圖像Fig.8.Super-resolution blood flow images with different cumulative acquisition times:(a),(b)The results of uULM and GANuULM with acquisition time of 40 s;(c),(d)the results of uULM and GAN-uULM with acquisition time of 80 s.

4.2.2 成像分辨率

對292 s 連續(xù)采集的超聲圖像分別采用標(biāo)準(zhǔn)uULM和GAN-uULM 方法重建超分辨率血流圖像,圖9 給出了這兩張圖像基于FRC 曲線的分辨率測量結(jié)果;圖9(a)和圖9(b)將軌跡數(shù)據(jù)隨機(jī)分成兩份,重建出兩個子圖像.然后將兩個子圖像作二維傅里葉變換,計算這兩個頻譜沿等空間頻率環(huán)的歸一相關(guān)性,如圖9(c)和圖9(d)所示.所得FRC 曲線與1/2 bit(黃色)閾值曲線的兩個交點被用于測定圖像分辨率,如圖9(e)所示.在本數(shù)據(jù)中,標(biāo)準(zhǔn)uULM 所獲分辨率結(jié)果略優(yōu)于GAN-uULM方法分辨率,總體相當(dāng),分別為7.8 μm和8.9 μm.

圖9 基于FRC 曲線的分辨率測量(a),(b)將重建結(jié)果隨機(jī)拆分的兩個子圖像;(c),(d)2D FFT 得到頻譜圖;(e)FRC 曲線,FRC 曲線與1/2 bit(黃色)閾值曲線的兩個交點被用于測定圖像分辨率;(f)分辨率與累積采集時長的關(guān)系曲線Fig.9.Resolution measurements based on FRC curves:(a),(b)Two sub-images obtained by randomly splitting the reconstruction results;(c),(d)the frequency spectrograms obtained by 2D FFT;(e)the FRC curves,the two intersections of the FRC curves with the 1/2 bit(yellow)threshold curve are used to determine the image resolution;(f)the relationship curves between resolution and cumulative acquisition time.

圖9(f)進(jìn)一步探討了采集時長與重建分辨率的關(guān)系.采用GAN-uULM 方法,圖像分辨率的數(shù)值總體上較為平衡,隨著采集時間的增加會略有改善,即由最初的12.5 μm 下降至8.9 μm;與之相反地,采用標(biāo)準(zhǔn)uULM 方法,圖像分辨率的數(shù)值卻會隨著采集時間的增加而“變差”,上升至7.8 μm.該矛盾現(xiàn)象的可能解釋為:在少量圖像幀輸入情況下,標(biāo)準(zhǔn)uULM 方法的圖像飽和度較低,微泡數(shù)量較少使得血管軌跡相對稀疏,因而基于FRC 曲線的分辨率值估計結(jié)果偏低.隨著飽和度的提升,由微泡軌跡重建得到的血管更加接近真實血管,分辨率數(shù)值緩慢上升并逐漸向真實值靠近.這也進(jìn)一步表明,基于傳統(tǒng)的uULM 方法重建結(jié)果,若結(jié)果未收斂,易于給出虛假的高分辨率結(jié)果.

5 討論

超快超聲成像可實時呈現(xiàn)高質(zhì)量的血流圖像,但受到衍射極限的限制,當(dāng)超聲波在兩個物體之間傳播時,只有當(dāng)它們之間的距離超過半個波長時才能被區(qū)分開.而微循環(huán)系統(tǒng)中最小的毛細(xì)血管直徑小于10 μm;因此,由于分辨率的限制,傳統(tǒng)超快超聲成像尚無法精細(xì)觀察數(shù)十微米級的血管網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié).

uULM 突破了傳統(tǒng)超聲分辨率局限,通過累積成千上萬個亞波長的微泡定位點,可獲得分辨率遠(yuǎn)小于發(fā)射波長的超分辨率超聲圖像,從而實現(xiàn)微血管成像.然而,現(xiàn)有的微泡軌跡連接方法,存在數(shù)據(jù)處理時間長、參數(shù)調(diào)整繁雜等問題.在Kuhn-Munkres 追蹤算法中,需要根據(jù)實驗數(shù)據(jù)的特點人為設(shè)定微泡間最大連接距離、軌跡內(nèi)允許微泡連續(xù)消失幀數(shù)等參數(shù).在軌跡連接后,還需設(shè)定軌跡長度篩選閾值,將錯誤軌跡濾除.相關(guān)調(diào)參操作繁瑣且依賴于使用者的經(jīng)驗,且易引入人工誤差.為克服以上局限,本文提出了一種GAN-uULM 網(wǎng)絡(luò)用于從定位后的微泡數(shù)據(jù)中恢復(fù)密集的血管圖像.網(wǎng)絡(luò)輸入信號為微泡中心定位結(jié)果,而相應(yīng)用于血管重建的微泡軌跡圖像被定義為網(wǎng)絡(luò)期望輸出.通過該模型學(xué)習(xí)軌跡圖像和微泡分布之間的映射,直接由微泡定位結(jié)果生成微泡運(yùn)動軌跡,并最終實現(xiàn)uULM 成像.該模型利用了生物圖像結(jié)構(gòu)冗余的特性,允許在不犧牲空間分辨率的情況下減少總幀數(shù)和采集時間,實現(xiàn)高效的超分辨率微血管成像.

GAN-uULM 建立在U-net和GAN的基礎(chǔ)上,其中,U-net是一種特殊類型的卷積神經(jīng)網(wǎng)絡(luò),能夠有效地學(xué)習(xí)圖像的多尺度表示和精確的像素級映射,在該模型中作為GAN的生成器網(wǎng)絡(luò).GAN由輸出合成圖像的生成器網(wǎng)絡(luò)和輸出輸入圖像為真實圖像或合成圖像的概率的鑒別器網(wǎng)絡(luò)組成,這兩個網(wǎng)絡(luò)同時進(jìn)行訓(xùn)練以相互競爭,優(yōu)化成像結(jié)果.在體實驗結(jié)果表明,GAN-uULM 比標(biāo)準(zhǔn)uULM方法具有更好的軌跡連接能力.經(jīng)過訓(xùn)練的模型可以從不完整的微泡軌跡預(yù)測血管的存在(圖6),進(jìn)而將采集時間縮短一倍(圖7),同時還具有數(shù)據(jù)處理速度快,數(shù)據(jù)采集時間短,軌跡連接精度高的特征.此外,在軌跡連接過程中,GAN-uULM 可有效減小計算復(fù)雜度,避免參數(shù)精細(xì)調(diào)節(jié),減小對人工干預(yù)的依賴性.

通過血管飽和度(圖7)和圖像分辨率(圖9(f))隨采集時長變化關(guān)系曲線,本研究對比分析標(biāo)準(zhǔn)uULM 重建方法和GAN-uULM 重建方法的性能.值得注意的,如圖7 所示,當(dāng)數(shù)據(jù)累積時長較小時,標(biāo)準(zhǔn)uULM 方法的重建圖像飽和度較低,在40 s的采集時長時僅為11.8%,遠(yuǎn)低于GAN-uULM 方法所獲得的20.4%的血管飽和度值.與之對應(yīng)地,當(dāng)數(shù)據(jù)累積時長較小時,標(biāo)準(zhǔn)uULM 方法血管軌跡稀疏,采用FRC 曲線進(jìn)行分辨率分析時,會獲得顯著偏低甚至錯誤的分辨率結(jié)果;隨著飽和度增加,標(biāo)準(zhǔn)uULM 方法的分辨率估計結(jié)果緩慢上升并逐漸接近真實值.然而,本文提出的GAN-uULM方法可在較少的數(shù)據(jù)累積時長條件下,獲得較高的血管飽和度和較為穩(wěn)定的分辨率結(jié)果,其最終收斂結(jié)果與標(biāo)準(zhǔn)uULM 方法相當(dāng).大鼠腦血管結(jié)果表明,GAN-uULM 可以分辨直徑小至10 μm的微小血管(圖9(e)).

在uULM 成像過程中,大血管內(nèi)流動的微泡數(shù)量多,因此可以在較短的時間內(nèi)完成大血管重建.隨著大血管重建不斷清晰,成像飽和度快速上升,隨后的微小血管重建速度較慢,需要相對長的數(shù)據(jù)采集時間才能較好地完成重建[42].因此,需要在成像飽和度與采集時長之間加以權(quán)衡,雖然可通過損失微血管細(xì)節(jié)從而減少數(shù)據(jù)采集時長,但是這必然伴隨著成像質(zhì)量的下降和細(xì)節(jié)信息的缺失.此外,提高造影劑濃度,可使得單位時間內(nèi)微泡數(shù)量增加,促使飽和度曲線收斂加快,進(jìn)而縮短成像時長.但高濃度微泡會導(dǎo)致彼此靠近的微泡產(chǎn)生信號干擾,給算法帶來挑戰(zhàn),因此高濃度微泡下的GAN-uULM的成像效果有待進(jìn)一步深入.

6 結(jié)論

本文提出了一種基于生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)超分辨超聲成像方法,用于從定位后的運(yùn)動微泡數(shù)據(jù)中恢復(fù)密集的血管網(wǎng)絡(luò).實驗結(jié)果表明,與標(biāo)準(zhǔn)uULM 方法相比,GAN-uULM 避免了相對煩瑣的逐幀微泡軌跡連接過程,可在保持超分辨率血管造影精度的同時,縮減重建所需圖像數(shù)量,從而顯著提升成像效率.相關(guān)技術(shù)可在數(shù)十秒的時間內(nèi)對組織微血流進(jìn)行超分辨率成像,較好地緩解了高空間分辨率和高時間分辨率之間的矛盾.本文所提出的GAN-uULM 方法,在避免微泡軌跡閾值優(yōu)化篩選的同時,可顯著降低uULM 對數(shù)據(jù)采集時長需求,相關(guān)方法在超分辨超聲微血流成像方面具有一定應(yīng)用潛力.