廖江南，高雅，徐文逸，解維婭，程茜

(同濟(jì)大學(xué)物理科學(xué)與工程學(xué)院聲學(xué)研究所，上海 200092)

0 引言

乳腺癌已成為全球女性發(fā)病率最高的腫瘤疾病，乳腺癌的微血管成像對乳腺癌的治療方案和預(yù)后有重要意義。乳腺癌的發(fā)生往往伴隨著血管的病變，如病理組織周圍血管在形態(tài)和數(shù)目上的變化，如果能通過檢測血管變化實現(xiàn)對疾病的早期檢測，對乳腺癌的在體診斷和治療具有重要意義。

生物醫(yī)學(xué)光聲是近年來發(fā)展起來的一種無創(chuàng)的新型醫(yī)學(xué)檢測技術(shù)。激光脈沖照射到生物組織中時，組織中的生物分子產(chǎn)生基于熱彈效應(yīng)的超聲波，我們稱該超聲信號為光聲信號[1]。它結(jié)合了高對比度光學(xué)成像和高分辨率超聲成像在深層生物組織中的優(yōu)勢[2]，由于血液中的血紅蛋白與周圍組織間的高光吸收對比度[3]，血紅蛋白在血管網(wǎng)的光聲成像中可作為良好的光聲源，目前，光聲層析成像術(shù)(Photoacoustic Tomography,PAT)已廣泛用于血管檢測[4-6]。Wang 等首次將光聲斷層掃描技術(shù)應(yīng)用于小鼠腦成像，成功地獲得了小鼠腦血管的結(jié)構(gòu)圖像[5]。Treeby等利用吸收補(bǔ)償算法實現(xiàn)了小鼠腹部血管網(wǎng)的重建[6]。黃靖等把納米探針和光聲成像結(jié)合起來，實現(xiàn)了小鼠在體的腫瘤靶向光聲成像[7]。殷杰提出了一種在隨機(jī)散射介質(zhì)中的格林函數(shù)重構(gòu)方法，并與時間反轉(zhuǎn)相結(jié)合，實現(xiàn)了聲波的動態(tài)聚焦和單換能器的光聲成像，改善了散射介質(zhì)中的光聲成像效果[8]。

最近，深度學(xué)習(xí)的興起為提高光聲成像質(zhì)量提供了新的方法。深度學(xué)習(xí)首先在解決光學(xué)成像[9]和超聲成像[10]中的散射問題方面有許多突破，證明了神經(jīng)網(wǎng)絡(luò)能夠在高質(zhì)量數(shù)據(jù)的基礎(chǔ)上自主挖掘并利用數(shù)據(jù)中隱藏的物理規(guī)律統(tǒng)計不變性。在光聲成像中，由于脈沖光聲信號的超寬帶特性，其面臨的散射問題比傳統(tǒng)窄帶超聲成像和光學(xué)成像更為復(fù)雜。目前已有少量利用深度學(xué)習(xí)解決光聲散射問題的研究。Gao等利用改進(jìn)后的U-Net網(wǎng)絡(luò)實現(xiàn)了模擬經(jīng)顱腦血管的高質(zhì)量光聲重建圖像成功克服了顱骨對光聲波的強(qiáng)散射，與傳統(tǒng)光聲成像方法相比具有更好的性能和更清晰的成像結(jié)果，也證明了神經(jīng)網(wǎng)絡(luò)可以解決光聲成像中的聲散射問題[11]。

本文基于用于血管分割的數(shù)字圖像(Digital Retinal Images for Vessel Extraction,DRIVE)的數(shù)據(jù)集以及可調(diào)參數(shù)的顆粒散射層，在k-wave 中建立了不同顆粒散射條件下的微血管網(wǎng)光聲成像仿真模型，并計算獲得光聲散斑圖像數(shù)據(jù)集；為了提升抗散射網(wǎng)絡(luò)的魯棒性和遷移能力，使之廣泛應(yīng)用不同患者和乳腺癌不同分期，設(shè)置了多組具有不同散射顆粒密度和層數(shù)的散射層；根據(jù)光聲的寬帶特征，采用逐層帶有歸一化模塊的U 型卷積神經(jīng)網(wǎng)絡(luò)(Unet)來學(xué)習(xí)提取血管網(wǎng)絡(luò)光聲散斑圖像中隱藏的有效光聲信息，并重建出高質(zhì)量的血管網(wǎng)光聲圖像。上述基于深度學(xué)習(xí)網(wǎng)絡(luò)的光聲圖像抗散射重建研究驗證了從散斑中重建高清光聲微血管網(wǎng)的可行性。

1 光聲信號的數(shù)值模擬仿真與分析

1.1 血管網(wǎng)散射模型

本文使用了DRIVE 數(shù)據(jù)集，將數(shù)據(jù)集中的圖片進(jìn)行分割處理后作為光聲源進(jìn)行散射影響下的血管網(wǎng)光聲圖像重建及抗散射研究。該數(shù)據(jù)集共包含40張視網(wǎng)膜血管圖像。使用滑動窗口對每個圖像進(jìn)行分割，最終得到4 000張血管長度、直徑、彎曲度、分支模式和角度各不相同的血管網(wǎng)圖像數(shù)據(jù)集。將處理后得到的4 000張血管分割圖像作為本研究的光聲源，血管直徑分布在150～900 μm之間。代表性樣品血管網(wǎng)分割圖像示例如圖1所示。

圖1 血管網(wǎng)分割圖像示例Fig.1 The sample of segmented vascular network

不失一般性，在每個圖像外圍設(shè)置了由散射顆粒圍成的環(huán)形散射層。為了研究腫瘤組織內(nèi)部的異質(zhì)微結(jié)構(gòu)及鈣化點的疏密對光聲信號散射的影響，以及提升深度學(xué)習(xí)網(wǎng)絡(luò)的魯棒性和遷移能力，本文通過改變散射顆粒的層數(shù)和密度，設(shè)計了6種不同的散射層模型，如圖2所示。圖2中白色圓點代表散射體，中心的白色血管狀圖案為二值化后的血管網(wǎng)分割圖像，黑色部分代表耦合介質(zhì)(水)，顆粒直徑取900 μm，即顆粒/血管直徑比保持在1～6。

表1 不同散射模型參數(shù)設(shè)置Table 1 Parameter settings of different scattering models

圖2 6種不同散射層模型Fig.2 Six different scattering models set in this study

1.2 光聲信號的模擬

在本研究中的光聲信號重建過程中，聲散射對圖像質(zhì)量的影響遠(yuǎn)遠(yuǎn)大于光散射。因為在圖像重建的過程中，直接為圖像重建提供信息的是散射后光聲信號的振幅與相位信息；其中，振幅由血紅蛋白吸收光能決定，受散射影響較小；而本研究中的散射顆粒尺寸與光聲波的波長相近，其相位會受到較大影響。因此，本文不考慮光散射，而是聚焦于聲散射。

本文將二值化處理后的分割血管圖像作為模擬光聲源，并布置相同大小的圓形顆粒環(huán)繞在其周圍作為模擬散射層。使用Matlab(R2021b)軟件的kwave 工具包模擬血管網(wǎng)光聲信號在散射介質(zhì)中的傳播。通過周向均布的水聽器間隔5°接收經(jīng)散射介質(zhì)傳播的光聲信號。血管網(wǎng)的模擬光聲信號傳播如圖3所示。最后利用延時求和算法對檢測到的光聲信號進(jìn)行圖像重建。

圖3 模擬光聲信號的傳播過程Fig.3 Simulation of the PA signal propagations

1.3 仿真參數(shù)設(shè)置

對仿真中的具體參數(shù)進(jìn)行設(shè)置，具體的參數(shù)為：散射顆粒(黑色部分)的聲速為4 100 m·s-1、密度為1 500 kg·m-3[12-13]、其余部分(白色區(qū)域)聲速為1 500 m·s-1、密度為1 000 kg·m-3的軟組織。k-wave設(shè)置的計算區(qū)域為38.4 mm×38.4 mm，采樣間隔為3 ns，總采樣時間為20 μs。傳感器元件共72 個，每隔5°圍繞帶散射層的光聲源呈環(huán)形排列，用于記錄光聲源的光聲場分布。傳感器設(shè)置在距離光聲源中心21 mm處。

1.4 重建算法

本研究中圖像重建使用的是k-wave 工具箱里自帶的最基本的時間反轉(zhuǎn)(Time Reversal,TR)算法。該算法最早由Fink 提出。根據(jù)先收先發(fā)，后收后發(fā)的原理，將接收到的超聲信號進(jìn)行反投影、疊加，最后確定信號疊加的最大值處為聲源位置[14]。但是，該基本算法忽略了信號的指向性和傳感器陣列的稀疏性，重建圖像的邊緣較為模糊，產(chǎn)生了一定的背景噪聲。重建圖像示例如圖4所示。圖4(a)為數(shù)據(jù)集中的分割圖像的光聲信號模擬，圖4(b)為模擬信號經(jīng)內(nèi)置TR 重建算法處理后的重建圖像。

圖4 k-wave工具箱中TR算法圖像重建示例Fig.4 Example of TR algorithm image reconstruction in kwave toolbox

在存在散射的情況下，經(jīng)TR算法重建出的圖像既包含了算法造成的圖像模糊與背景噪聲，又包含了因散射造成的圖像模糊。在存在散射的情況下，圖像產(chǎn)生偽影不僅是由于上文所述的算法本身忽略了傳感器陣列稀疏性和指向性產(chǎn)生的偽影；同時由于散射層本身對聲信號造成的散射，相比于無散射情況下，接收到的光聲信號含有大量的散射信號，同時信號的相位、幅度也受到了影響，這會對圖像重建造成進(jìn)一步干擾，加重了重建圖像的偽影。

2 機(jī)器學(xué)習(xí)抗散射原理及網(wǎng)絡(luò)構(gòu)建

2.1 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

對于本文中的聲散射過程，可以將血管的圖像信息視為測量對象X，將接收到的光聲信號的直接重建圖像視為測量分布Y，將從X到Y(jié)的過程視為光聲信號通過散射層的傳播過程。這個傳播過程可以看作一個映射函數(shù)F。因此可以嘗試建立一個神經(jīng)網(wǎng)絡(luò)來解決映射函數(shù)F相關(guān)的最小化問題。并通過設(shè)計輸入和輸出函數(shù)的結(jié)構(gòu)風(fēng)險最小化問題，將這個最小化問題設(shè)計成系統(tǒng)的目標(biāo)函數(shù)，求訓(xùn)練樣本損失函數(shù)的最小值。

本文建立了一個卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)來訓(xùn)練關(guān)于模糊圖像和無散射圖像的映射關(guān)系。CNN網(wǎng)絡(luò)總體結(jié)構(gòu)遵循U-Net架構(gòu)[15]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The networks structure of CNN

U-Net網(wǎng)絡(luò)是在全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)后的網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用了編碼器-解碼器結(jié)構(gòu)，因為結(jié)構(gòu)呈完全對稱的U 型被稱為U-Net。U-Net 的淺層包含圖像精細(xì)特征的高分辨率信息，深層包含目標(biāo)和環(huán)境之間特征的語義信息[16]。本研究中選用U-Net結(jié)構(gòu)研究散射介質(zhì)光聲成像有兩個原因：(1)本研究中的光聲成像的散射屬于Mie散射，研究中接收到的是寬帶光聲信號；由于散射點的對光聲信號的散射和疊加，光聲信號場的空間分布較為復(fù)雜。而U-Net的淺層和深層分布從圖像中獲取高頻和低頻信息，通過跳躍鏈接(skip connections)可以同時保留高低頻的信息。(2)醫(yī)學(xué)成像問題相對于其他自然圖像成像問題，其成像目標(biāo)和結(jié)果相對固定。U-Net 可以重建具有自相似性的空間結(jié)構(gòu)[17]，在醫(yī)學(xué)成像領(lǐng)域表現(xiàn)良好。

本研究使用的網(wǎng)絡(luò)結(jié)構(gòu)在U-Net架構(gòu)的基礎(chǔ)上進(jìn)行了一些修改：由于U-Net架構(gòu)對于高頻空間頻率信息的敏感性相對較低[18]，同時本研究中使用的血管網(wǎng)圖像有粗有細(xì)，如果只使用U-Net重建，對于較為細(xì)小的血管重建會產(chǎn)生偏差。因此，本文在每個下采樣卷積層之后添加了批量歸一化(Batch Normalization,BN)模塊[19]，以克服這個問題。BN模塊通過重新定心和縮放來有效地規(guī)范每一批輸入，以緩解內(nèi)部協(xié)變量偏移的問題。卷積層內(nèi)的激活函數(shù)選用ReLU函數(shù)。

2.2 CNN網(wǎng)絡(luò)的參數(shù)選擇

在本文的研究過程中，CNN 網(wǎng)絡(luò)使用參數(shù)如下：訓(xùn)練周期數(shù)為100，處理尺寸為32，訓(xùn)練集大小為3 200，測試集大小為800。使用的優(yōu)化器為Adam，損失函數(shù)為交叉熵?fù)p失函數(shù)(binary_cros‐sentropy)。選取該函數(shù)作為損失函數(shù)，是因為本文中使用的圖像黑色背景(負(fù)樣本)占大部分，正樣本數(shù)據(jù)比例太小，對于常用的平均絕對誤差(Mean Absolute Error,MAE)函數(shù)，均方誤差(Mean Square Error,MSE)函數(shù)而言，有效數(shù)據(jù)量不足，可能出現(xiàn)圖像全黑的情況。而交叉熵?fù)p失函數(shù)常用于二分類，本文中所使用的眼底血管圖像分割圖為黑白二值圖像，本質(zhì)上為將圖像構(gòu)成的Numpy 數(shù)組中的黑白像素點進(jìn)行分類，可以避免上述可能出現(xiàn)的問題。

3 仿真結(jié)果分析

為了測試機(jī)器學(xué)習(xí)抗散射的準(zhǔn)確性，本文從測試集中隨機(jī)選擇了5組圖像，并將它們輸入到訓(xùn)練過的CNN 中進(jìn)行測試。數(shù)據(jù)集中的源圖像(ground truth)如圖6(a)所示。將該圖像作為光聲源對其進(jìn)行散射影響下的光聲場模擬，之后通過時間反轉(zhuǎn)算法進(jìn)行重建得到的光聲散斑圖像如圖6(b)所示。將圖6(b)的散斑圖像作為輸入數(shù)據(jù)，經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后輸出的重建圖像如圖6(c)所示?？梢钥闯雠c源圖像(ground truth)相比，直接重建的光聲圖像由于強(qiáng)聲散射和光聲信號的聲阻抗失配，導(dǎo)致了嚴(yán)重的斑點、偽影、細(xì)節(jié)信息丟失和血管邊緣模糊，嚴(yán)重降低了光聲重建圖像的質(zhì)量。而經(jīng)過CNN 網(wǎng)絡(luò)訓(xùn)練后的重建圖像，有效重建了目標(biāo)的重要特征和細(xì)節(jié)，并且邊緣清晰，對比度高。

圖6 CNN網(wǎng)絡(luò)圖像重建結(jié)果Fig.6 CNN network image reconstruction results

此外，本文還進(jìn)行了6種不同散射情況下的對比測試，包括多層散射介質(zhì)，不同顆粒密度的散射介質(zhì)。使用上述同一個神經(jīng)網(wǎng)絡(luò)對以上6個數(shù)據(jù)集分別進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如圖7、8所示。在圖8的訓(xùn)練中，三個模型的顆粒分布面積相同，通過改變顆粒數(shù)來改變顆粒密度。將訓(xùn)練后的重建圖像與源圖像進(jìn)行比較。散射影響下的直接重建圖像呈現(xiàn)出強(qiáng)烈偽影和背景噪聲。經(jīng)過CNN 訓(xùn)練后的重建圖像恢復(fù)了血管網(wǎng)絡(luò)的結(jié)構(gòu)和丟失的細(xì)節(jié)，同時背景噪聲也大大降低。

圖7 不同層數(shù)時神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果Fig.7 The learning result of neural network with different layers

圖8 不同顆粒數(shù)時神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果Fig.8 The learning result of neural network with different particle numbers

圖9為對以上6組學(xué)習(xí)結(jié)果的評價指標(biāo)，評價函數(shù)采用MAE。由圖9 可見，經(jīng)過約30 個訓(xùn)練周期的波動后，學(xué)習(xí)結(jié)果在60 個訓(xùn)練周期后趨向收斂。

圖9 機(jī)器學(xué)習(xí)結(jié)果評價Fig.9 Evaluation of machine-learning results

4 結(jié)論

在血管網(wǎng)光聲成像的抗散射研究中，本文提出了一種基于U-Net的CNN來學(xué)習(xí)散射介質(zhì)下血管網(wǎng)的光聲圖像散斑圖與清晰的目標(biāo)圖像間的映射關(guān)系。結(jié)果表明，該方法能夠同時克服散射問題和重建算法缺點，從高度模糊的散斑圖中提取有效信息，降低偽影和噪聲，快速重建目標(biāo)圖像，得到的圖像血管邊緣清晰，細(xì)節(jié)清晰，對比度高。結(jié)果驗證了將機(jī)器學(xué)習(xí)用于散射介質(zhì)下血管網(wǎng)光聲圖像重建的可行性。該方法為提高散射影響下光聲成像質(zhì)量提供了有效的工具，同時也為進(jìn)一步在體深度光聲成像提供了可能，并為乳腺癌的微血管網(wǎng)和病理組織的檢測以及早期診斷提供了一定的理論基礎(chǔ)。但是本文中的機(jī)器學(xué)習(xí)方法和其他機(jī)器學(xué)習(xí)方法一樣，所提出的方法僅限于訓(xùn)練中的數(shù)據(jù)集。同時仿真條件的設(shè)置和實際在體實驗中乳腺癌的檢測情況還有一定差距。在未來的研究中，我們考慮將CNN 和物理模型相結(jié)合，進(jìn)行動物和人體實驗，驗證深度學(xué)習(xí)方法在光聲成像抗散射研究中的更多可能。