顧峰，曹秒，蔡慶武，董麒，張坤

（長(zhǎng)春理工大學(xué) 生命科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022）

冠狀動(dòng)脈疾病的發(fā)病率和死亡率均較高，已成為當(dāng)今世界范圍內(nèi)死亡率最高的疾病之一［1］。冠狀動(dòng)脈粥樣硬化性病變可導(dǎo)致血管狹窄或阻塞，冠狀動(dòng)脈狹窄的檢測(cè)與量化是臨床早期診斷冠心病的主要途徑。隨著臨床醫(yī)學(xué)認(rèn)識(shí)的不斷加深和影像技術(shù)的進(jìn)步，冠狀動(dòng)脈造影CT圖像在篩選冠狀動(dòng)脈疾病方面發(fā)揮著越來越重要的作用。冠狀動(dòng)脈造影是一種非侵入性的方法，無需動(dòng)脈導(dǎo)管介入，只需造影液通過靜脈注入流經(jīng)心臟，在冠狀動(dòng)脈舒張期完成一次心臟斷層掃描［2］。冠狀動(dòng)脈造影CT圖像分割在輔助醫(yī)生治療、評(píng)價(jià)血管狹窄病變范圍、重建血管三維結(jié)構(gòu)等方面具有重要意義［3］。完整的血管分割結(jié)果可節(jié)省醫(yī)生的人工分割時(shí)間，有助于醫(yī)生更好地診斷疾病。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）主要依靠特征自動(dòng)提取等技術(shù)，在數(shù)字圖像處理領(lǐng)域取得了重大進(jìn)展［4］。醫(yī)學(xué)領(lǐng)域也注意到深度學(xué)習(xí)方法的巨大成功，并且希望將深度學(xué)習(xí)技術(shù)應(yīng)用于醫(yī)學(xué)圖像處理的各個(gè)任務(wù)。已發(fā)表的有關(guān)深度學(xué)習(xí)的文獻(xiàn)中，提出了許多不同的血管分割方法。當(dāng)前深度學(xué)習(xí)主要有兩類：監(jiān)督算法和非監(jiān)督算法［5］。非監(jiān)督算法是指訓(xùn)練過程中沒有人工標(biāo)注作為參考依據(jù)，而監(jiān)督式算法可以使用手工分割好的標(biāo)簽作為參考依據(jù)。

隨著越來越多數(shù)據(jù)集的公開，監(jiān)督式算法得到了越來越多研究人員的喜愛，而且監(jiān)督式算法網(wǎng)絡(luò)架構(gòu)更具有競(jìng)爭(zhēng)性，可以達(dá)到最佳性能［6］。李瑞瑞等人［7］引入新的血管連接損失值來保證血管的連通性。JIN等人［8］引入了一種可變形卷積運(yùn)算來對(duì)不同形狀的血管進(jìn)行建模。一項(xiàng)研究聲稱［9］，考慮到動(dòng)脈和靜脈之間的特征差異，可以通過多任務(wù)訓(xùn)練來改善分割結(jié)果。YAN等人［10］意識(shí)到血管寬窄之間的固有數(shù)據(jù)不平衡，表明訓(xùn)練損失值將以寬的血管為主，而忽略細(xì)的血管。該模型雖然可以有效地重建粗、細(xì)血管，但是需要手動(dòng)定義血管的直徑，而在大多數(shù)的血管分割實(shí)例中，模糊和嘈雜的血管邊界很難全部通過手動(dòng)定義。ZHU等人［11］提出基于PSPNet網(wǎng)絡(luò)的冠狀動(dòng)脈造影圖像分割方法。針對(duì)冠狀動(dòng)脈造影圖像結(jié)構(gòu)復(fù)雜多變、參數(shù)結(jié)構(gòu)過擬合或參數(shù)結(jié)構(gòu)破壞等問題，采用小樣本遷移學(xué)習(xí)限制參數(shù)學(xué)習(xí)方法，實(shí)現(xiàn)了并行多尺度卷積神經(jīng)網(wǎng)絡(luò)模型。但隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練過程中對(duì)網(wǎng)絡(luò)的指導(dǎo)力度不夠。因此在分割醫(yī)學(xué)圖像時(shí)會(huì)出現(xiàn)誤分割。

本文的目標(biāo)是開發(fā)一種快速、全面和自動(dòng)化的全卷積深度網(wǎng)絡(luò)，稱為MSRNet，用于解決動(dòng)脈造影血管中血管的分割問題，能夠輔助醫(yī)生早期診斷疾病，并使用自動(dòng)分割工具減少觀察者的報(bào)告差異和醫(yī)生的工作負(fù)擔(dān)。

1 方法

1.1 ResNet-50

卷積神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)深度的加深，表達(dá)能力增強(qiáng)。然而，隨著網(wǎng)絡(luò)深度的加深，一些問題也就隨之而來。當(dāng)網(wǎng)絡(luò)層數(shù)太深時(shí)，對(duì)網(wǎng)絡(luò)訓(xùn)練的時(shí)間以及設(shè)備的要求也越來越高，而且還會(huì)出現(xiàn)梯度消失，訓(xùn)練錯(cuò)誤增加等現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)性能下降。這些問題的出現(xiàn)說明神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法還存在很多問題。為了解決這些問題，何愷明等人提出了殘差網(wǎng)絡(luò)來解決這些問題。ResNet使用快捷連接和擬合殘差表示法。恒等映射重新構(gòu)建了學(xué)習(xí)過程，讓梯度在網(wǎng)絡(luò)中順暢地傳遞，加快了網(wǎng)絡(luò)收斂的速度，有效地解決了網(wǎng)絡(luò)退化、梯度消失等問題。

ResNet-50是何愷明團(tuán)隊(duì)提出的殘差網(wǎng)絡(luò)ResNet中的一種，這里的50指帶權(quán)重的層為50層，具體由1個(gè)卷積核大小為7×7的卷積層（Conv）、1個(gè)內(nèi)核大小為3×3的池化層（最大池化Maxpool）、4組殘差模塊（Residual Module）和 1個(gè)全連接層（FC）構(gòu)成，每組殘差模塊內(nèi)分別有3、4、6、3個(gè)標(biāo)準(zhǔn)殘差塊結(jié)構(gòu)（Residual Block）。

將ResNet-50提取的特征圖進(jìn)行可視化以了解ResNet-50對(duì)冠狀動(dòng)脈圖像的特征學(xué)習(xí)過程，如圖 1所示，從圖1（b）～圖1（d）展示了層次由淺至深提取到的部分特征圖樣例。通過觀察分析特征圖可以看到，網(wǎng)絡(luò)的低層特征包含更多的線條、紋理、目標(biāo)形狀等信息，隨著層次深度的增加，圖像信息逐漸減少，一些關(guān)鍵目標(biāo)特征也越來越模糊甚至消失。CNN的低層特征由于來源的層次較淺，因此學(xué)習(xí)到的特征更多指冠狀動(dòng)脈圖像的局部和細(xì)節(jié)信息，而來源于更深層次的高層特征，則更強(qiáng)調(diào)圖像全局結(jié)構(gòu)及主要目標(biāo)的整體輪廓等抽象信息，因此高層特征較適合冠狀動(dòng)脈分割任務(wù)。由于醫(yī)學(xué)圖像相對(duì)于一般的物體圖像分割精度要求更高，冠狀動(dòng)脈圖像的細(xì)節(jié)信息在CNN深層逐漸消失，導(dǎo)致高層特征缺少了可區(qū)分性的冠狀動(dòng)脈特征識(shí)別依據(jù)，從而可能產(chǎn)生分割不精確的問題。

圖1 ResNet-50不同殘差塊輸出的特征圖

1.2 MSRNet網(wǎng)絡(luò)結(jié)構(gòu)

為提高冠狀動(dòng)脈分割精度，在殘差網(wǎng)絡(luò)中引入監(jiān)督模塊。通過訓(xùn)練好的ResNet-50模型進(jìn)行特征提取的過程中發(fā)現(xiàn)，將ResNet-50網(wǎng)絡(luò)中最后的三個(gè)殘差單元和整個(gè)連接層去掉，網(wǎng)絡(luò)收斂速度更快，對(duì)冠狀動(dòng)脈的分割效果更好。所以將網(wǎng)絡(luò)中最后的三個(gè)殘差單元和整個(gè)連接層去掉。這樣，網(wǎng)絡(luò)中就只有兩種殘差單元。如圖2所示，在特征提取模塊中，第1、4、8方塊為映射殘差單元（圖2殘差塊1），殘差單元輸入輸出之間的短連接通道不包含任何其他層。其余特征提取部分的方塊表示卷積殘差單元（圖2殘差塊2）。這類殘差單元的輸入與輸出之間的短連接通道包括卷積層、歸一化層和尺度層。圖2中第二部分是多重監(jiān)督模塊。針對(duì)網(wǎng)絡(luò)中第3、7、13殘差塊，添加3個(gè)監(jiān)督側(cè)輸出模塊。因?yàn)榫W(wǎng)絡(luò)由卷積神經(jīng)層和尺度層兩層組成，在不同深度下的特征圖尺寸要小于輸入圖像特征圖的尺寸。以3、7、13等殘差塊輸出圖像的特征圖尺寸為原輸入圖像尺寸的1/4、1/8、1/16。為了確保監(jiān)督模塊輸出的圖像和輸入圖像的分辨率相同，在每個(gè)監(jiān)督模塊上都加入了一個(gè)上采樣層對(duì)輸出特征進(jìn)行上采樣。此外，每個(gè)側(cè)面的輸出模塊還能計(jì)算出標(biāo)簽圖像和側(cè)面模塊輸出預(yù)測(cè)圖之間的損失值，再將損失值反向傳播，并用梯度下降法修正了網(wǎng)絡(luò)的權(quán)值，這有利于網(wǎng)絡(luò)多尺度學(xué)習(xí)，加快網(wǎng)絡(luò)收斂速度。將各個(gè)側(cè)模塊的分割結(jié)果融合在融合層，得到最終的分割結(jié)果。

圖2 MSRNet的架構(gòu)

1.2 遷移學(xué)習(xí)

深度學(xué)習(xí)在分類、聚類和回歸等領(lǐng)域取得了令人矚目的成就。但是這些方法都是以訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)具有相同的特征空間時(shí)，才能得到讓人滿意的結(jié)果［8］。隨著數(shù)據(jù)樣本的變化，算法需要添加額外的訓(xùn)練數(shù)據(jù)，然后從頭開始訓(xùn)練。應(yīng)用到現(xiàn)實(shí)場(chǎng)景中時(shí)，這種方法的弊端就顯示出來了，不僅成本較高，而且很多任務(wù)無法再收集更多的培訓(xùn)數(shù)據(jù)。因此，這些任務(wù)非常需要能夠減少數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的方法，這時(shí)應(yīng)用領(lǐng)域間的知識(shí)遷移或遷移學(xué)習(xí)具有重要的現(xiàn)實(shí)意義。

1.3 訓(xùn)練過程

MSRNet基于牛津大學(xué)開發(fā)的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)工具箱［9］，采用梯度下降法訓(xùn)練網(wǎng)絡(luò)，全卷積層采用Xavier方法初始化，學(xué)習(xí)率設(shè)為0.01，偏向?qū)W習(xí)率設(shè)為0.02。融合層采用零初始化法進(jìn)行初始化，學(xué)習(xí)率設(shè)為0.01。迭代次數(shù)設(shè)置為50。網(wǎng)絡(luò)的損失函數(shù)定義如下：

其中，g1，g2…，gk∈{0，1}，像素 1 表示真值標(biāo)簽；gi=1表示屬于冠狀動(dòng)脈的像素，反之，gi=0表示屬于其他組織像素；p（gi=n）表示該像素屬于該類型的概率。

1.4 分割結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)

為了評(píng)價(jià)該算法的性能，使用一些廣泛使用的指標(biāo)來進(jìn)行比較。具體而言，選擇血管分割準(zhǔn)確性（Acc）和真陽(yáng)率（Sen）［10］作為評(píng)價(jià)分割性能。使用NTP作為表示正確檢測(cè)到血管（true positive）像素?cái)?shù)，NTN表示為正確檢測(cè)到的非血管（true negative）像素值，NFP表示為錯(cuò)誤檢測(cè)到血管（false positive）像素。Sensitivty（Sen）也稱為真陽(yáng)率（true positive rate），定義為 Sen=NTP/（NTP+NTN）。血管分割準(zhǔn)確性（Acc）定義為Acc=（NTN+NTP）/（NTP+NFN+NTN+NFP）。

2 數(shù)據(jù)與結(jié)果

2.1 數(shù)據(jù)來源

為驗(yàn)證本文算法的分割性能，建立了一個(gè)來自實(shí)際案例的數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)來自50個(gè)病人的680幅CT圖像（如圖3（a）），所有圖像均為冠狀動(dòng)脈斷層截面圖，且所有圖像都有放射科醫(yī)生手動(dòng)標(biāo)注的真值標(biāo)簽。上述圖像資料均來自西藏民族大學(xué)附屬醫(yī)院。

2.2 數(shù)據(jù)預(yù)處理

盡管深度學(xué)習(xí)體系結(jié)構(gòu)對(duì)原始輸入數(shù)據(jù)有很好的效果，但是適當(dāng)?shù)念A(yù)處理操作可以提高網(wǎng)絡(luò)分割的精度［11］。由于一些圖像的對(duì)比度不明顯，分割邊界模糊，為了使數(shù)據(jù)更適合于分割，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。

（1）圖像進(jìn)行歸一化處理。從醫(yī)院采集的數(shù)據(jù)來自不同的設(shè)備，而且病患個(gè)體差異導(dǎo)致造影圖像灰度不同。首先將數(shù)據(jù)集中的所有圖像轉(zhuǎn)換成灰度圖像，然后對(duì)灰度圖像進(jìn)行歸一化處理，確保每個(gè)圖像的平均灰度值為0，標(biāo)準(zhǔn)差為1。

（2）數(shù)據(jù)增強(qiáng)。為了克服過擬合問題，使用隨機(jī)沿軸鏡像翻轉(zhuǎn)、隨機(jī)縮放和強(qiáng)度位移三種技術(shù)對(duì)數(shù)據(jù)集圖像進(jìn)行增強(qiáng)。表1顯示了有關(guān)使用數(shù)據(jù)增強(qiáng)方法的參數(shù)細(xì)節(jié)信息。

表1 數(shù)據(jù)擴(kuò)充參數(shù)

2.3 性能比較

通過 MSRNet、U-net和 ResNet等技術(shù)，對(duì)基于深度學(xué)習(xí)模型的冠狀動(dòng)脈分割算法的有效性進(jìn)行了驗(yàn)證。根據(jù)作者提供的源代碼，對(duì)U-net和ResNet進(jìn)行了大量參數(shù)實(shí)驗(yàn)，得到了最佳的U-Net和 ResNet參數(shù)。學(xué)習(xí)率（1×10-5），迭代次數(shù)（50）。通過計(jì)算Acc、Sen兩個(gè)指標(biāo)來評(píng)價(jià)三種分割算法的性能。分割結(jié)果如表2所示。

表2 幾種分割方法的比較

表2為本文為了驗(yàn)證本文網(wǎng)絡(luò)分割性能與其他幾種神經(jīng)網(wǎng)絡(luò)分割方法性能的比較。從表2的結(jié)果可以看出，與U-net和ResNet相比，本文結(jié)果的Acc分別提高了9.3%和7.4%，Sen提高了9.1%和7.3%，MSRNet具有最高的Acc和最高的Sen。

為了驗(yàn)證本文提出的對(duì)冠狀動(dòng)脈進(jìn)行分割的方法的有效性，對(duì)680幅圖像進(jìn)行了分割測(cè)試，并用人工分割結(jié)果作為參考標(biāo)準(zhǔn)。圖3展示兩組冠狀動(dòng)脈造影血管應(yīng)用不同方法的分割結(jié)果。圖 3（a)、圖 3（f）是原始圖像，圖 3（b）、圖 3（g）是由放射科醫(yī)生手工分割的結(jié)果，圖3（c）、圖3（h）是利用U-Net進(jìn)行分割的結(jié)果，圖 3（d）、圖 3（i）是 ResNet網(wǎng)絡(luò)分割的結(jié)果，圖 3（e）、圖 3（g）是MSRNet網(wǎng)絡(luò)的分割結(jié)果。從圖3（c）、圖3（h）兩組圖中可以看出，U-Net網(wǎng)絡(luò)對(duì)冠狀動(dòng)脈并不能完整的分割。從圖3（d）、圖3（i）可以看出，ResNet網(wǎng)絡(luò)對(duì)冠狀動(dòng)脈的分割出現(xiàn)了過分割問題，將一些對(duì)比度相似的造影組織分割了出來。圖3表明，基于MSRNet網(wǎng)絡(luò)的分割結(jié)果相對(duì)于U-Net和ResNet網(wǎng)絡(luò)，分割結(jié)果更完整、更準(zhǔn)確，不會(huì)出現(xiàn)過度分割的情況，且分割結(jié)果更接近人類專家手工分割的結(jié)果。

圖3 實(shí)驗(yàn)分割結(jié)果

2.5 遷移學(xué)習(xí)的實(shí)驗(yàn)結(jié)果

表2展示了分割的準(zhǔn)確性，基于MSRNet網(wǎng)絡(luò)是最高的。在MSRNet的基礎(chǔ)上，同時(shí)測(cè)試使用了遷移學(xué)習(xí)模型的準(zhǔn)確性變化。圖4是使用遷移學(xué)習(xí)之前和之后的模型性能的比較?？梢钥闯觯谑褂眠w移學(xué)習(xí)之后，本文提出的模型在冠狀動(dòng)脈分割中的Acc和Sen都有提高。其中測(cè)試集上的平均Acc從0.925提高到了0.938，平均Sen從0.912提高到了0.923。結(jié)果表明，本文使用的遷移學(xué)習(xí)策略能夠提高模型的性能。

圖4 基于遷移學(xué)習(xí)改善的模型性能

3 結(jié)論

冠狀動(dòng)脈是一種細(xì)管狀結(jié)構(gòu)，對(duì)比度和偽影相對(duì)較低，而且有效的注釋樣本稀缺，給冠狀動(dòng)脈圖像的分割帶來了困難。基于冠狀動(dòng)脈CT血管成像，提出了一種基于MSRNet的多尺度CNN模型。本算法首先對(duì)預(yù)處理后的圖像進(jìn)行下采樣，得到多尺度的圖像，并將其發(fā)送到CNN。在全連接層中選取不同尺度的特征進(jìn)行融合，最后利用這些特征對(duì)冠狀動(dòng)脈造影CT圖像進(jìn)行分割。通過實(shí)驗(yàn)證明，基于MSRNet的冠狀動(dòng)脈CT血管圖像分割技術(shù)比ResNet和U-Net具有更高的分割精度。此外，利用遷移學(xué)習(xí)技術(shù)來進(jìn)一步提高分割的精度，解決了利用深度神經(jīng)網(wǎng)絡(luò)分割冠狀動(dòng)脈數(shù)據(jù)量有限的問題，進(jìn)一步提高了分割的準(zhǔn)確性。因此，本文的實(shí)驗(yàn)對(duì)冠狀動(dòng)脈CT血管的準(zhǔn)確分割具有重要的意義。