田煒，雷志超，王楚正

（中南林業(yè)科技大學(xué) 計算機與信息工程學(xué)院，長沙 410000）

0 概述

當(dāng)前，癌癥已經(jīng)成為致死率最高的疾病，其中肝癌的致死率位于前列［1］。肝癌主要分為肝細(xì)胞癌（Hepatocellular Carcinoma，HCC）、局灶性結(jié)節(jié)性增生（Focal Nodular Hyperplasia，F(xiàn)NH）、血管瘤（Hemangioma，HEM）、囊腫（Cyst）等類型。癌癥的早期診斷和治療是降低癌癥死亡率的主要措施，傳統(tǒng)的肝癌診斷方法基于臨床醫(yī)生對患者計算機斷層掃描（Computed Tomography，CT）影像的觀察和判斷［2］，該方法不但要求醫(yī)生有豐富的經(jīng)驗和專業(yè)知識，而且需要很長的診斷時間。肝臟病灶是指肝臟疾病（包括肝癌）集中的部位或是綜合病癥、感染的主要部位。近年來，計算機輔助診斷（Computer-Aided Diagnosis，CAD）系統(tǒng)在肝臟局灶性病變（Focal Liver Lesions，F(xiàn)LLs）分類的早期準(zhǔn)確診斷中發(fā)揮著重要作用［3］，多期相CT 影像已應(yīng)用于CAD。多期相CT 影像根據(jù)造影劑注射時間不同分為3 個期相，包括注射造影劑之前進行檢查以獲得平掃期（Non-contrast Enhanced，NC），注射后階段包括動脈（Arterial，ART）期（造影劑注射后30～40 s），門靜脈（Portal Venous，PV）期（造影劑注射后70～80 s）［4-5］。

對肝臟病灶分類的研究，早期僅利用單期相CT 影像數(shù)據(jù)［6-8］，忽略了多期相掃描傳達(dá)的時序信息，分類準(zhǔn)確率較低。因此，亟需將多期相CT 影像應(yīng)用到FLLs的檢測和分類研究中，這對于提高檢測或診斷的準(zhǔn)確率至關(guān)重要［9］。傳統(tǒng)方法主要是以提取傳統(tǒng)特征為主的特征提取器和線性或非線性分類器。這些特征包括形態(tài)學(xué)特征，位置特征，灰度調(diào)整、生長速度和紋理特征的低級特征，或者基于視覺詞袋（Bag of Visual Word，BoVW）模型提取的中級特征［7-8，10］。文獻(xiàn)［11］提出基于Bi-gram BoSTW 模型的淺層多特征融合的方法，結(jié)合N-gram 和BoVW 模型進行肝臟病灶分類研究。由于利用手工提取的淺層特征難以建立和多期相數(shù)據(jù)集間的直接聯(lián)系，因此傳統(tǒng)方法難以達(dá)到較高的分類性能，分類器魯棒性差，分類過程復(fù)雜且耗費時間。

自HE等［12］提出殘差神經(jīng)網(wǎng)絡(luò)（Residual Neural Network，ResNet）以來，許多學(xué)者將深度學(xué)習(xí)相關(guān)理論逐漸應(yīng)用到肝臟病灶的檢測和分類中［13-15］。文獻(xiàn)［16］提出一種基于多尺度patch 的分類框架檢測肝臟局灶性病變。YASAKA等［17］提出一種卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）結(jié)構(gòu)，對CT 影像中的肝腫瘤進行分類，其模型具有3個通道，對應(yīng)NC、ART和PV共3個期相。LIANG等［18］提出融合全局和局部信息的CNN 網(wǎng)絡(luò)結(jié)構(gòu)用于FLLs 分類。這些方法應(yīng)用多期相CT 影像提取比單期相影像更豐富的特征信息，并且利用深度學(xué)習(xí)方法的優(yōu)勢，能夠快速得到更高準(zhǔn)確率的分類結(jié)果。然而，這些方法均使用早期融合的方法，難以解決多期相肝臟病灶CT 影像結(jié)構(gòu)變化較大、病灶尺寸差異大等情況，不能提取更豐富的特征信息。同時，肝臟病灶分類還存在精準(zhǔn)標(biāo)注樣本少、標(biāo)注難、分類準(zhǔn)確率不高、現(xiàn)有特征表達(dá)方式依然難以直接指導(dǎo)臨床應(yīng)用等問題。

本文提出一種多期相注意力融合網(wǎng)絡(luò)（Multi-phase Attention Fusion Network，MAFNet）進行多期相CT 影像肝臟病灶分類。使用單期相分支和采用中期融合方式的融合分支構(gòu)建網(wǎng)絡(luò)模型，利用多期相注意力模塊（Multi-phase Attention Module，MAM）表達(dá)不同期相影像的時序增強模式，從而提高分類結(jié)果準(zhǔn)確率。

1 多期相影像與特征融合

1.1 多期相影像

為充分表示多期相肝臟CT 影像時序增強模式，本文使用3 個期相的肝臟腫瘤CT 影像作為數(shù)據(jù)源進行研究，這些數(shù)據(jù)源分為Cyst、FNH、HCC、HEM共4 個類型，如圖1 所示。

圖1 4 個典型肝臟病變在3 個期相時的影像Fig.1 Images of four typical liver lesions in three phases

1.2 特征融合

為提高肝臟病灶CT分類的準(zhǔn)確率，特征融合方法在表達(dá)單期相影像特征時，不能忽略多期相影像間增強模式。通常，融合大致分為早期融合（Early fusion）［19-21］、后期融合（Late fusion）和中期融合（Intermediate fusion）［22］3 種類型。早期融合首先將多期相圖像通過多通道的方式融合到深度網(wǎng)絡(luò)中，學(xué)習(xí)融合特征表示，然后對網(wǎng)絡(luò)進行訓(xùn)練，也稱為輸入級融合。這種融合可以最大限度地保留原始圖像信息，學(xué)習(xí)圖像特征。后期融合也稱為決策級融合，指的是對每個網(wǎng)絡(luò)的輸出進行融合，得到最終的結(jié)果。后期融合旨在從不同的期相中獨立地獲取更豐富的信息。應(yīng)用早期融合和后期融合策略進行多期相肝臟病灶CT 影像分類的流程如圖2 所示。

圖2 兩種融合表達(dá)策略流程Fig.2 Procedures of two fusion expression strategies

多期相肝臟病灶CT 影像數(shù)據(jù)特異性以及早期融合和后期融合兩種融合策略在表達(dá)特征方面都有不同程度的不足。如圖2 所示，早期融合僅是輸入級融合策略，難以解決不同采樣率或不同框架下數(shù)據(jù)間的異步性問題，導(dǎo)致模型性能下降。在后期融合中，由于每種期相的輸出相互獨立，這種決策模型忽略了同一患者不同期相之間的增強模式信息。由于不同患者病灶的外觀形態(tài)和結(jié)構(gòu)在一定程度上與注射造影劑時間有關(guān)，有的病灶只能在某個特定期相影像中檢測出來，導(dǎo)致單一的肝臟腫瘤影像忽略多期相影像中的信息。針對早期融合和后期融合的不足，難以將圖像的低層特征和高層特征融合，分類性能差，本文采用中期融合策略，通過將每個期相的圖像作為單個輸入來訓(xùn)練單個深度網(wǎng)絡(luò)，每個特征在網(wǎng)絡(luò)層進行融合，并將結(jié)果反饋給決策層，得到最終結(jié)果。

2 多期相注意力融合網(wǎng)絡(luò)

為更好地表達(dá)多期相CT 影像中的時間序列增強模式，本文提出了多期相注意力融合網(wǎng)絡(luò)（Multiphase Attention Fusion Network，MAFNet）。

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

如圖3 所示，本文提出的網(wǎng)絡(luò)為多分支架構(gòu)，由3 個單期相分支（NC、ART、PV）和融合分支構(gòu)成。在單期相分支中，本文部署了3 個完整的ResNet50，用來分別提取NC、ART 和PV 3 個期相的特征，這3 個分支可以保持NC、ART 和PV 3 個單期相的圖像特征。融合分支用來融合從單期相分支的特征映射中提取出來的圖像特征。

圖3 多期相注意力融合網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of multi-phase attention fusion network

針對多期相肝臟腫瘤圖像特性，在融合分支中，本文采用中期融合的方式，3個單期相分支（NC、ART、PV）在網(wǎng)絡(luò)的每個模塊階段提供一組特征映射，如Conv、Layer1等。然后特征映射由多期相注意力模塊重新組織。特征映射經(jīng)過Conv后，進一步逐元素地相加作為融合分支的輸入，其他元素則添加到融合分支的輸出中。特征映射經(jīng)過Conv后，進一步逐元素地相加作為融合分支的輸入，其他元素則添加到融合分支的輸出中。通過這種方式，本文的網(wǎng)絡(luò)架構(gòu)可以提取、重組和融合低層和高層特征，既能提取單期相圖像內(nèi)部之間的特征信息，也能關(guān)注多期相圖像之間的時序增強模式。

2.2 多期相注意力模塊

如圖3所示，本文設(shè)計了一組注意力模塊［23］，即MAM模塊。本文的MAM 基于通道注意力［24］，使網(wǎng)絡(luò)聚焦于信息更豐富的區(qū)域。如圖4 所示，利用MAM 對通道之間的相互依賴關(guān)系進行建模，選擇性地增強包含有用信息的特征并抑制無用特征，并通過網(wǎng)絡(luò)的全局損失函數(shù)，自適應(yīng)地重新調(diào)整通道之間的特征相應(yīng)強度，使有效的特征圖具有較大的權(quán)重，而無效或效果較小的特征圖具有較小的權(quán)重。

圖4所示為多期相注意力模塊。在圖4中，首先，將各通道的全局空間特征作為該通道的表示，形成一個通道描述符，對于特征映射U=[u1，u2，…uc]∈RC×H×W，其中uk∈RH×W為第k個通道上的特征映射。使用全局平均池化，得到輸出Z∈RC×1×1，其中C代表通道數(shù)，H和W分別表示特征圖的高度和寬度。Z(Z∈RC)的第k個元素可由式（1）求得：

圖4 多期相注意力模塊Fig.4 Multi-phase attention module

然后，由一個1×1 卷積層重新組織Z，使卷積層的通道數(shù)與Z相同。這是由于1×1 卷積層能夠挖掘通道之間的相關(guān)性，有助于通道之間相應(yīng)的權(quán)重分布。本文使用Sigmoid激活函數(shù)將權(quán)值向量M＜∈RC×1×1的值限制在0～1 之間，表達(dá)式如式（2）所示：

其中：δ代表Sigmoid 激活函數(shù)；φ代表1×1 卷積。

將特征映射U和權(quán)值向量M進行外積，原始特征映射U被轉(zhuǎn)換為新的特征映射X～，其中包含更多有效信息，表達(dá)式如式（3）所示：

其中：?代表外積。

2.3 特征融合結(jié)構(gòu)

本文提出的多期相肝臟病灶特征融合體系結(jié)構(gòu)如圖3 所示。圖3 中部署了3 個完整的ResNet50 用來分別提取NC、ART 和PV 特征，這3 個分支用來保持NC、ART 和PV 3 個單期相的圖像特征。然后，利用融合分支從單期相分支的特征映射中提取圖像特征進行融合。

圖3 中網(wǎng)絡(luò)模型的具體設(shè)計如表1 所示。本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)為多分支結(jié)構(gòu)，其基礎(chǔ)網(wǎng)絡(luò)均采用ResNet50。在單期相分支中Conv 階段包含1 個深度為64，步長為2 的7×7 卷積核的卷積層、1 個批量標(biāo)準(zhǔn)化（Batch Normalization，BN）、1 個修正線性單元（Rectified Linear Unit，ReLU）和最大池化層。Layer1 一共有3組，每一組包含3 個卷積層。類似地，Layer2、Layer3 和Layer4 表示不同的卷積層集合。融合分支在ResNet50 基礎(chǔ)上，刪除單期相分支中的Conv 階段，保留了4 個layer 階段，然后使用了1 個全局平均池化（Global Average Pooling，GAP）。GAP 能夠降低特征映射空間位置信息的損失，并且減少了參數(shù)的計算量，防止發(fā)生過擬合。最后使用1 個完全連接層（Fully Connected Layers，F(xiàn)C）對提取的高級特征進行分類，最終輸出值（0，1，2，3）分別對應(yīng)4 種肝臟病灶的種類。

表1 單期相分支與融合分支的網(wǎng)絡(luò)結(jié)構(gòu) Table 1 Network structure of single phase branch and conversed branch

2.4 多期相損失函數(shù)

本文設(shè)計了一種多期相損失函數(shù)，結(jié)合如上所述的多期相特征融合結(jié)構(gòu)。多期相損失函數(shù)使用的是交叉熵［25］。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與評價指標(biāo)

本文使用某醫(yī)院內(nèi)部的MPCT-FLLs 數(shù)據(jù)庫［26-27］，將實驗數(shù)據(jù)分為訓(xùn)練集、驗證集和測試集。肝臟腫瘤包括3 個期相（即NC、ART 和PV）和4 種類型（即Cyst、FNH、HCC 和HEM），如圖1 所示。為了消除隨機性的影響，本文按照文獻(xiàn)［18］中的方式進行兩次數(shù)據(jù)劃分操作，形成兩組數(shù)據(jù)集，如表2所示。每個多期相CT 影像被調(diào)整為112×112 像素。為避免過擬合問題，本文采用數(shù)據(jù)增強的方法，包括高斯噪聲［28］、翻轉(zhuǎn)和隨機旋轉(zhuǎn)。

表2 數(shù)據(jù)集樣本數(shù) Table 2 Sample number of datasets

本文使用測試集的平均準(zhǔn)確率和標(biāo)準(zhǔn)差來評估本文模型的性能。準(zhǔn)確率A定義如式（5）所示：

其中：TTP為正確的分類樣本個數(shù)；T為相應(yīng)數(shù)據(jù)集的所有樣本個數(shù)。

3.2 實驗環(huán)境與參數(shù)設(shè)置

實驗使用Intel i7-10700 CPU、16 GB DDR4 RAM和Nvidia GeForce GTX 2080 Super（8 GB）GPU 配置 的服務(wù)器，使用Pytorch 實現(xiàn)網(wǎng)絡(luò)架構(gòu)。實驗使用隨機梯度下降優(yōu)化器（Stochastic Gradient Descent Optimizer，SGD）［29］優(yōu)化參數(shù)，其中初始學(xué)習(xí)率設(shè)置為0.000 1，每100 次后衰減0.8，動量設(shè)置為0.9，設(shè)置500 個epoch，batch size 為16。

3.3 實驗分析

3.3.1 基礎(chǔ)網(wǎng)絡(luò)的確定

為確定更適合本文數(shù)據(jù)集的基礎(chǔ)網(wǎng)絡(luò)，本文通過實驗對比了當(dāng)前主要的AlexNet［30］、VGG［31］、Inception［32］、ResNet［11］等網(wǎng)絡(luò)的分類結(jié)果。由于VGG 在本實驗中出現(xiàn)過擬合現(xiàn)象，不能收斂，故分別利用AlexNet、ResNet和Inception 基礎(chǔ)網(wǎng)絡(luò)，采用早期融合、后期融合和中期融合這3 種融合策略，探討更適合多期相病灶圖像數(shù)據(jù)集的基礎(chǔ)網(wǎng)絡(luò)。

圖5所示為AlexNet、ResNet 和Inception網(wǎng)絡(luò)的早期、后期和中期融合的分類結(jié)果。從圖5 可以看出，AlexNet 和Inception 網(wǎng)絡(luò)中期融合的平均準(zhǔn)確率分別為80.34%和87.44%，高于早期融合和后期融合。由圖5 可知，使用任意融合策略的ResNet 網(wǎng)絡(luò)的平均準(zhǔn)確率均高于AlexNet 網(wǎng)絡(luò)，使用后期融合和中期融合策略的ResNet 網(wǎng)絡(luò)的平均準(zhǔn)確率也高于使用后期融合和中期融合策略的Inception 網(wǎng)絡(luò)。相較于其他網(wǎng)絡(luò)結(jié)構(gòu)，使用中期融合策略的ResNet 網(wǎng)絡(luò)的平均準(zhǔn)確率達(dá)到最高，為88.75%。因此，本文選用ResNet 作為基礎(chǔ)網(wǎng)絡(luò)。

圖5 不同基礎(chǔ)網(wǎng)絡(luò)的實驗結(jié)果對比Fig.5 Comparison of experimental results of different basic networks

3.3.2 消融實驗

為驗證本文提出的多期相注意力融合網(wǎng)絡(luò)的有效性，使用肝臟腫瘤圖像數(shù)據(jù)集在不同網(wǎng)絡(luò)模型上進行實驗。實驗主要分為2 大部分：

1）單期相實驗：Single phase-NC、Single phase-ART 和Single phase-PV。

2）多期相實驗：Model-1（使用早期融合，將3 個期相的數(shù)據(jù)融合為RGB 三通道的數(shù)據(jù)，如圖2（a）所示）、Model-2（使用后期融合，3 個期相的數(shù)據(jù)通過單獨的網(wǎng)絡(luò)模型后，在輸出時進行融合，如圖2（b）所示）、Model-3（使用中期融合，3 個期相的數(shù)據(jù)在網(wǎng)絡(luò)的每個階段進行融合）和本文MAFNet 網(wǎng)絡(luò)模型（如圖3 所示）。不同網(wǎng)絡(luò)模型的詳細(xì)配置如表3 所示，其中“√”表示使用該配置，“×”表示不使用該配置。

表3 單期相模型和多期相模型的詳細(xì)配置 Table 3 Detailed configuration of single phase model and multi-phase model

本文首先使用單期相（NC、ART、PV）數(shù)據(jù)進行實驗。單期相模型分別使用不同單期相肝臟腫瘤圖像進行實驗，實驗均采用ResNet50 作為基礎(chǔ)網(wǎng)絡(luò)。結(jié)果如表4所示，NC、ART 和PV 的準(zhǔn)確率分別為67.42%、79.75%和81.93%。實驗結(jié)果進一步證實，由于單期相數(shù)據(jù)包含較少的信息，而且不同患者肝臟腫瘤的外觀形態(tài)和結(jié)構(gòu)在一定程度上與注射造影劑時間有關(guān)，有的肝臟腫瘤只能在某個特定階段期相影像中檢測出來，僅利用單一的肝臟腫瘤影像容易忽略多期相CT 影像中時間序列包含的增強信息，導(dǎo)致分類性能差。該實驗說明不同期相的肝臟病灶特征存在明顯的差異。

表4 消融實驗的結(jié)果對比 Table 4 Comparison of results of ablation experiment %

然后，使用相同的數(shù)據(jù)源，將本文模型MAFNet與3 個多期相模型（Model-1、Model-2 和Model-3）進行消融研究。Model-1、Model-2 的具體結(jié)構(gòu)如圖2所示。2 個測試集共4 個類的準(zhǔn)確率和平均準(zhǔn)確率如表4 所示，其中分類準(zhǔn)確率的結(jié)果用平均值和偏差表示。由表4 可知，與單期相模型相比，多期相影像模型的準(zhǔn)確率均有所提高，這是由于多期相CT 影像含有比單期相影像更豐富的信息，能夠提取更多有用特征，有助于得到更高準(zhǔn)確率的分類結(jié)果。此外，由于多期相網(wǎng)絡(luò)模型能夠關(guān)注期相之間的時序信息，因此能取得更好的分類效果。

第2 部分實驗對比了早期融合、后期融合和中期融合的效果，結(jié)果如表4 所示。實驗結(jié)果表明，使用中期融合策略的Model-3 的分類效果優(yōu)于Model-1 和Model-2。這進一步表明，由于中期融合的網(wǎng)絡(luò)模型能夠提取、重組和融合低層和高層特征，因此中期融合的策略能更好地提取肝臟腫瘤圖像所蘊含的信息。與Model-3 相比，使用MAM 模塊的MAFNet 模型準(zhǔn)確率提高了2.24 個百分點，這證明了MAM 模塊可以增強包含有用信息的特征，從而更好地提取肝臟病灶特征。

3.3.3 與其他方法的對比

本文通過實驗將本文方法與其他方法進行比較，實驗結(jié)果如表5 所示，其中分類準(zhǔn)確率用平均值和偏差表示。從表5 中可以看出，本文方法優(yōu)于其他方法，平均準(zhǔn)確率達(dá)到90.99%，并且在囊腫、局灶性結(jié)節(jié)性增生和肝細(xì)胞癌的分類任務(wù)上均取得較好的結(jié)果。這進一步表明，本文方法能夠表示多期相影像間的增強模式，可以提取、重組和融合低層和高層特征。

表5 不同方法的實驗結(jié)果對比 Table 5 Comparison of experimental results of different methods %

4 結(jié)束語

傳統(tǒng)CNN 網(wǎng)絡(luò)在提取多期影像特征時容易忽略多期相影像時序增強模式，導(dǎo)致肝臟病灶分類準(zhǔn)確率有待提高。提出一種基于多期相注意力融合網(wǎng)絡(luò)的肝臟病灶CT 影像分類網(wǎng)絡(luò)MAFNet，使用單期相分支和融合分支構(gòu)成的多分支結(jié)構(gòu)構(gòu)建模型，從而高效提取不同期相的時序增強模式。在融合分支中采用中期融合的方法，充分提取圖像的不同層次的特征。利用MAM模塊，根據(jù)圖像包含的信息量，有選擇地從單期相分支中收集特征，并使用這些加權(quán)特征對融合分支進行補充。實驗結(jié)果表明，本文網(wǎng)絡(luò)可以解決NC、ART 和PV這3 個期相影像包含的信息量不等、上下文分布不均等問題，能充分利用多期相肝臟CT 影像的時序特征，有效捕捉同一患者不同期相的信息。下一步將考慮影響每個類別分類結(jié)果的可變因素，完善網(wǎng)絡(luò)結(jié)構(gòu)，以提高分類準(zhǔn)確率。