叢 超 肖朝暉 陳文俊 王 毅

1(陸軍軍醫(yī)大學大坪醫(yī)院特色醫(yī)學中心放射科，重慶 400016)

2(重慶理工大學電氣與電子工程學院，重慶 400054)

3(重慶理工大學計算機科學與工程學院，重慶 400054)

引言

冠狀動脈疾病(冠心病，coronary artery disease, CAD)已經(jīng)成為全球發(fā)病率和死亡率的主要原因[1]。侵入式冠脈造影成像技術(X-ray coronary angiography, CAG，或invasive coronary angiography，ICA)是目前診斷冠心病的金標準成像技術，其中針對動脈狹窄的診斷和評估是開展進一步診斷和臨床規(guī)劃的重要步驟。

目前，在醫(yī)療圖像處理及輔助診斷領域，基于機器視覺和人工智能的方法與臨床診斷評估方法已越來越緊密地結(jié)合在一起，用于解決處理過程中的圖像降噪、目標識別、組織分割、疾病預測等問題，成為醫(yī)療診斷不可分割的一部分。在侵入式冠脈造影成像中，也有許多研究人員對狹窄檢測方法提出基于機器視覺、模式識別的自動或半自動算法，以協(xié)助疾病的評估診斷。其中，較為常見的是基于動脈血管檢測的算法流程[2]，其步驟包括動脈提取、直徑計算和狹窄分析等。例如，許多學者將機器視覺中目標輪廓提取/中心線提取的技術應用到血管中心的跟蹤上[3-5]，更為流行的方法是基于圖像分割的技術[6-8]和基于卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)的分割[9-15]等。這樣，通過精確提取CAG圖像中的冠狀動脈，以此為基準，實現(xiàn)對冠心病的疾病預測與定性/定量分析。

現(xiàn)有技術中的一些算法在實際臨床應用上有一定局限。首先，血管分割或輪廓提取降低了算法的魯棒性，使許多方法只能在小規(guī)模的數(shù)據(jù)集上進行評估；其次，這些方法很難做到端到端(end-to-end)，都包括一定比例的預處理步驟，如選擇對比幀和繪制動脈輪廓。此外，血管輪廓的標注工作是評估標準和監(jiān)督學習樣本的不可或缺的一部分，其中大量的手動工作給操作人員帶來沉重的負擔。

近年來，基于端到端的深度學習技術(deep learning)逐漸成為醫(yī)療圖像處理領域的重要研究方向。例如，通過CNN分類/預測模型，可以實現(xiàn)針對癌癥疾病的病理圖像分類、腫瘤目標檢測[16-17]和眼底病變的分類[18]等。然而，在心臟圖像處理領域，深度學習技術還是主要集中于CT/MRI圖像的左心室分割、血管分割和基于分割的CT血管的狹窄識別。針對CAG圖像的處理，深度學習技術還沒有得到廣泛的應用。

因此，針對CAG圖像中動脈狹窄的診斷，提出了一個端到端的深度學習模型架構。該算法架構主要利用冠脈造影定量分析(QCA)，而無須依賴血管分割掩模或輪廓提取結(jié)果進行監(jiān)督學習，從而實現(xiàn)了圖像級/動脈級/患者級的狹窄分類預測與圖像中的狹窄定位檢測。同時，在圖像數(shù)據(jù)準備的過程中，利用inception模型，結(jié)合長短記憶模型(LSTM)，識別不同冠脈類別和造影時間序列圖像中的造影幀，實現(xiàn)了算法流程的全自動化。

1 方法

1.1 數(shù)據(jù)來源和評估方式

針對235例患者展開研究，數(shù)據(jù)均來自CORE320——多種族、多中心、國際性的冠狀動脈疾病的診斷數(shù)據(jù)庫[19]。該數(shù)據(jù)集使用了侵入性冠狀動脈造影圖像，將造影血管的病變嚴重程度的冠脈造影定量分析(QCA)作為其評價標準[20]。

所有用例都保存為通用DICOM格式，每個都包括8～20個DICOM視頻文件，分辨率為512像素×512像素或1 024像素×1 024像素，每個DICOM包含60～200幀, 15幀/s。使用DICOM標簽識別主視圖(LAO/RAO)和次視圖(CRA/CAU)，并按照臨床診斷經(jīng)驗選取4個LCA的典型視角(LAO CRA、LAO CAU、RAO CRA和RAO CAU)和3個RCA典型視角(LAO、RAO和淺CRA)進行狹窄識別實驗。

數(shù)據(jù)集刪除了5個缺乏足夠數(shù)據(jù)的用例(LCA或RCA中DICOM視頻數(shù)量少于1)，并排除了36個由于圖像質(zhì)量低或?qū)Ρ榷炔疃鵁o法進行訓練的用例(但仍包括在狹窄分類評估中)。剩下的194例中，共計1 844個視頻被歸類為上述的7個典型視圖。隨后，通過視覺檢查，進一步排除了74個對比度差或狹窄特征不明顯的視頻。最后，共計194例的10 872張圖像(CAG中的完全造影幀)被用作圖像級狹窄分類訓練和評估，所有的230例的13 744張圖像被用作多視角結(jié)合的動脈級和患者級狹窄預測評估；針對分類呈陽性(>25%)的用例中，又選取了690張圖像和1 588個人工標注的狹窄定位框用作血管狹窄定位訓練和定位評估。在評估的過程中，參與訓練的圖像都采用4倍交叉驗證(4-fold cross validation)的方式參與評估。

1.2 訓練與評估標簽準備

狹窄分類的訓練標簽主要由QCA中的狹窄分數(shù)確定。根據(jù)狹窄程度，QCA結(jié)果被分為3個臨床相關組：0類為<25%狹窄組，1類為25%～95%狹窄組，2類為>95%狹窄組。圖像分類訓練主要基于以上定義進行三分類或二分類(<25%和>25%)訓練，這里命名為2-CAT/3-CAT。其中，動脈級/患者級的狹窄標簽可以直接由QCA生成，而圖像級別的標簽可通過QCA中的每段狹窄嚴重程度[20]和29段模型[21]位置確定。為了最大程度地讓算法流程自動化，采用最優(yōu)視圖映射(optimal view mapping, OVM)方法[22]，將每個節(jié)段的狹窄類別映射到7個典型視角視頻/圖像中。

血管狹窄定位的訓練標簽被定義為圖像中的一組坐標或矩形框，被標定了圖像中的血管狹窄或疑似狹窄病灶所出現(xiàn)的位置和大小，由兩位獨立的專家從690 張CAG圖像中直觀繪制。該方法規(guī)定：在分辨率為512像素×512像素的CAG圖像中，狹窄病灶區(qū)域的最小尺寸為35像素×35像素。

1.3 訓練模型及訓練策略

Inception-v3模型[23]作為基本的圖像分類器與特征提取器，應用于造影幀分類、血管狹窄分類及特征提取。模型的輸入尺寸均為512像素×512像素×3通道，并對輸入圖像進行隨機小幅度(變化在10%以內(nèi))對比度偏移、圖像旋轉(zhuǎn)平移、仿射變換等數(shù)據(jù)增強技術，以提高算法魯棒性。

1.3.1造影幀預檢測

首先，采樣1 000張完全造影幀和非造影幀圖像。其中，完全造影幀定義為“候選幀”，非造影幀定義為“冗余幀”。將這些圖像輸入，并預訓練一個inception模型，讓其分類識別候選/冗余幀。然后，將訓練完成模型的全連接(FC)層的輸出特征矢量連接到一個雙向LSTM結(jié)構的輸入端。另外，采樣了146個CAG視頻，每個視頻通過最近鄰法進行插值或采樣選取64幀，并定義其完全造影階段的起始幀和結(jié)束幀作為標簽，再將這些視頻圖像輸入雙向LSTM結(jié)構進行訓練。最后，對LSTM的輸出結(jié)果進行采樣來避免相似的幀，這就是候選幀的選取。

針對inception的候選/冗余預訓練，將損失函數(shù)定義為二元熵，初始學習率(LR)為1×10-4，預訓練100個周期(epochs)。對于LSTM訓練，將損失函數(shù)定義為卷積F1分數(shù)[24]，LR=4×10-5，共訓練200個周期。

1.3.2狹窄分類訓練

對于圖像級狹窄分類訓練，將inception分類網(wǎng)絡的最后一個全連接層和激活層用2/3-CAT設置替換。為了讓訓練能夠更快收斂并提高分類性能[25-26]，使用ImageNet數(shù)據(jù)集將inception預訓練得到網(wǎng)絡權重作為血管狹窄訓練的初始值。隨后，使用4倍交叉驗證的方式，將194例患者的10 872張圖像分為3倍訓練集和1倍驗證集，使用訓練集對預訓練好的inception模型進行狹窄分類訓練。

為了提高訓練效果，減少過擬合，設計了一種新的訓練策略——冗余訓練。該策略將預先分類的冗余幀添加到訓練數(shù)據(jù)集中(不在測試或驗證中)，冗余幀被標記為一個新的類別(R類)。在2/3-CAT(名為2R/3R-CAT)上，執(zhí)行了此訓練策略。為了避免引入類別不平衡，對每種情況下的冗余幀和候選幀進行了大致相同的采樣。

每個模型(4個LCA角度視圖訓練集和1個RCA訓練集，在2/3/2R/3R-CAT設置中)都接受了200個階段的LR=1×10-4訓練。采用Adam優(yōu)化器和交叉熵損失函數(shù)，并采用類別重采樣策略，以防止類別不平衡。

此外，在LCA/RCA的4或3角度視圖中，對1類(狹窄)的輸出分數(shù)應用max-pooling層來評估動脈級狹窄預測，并使用類似的方法評估患者級狹窄預測。對于動脈/患者水平，僅使用2R-CAT訓練模型評估<25%/>25%的預測。

圖像級、動脈級和患者級狹窄分類的詳細網(wǎng)絡結(jié)構如圖1所示。

圖1 基于Inception的多級別狹窄分類網(wǎng)絡架構Fig.1 Multi-level stenosis classification network architecture based on inception model

1.4 狹窄檢測與定位方法

訓練后，使用類激活圖(class activation map, CAM[27])來識別每個訓練模型中的區(qū)分區(qū)域，這些區(qū)分區(qū)域?qū)ζ浞诸悰Q策具有不同的權重。CAM提供了對CNN行為的深入檢查，并且可以用于特征模式定位，而無需在圖像分類的情況下使用額外的標簽或信息。

CAM(用變量Ms指代)的計算可以描述為第l層中k個特征圖Alk(i,j)的線性加權總和，再根據(jù)全局平均池化(global average pooling, GAP)層映射到對應的行列坐標(i和j)。CAM的詳細實現(xiàn)和公式如下：

(1)

神經(jīng)元權重wsk是從指定的輸出類別s反向傳播(back propagation)通過對梯度的平均池化獲得的，有

(2)

式中，Z是歸一化操作。

在式(2)中，將ReLU運算應用于線性組合，以從特征圖Alk中排除負激活值。實驗將CAM的位置放在倒數(shù)第2個卷積層(inception-v3的第310層，l=310)，同時在反向傳遞時取輸出類別為狹窄類別(在2/2R-CAT，s=1)，這樣所獲得的識別血管狹窄定位的能力最佳。在獲取CAM之后，將其上采樣至原圖大小(512像素×512像素)，然后對其進行閾值處理，以通過輸入CAG圖像創(chuàng)建狹窄區(qū)域s和峰值狹窄定位信息。 用式(1)和(2)，可以計算出狹窄區(qū)域的激活范圍及其坐標，其計算流程如圖2所示。

圖2 基于類激活圖的狹窄定位方法Fig.2 CAM-based stenosis positioning method

基于CAM，通過閾值檢測從背景中檢測到高激活區(qū)域，并生成了其邊界框。 CAM的計算提供了一種粗略的狹窄定位能力，作為一種無監(jiān)督的方法，而無需為狹窄的位置提供大量的人工輸入。

1.5 血管狹窄檢測評估分析

在本研究中，輔助診斷分類算法性能的評估主要基于患者進行4倍交叉驗證，包括各患者的圖像級、血管級、患者級的嚴重性分類。在CORE320數(shù)據(jù)集中，0、1、2類的分布分別為39.5%、49.9%、10.6%。為了避免類別不平衡問題，利用加權準確度Accuracy、加權Cohen's Kappa和F-score值進行評估，并繪制了ROC曲線以及曲線下面積AUC。

針對血管狹窄的檢測評估，主要是通過計算整體敏感度(Sens)、每狹窄敏感度(Senss)、每狹窄特異度(Specs)和均方誤差(MSE)來完成。Sens定義為圖像中最顯著狹窄的檢測召回率，與COCO基準[28]中的AR^(max=1)相似；Senss和Specs被定義為圖像中所有狹窄檢測的召回率。

所有統(tǒng)計評估均在Python中進行(版本3.6， Python軟件基金會，https://www.python.org)，敏感性、特異性、準確性、T1得分和AUC使用Scikit-learn版本0.19.1計算。對具有隨機性的實驗結(jié)果開展統(tǒng)計分析，其中基于正態(tài)分布的連續(xù)變量，報告為均值±標準差。

2 結(jié)果

2.1 狹窄分類實驗

狹窄分類評估基于230例的13 744張圖像，其中嚴重性分布為：狹窄<25%者87例(37.8%)，狹窄25%～99%者119例(51.7%)，狹窄100%者24例(10.4%)。為了檢驗所提出的冗余訓練策略的性能，分別采用了原生訓練法和冗余訓練法，并比較了它們之間的評價指標。

基于圖像級的定量評價結(jié)果如表1所示，冗余訓練對2-CAT和3-CAT類別的分類準確度(Acc)、F1分數(shù)和Kappa分數(shù)都有顯著的改善。同時，比較了本方法和文獻[3-4,12,29]方法針對狹窄分類的性能。結(jié)果表明，提出的方法在分類性能上優(yōu)于傳統(tǒng)方法。一些基于血管的方法[3-4]的準確度分別為0.86、0.94，但它們并不是完全自動化的狹窄評估，也不能提供患者級別的狹窄分類結(jié)果。

表1 3-CAT、2-CAT分類診斷性能評估(μ±σ)，計算準確度(Acc)、Cohen′s Kappa(κ)和F1評分(F1)Tab.1 Performance (μ±σ) in 3/2-CAT setups, metrics were calculated by accuracy (Acc), Cohen’s Kappa (κ) and F1-score (F1)

在基于動脈級別和患者級別的評估中，LCA、RCA和per-patient的靈敏度分別為0.94、0.90和0.96，對LCA、RCA和per-patient的AUCs為0.87、0.88和0.86?；趫D像、動脈、患者分類的ROC曲線如圖3所示。

圖3 基于4-fold交叉驗證的ROC特性曲線。(a)LCA分類；(b)RCA分類；(c)患者級分類Fig.3 The receiver operating characteristic curve derived from validation. (a)RCA; (b)LCA;(c)patient-level

2.2 狹窄檢測評估

狹窄區(qū)域的定位實驗主要基于訓練好的2-CAT/2R-CAT分類模型。圖4中的熱圖顯示了模型在圖像中定位可疑狹窄特征的能力，如血管邊界變窄和主動脈直徑異常。其中，(b)的圖形是由原生訓練模型生成的CAM，(c)是由冗余訓練模型生成的。與原生訓練模型相比，冗余訓練模型在冠狀動脈上的關注區(qū)域更集中于造影血管的形態(tài)上，同時也更不容易受到背景噪聲的干擾。

圖4 類激活圖(CAM)熱圖的注意力機制(上為RCA示例，下為LCA示例；黑色箭頭標注疑似狹窄區(qū)域)。(a)輸入的原始圖像，用黑色箭頭標注疑似狹窄區(qū)域；(b)原生訓練2-CAT模型生成的CAM注意力熱圖與原始圖像的疊加，用白色矩形標注過擬合區(qū)域；(c)冗余訓練2R-CAT模型生成的CAM熱圖與原始圖像疊加Fig.4 Examples of class activation maps (CAM) generated from RCA (the top) and LCA (the bottom), the arrows indicate suspected stenosis. (a)Frames with suspected stenosis annotated with black arrows; (b)CAM with overfitting regions annotated by white dash rectangle; (c)CAM with redundancy training

圖5提供了狹窄檢測算法的一些結(jié)果，包含LCA和RCA各個視角的各3例圖像?？梢钥闯觯惴梢院芎玫貦z測血管造影各個視角圖像中出現(xiàn)的血管狹窄特征，尤其是當狹窄特征出現(xiàn)在冠狀動脈血管的近端時，檢測效果更加突出。

圖5 狹窄檢測算法結(jié)果。(a)原始圖像，從左到右依次為3個不同視角的RCA圖像和LCA圖像，用白色箭頭標注疑似血管狹窄區(qū)域；(b)基于CAM狹窄檢測的算法結(jié)果，用黃框表示狹窄檢測的ROI最大外接矩形框Fig.5 Results of stenosis detection algorithm. (a) Orignal image, the suspected vascular stenosis area is marked with white arrows; (b) The algorithm results in this paper include the thermal map generated by CAM and the detection frame after binary processing

針對血管狹窄的檢測評估的定量結(jié)果如表2所示?；贑AM的方法在沒有任何定位標簽的情況下，可達到70%的全局靈敏度。并且，在512像素×512像素的圖像上，定位的均方誤差(MSE)小于40 像素。圖5提供了狹窄檢測算法的結(jié)果，包含LCA和RCA各個視角的各3例圖像。從檢測效果可以看出，算法可以很好地檢測血管造影各個視角圖像中出現(xiàn)的血管狹窄特征，尤其是當狹窄特征出現(xiàn)在冠狀動脈血管的近端時，檢測效果更加突出。

表2 左冠狀動脈(LCA)、右冠狀動脈(RCA)狹窄的定位性能評估Tab.2 Performance of stenosis positioning on left coronary artery (LCA), right coronary artery (RCA)

此外，進一步在完整的CAG時間序列圖像(視頻)中應用并可視化了2R-CAT模型的檢測結(jié)果，如圖6所示。在心臟和相機運動的影響下，算法仍然成功地跟蹤了狹窄特征在不同時間序列圖像上的位置。對于視頻中的早期或后期中血管造影劑不足的圖像，模型將其排除在狹窄檢測之外。對于部分血管造影并具有狹窄特征的中間幀，該模型能夠正確定位狹窄發(fā)生的位置。

圖6 視頻中的CAM可視化(每行從左到右依次為同一個CAG視頻的第3、6、9、12、15、18、21、24幀，每個子圖上為視頻中的圖像、下為CAM熱圖)。(a) RCA，在其中段和遠端發(fā)現(xiàn)兩個明顯的狹窄； (b)LCA，在其近端發(fā)現(xiàn)一個明顯的狹窄Fig.6 Examples of CAMs visualization in a video(From left to right in each line are the 3rd, 6th, 9th, 12th, 15th, 18th, 21st and 24th frames of the same CAG video; In each sub-picture, the upper are images from video, the bottom are their CAM). (a)Two significant stenoses were identified by the physician in the mid-RCA and the distal segment of RCA; (b)A significant stenosis was found at the proximal end of the LCA

3 討論

研究的主要發(fā)現(xiàn)歸納如下：一是提出了一種全自動、端到端(end-to-end)的CAG圖像的血管狹窄分類工作流程，在無需血管輪廓提取和分割的前提下，達到了較高的分類靈敏度(0.96)和AUC(0.86)；二是提出的冗余訓練策略進一步提高了分類的AUC值、準確性、F1得分和kappa評分；三是采用了基于CAM的弱監(jiān)督目標識別定位方法，用于預測血管狹窄的位置。實驗證明，分類模型和定位算法已經(jīng)實現(xiàn)了從圖像到患者的輔助診斷預測潛力，具有較高的精確度，不僅提供了冠脈造影過程中的初步篩選方法，而且為更精確和自動化的計算機輔助CAD診斷奠定了基礎。

端到端的工作流程有利于減少人機交互步驟[30]。所提出的工作流程可以直接應用于CAG視頻，算法會自動選擇最佳幀來進行狹窄分類并定位狹窄位置，同時在動脈和患者水平上提供結(jié)果。該工作流程在海量圖像數(shù)據(jù)的臨床環(huán)境中具有優(yōu)勢，因為及時篩選所有CAG視頻來消除正常或輕度狹窄的病例，可以提高生產(chǎn)率，并有可能挽救生命[1]。

在以往的一些研究[3-4,12]中，血管分割是一個初步的、必不可少的步驟，它導致了整個系統(tǒng)的不穩(wěn)定和過多的人工操作。一個重要的原因是冠脈造影圖像中包含了太多的信息，包括多角度視圖、背景框架和血管狹窄的視覺特征。如前所述，這些因素很難處理，并且在監(jiān)督學習過程中會導致嚴重的過度擬合和采樣不平衡。在這樣的情況下，冗余訓練策略的提出，提高了分類的精確度，并減少了分類訓練中的過度擬合；然后，可視化和比較實驗表明，該方法減少了背景結(jié)構引起的訓練過擬合，提高了分類性能。

與先前的方法[3-4,12,29]進行比較研究，也顯示了本算法的優(yōu)越性：僅使用來自QCA的訓練標簽和有限的用戶交互，就能達到與半自動、重標簽的訓練方法近似或更優(yōu)越的性能。另外，通過提供狹窄的分類和定位，醫(yī)生或放射科醫(yī)師可以驗證所提出的CNN框架的性能，并更快地進行定量冠狀動脈造影。

提出的研究有如下幾個局限性：

1)狹窄分類的評估是在相同的研究和模式下進行的，其分類金標準和訓練標簽主要來源于單一的診斷參考源(QCA)。后續(xù)將會使用外部同類研究(例如CTA[14])進行比較，從多個角度評估技術的性能。

2)狹窄分類方法具有一定的局限性。實驗將狹窄分類定義為3組：<25%狹窄，25%～99%狹窄和完全閉塞(3-CAT)，而<25%狹窄和25%～100%狹窄(2-CAT)。這是因為現(xiàn)階段的目的是將正常和輕度狹窄病例從隊列中排除。后續(xù)可以將輕度～中度狹窄的更精確分類用于不同的臨床目的，如血液動力學顯著的狹窄檢測。

3)需要改進的方面是狹窄定位實驗，由于定位標簽選取上的工作量較大，在定位評估中只針對CAG視頻中的單個靜態(tài)幀，而沒有對所有時間序列圖像中的狹窄特征/位置跟蹤進行量化評估。

4 結(jié)論

本研究提出了一種全自動的端到端深度學習方法，用于冠脈造影圖像中動脈狹窄的分類和檢測。該方法利用深度學習模型與監(jiān)督學習技術，僅使用來自QCA的輕度訓練標簽，在有限的用戶交互下完成監(jiān)督學習并達到較精確的分類和預測的任務。隨后，在一個多中心、多種族的數(shù)據(jù)集上，對提出的方法進行了全面的驗證，并與幾種最新的方法進行了比較，展示了方法的潛力、前景和先進性。

未來的工作將著眼于進一步完善算法，以滿足針對時間序列的處理，并利用其他臨床信息進行訓練及評估。同時，考慮把算法應用到其他成像方式(如計算機斷層血管造影)的狹窄檢測中。