劉書樵，寇逸飛，李孝杰

(成都信息工程大學計算機學院，四川成都 610225)

傳統(tǒng)醫(yī)療影像診斷方法需要依靠臨床醫(yī)生多年的經驗與臨床研究才能人工辨別病患是否患有相應疾病.機器學習方法的出現(xiàn)為醫(yī)學領域識別問題提供了一種智能化的解決方案.其中，深度學習方法已經廣泛用于各個研究領域.如 ResNet、VGG、UNet等分類、分割網絡在計算機視覺的各個鄰域表現(xiàn)出優(yōu)良的性能.該類網絡均以卷積神經網絡(Convolutional Neural Network，CNN)為基礎發(fā)展出來的各種變體.同時，該類方法已成功應用于醫(yī)學圖像研究領域醫(yī)學如阿爾茨海默病、前列腺癌的識別與預測[11-12].

基于CNN的網絡結構在計算機視覺及醫(yī)學等研究領域已取得了很大的成功[4-10].相對于傳統(tǒng)醫(yī)療影像人為設計或指定圖像特征從而進行病患診斷，機器學習尤其是深度學習方法可輔助醫(yī)師對醫(yī)學診斷提供初步的定量和定性的評價，以此節(jié)省大量的人力成本.然而心臟磁共振病患圖像與正常人圖像的差異性不顯著(如圖1所示)，多層CNN、SVM等較淺層分類方法難以從差異性較弱的圖像間提取有效的圖像分類特征，因此不能達到很好的識別效果.

CNN擅長檢測圖片中特定的特征，如檢測鼻子、眼睛等特征，但卻難以挖掘出特征間的關系，如視角大小、方向等.一張眼睛與鼻子交換的人臉照片可能被CNN錯誤識別為一張真正的人臉.基于Hinton提出的可視化系統(tǒng)理論，膠囊(Capsule)及膠囊網絡(Capsule Net，CapsNet)應運而生[1]，旨在克服 CNN方法的缺點.Hinton指出對于每個固定的視覺位置有一個樹狀的解析結構，而每一個解析樹由固定的多層神經網絡組成[1].每一層神經網絡由許多不同的“膠囊(Capsule)”神經元組成[2].與傳統(tǒng)神經元輸出標量值不同，膠囊神經元則是包括一些特殊信息的矢量，如相似度、方向、大小、角度等信息，最終根據(jù)矢量的模長確定膠囊神經元的激活值(輸出值).CapsNet采用壓縮(squashing)算法作為矢量激活函數(shù)，并使用動態(tài)路由(dynamic routing)算法代替CNN中全連接網絡的dropout，使得該網絡特征更具有多重性，獲得更好的算法性能.

由于心臟磁共振患病圖像與正常人圖像之間的差異不顯著性，多層CNN網絡難以達到較好效果的問題，而CapsNet可以在較淺層網絡的情況下，容納更多的特征信息，而得到更好的分類效果.本文基于文獻[3]，首次設計和使用淺層的膠囊網絡對心臟磁共振T1-mapping圖像做二分類病患識別，以測試膠囊類網絡結構對與此類醫(yī)學數(shù)據(jù)的識別性能.本文使用該方法在心臟磁共振成像T1-mapping數(shù)據(jù)集進行實驗，并與VGG16、SVM等方法進行比較，實驗結果表明CapsNet在正確率、敏感度、特異性三個常用醫(yī)學指標均優(yōu)于CNN網絡.相比于傳統(tǒng)方法和多層CNN網絡，膠囊網絡在心臟磁共振成像識別方面表現(xiàn)了優(yōu)異的性能表現(xiàn)，能夠有效的識別心臟磁共振成像圖像是否為病患，同時表明膠囊神經元作為一種網絡結構單位性能更優(yōu)于傳統(tǒng)CNN.

1 膠囊網絡

1.1 整體結構

針對腦部磁共振原始數(shù)據(jù)中3D圖像空間尺寸、體素尺寸不統(tǒng)一問題，我們首先將圖片重新采樣使得分辨率都為1.0×1.0×1.0 mm3.然后，接選出3D圖像中中間位置的三張2D圖像，并將resize成128×128大小.根據(jù)預處理操作，本網絡的輸入尺寸固定為128×128.

圖2 CapsNet網絡結構Fig.2 CapsNet structure

CapsNet網絡結構如圖2所示.該網絡是一個淺層的網絡結構，僅包含兩個卷積層和一個全連接層(即Digital Capsule).本網絡以處理后的128×128 2D圖像作為網絡輸入.該圖像首先經過無pooling操作Pre-Conv層.針對CMR T1-mapping病人與正常人圖像差異性較小，我們設計該層步長為2、卷積核為9×9大小、輸出通道數(shù)為256、激活函數(shù)為ReLU的傳統(tǒng)卷積層進行圖像的局部特征預提取，該層輸出為60×60×256，可減少感受域重疊問題.傳統(tǒng)上CNN與全連接網絡中使用標量作為實體，而膠囊使用的多維化的矢量作為實體，這樣有利于網絡對實體進行特征提取.其中，Pre-Conv層是多維化實體的最低級別[3].Pre-Conv層輸出傳送至膠囊層(Capsule Layer，如圖2紅色虛框所示).膠囊層主要包括兩部分:主膠囊子層和數(shù)字膠囊子層.

主膠囊子層:主膠囊子層(Primary Capsule)是膠囊層的第一層，由一個無激活函數(shù)與無池化的卷積層和重構層(Reshape)組成.該層旨在將上層的非“膠囊化”的Pre-Conv層特征輸入轉化為“膠囊化”的特征以供后層處理.針對CMR T1-mapping數(shù)據(jù)，我們設計其步長為2，卷積核大小為9×9，輸出為一個26×26×256大小的傳統(tǒng)卷積層以保持較小的空間維度.與傳統(tǒng)CNN不同的是，此層沒有設計池化層或者是使用激活函數(shù)，而是將輸出轉化為26×26×32×8的膠囊層輸出.其中，該輸出中32*8可看作32個通道、維度為8(8D)的矢量輸出，也可看作676(即26×26)個32通道的8D的“一維”的矢量輸出，且在26×26大小的區(qū)域中，這些膠囊之間共享權重以縮減訓練參數(shù)減少過擬合問題.此處的維度轉換是Caps-Net的靈魂，亦是膠囊的設計初衷.該處理可包括一些特殊信息的矢量信息，如相似度、方向、大小、角度等信息更利于提高分類性能，最終根據(jù)矢量的模長確定膠囊神經元的激活值(輸出值).

數(shù)字膠囊子層:數(shù)字膠囊子層(Digital Capsule)是膠囊層的第二層.相較于傳統(tǒng)神經元中輸入為標量，數(shù)字膠囊層使用矢量作為輸入.該層主要作用就是代替?zhèn)鹘y(tǒng)全連接層(Fully Connected Layer，F(xiàn)C)，將主膠囊子層的676×32的8-D膠囊轉化為2個(針對二分類問題)8-D的膠囊，最后利用兩個膠囊的矢量模長表示相應二分類的預測概率.數(shù)字膠囊子層是膠囊網絡的核心.主要的兩個針對膠囊的算法都應用于此層.其主要的模型如圖2所示.

設第l層膠囊的輸入為K(l)個D(l)維的矢量單個膠囊具體實現(xiàn)公式如(1)-(4)所示.

圖3 “膠囊”結構Fig.3 “Capsule” structure

中每一行或每一列和為1，而Wij是權重矩陣.

其中，權重ci是通過“路由softmax”操作得到，bij是膠囊i與膠囊j的對數(shù)先驗概率，通過“動態(tài)路由”算法迭代計算而得出(詳細見3.3).

其中，sj是“預測矢量”通過計算得到的加權和.

其中，vj是sj通過公式計算得出(關于函數(shù)Squashing，詳細見3.3).其中，公式(3)等價于傳統(tǒng)神經元的加權求和操作aj｜i＝wijxi+b；公式(4)等價于傳統(tǒng)神經元的激活函數(shù)如sigmoid、ReLU、tanh等.

重構層:重構層(Reconstruction)緊鄰膠囊層，有三個全連接層組成.我們針對CMR T1-mapping數(shù)據(jù)集大小分別設計維度為 512、4 096、128×128＝16 384.其中，為引入重構誤差損失函數(shù)以優(yōu)化模型，設計該重構塊最后一層的輸出為輸入圖像大小.此網絡結構引入重構誤差可以有效的提高整體模型的準確度.

1.2 Squashing算法

由圖2和公式(4)可知膠囊激活函數(shù)為Squashing函數(shù)，其具體計算公式如公式(5)所示.該函數(shù)是一個非線性的、能夠保持輸入矢量維度不變的激活函數(shù).該函數(shù)具有如下特點:

圖4 Squashing函數(shù)輸入與輸出模長Fig.4 The norm of input and output of Squashing function

即Capsule的“激活函數(shù)”實際上是對向量長度的一種壓縮和重新分布.其函數(shù)輸出矢量的模與輸入矢量的模的關系如圖4所示.Squashing函數(shù)的函數(shù)曲線類似于Sigmoid函數(shù)的正半軸部分，輸入sj模長趨于無窮時，輸出vj越趨近于1.

1.3 Dynamic Routing算法

由公式(2)可知，膠囊網絡需要通過動態(tài)路由算法迭代計算膠囊i與膠囊j的對數(shù)先驗概率bij.Hinton指出“找到最好的(處理)路徑等價于(正確)處理了圖像”.這也是 Capsule框架中引入動態(tài)路由的原因之一.

而找到“最好路徑”的方法之一就是選出與輸出向量最符合的輸入向量.符合度是通過輸出向量和輸入向量(線性變換后的向量)的內積所表征.算法通過更新迭代權重，使對輸出向量貢獻更大的輸入向量獲得更大的權重.具體算法如算法1所示，其作用區(qū)域如圖2中紅色虛框所示.該更新算法容易收斂.文獻[3]認為該算法迭代3次足以.與其他算法類似，動態(tài)

●vj的值域被限制在[0，1)之間，所以輸出向量的長度可以表征某個實體出現(xiàn)的概率，其模值越大，該實體出現(xiàn)的概率越大.

●該函數(shù)單調遞增，所以“鼓勵”原來模較長的向量，而“壓縮”原來模較小的向量.路由也存在過擬合問題.雖然增加動態(tài)路由的迭代次數(shù)可以提高識別準確率，但會降低算法的泛化性.

在公式(3)中的ci是對上層輸入膠囊計算對數(shù)先驗概率的和(其值的更新見算法1步驟③)，在首輪迭代中初始化為0，通過算法1的第⑥步迭代更新.權重ci通過第③步softmax函數(shù)計算出.最后使得膠囊i以其先驗概率從大到小排序，傳遞至下一層的膠囊.公式中的“預測矢量”sj通過算法1第④步計算得出.最后，輸出第 (l+1)層膠囊vj通過算法1第⑤步計算得出(Squashing函數(shù)見公式).最后將輸入與輸出vj點乘并與bij相加，其值即為bij更新后的值.動態(tài)路由算法如算法1所示.

算法1動態(tài)路由算法

輸入:輸入矢量， 路由次數(shù)r， 當前層數(shù)l

輸出:矢量vj

①對于所有的l層膠囊i和所有 (l+1)層的膠囊j:bij←0

②Whiler≠0 do

③對于所有的l層的膠囊ii:

④對于所有的 (l+1)層的膠囊i:

⑤對于所有的 (l+1)層膠囊j:

⑥對于所有的l層的膠囊i和所有 (l+1)層的膠囊j:

1.4 損失函數(shù)

我們將損失函數(shù)分為兩部分:邊界損失和重構損失.在膠囊網絡中，我們通過一個膠囊的矢量長度作為這個實體存在的概率.

邊界損失:使用與SVM類似的損失函數(shù).

其中，Tc為c類類別信息，當分類c存在時設置Tc＝1，反之，Tc＝0.在公式(6)與公式(7)中，m+與m-分別取0.9與0.1，作為‖vc‖的上下邊界，以避免假陽性與假陰性.

重構損失:該損失由最后三層全連接網絡計算得出(見圖2).最后的輸出與原輸入圖片大小相等的特征圖即128×128.

其中，X代表網絡輸入的原圖像，Xdecode代表最后重構網絡輸出的特征圖.該式計算x與Xdecode的歐式距離的平方，其兩者差異越小越好.超參μ是平衡重構誤差在整個訓練目標函數(shù)中的權重.在本實驗中，μ設置為0.0005，以保證重構損失在訓練中不占主導地位，突出分類目標.

網絡整體目標損失函數(shù)由LTotal得到的.在圖6中，可以看到CapsNet所設置的損失函數(shù)的收斂性.

2 實驗分析

2.1 實驗設置、數(shù)據(jù)集和評估指標

實驗設置:實驗基于 python 3.6.7、Ubuntu 16.04、Tensorflow 1.4.1平臺下，使用型號為NVIDIA Ge-Force RTX 2080 TI的GPU上運行.為了保證對比實驗(VGG16、SVM)結果的一致性，我們統(tǒng)一訓練500個周期(batch_size大小為32).每個實驗均使用五折交叉驗證來選擇測試集與訓練集.最后由5次實驗結果的各指標平均值作為評價量.各實驗細節(jié)具體設置如下所示:

CapsNet超參μ、λ分別設置為 0.0005與0.5.損失函數(shù)使用公式(10).訓練的優(yōu)化器使用了Adam優(yōu)化器，學習率調整為1E-3.總共訓練輪數(shù)為500輪.

VGG16:使用了最經典的VGG16網絡結構[4]，訓練500輪損失函數(shù)使用了對數(shù)交叉熵函數(shù).訓練的優(yōu)化器使用了Adam優(yōu)化器.

SVM:使用了線性SVM分類器，將輸入的尺寸從128×128直接轉化為16 384維度的向量進行訓練.訓練500輪.訓練使用的優(yōu)化函數(shù)為梯度下降.

數(shù)據(jù)集及增強:CMR T1-mapping數(shù)據(jù)集均來源于同一家醫(yī)院的心臟磁共振成像數(shù)據(jù).該數(shù)據(jù)集包括80張正常人圖像與455張患有各類心臟疾病的病患圖像，如擴張性心肌病圖像.但由于正常人圖像與病患圖像之間的差異性不顯著，圖像之間的成像質量也有所差異，我們做了部分預處理.針對心臟磁共振CMR T1-mapping原始數(shù)據(jù)中2D圖像空間尺寸、體素尺寸不統(tǒng)一問題，我們首先選取包含心臟組織的感興趣區(qū)域(統(tǒng)一為128×128)以減少冗余部分.然后，將T1-mapping圖像重新采樣，使得分辨率都為1.0×1.0×1.0 mm3.由于數(shù)據(jù)集的不平衡性，對正常人數(shù)據(jù)進行了數(shù)據(jù)增強，在將數(shù)據(jù)五折分類后，將正常人的數(shù)據(jù)復制3倍，最后的得到320張正常人圖像、455張病患圖像，共計775張圖片.

評估指標:本文主要采用在醫(yī)學分類上常用的本個評價指標:正確率(accuracy)、敏感度(sensitivity)、特異性(specificity)，ROC曲線(receiver operat-ingcharacteristic curve，ROC)進行定量評價，具體見公式(11)-(13).

其中，公式中變量的具體定義見表1所示.

表1 公式(11)(12)(13)中的參數(shù)定義Table 1 The parameter definition in equation(11)(12)(13)

2.2 實驗分析

各對比實驗結果如表2所示.從表2可以看出，CapsNet在CMR T1-mapping分類任務中表現(xiàn)出優(yōu)異的性能，其在三個度量指標上均超過其他對比方法.特別地，在正確率、敏感性與特異性等評估參數(shù)上，超過次之的方法6.53%、7.08%與13.80%.這體現(xiàn)出了CapsNet作為一個淺層網絡在性能上的優(yōu)異性.

表2 各方法準確率、敏感度及特異性Table 2 The accuracy，sensitivity and specificity of each method

圖5 CapsNet和VGG16的ROC分類曲線Fig.5 ROC classification curve for CapsNet and VGG16

數(shù)據(jù)類別不平衡時，正確率指標不能客觀評價分類效果，而ROC指標是最常用的指標之一.為了體現(xiàn)CapsNet方法在心臟分類數(shù)據(jù)上的可行性，圖5顯示了CapsNet與VGG16的ROC分類曲線.由于SVM分類器無概率輸出，本實驗僅繪制了CapsNet網絡與VGG16網絡的ROC曲線圖.其中CapsNet的AUC值為0.9643，高于VGG16對比實驗的AUC值0.0339.這證明了CapsNet作為而分類器在磁共振心臟成像的二分類上有著優(yōu)異的效果.

圖6 CapsNet的重構損失(上)、邊界損失(中)、總損失(下)Fig.6 The reconstruction loss(top)，margin loss(mid)and total loss(down)of CapsNet

圖6為CapsNet網絡中的各損失函數(shù)的收斂性.由圖6可知當邊界損失迅速收斂后，重構誤差在訓練中可起到優(yōu)化訓練的作用.當重構誤差訓練開始就降低至以內，這也側面說明了數(shù)據(jù)集在成像上的同一性.對比總損失與邊界損失可以看出，訓練的主要貢獻來源于邊界損失，這與設計的思路是一致的.

本實驗是通過五折驗證的方式來計算各個指標.三種方法在五折實驗中的各折正確率曲線如圖7所示.可以看出CapsNet方法整體優(yōu)于其他兩種方法.雖然VGG16方法在正確率上有優(yōu)于CapsNet方法，但VGG16在本實驗中體現(xiàn)出的魯棒性不強，正確率波動較為明顯，也反映出CapsNet方法作為對心臟磁共振成像做二分類檢測具有相當?shù)聂敯粜?

圖7 CapsNet(藍)、VGG16(紅)與SVM(黑)的五折正確率曲線Fig.7 The 5-fold accuracy curve for CapsNet(blue)，VGG16(red)and SVM(black)

3 結 論

CapsNet的網絡層次淺，但在本二分類實驗中可以超過VGG16這種較為深層的傳統(tǒng)神經網絡.這說明了“膠囊”結構在作為一個CNN與傳統(tǒng)神經元的變體，有著巨大的開發(fā)潛力.相較于傳統(tǒng)神經元，膠囊的神經輸入不再是標量輸入，而是矢量輸入.這使得CapsNet在本實驗的數(shù)據(jù)集上有著良好的表現(xiàn)，能夠在差異性不強的二分類問題中表現(xiàn)優(yōu)良.

但需要指出的是，由于動態(tài)路由算法需要更多維的參數(shù)去訓練，所以此算法所需參數(shù)量隨輸入及輸出大小成倍增長.因此，CapsNet的結構對于分類數(shù)過多的問題(比如圖片分割等)會消耗大量GPU顯示存儲的資源，甚至在當前硬件環(huán)境下，無法使用單GPU進行訓練.這也限制了此方法不建議作為多層網絡中的中間層，而更建議作為輸出層(或更靠近輸出層的部分).

針對心臟磁共振成像識別算法面臨的主要問題:患病圖像與正常圖像之間的差異不顯著，使用多層CNN網絡難以達到十分優(yōu)秀的效果，而膠囊網絡CapsNet可以在較淺層網絡的情況下，容納更多的特征信息，有利于識別心臟磁共振圖像.我們設計使用了淺層膠囊網絡對心臟磁共振圖像做二分類病患識別，并與VGG16、SVM等方法進行比較，實驗結果表明膠囊網絡相比較傳統(tǒng)方法和淺層網絡，在心臟磁共振圖像識別方面表現(xiàn)了優(yōu)異的性能.我們考慮未來還會將CapsNet嘗試進行圖片分割及多任務的應用，這將會本文中所展示的更有難度與挑戰(zhàn).