安 晨，汪成亮，廖 超，肖詩(shī)童

（重慶大學(xué) 計(jì)算機(jī)學(xué)院，重慶 400044）

0 概述

腸胃道疾病對(duì)公眾健康造成巨大威脅，及時(shí)發(fā)現(xiàn)腸胃道異?？山档突疾茁?，無(wú)線(xiàn)膠囊內(nèi)鏡（Wireless Capsule Endoscopy，WCE）［1］能夠以無(wú)創(chuàng)傷、無(wú)痛的方式直接檢查患者的腸胃部分。一個(gè)患者的WCE 檢查過(guò)程將會(huì)持續(xù)8～11 h，攝像頭以2 frame/s的速度拍攝5～8 萬(wàn)張圖像，WCE 圖像多達(dá)上萬(wàn)張，但是，復(fù)雜的胃腸道環(huán)境因?yàn)樗槠?、散焦、氣泡和光線(xiàn)等干擾因素產(chǎn)生了大量質(zhì)量較低的WCE 圖像，可用作診斷分析的WCE 圖像只占所收集圖像的5%。目前，許多方法被應(yīng)用于WCE 圖像的輔助診斷，且多數(shù)方法都是針對(duì)單一異常進(jìn)行檢測(cè)，包括出血［2］、息肉［3］、潰瘍［4］以及克羅恩病檢測(cè)［5］。但是，真實(shí)環(huán)境中一個(gè)患者的腸胃道常具有多種異常，WCE 圖像的多分類(lèi)在臨床實(shí)踐中具有重要意義，只有很少的方法被應(yīng)用于WCE 圖像的多分類(lèi)任務(wù)［6-8］。WCE 圖像因數(shù)據(jù)分散、數(shù)據(jù)采集困難、隱私保護(hù)等原因通常只有少量的標(biāo)注數(shù)據(jù)，與小樣本自然圖像分類(lèi)不同，WCE 圖像分類(lèi)還面臨類(lèi)間相似、類(lèi)內(nèi)變異度高等問(wèn)題。

為了解決小樣本W(wǎng)CE 圖像的多分類(lèi)問(wèn)題，本文提出一種基于注意力關(guān)系網(wǎng)絡(luò)（Attention Relational Networks，ARNs）的小樣本W(wǎng)CE 圖像分類(lèi)方法。該方法將關(guān)系網(wǎng)絡(luò)［9］、注意力機(jī)制以及元學(xué)習(xí)訓(xùn)練策略相結(jié)合，以在少量標(biāo)記樣本下對(duì)WCE 圖像進(jìn)行有效分類(lèi)。構(gòu)造基于注意力機(jī)制的嵌入模塊提取WCE 圖像的特征，將提取到的查詢(xún)樣本特征與支持樣本特征進(jìn)行級(jí)聯(lián)并輸入到關(guān)系模塊中，根據(jù)關(guān)系模塊輸出的關(guān)系評(píng)分得到查詢(xún)樣本所屬的類(lèi)別，采用元學(xué)習(xí)的訓(xùn)練策略訓(xùn)練網(wǎng)絡(luò)。在多個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，采用準(zhǔn)確率、特異性和敏感度評(píng)價(jià)指標(biāo)對(duì)本文模型進(jìn)行評(píng)估，并將其與其他小樣本學(xué)習(xí)方法以及WCE 圖像多分類(lèi)方法進(jìn)行性能比較。

1 相關(guān)研究

1.1 小樣本學(xué)習(xí)方法

小樣本學(xué)習(xí)能夠應(yīng)對(duì)標(biāo)記數(shù)據(jù)不足的問(wèn)題，對(duì)于訓(xùn)練過(guò)程中只給出極少量的標(biāo)注樣本的類(lèi)別，模型也能夠正確識(shí)別。度量學(xué)習(xí)是一種主流的小樣本學(xué)習(xí)解決方案，基于度量學(xué)習(xí)的小樣本學(xué)習(xí)方法通過(guò)學(xué)習(xí)一個(gè)特征映射函數(shù)，將樣本投射到一個(gè)特征空間使得同類(lèi)樣本聚集，異類(lèi)樣本分離，然后比較樣本在特征空間的距離以判別樣本所屬的類(lèi)別。在度量學(xué)習(xí)研究領(lǐng)域，具有代表性的網(wǎng)絡(luò)包括孿生網(wǎng)絡(luò)［10］、匹配網(wǎng)絡(luò)［11］、原型網(wǎng)絡(luò)［12］以及關(guān)系網(wǎng)絡(luò)。

孿生網(wǎng)絡(luò)模型構(gòu)造不同的樣本對(duì)并輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)比較網(wǎng)絡(luò)中輸出特征的距離來(lái)判斷樣本對(duì)是否屬于同一類(lèi)，并產(chǎn)生相應(yīng)的概率分布。匹配網(wǎng)絡(luò)采用支持集和查詢(xún)集構(gòu)造不同的編碼器，最終分類(lèi)器的輸出是支持集和查詢(xún)集之間預(yù)測(cè)值的加權(quán)求和。原型網(wǎng)絡(luò)通過(guò)學(xué)習(xí)一個(gè)度量空間，在度量空間內(nèi)以每類(lèi)樣本特征的均值作為類(lèi)的原型表達(dá)，計(jì)算樣本特征與每個(gè)類(lèi)原型的歐式距離以進(jìn)行分類(lèi)。關(guān)系網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)如何度量2 個(gè)樣本間的相似性，相比于人為設(shè)定的距離度量方法，其能夠較好地判斷2 個(gè)樣本間的相似性，原因是關(guān)系網(wǎng)絡(luò)基于訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)對(duì)于樣本的比較能力，然后利用網(wǎng)絡(luò)進(jìn)行小樣本識(shí)別。

1.2 注意力機(jī)制

注意力機(jī)制被廣泛應(yīng)用于圖像分類(lèi)任務(wù)，在卷積神經(jīng)網(wǎng)絡(luò)中添加注意力機(jī)制可有效提高網(wǎng)絡(luò)的特征表達(dá)能力。目前，圖像分類(lèi)領(lǐng)域主要有通道注意力機(jī)制、空間注意力機(jī)制以及混合注意力機(jī)制3 種。SE（Squeeze&Excitation）［13］即通道注意力機(jī)制，SE模塊通過(guò)全局池化層對(duì)特征圖的不同通道進(jìn)行空間域壓縮后沿著通道域進(jìn)行重新加權(quán)，其中，權(quán)重大小表示各個(gè)通道的重要程度?？臻g注意力機(jī)制即在空間域內(nèi)添加注意力機(jī)制，Non-local Nerual Networks［14］利用特征圖中所有位置的特征加權(quán)和計(jì)算一個(gè)位置的響應(yīng)。本文的注意力模塊（CBAM）［15］采用混合注意力機(jī)制，其將空間注意力和通道注意力同時(shí)加入模塊中。

2 基于ARNs 的WCE 圖像分類(lèi)方法

2.1 ARNs 模型結(jié)構(gòu)

深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了優(yōu)異成果，然而，深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量巨大，需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，WCE 圖像由于標(biāo)注成本大、隱私保護(hù)等原因只有少量標(biāo)注數(shù)據(jù)，且WCE 圖像分類(lèi)還存在類(lèi)間相似、類(lèi)內(nèi)變異度高等問(wèn)題。如圖1 所示，不同類(lèi)WCE 圖像的差異集中在圖像的部分區(qū)域，同類(lèi)WCE 圖像類(lèi)內(nèi)變異度高。

圖1 不同類(lèi)的WCE 圖像Fig.1 WCE images of different classes

本文采用基于度量學(xué)習(xí)的小樣本分類(lèi)方法完成WCE 圖像多分類(lèi)任務(wù)，其中ARNs 模型結(jié)構(gòu)如圖2所示，整體架構(gòu)分為嵌入模塊和關(guān)系模塊。嵌入模塊是基于注意力機(jī)制的特征提取模塊，其將支持樣本和查詢(xún)樣本映射到某個(gè)特征空間以得到兩者的嵌入向量。關(guān)系模塊首先將查詢(xún)樣本和支持樣本在特征空間的嵌入向量進(jìn)行級(jí)聯(lián)，然后將級(jí)聯(lián)后的特征向量輸入到卷積神經(jīng)網(wǎng)絡(luò)中，根據(jù)網(wǎng)絡(luò)輸出的關(guān)系得分來(lái)判別查詢(xún)樣本所屬的類(lèi)別。

圖2 ARNs 模型結(jié)構(gòu)Fig.2 Structure of ARNs model

2.2 ARNs 的嵌入模塊

關(guān)系網(wǎng)絡(luò)模型采用順序連接的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作為模型的嵌入模塊以進(jìn)行圖像特征提取，但是，順序連接的卷積網(wǎng)絡(luò)在卷積層數(shù)較少時(shí)難以獲得具有較強(qiáng)表征能力的特征，隨著網(wǎng)絡(luò)的加深，在網(wǎng)絡(luò)中反向傳播的梯度會(huì)因連乘變得不穩(wěn)定從而出現(xiàn)梯度消失的問(wèn)題，導(dǎo)致網(wǎng)絡(luò)的性能下降。ResNet［16］通過(guò)加入殘差塊來(lái)解決深度網(wǎng)絡(luò)中網(wǎng)絡(luò)性能下降的問(wèn)題，殘差塊采用跨層連接的方法，可以讓淺層特征過(guò)渡到深層繼續(xù)被重復(fù)地學(xué)習(xí)使用。殘差塊結(jié)構(gòu)如圖3 所示，其中，x表示輸入的特征向量，F(xiàn)(x，w)表示殘差函數(shù)，恒等映射為H(x，w)。

圖3 殘差塊結(jié)構(gòu)Fig.3 Structure of residual block

殘差函數(shù)表示為：

其中，w1和w2表示殘差模塊中第1 層和第2 層卷積核的權(quán)重矩陣，b1和b2為第1 層和第2 層卷積核的偏置矩陣，g(·)表示Relu 激活函數(shù)，恒等映射為：

殘差網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是通過(guò)恒等映射的學(xué)習(xí)，將殘差函數(shù)的結(jié)果逼近于0，使得殘差塊的輸入近似于輸出，即淺層的特征能夠過(guò)渡到網(wǎng)絡(luò)的深層，從而解決梯度消失的問(wèn)題，保證網(wǎng)絡(luò)的層數(shù)增加但性能不會(huì)下降。

注意力可以利用人類(lèi)視覺(jué)機(jī)制進(jìn)行直觀解釋?zhuān)祟?lèi)視覺(jué)系統(tǒng)傾向于關(guān)注圖像中輔助判斷的部分信息，忽略掉不相關(guān)的信息。在計(jì)算機(jī)視覺(jué)信息處理過(guò)程中，輸入圖像的某些部分會(huì)比其他部分更有助于決策，在計(jì)算機(jī)視覺(jué)中添加注意力可以將有限的計(jì)算資源分配給圖像中有助于預(yù)測(cè)圖像類(lèi)別的部分。WCE 各類(lèi)圖像之間的差異往往只集中在圖像的部分區(qū)域，并且各類(lèi)圖像之間的差異非常細(xì)微。準(zhǔn)確分類(lèi)WCE 圖像的關(guān)鍵在于將網(wǎng)絡(luò)的特征提取聚焦于圖像中具有足夠區(qū)分度的關(guān)鍵區(qū)域，在WCE圖像分類(lèi)中，捕獲到具有判別性的局部特征非常重要。為了關(guān)注WCE 圖像中重要的局部信息，過(guò)濾掉不重要的局部信息，本文采用CBAM 注意力模塊。CBAM 是一個(gè)簡(jiǎn)單有效的注意力模塊，可添加到前向傳播的卷積神經(jīng)網(wǎng)絡(luò)模型中，并與模型一起進(jìn)行端到端的訓(xùn)練。對(duì)于網(wǎng)絡(luò)的中間層特征，CBAM 模塊分別通過(guò)空間和通道2 個(gè)維度獲取到3 維的注意力特征圖，這種分離的注意力特征圖生成過(guò)程只需要少量的參數(shù)和計(jì)算資源。本文采用ResNet 作為嵌入模塊的主干網(wǎng)絡(luò)，在此基礎(chǔ)上加入CBAM 模塊，ResNet 網(wǎng)絡(luò)通過(guò)多層的卷積實(shí)現(xiàn)對(duì)WCE 圖像特征的提取，CBAM 模塊可以提高對(duì)WCE 圖像中關(guān)鍵特征的敏感度，從而提高嵌入模塊的特征表達(dá)能力。

ResNet 層數(shù)可以選擇18、34、50、101、152 等，在經(jīng)過(guò)實(shí)驗(yàn)對(duì)比以及綜合考慮網(wǎng)絡(luò)各層的特征表示能力、計(jì)算量等因素的基礎(chǔ)上，本文根據(jù)文獻(xiàn)［16］的方法，將CBAM 添加到ResNet18 中，即在ResNet 的 每個(gè)殘差塊中插入CBAM。具體做法如圖4 所示，ResNet 中的前一個(gè)卷積塊輸出的特征向量F??C×H×W作為CBAM 的輸入首先進(jìn)入CBAM 的通道注意力模塊。特征向量F在通道注意力模塊中分別通過(guò)平均池化層和最大池化層獲取平均池化特征向量和最大池化特征向量，平均池化可以獲取到特征圖中每個(gè)通道上的平均信息，最大池化考慮到通道上的顯著性信息，將兩者進(jìn)行結(jié)合，CBAM 學(xué)習(xí)到的特征更具判別性。將2 個(gè)特征向量輸入只包含一個(gè)隱藏層的感知機(jī)MLP（Multi-Layer Perceotion）中，然后將MLP 輸出的2 個(gè)特征進(jìn)行元素求和運(yùn)算，并將結(jié)果經(jīng)過(guò)Sigmoid 激活函數(shù)以得到一維的通道注意力特征向量MC，MC的數(shù)學(xué)形式如下：

圖4 ResNet 中加入CBAM 的結(jié)構(gòu)示意圖Fig.4 Structure diagram of adding CBAM in ResNet

通道注意力可以理解為通道的權(quán)重，包含重要特征的通道權(quán)重大，包含不重要特征的通道權(quán)重小。將通道注意力特征向量MC以廣播的形式送到輸入特征圖F的每個(gè)通道上，即可得到中間層特征F′：

F′作為CBAM 空間注意力模塊的輸入特征，其首先在通道維度上分別經(jīng)過(guò)最大池化層和平均池化層，將2 個(gè)池化后的特征串聯(lián)為一個(gè)特征向量，然后經(jīng)過(guò)一個(gè)卷積層，最后通過(guò)一個(gè)激活函數(shù)輸出得到空間注意力特征MS，MS的數(shù)學(xué)形式如下：

空間注意力特征可以理解為通道上每個(gè)像素的權(quán)重，包含重要信息的像素權(quán)重大，包含不重要信息的像素權(quán)重小。將空間注意力特征圖MS以廣播的形式送到最開(kāi)始輸入的特征F′上，即得到整個(gè)卷積注意力模塊的最終特征圖F″：

CBAM 模塊分別學(xué)習(xí)通道注意力和空間注意力，通道注意力集中關(guān)注特征的含義，空間注意力關(guān)注重要特征的位置，從而使得網(wǎng)絡(luò)聚焦于WCE 圖像的重要特征。通道注意力機(jī)制通過(guò)共享的全連接層實(shí)現(xiàn)，由于池化層沒(méi)有引入可學(xué)習(xí)參數(shù)，因此CBAM 模塊是一個(gè)輕量級(jí)模塊，減小了使用注意力機(jī)制所需要的參數(shù)量，使卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程變得更加高效，因此，本文采用結(jié)合CBAM 的ResNet18 作為ARNs 的嵌入模塊，添加了CBAM 的ResNet18 在取得更好特征表達(dá)能力的同時(shí)，并沒(méi)有引入過(guò)多的參數(shù)量和計(jì)算量。如圖5（a）所示，嵌入模塊主要由4 個(gè)卷積單元組成，其中，layer1、layer2、layer3 和layer4 都包含2 個(gè)如圖5（b）所示的ResNetBlock+CBAM 模塊。各層網(wǎng)絡(luò)的卷積核參數(shù)如表1 所示。

圖5 嵌入模塊結(jié)構(gòu)Fig.5 Embedded module structure

表1 卷積核參數(shù)Table 1 Convolution kernel parameters

2.3 ARNs 的關(guān)系模塊

目前，基于度量學(xué)習(xí)的小樣本學(xué)習(xí)方法主要采用一種固定的距離度量方法（如歐式距離和余玄距離）來(lái)衡量查詢(xún)樣本與支持樣本之間的相似性，這種方法主要集中構(gòu)造一個(gè)可學(xué)習(xí)的嵌入模塊，以適應(yīng)預(yù)先指定的距離度量函數(shù)，但是，當(dāng)嵌入模塊學(xué)習(xí)到的特征區(qū)分信息不充分時(shí)網(wǎng)絡(luò)的性能將受到限制，關(guān)系網(wǎng)絡(luò)的關(guān)系模塊采用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樣本之間的相似性，以數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)一個(gè)度量函數(shù)，相比于固定的度量函數(shù)，其可以更好地比較2 個(gè)樣本之間的相似性。關(guān)系模塊以查詢(xún)樣本和支持樣本的級(jí)聯(lián)作為輸入，生成一個(gè)0～1 的分?jǐn)?shù)表示查詢(xún)樣本與支持樣本之間的相似性。本文采用關(guān)系網(wǎng)絡(luò)中的關(guān)系模塊作為ARNs 的關(guān)系模塊，其結(jié)構(gòu)如圖6 所示，關(guān)系網(wǎng)絡(luò)中的關(guān)系模塊包含2 個(gè)卷積塊、2 個(gè)全連接層和1 個(gè)Sigmoid 函數(shù)，每個(gè)卷積塊后接1 個(gè)最大池化層。關(guān)系模塊的輸入特征是一個(gè)3 維的特征圖，3 維的特征圖包含圖像的信息，適用于卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征之間的關(guān)系，根據(jù)輸入特征的大小，設(shè)置卷積塊中卷積層的卷積核大小為3×3，卷積核數(shù)量為64，其后接一個(gè)歸一化層、Relu 非線(xiàn)性激活函數(shù)以及2×2 的最大池化層以進(jìn)行下采樣。第1 個(gè)全連接層后連接1 個(gè)Relu 激活函數(shù)，最后1 個(gè)全連接層后添加1 個(gè)Sigmoid 激活函數(shù)，通過(guò)Sigmoid 函數(shù)輸出1 個(gè)0～1 的相似性評(píng)分。

圖6 關(guān)系模塊結(jié)構(gòu)Fig.6 Relationship module structure

2.4 ARNs 的訓(xùn)練策略

元學(xué)習(xí)是一種處理小樣本學(xué)習(xí)的常用方法，它包含訓(xùn)練階段和測(cè)試階段，在訓(xùn)練階段通過(guò)元學(xué)習(xí)提取可傳播的知識(shí)，允許模型在測(cè)試階段執(zhí)行小樣本學(xué)習(xí)任務(wù)。在訓(xùn)練階段，模型按照一個(gè)個(gè)訓(xùn)練批次來(lái)訓(xùn)練網(wǎng)絡(luò)。在每個(gè)訓(xùn)練批次中，首先構(gòu)造一個(gè)元任務(wù)，從訓(xùn)練集中隨機(jī)抽取c個(gè)類(lèi)別，每個(gè)類(lèi)中隨機(jī)抽取k個(gè)樣本合并作為支持集，再?gòu)拿總€(gè)類(lèi)隨機(jī)抽取若干樣本合并組成查詢(xún)集，然后更新模型，這樣的小樣本學(xué)習(xí)任務(wù)通常被描述為c-wayk-shot。在測(cè)試階段，數(shù)據(jù)分為支持集和測(cè)試集，支持集作為對(duì)比學(xué)習(xí)的樣本，擁有和測(cè)試集一樣的標(biāo)簽，在測(cè)試過(guò)程中，采用訓(xùn)練階段學(xué)到的模型，通過(guò)和支持集的對(duì)比來(lái)預(yù)測(cè)查詢(xún)集中的樣本標(biāo)簽。

ARNs 模型中查詢(xún)集與支持集之間的相似度是通過(guò)關(guān)系模塊輸出的關(guān)系評(píng)分來(lái)進(jìn)行判別的，關(guān)系評(píng)分是一個(gè)0～1 的標(biāo)量，0 代表極不相似，1 代表非常相似，此時(shí)支持樣本與查詢(xún)樣本之間的關(guān)系評(píng)分獲得可視為回歸問(wèn)題，采用均方誤差來(lái)計(jì)算損失值，損失函數(shù)表示為：

其中，ri，j為查詢(xún)集樣本xj和支持集樣本xi的關(guān)系評(píng)分。在小樣本W(wǎng)CE 圖像分類(lèi)任務(wù)中，由于樣本數(shù)量少，類(lèi)間變異度高，均方差損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)容易因數(shù)據(jù)量少而產(chǎn)生過(guò)擬合。因此，本文采用均方誤差損失函數(shù)加上L2 正則化約束項(xiàng)作為目標(biāo)函數(shù)以訓(xùn)練模型，從而增強(qiáng)模型的魯棒性。損失函數(shù)定義為：

其中，λ是正則化懲罰系數(shù)，z=，yi表示支持集樣本標(biāo)簽，yj表示查詢(xún)集樣本標(biāo)簽。反向傳播梯度求導(dǎo)公式為：

梯度下降公式為：

其中，φ表示網(wǎng)絡(luò)中可學(xué)習(xí)的參數(shù)，η是學(xué)習(xí)率。在網(wǎng)絡(luò)的損失函數(shù)中，經(jīng)過(guò)反向傳播訓(xùn)練的網(wǎng)絡(luò)模型加入了正則化項(xiàng)后，參數(shù)的權(quán)重衰竭使得網(wǎng)絡(luò)權(quán)重不斷減小，提高了ARNs 的抗擾動(dòng)能力，減緩了測(cè)試數(shù)據(jù)差異情況下的過(guò)擬合問(wèn)題。

本文采用元學(xué)習(xí)的訓(xùn)練策略訓(xùn)練ARNs 模型，訓(xùn)練ARNs 模型的目標(biāo)是找到模型用于小樣本W(wǎng)CE圖像分類(lèi)任務(wù)的合適參數(shù)，定義訓(xùn)練集Dtrain={(xi，yi)，…，(xN，yN)}，N是訓(xùn)練集的樣本數(shù)量，yi表 示樣本標(biāo)簽，xi表示樣本，每批次訓(xùn)練從Dtrain中隨機(jī)采樣c類(lèi)別的k個(gè)樣本，構(gòu)成支持集，m=c×k，從剩余Dtrain中隨機(jī)抽取n個(gè)樣本構(gòu)成查詢(xún)集，嵌入模塊的映射函數(shù)為fφ，關(guān)系模塊的映射函數(shù)為gΦ。一次網(wǎng)絡(luò)訓(xùn)練的算法過(guò)程如下：

輸入訓(xùn)練集Dtrain=

輸出經(jīng)過(guò)一次訓(xùn)練的損失J

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

本文采用mini-ImageNet 數(shù)據(jù)集和WCE 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。其中，mini-ImageNet 數(shù)據(jù)集是小樣本學(xué)習(xí)的一個(gè)基準(zhǔn)數(shù)據(jù)集，該數(shù)據(jù)集包含100 類(lèi)圖像數(shù)據(jù)，每類(lèi)由600 幅圖像組成，一共60 000 幅圖像；WCE 數(shù)據(jù)集由金山科技公司提供的WCE 數(shù)據(jù)集和KID［17］數(shù)據(jù)集組成，金山科技公司提供的WCE 數(shù)據(jù)集由OMOM 內(nèi)鏡拍攝的WCE 圖像組成，其包括胃部凹陷、胃部表淺、胃底隆起等16 類(lèi)WCE 圖像，每類(lèi)包含200～300 張WCE圖像，KID 是一個(gè)公開(kāi)的WCE 圖像數(shù)據(jù)集，由3 個(gè)數(shù)據(jù)集組成。本次實(shí)驗(yàn)采用KID 中的數(shù)據(jù)集1 和數(shù)據(jù)集2混合組成KID 數(shù)據(jù)集，且輸入到ARNs 模型的WCE 圖像大小統(tǒng)一為224 像素×224 像素。

實(shí)驗(yàn)采用PyTorch 深度學(xué)習(xí)框架，在GPU 平臺(tái)上運(yùn)行，處理器為Intel?CoreTMi7-7700HQ CPU@2.80 GHz、GPU NVIDIA GeForce GTX 1080，運(yùn)行內(nèi)存為64 GB。訓(xùn)練和測(cè)試階段都是基于c-wayk-shot的小樣本學(xué)習(xí)方法進(jìn)行，所有實(shí)驗(yàn)均采用Adam［18］優(yōu)化算法對(duì)模型參數(shù)進(jìn)行更新，初始學(xué)習(xí)率設(shè)置為0.001。

3.2 mini-ImageNet 數(shù)據(jù)集的小樣本分類(lèi)任務(wù)

本文對(duì)mini-ImageNet數(shù)據(jù)集進(jìn)行劃分，采用64 類(lèi)數(shù)據(jù)作為訓(xùn)練集，16 類(lèi)數(shù)據(jù)作為驗(yàn)證集，20 類(lèi)數(shù)據(jù)作為測(cè)試集，分別采用5-way 1-shot 和5-way 5-shot 的方法進(jìn)行實(shí)驗(yàn)，并將ARNs 模型的實(shí)驗(yàn)結(jié)果與Baselinelinear［19］網(wǎng) 絡(luò)、Meta-Leaner LSTM［20］網(wǎng)絡(luò)、MAML 網(wǎng)絡(luò)［21］、匹配網(wǎng)絡(luò)［12］、原型網(wǎng)絡(luò)［13］和關(guān)系網(wǎng)絡(luò)［9］這幾種小樣本學(xué)習(xí)領(lǐng)域的主流方法進(jìn)行對(duì)比，實(shí)驗(yàn)采用分類(lèi)準(zhǔn)確率A=n′/n來(lái)衡量方法的性能，其中，n′為測(cè)試集中預(yù)測(cè)結(jié)果與真實(shí)結(jié)果一致的樣本個(gè)數(shù)，n為測(cè)試集的樣本總個(gè)數(shù)，實(shí)驗(yàn)結(jié)果如表2 所示。

表2 小樣本分類(lèi)方法性能對(duì)比Table 2 Performance comparison of small sample classification methods %

從表2 可以看出，本文提出的ARNs 模型在mini-ImageNet數(shù)據(jù)集上準(zhǔn)確率相比其他模型有所提升。與關(guān)系網(wǎng)絡(luò)相比，ARNs在小樣本數(shù)據(jù)集上的分類(lèi)效果明顯提升，原因是本文引入的基于CBAM 的ResNet嵌入模塊提取的特征較關(guān)系網(wǎng)絡(luò)中簡(jiǎn)單的線(xiàn)性連接的卷積網(wǎng)絡(luò)具有更高的魯棒性，加強(qiáng)了同類(lèi)樣本特征之間的相關(guān)性，降低了不同類(lèi)樣本特征的相似性，從而有效提高了ARNs模型應(yīng)用于小樣本學(xué)習(xí)任務(wù)的分類(lèi)準(zhǔn)確率。

3.3 WCE 數(shù)據(jù)集的小樣本分類(lèi)任務(wù)

對(duì)WCE 數(shù)據(jù)集進(jìn)行劃分，采用金山科技公司提供的13 類(lèi)WCE 圖像作為訓(xùn)練集，剩下的3 類(lèi)WCE 圖像混合KID 數(shù)據(jù)集組成測(cè)試集。測(cè)試集包含189 張出血、157 張息肉、125 張潰瘍和193 張正常類(lèi)WCE 圖像，這些WCE 圖像是臨床實(shí)踐中常出現(xiàn)的4 類(lèi)WCE 圖像。首先采用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，同時(shí)將4 類(lèi)WCE 圖像作為測(cè)試集模擬驗(yàn)證在真實(shí)場(chǎng)景下ARNs 模型對(duì)于少量WCE 圖像的分類(lèi)能力。原則上只采用測(cè)試集中的4 類(lèi)WCE 圖像數(shù)據(jù)就可以訓(xùn)練ARNs 模型的嵌入模塊和關(guān)系模塊，但是，測(cè)試集中標(biāo)記樣本很少導(dǎo)致這種模型的性能不能滿(mǎn)足要求。因此，本文首先采用元學(xué)習(xí)的方法在訓(xùn)練集上訓(xùn)練ARNs 模型，從而提取可以遷移的知識(shí)，在測(cè)試集上的WCE 圖像類(lèi)中完成小樣本的圖像分類(lèi)，分別采用4-way 1-shot 和4-way 5-shot 的方法進(jìn)行實(shí)驗(yàn)，使用準(zhǔn)確率A、靈敏度（sensitivity sen）和特異性（specificity spec）作為評(píng)價(jià)指標(biāo)，后兩者計(jì)算公式如下：

其中，TP 表示把原本屬于該類(lèi)的樣本分成該類(lèi)，TN表示把原本屬于其他類(lèi)的樣本分成其他類(lèi)，F(xiàn)P 表示把原本屬于其他類(lèi)的樣本錯(cuò)分成了該類(lèi)，F(xiàn)N 表示把原本屬于該類(lèi)的樣本錯(cuò)分成了其他類(lèi)。

為了探究ARNs 采用不同嵌入模塊對(duì)于WCE圖像分類(lèi)效果的影響，本文分別以基于CBAM 的ResNet18 和基于CBAM 的ResNet50 作 為ARNs 模 型的嵌入模塊進(jìn)行實(shí)驗(yàn)，結(jié)果如表3 所示。

表3 不同嵌入模塊的性能對(duì)比Table 3 Performance comparison of different embedded modules

從表3可以看出，ARNs模型采用CBAM-ResNet18和CBAM-ResNet50 作為嵌入模塊時(shí)的準(zhǔn)確率相差不大，考慮到模型的參數(shù)量以及計(jì)算復(fù)雜度，本文采用CBAM-ResNet18 作為ARNs 模型的嵌入模塊，以提取WCE 圖像特征。

圖7 所示為WCE 圖像測(cè)試集上ARNs 模型與RelationNet 前6 000 次迭代（每隔50 次）時(shí)的準(zhǔn)確率和損失曲線(xiàn)，從圖7 可以看出，在小樣本的WCE 圖像上，本文ARNs網(wǎng)絡(luò)與RelationNet相比分類(lèi)效果顯著提升。

圖7 ARNs 和RelationNet 的性能比較Fig.7 Performance comparison between ARNs and RelationNet

WCE 圖像各類(lèi)之間相似，圖像類(lèi)內(nèi)變異度高，提高WCE 圖像分類(lèi)準(zhǔn)確率的關(guān)鍵在于提取各類(lèi)WCE 圖像之間的差異部分特征。ARNs 模型的特征提取模塊采用結(jié)合注意力機(jī)制的ResNet18，相比于關(guān)系網(wǎng)絡(luò)的特征提取模塊，其能提取到對(duì)WCE 圖像表示性更強(qiáng)的特征。因此，ARNs 模型在WCE 數(shù)據(jù)集上的準(zhǔn)確率明顯高于關(guān)系網(wǎng)絡(luò)。

表4 所示為測(cè)試數(shù)據(jù)的混淆矩陣，其中包括各類(lèi)WCE 圖像的靈敏度和特異性。從表4 可以看出，ARNs 模型對(duì)于出血類(lèi)WCE 圖像的準(zhǔn)確率最高，因?yàn)槌鲅?lèi)WCE 圖像的特征和其他類(lèi)特征具有明顯差異，ARNs 模型對(duì)潰瘍類(lèi)WCE 圖像的準(zhǔn)確率較低，潰瘍類(lèi)圖像類(lèi)內(nèi)變異度高，小樣本分類(lèi)的模型難以涵蓋其特征的多樣性。ARNs 模型的錯(cuò)誤分類(lèi)主要發(fā)生在潰瘍類(lèi)和息肉類(lèi)之間，潰瘍類(lèi)與息肉類(lèi)特征具有相似性，并且2 類(lèi)圖像的類(lèi)內(nèi)變異度高，導(dǎo)致模型在2 類(lèi)WCE 圖像上的識(shí)別精度下降。ARNs 模型在4 類(lèi)WCE 圖像上的特異性值都取得了較好的結(jié)果，表示模型在WCE 圖像上的誤診率很低。

表4 WCE 圖像多異常分類(lèi)混淆矩陣Table 4 Classification confusion matrix of WCE image multiple anomalies %

類(lèi)激活熱圖（Class Activation Mapping，CAM）是一種可視化卷積神經(jīng)網(wǎng)絡(luò)的工具，本文采用CAM卷積可視化技術(shù)將基于CBAM 的ResNet18 嵌入模塊提取的特征進(jìn)行熱圖可視化，并與關(guān)系網(wǎng)絡(luò)的嵌入模塊熱圖可視化的結(jié)果進(jìn)行對(duì)比。如圖8 所示，采用基于CBAM 的ResNet18 嵌入模塊提取WCE 圖像特征時(shí)能夠聚焦于圖像的異常區(qū)域，可以提取到圖像中的差異性特征，有助于提高WCE 圖像的多分類(lèi)準(zhǔn)確率。不同WCE 圖像分類(lèi)方法的準(zhǔn)確率對(duì)比結(jié)果如表5 所示，其中，文獻(xiàn)［6］采用MPEG-7v 視覺(jué)描述符分類(lèi)WCE 圖像，文獻(xiàn)［7］利用WCE 圖像的顏色和紋理特征進(jìn)行圖像分類(lèi)，文獻(xiàn)［8］利用詞袋庫(kù)技術(shù)，采用以ResNet18 作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行微調(diào)的深度學(xué)習(xí)多分類(lèi)方法分類(lèi)WCE 圖像，文獻(xiàn)［10］利用WCE 訓(xùn)練集訓(xùn)練關(guān)系網(wǎng)絡(luò)。從表5 可以看出，本文WCE 圖像多分類(lèi)方法整體準(zhǔn)確率以及在各種異常圖像上的識(shí)別精度高于其他WCE 圖像分類(lèi)方法，因此，本文WCE 多異常分類(lèi)方法具有有效性。

表5 不同WCE 圖像分類(lèi)方法準(zhǔn)確率對(duì)比Table 5 Comparison of the accuracy of different WCE image classification methods %

圖8 嵌入模塊卷積的可視化分析Fig.8 Visualization analysis of embedded module convolution

4 結(jié)束語(yǔ)

本文提出一種基于注意力關(guān)系網(wǎng)絡(luò)的小樣本W(wǎng)CE圖像分類(lèi)方法。將注意力機(jī)制、關(guān)系網(wǎng)絡(luò)以及元學(xué)習(xí)訓(xùn)練策略相結(jié)合，構(gòu)造基于注意力機(jī)制的特征提取模塊提取WCE 圖像特征，將提取的支持樣本和查詢(xún)樣本特征級(jí)聯(lián)后輸入到關(guān)系模塊，關(guān)系模塊輸出查詢(xún)樣本與支持樣本之間的相似性評(píng)分，根據(jù)相似性評(píng)分判別查詢(xún)樣本的類(lèi)別。在mini-ImageNet 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法的準(zhǔn)確率高于ResNet18、RelationNet等其他小樣本分類(lèi)方法。下一步將對(duì)ARNs 關(guān)系模型中的特征級(jí)聯(lián)部分和模型結(jié)構(gòu)進(jìn)行改進(jìn)，以達(dá)到更好的WCE 圖像分類(lèi)效果。