陳昱彤，鄧悟，何小海

（1 四川大學(xué) 電子信息學(xué)院，成都 610065；2 四川大學(xué) 華西天府醫(yī)院，成都 610065）

0 引言

壓瘡，又稱壓力性潰瘍（Pressure Ucler，PU），俗稱褥瘡［1］。壓瘡是臨床上常見的一種慢性傷口，所有人都有可能患上壓瘡，且更高概率發(fā)生在重病、神經(jīng)系統(tǒng)疾病、行動(dòng)不便、姿勢(shì)不良或畸形、皮膚受損或營(yíng)養(yǎng)不良者身上［2］。因?yàn)閴函従哂须y以愈合的特性，故將壓瘡視作醫(yī)療質(zhì)量的重要指標(biāo)，并已成為公共衛(wèi)生系統(tǒng)和經(jīng)濟(jì)支出上的一個(gè)不小負(fù)擔(dān)［3］。但是目前PU 的管理現(xiàn)狀卻遠(yuǎn)遠(yuǎn)不能令人滿意，全球護(hù)理資源短缺也是不可忽視的事實(shí)。目前最普遍使用的PU 風(fēng)險(xiǎn)評(píng)估工具是Braden 量表，但是Braden 量表在區(qū)分有壓瘡發(fā)生風(fēng)險(xiǎn)的重癥監(jiān)護(hù)患者方面表現(xiàn)出預(yù)測(cè)有效性欠佳和準(zhǔn)確性差的問題，可能無法充分反映重癥監(jiān)護(hù)患者的特征［4］。到目前為止，亟需一種能夠幫助醫(yī)護(hù)人員判別壓瘡分級(jí)的工具，以便及時(shí)采取治療，預(yù)防輕度壓瘡向重度壓瘡的轉(zhuǎn)變。

隨著人工智能的不斷發(fā)展，現(xiàn)已越來越多地被應(yīng)用在日常生活中。而將人工智能應(yīng)用在醫(yī)療領(lǐng)域的實(shí)踐可行性也已獲得了充分有效的驗(yàn)證。有研究指出，生物醫(yī)學(xué)大數(shù)據(jù)（Biomedical Big Data）在學(xué)術(shù)領(lǐng)域和工業(yè)應(yīng)用領(lǐng)域都是全球范圍內(nèi)到目前為止發(fā)展最快的領(lǐng)域之一［5-6］。本文探究關(guān)于PU 智慧數(shù)字化的診斷方式，有助于減輕一線臨床醫(yī)生的負(fù)擔(dān)，以及提高對(duì)病患的護(hù)理質(zhì)量。

近些年，細(xì)粒度視覺分類（Fine-Grained Visual Categorization，F(xiàn)GVC）是計(jì)算機(jī)視覺領(lǐng)域頗具挑戰(zhàn)的一個(gè)方向，細(xì)粒度是指類別更加細(xì)分、類間差異更加細(xì)小的分類任務(wù)［7］，符合壓瘡等級(jí)分類的需求。美國國家壓瘡咨詢委員會(huì)（National Pressure Ulcer Advisory Panel，NPUAP）發(fā)布的《國際性壓瘡防治指南》中規(guī)定根據(jù)局部組織破壞的嚴(yán)重程度對(duì)壓瘡級(jí)別進(jìn)行Ⅰ～Ⅳ期［3］的劃分，與醫(yī)生共同完成壓瘡圖像數(shù)據(jù)集SCU-PU 的構(gòu)建。數(shù)據(jù)集僅包含圖像的類別標(biāo)簽，不包含額外的人工標(biāo)注信息（Annotation），因此采用基于弱監(jiān)督的細(xì)粒度圖像分類方法［8］。

目前，主流的基于深度學(xué)習(xí)的弱監(jiān)督細(xì)粒度圖像分類方法大致可以分為2類［9］：基于特征編碼的方法和基于局部區(qū)域定位的方法。對(duì)此可做闡述如下。

（1）基于特征編碼的方法。是對(duì)特征的高階信息進(jìn)行編碼，比如Lin 等人［10］提出的B-CNN 網(wǎng)絡(luò)使用雙線性池化來聚合2 個(gè)獨(dú)立卷積網(wǎng)絡(luò)中的特征，計(jì)算2 個(gè)CNN 流輸出特征通道的外積以捕獲二階信息。此外，Yu 等人［11］提出了跨層雙線性池化的方法來捕獲層級(jí)間的特征信息。

（2）基于局部區(qū)域定位的方法。是通過定位網(wǎng)絡(luò)來明確地分離與特定對(duì)象局部區(qū)域相關(guān)聯(lián)的細(xì)微外觀差異來促進(jìn)細(xì)粒度分類。比如，Yang 等人［8］提出的NTS 網(wǎng)絡(luò)將金字塔特征應(yīng)用于FGVC 任務(wù)，在CNN 上應(yīng)用金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）來學(xué)習(xí)區(qū)域定位器［12］，定位可能的信息區(qū)域有利于后續(xù)的分類任務(wù)。此外，Ding 等人［13］提出的APCNN 中包含區(qū)域選取網(wǎng)絡(luò)（Region Proposal Network，RPN）以弱監(jiān)督的方式生成金字塔感興趣區(qū)域［14］。

綜合上述2 種方式可以看出，高效獲取特征和感興趣區(qū)域是細(xì)粒度分類的關(guān)鍵，本文在APCNN網(wǎng)絡(luò)的基礎(chǔ)上優(yōu)化了注意力特征提取模塊，并且引入了雙線性注意力池化機(jī)制，得到了改進(jìn)的雙線性金字塔網(wǎng)絡(luò)BAP-CNN 以此提高模型分類的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的模型在自建的壓瘡圖像數(shù)據(jù)集SCU-PU 上取得了良好的識(shí)別率。

1 基礎(chǔ)網(wǎng)絡(luò)APCNN

為了能夠使用多尺度的特征［15］，APCNN 提出了一種新的注意力金字塔卷積神經(jīng)網(wǎng)絡(luò)，目的是更有效地集成高層語義和底層細(xì)節(jié)特征來進(jìn)行細(xì)粒度分類，可以在不使用邊框和其他零件標(biāo)注的情況下聯(lián)合學(xué)習(xí)多級(jí)信息和細(xì)化的特征。該網(wǎng)絡(luò)與傳統(tǒng)細(xì)粒度分類網(wǎng)絡(luò)的不同在于將金字塔層級(jí)結(jié)構(gòu)引入，圖1 為APCNN 網(wǎng)絡(luò)框圖。

圖1 APCNN 網(wǎng)絡(luò)示意圖Fig.1 APCNN network diagram

首先，輸入原始圖像進(jìn)入特征金字塔網(wǎng)絡(luò)和注意力金字塔網(wǎng)絡(luò)，遵循自上向下的特征路徑和自下而上的注意路徑，生成金字塔特征和金字塔注意。然后，RPN［14］以弱監(jiān)督的方式生成金字塔感興趣區(qū)域（Region of Interest，RoI），使用RoI引導(dǎo)的刪除和縮放對(duì)圖進(jìn)行細(xì)化。將細(xì)化后的特征圖送入細(xì)化階段，已提取更多有利于分類的鑒別信息。每個(gè)金字塔級(jí)別都設(shè)置了單獨(dú)的分類器，將特征圖和注意力圖點(diǎn)乘后進(jìn)行全局平均池化（Global Average Pooling，GAP）［16］，最后取平均得到分類結(jié)果。

1.1 注意力金字塔模塊

一般的特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）利用各個(gè)層次的特征定位不同尺度上的樣本，以關(guān)注不同尺度上對(duì)象的細(xì)微差異［12］。APCNN 在一階段通過在金字塔特征上引入額外的注意力機(jī)制，形成一個(gè)自下而上的注意力金字塔（Attention Pyramid）進(jìn)一步增強(qiáng)FPN 結(jié)構(gòu)。注意力金字塔包括空間注意和通道注意，生成過程如圖2所示。

圖2 注意力金字塔模塊Fig.2 Attention Pyramid Module

金字塔空間注意模塊里每層將FPN 中的特征映射Fk作為輸入，經(jīng)過一個(gè)3×3 的反卷積層，以壓縮空間信息；最后使用Sigmoid層來調(diào)整空間注意力輸出的尺度，按照公式（1）生成空間注意掩碼：

其中，σ表示Sigmoid函數(shù)；“ ?”表示反卷積；υc表示的是3 ×3 的卷積核。結(jié)果得到了基于多尺度的空間注意力金字塔

金字塔通道注意模塊設(shè)計(jì)思路基于SE -Net［17］，每層都將FPN 中的特征映射Fk作為輸入，經(jīng)過GAP層和2 個(gè)全連接（FC）層；最后使用Sigmoid層來調(diào)整通道注意力輸出的尺度，按照公式（2）生成通道注意掩碼

其中，σ表示Sigmoid函數(shù)；ReLU表示ReLU函數(shù)；W1和W2是2 個(gè)FC 層的權(quán)重矩陣；GAP（·）表示的全局平均池化函數(shù)，具體如式（3）所示：

其中，W和H表示Fk的空間維度。

GAP［16］的目的是對(duì)跨越空間維度，對(duì)W ×H的特征映射進(jìn)行壓縮成一維的并且將感受野擴(kuò)展到了全局，能夠提取更豐富的特征。2個(gè)FC層可以更好地?cái)M合通道間復(fù)雜的相關(guān)性，自動(dòng)學(xué)習(xí)分配特征權(quán)重，提升對(duì)當(dāng)前任務(wù)有用的特征通道，抑制作用不大的特征通道。結(jié)果得到通道注意力金字塔

1.2 感興趣區(qū)域引導(dǎo)的細(xì)化模塊

細(xì)化模塊是指APCNN 在二階段對(duì)金字塔底層特征Bn進(jìn)行RoI引導(dǎo)的細(xì)化，包括丟棄和裁剪，從而進(jìn)一步提高細(xì)化階段的性能。

首先將先前模塊得到的注意力映射Ak輸入RPN［14］。RPN 是一種候選框生成網(wǎng)絡(luò)，對(duì)于每個(gè)金字塔級(jí)別卷積感受野設(shè)計(jì)了比例和范圍生成目標(biāo)候選框，并且對(duì)區(qū)域建議采用非極大值抑制（Non-Maximum Suppression，NMS）來減少區(qū)域冗余［18］，這樣一來就形成了感興趣區(qū)域（RoI）金字塔Rall＝｛Rn，Rn+1，…，Rn+N-1｝。

RoI引導(dǎo)的丟棄策略通過在特征圖上隨機(jī)刪除連續(xù)區(qū)域來刪除某些語義信息，從而強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)剩余區(qū)域的信息，有效防止過擬合問題的產(chǎn)生［19］。首先從Rall中隨機(jī)選取區(qū)域Rs，然后從Rs中以相同概率選取信息區(qū)域rs∈Rs，并通過將RoI區(qū)域激活設(shè)置為0，得到丟棄掩碼M，推導(dǎo)得到的公式可寫為：

通過式（5）在底層特征Bn上應(yīng)用掩碼M，并進(jìn)行歸一化得到丟棄的特征映射Dn：

不同于傳統(tǒng)的隨機(jī)丟棄，RoI引導(dǎo)的丟棄可以直接擦除信息部分，鼓勵(lì)網(wǎng)絡(luò)找到更多有區(qū)分性的區(qū)域，從而提高準(zhǔn)確率。

RoI引導(dǎo)的裁剪策略通過合并所有RoI金字塔，以弱監(jiān)督的方式學(xué)習(xí)輸入圖像的最小邊界矩形，并得到分別表示合并邊界矩形在x軸和y軸的最小和最大坐標(biāo)，表示為［tx1，tx2，ty1，ty2］，根據(jù)式（6）從之前的丟棄的特征掩碼Dn中提取該區(qū)域，得到細(xì)化特征Zn，即：

其中，φ指的是雙線性上采樣函數(shù)。

需要指出的是，細(xì)化操作只在訓(xùn)練過程中執(zhí)行，測(cè)試過程將跳過這一操作。將細(xì)化后的特征Zn發(fā)送到細(xì)化階段進(jìn)行下一步預(yù)測(cè)，再與原始階段的預(yù)測(cè)進(jìn)行平均，得到最終預(yù)測(cè)結(jié)果。

2 改進(jìn)網(wǎng)絡(luò)BAP-CNN

細(xì)粒度分類任務(wù)需要解決的2 個(gè)難點(diǎn)在于：

（1）高層次的語義，屬于同一類別的物體圖像呈現(xiàn)出不同的姿勢(shì)和視角。

（2）低層次的特征，子類別間的差異通常很細(xì)微。

針對(duì)以上問題，本文的改進(jìn)網(wǎng)絡(luò)BAP-CNN 主要對(duì)基礎(chǔ)網(wǎng)絡(luò)APCNN 做了2 方面的改進(jìn)：

（1）通過改進(jìn)空間注意力提取的機(jī)制對(duì)注意力金字塔模塊進(jìn)行優(yōu)化。

（2）通過改進(jìn)池化機(jī)制對(duì)特征融合部分進(jìn)行優(yōu)化。

2.1 優(yōu)化空間注意力模塊

原始網(wǎng)絡(luò)中的注意力金字塔模塊由空間注意力和通道注意力兩部分并聯(lián)組成，2 個(gè)單獨(dú)的注意力分支計(jì)算得出了最終的注意力圖。其中，空間注意力模塊采用了一個(gè)3×3 的反卷積的方法，反卷積可以增加圖像尺寸，從而實(shí)現(xiàn)壓縮空間信息的目的。

但是反卷積有一個(gè)不可避免的缺點(diǎn)，輸出的特征圖容易出現(xiàn)棋盤效應(yīng)［20］。棋盤效應(yīng)是由于反卷積的“不均勻重疊”而導(dǎo)致的結(jié)果，使圖像中某個(gè)部位的顏色比其他部位更深。尤其是當(dāng)卷積核的大小不能被步長(zhǎng)整除時(shí)，反卷積就會(huì)發(fā)生不均勻重疊的現(xiàn)象。并且這種棋盤狀的現(xiàn)象會(huì)層層遞進(jìn)，影響此后的注意力圖輸出，最終影響整個(gè)網(wǎng)絡(luò)的預(yù)測(cè)效果。

考慮到對(duì)空間注意力模塊進(jìn)行優(yōu)化，本文參考ResNet［21］提出的Bottleneck 瓶頸結(jié)構(gòu)，改進(jìn)后的瓶頸注意力模塊（Bottleneck Attention Module，BAM）結(jié)構(gòu)如圖3 所示。在瓶頸注意力模塊中，空間注意力分支生成過程如下。

圖3 瓶頸注意力模塊Fig.3 Bottleneck Attention Module

每層將FPN 中的特征映射Fk作為輸入，使用一個(gè)1×1 的卷積將原特征映射降維以整合和壓縮信道維度的特征圖，并通過2 個(gè)3×3 的膨脹卷積［22］來聚合具有更大感受野的上下文信息，繼而使用1×1 的卷積再次壓縮空間注意力圖；此后為了調(diào)整尺度比例，使用Sigmoid函數(shù)將空間注意掩碼的每個(gè)元素歸一化壓縮在（0，1）之間，按照公式（7）生成空間注意掩碼

其中，σ指的是Sigmoid函數(shù)；f表示卷積運(yùn)算，其上標(biāo)為卷積核大小。

利用膨脹卷積來高效地?cái)U(kuò)大卷積的感受野，可以得到比普通卷積更有效的空間映射，加強(qiáng)模型對(duì)圖像每個(gè)像素和周圍關(guān)系的理解。不僅如此，Bottleneck 瓶頸結(jié)構(gòu)可以減少構(gòu)造中的參數(shù)數(shù)量，從而節(jié)省計(jì)算的開銷，提升了網(wǎng)絡(luò)的速度。

2.2 雙線性注意力池化

原始網(wǎng)絡(luò)中在特征融合時(shí)使用了點(diǎn)乘之后全局平均池化（GAP）的方法［16］，其優(yōu)勢(shì)在于可以減少融合時(shí)特征的維度，極大地減少了網(wǎng)絡(luò)的參數(shù)。但是缺點(diǎn)是GAP操作會(huì)造成收斂速度減慢，并且融合后的特征向量會(huì)受到注意力圖強(qiáng)度的影響，容易丟失一些紋理信息。

針對(duì)細(xì)粒度圖像分類的任務(wù)，利用雙線性池化操作來融合2 個(gè)獨(dú)立卷積中的特征是一種經(jīng)典的基準(zhǔn)做法，被廣泛地運(yùn)用于提取圖像高階信息［10］。本文引入雙線性注意力池化（Bilinear Attention Pooling，BAP）的特征融合方式，通過外積的重組方式，雙線性池化能夠?qū)⒒A(chǔ)網(wǎng)絡(luò)的一階特征映射成更高階的特征，顯式地表達(dá)出更多的圖像細(xì)節(jié)信息，從而提升分類網(wǎng)絡(luò)的準(zhǔn)確率。本文模型加入的雙線性注意力池化的過程如圖4 所示。

圖4 雙線性注意力池化過程圖Fig.4 Bilinear attention pooling process diagram

首先把網(wǎng)絡(luò)前面階段生成的特征圖Fk和注意力圖Ak進(jìn)行逐元素相乘計(jì)算得到部分特征圖，然后再對(duì)部分特征圖進(jìn)行池化和向量化操作后，得到雙線性向量池P，用于后續(xù)的分類和預(yù)測(cè)，計(jì)算過程可表示為：

其中，g（·）表示池化和向量化計(jì)算過程，可由如下公式計(jì)算求出：

本文使用BAP 對(duì)2 種特征進(jìn)行融合，再用于后續(xù)的分類任務(wù)，可以提升網(wǎng)絡(luò)性能。并且雙線性池化的形式簡(jiǎn)單，有利于梯度的反向傳播，從而實(shí)現(xiàn)端到端的訓(xùn)練。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)在2 個(gè)常用的基準(zhǔn)細(xì)粒度視覺分類（FGVC）數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，包括CUB-200-2001［23］和FGVC-Aircraft［24］。所有數(shù)據(jù)集包含同一類別下的多組子類別。

為了驗(yàn)證改進(jìn)后網(wǎng)絡(luò)BAP-CNN 的有效性，將改進(jìn)后的模型在自建的壓瘡傷口圖像數(shù)據(jù)集SCUPU 中進(jìn)行訓(xùn)練和測(cè)試。根據(jù)美國國家壓瘡咨詢委員 會(huì)（National Pressure Ulcer Advisory Panel，NPUAP）發(fā)布的《國際性壓瘡防治指南》中規(guī)定Ⅰ～Ⅳ期分期標(biāo)準(zhǔn)［3］，增廣前的SCU-PU 數(shù)據(jù)集包括壓瘡的4 個(gè)等級(jí)，共140 張圖像。

由于DeiT［25］表明數(shù)據(jù)增強(qiáng)可以實(shí)現(xiàn)高性能模型訓(xùn)練和測(cè)試，根據(jù)壓瘡圖像的特征，為了保留更精細(xì)的圖像特征信息，不干擾圖像紋理特征，選取特定角度翻轉(zhuǎn)和旋轉(zhuǎn)的方式實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，以擴(kuò)充壓瘡數(shù)據(jù)集協(xié)助網(wǎng)絡(luò)訓(xùn)練。將SCU-PU 數(shù)據(jù)集的每一張圖像先進(jìn)行水平、垂直、主對(duì)角線和副對(duì)角線四種翻轉(zhuǎn)，再每45°進(jìn)行一次旋轉(zhuǎn)，共旋轉(zhuǎn)7次，最終擴(kuò)充40 倍的數(shù)據(jù)，經(jīng)過以上數(shù)據(jù)增廣后的SCU-PU 可以更好地適用于網(wǎng)絡(luò)訓(xùn)練。本文實(shí)驗(yàn)選用的所有數(shù)據(jù)集的分布情況見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)集分布Tab.1 The distribution of the dataset used in the experiment

3.2 實(shí)驗(yàn)平臺(tái)與實(shí)驗(yàn)細(xì)節(jié)

本文實(shí)驗(yàn)使用的 GPU 為 Nvidia GeForce GTX1080Ti，操作系統(tǒng)為Ubuntu 16.04，CUDA 版本為10.0，Python 版本為3.6，使用深度學(xué)習(xí)框架Pytorch 1.3.0，TorchVision 0.4.1。

本文網(wǎng)絡(luò)與基礎(chǔ)模型對(duì)比，在ResNet50［21］的基礎(chǔ)上實(shí)現(xiàn)BAP-CNN。具體來說，金字塔的層級(jí)結(jié)構(gòu)選擇ResNet50 中剩余塊conv3、conv4和conv5，分別表示為B3、B4和B5 在最后輸出特征，其中細(xì)化模塊在B3 上進(jìn)行。細(xì)化模塊中的drop -out丟棄塊率設(shè)置為0.5。關(guān)于輸入圖像大小，對(duì)于細(xì)粒度視覺分類數(shù)據(jù)集，根據(jù)大多數(shù)對(duì)比文獻(xiàn)中實(shí)驗(yàn)輸入圖像大小為448×448；對(duì)于自建壓瘡圖像數(shù)據(jù)集SCUPU，在采集后，運(yùn)用圖像處理算法將輸入圖像大小調(diào)整為224×224。

訓(xùn)練過程中batchsize設(shè)置為16，epoch為100，初始學(xué)習(xí)率為0.001，使用隨機(jī)梯度下降SGD 進(jìn)行優(yōu)化，設(shè)置動(dòng)量為0.9，衰減權(quán)重為0.000 01，每隔2次迭代、調(diào)整一次學(xué)習(xí)率。

3.3 評(píng)價(jià)指標(biāo)與實(shí)驗(yàn)結(jié)果

為了評(píng)估BAP-CNN 模型對(duì)細(xì)粒度分類任務(wù)和壓瘡傷口圖像分類的性能，本文采用混淆矩陣來可視化計(jì)算準(zhǔn)確率，并且將準(zhǔn)確率作為本文實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)。準(zhǔn)確率可以反映訓(xùn)練網(wǎng)絡(luò)準(zhǔn)確分類各等級(jí)的數(shù)量，準(zhǔn)確率越大，表明正確分類的數(shù)量越多。準(zhǔn)確率Accuracy的數(shù)學(xué)定義公式見如下：

其中，TP、TN、FP、FN分別表示真陽性、真陰性、假陽性和假陰性。

為了驗(yàn)證改進(jìn)后的網(wǎng)絡(luò)BAP-CNN 的有效性，在2 個(gè)基準(zhǔn)細(xì)粒度視覺分類（FGVC）數(shù)據(jù)集CUB-200-2001 和FGVC-Aircraft 上進(jìn)行訓(xùn)練和測(cè)試，并與當(dāng)前主流代表性的細(xì)粒度分類網(wǎng)絡(luò)B-CNN［10］、NTS［8］和WSDAN［26］進(jìn)行比較，定量對(duì)比實(shí)驗(yàn)結(jié)果見表2。

表2 不同模型在FGVC 數(shù)據(jù)集上對(duì)比Tab.2 Comparison of different models on the FGVC dataset

表2 列出了多個(gè)模型與本文中的BAP-CNN 模型在FGVC 數(shù)據(jù)集中的準(zhǔn)確率Accuracy對(duì)比。其中，在CUB-200-2001 數(shù)據(jù)集上，與經(jīng)典的雙線性卷積網(wǎng)絡(luò)B-CNN 模型相比，本文設(shè)計(jì)出的BAPCNN 模型的準(zhǔn)確率從84.1%增長(zhǎng)到了90.3%，提升了6.2%，與經(jīng)典的細(xì)粒度網(wǎng)絡(luò)NTS 和WSDAN 相比，準(zhǔn)確率分別提升了2.8%、0.9%。而在FGVCAircraft 數(shù)據(jù)集上，與經(jīng)典網(wǎng)絡(luò)B-CNN、NTS 和WSDAN 相比，準(zhǔn)確率也均有提升，分別提升了10.4%、3.1%和1.5%。同時(shí)，在2 個(gè)基準(zhǔn)細(xì)粒度視覺分類（FGVC）數(shù)據(jù)集上，本文的改進(jìn)網(wǎng)絡(luò)BAP-CNN與基礎(chǔ)網(wǎng)絡(luò)APCNN 相比可知，識(shí)別準(zhǔn)確率均能提升，分別提升了1.9%和1.1%。說明本文BAP-CNN模型的方法具有較好的分類準(zhǔn)確率，驗(yàn)證了改進(jìn)網(wǎng)絡(luò)的有效性。

本文BAP-CNN 模型對(duì)基礎(chǔ)網(wǎng)絡(luò)主要進(jìn)行了2個(gè)方面的改進(jìn)，為了進(jìn)一步驗(yàn)證本文改進(jìn)方法對(duì)提升模型識(shí)別準(zhǔn)確率性能的有效性，在基礎(chǔ)網(wǎng)絡(luò)APCNN 上逐一進(jìn)行模塊的改進(jìn)，通過消融實(shí)驗(yàn)來分別驗(yàn)證各個(gè)模塊優(yōu)化的有效性。實(shí)驗(yàn)中網(wǎng)絡(luò)的Baseline 均選用ResNet50，實(shí)驗(yàn)結(jié)果見表3。

表3 消融實(shí)驗(yàn)在FGVC 數(shù)據(jù)集上結(jié)果Tab.3 Results of ablation experiments on the FGVC dataset

從表3 所列出的消融實(shí)驗(yàn)結(jié)果可知，在2 個(gè)FGVC 數(shù)據(jù)集上，對(duì)不同模塊改進(jìn)的2 個(gè)網(wǎng)絡(luò)在識(shí)別準(zhǔn)確率上均有提升作用。與基礎(chǔ)網(wǎng)絡(luò)APCNN 對(duì)比，改進(jìn)了瓶頸注意力模塊，在FGVC-Aircraft 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率提升較大，提升了0.9%；引入了雙線性注意力池化的網(wǎng)絡(luò)，在CUB-200-2001 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率提升較大，提升了1.0%。而且，根據(jù)表3 的實(shí)驗(yàn)結(jié)果可知，同時(shí)改進(jìn)了2 個(gè)模塊的本文網(wǎng)絡(luò)BAP-CNN 與基礎(chǔ)網(wǎng)絡(luò)對(duì)比在識(shí)別效果上有更明顯的改進(jìn)，分別提升了1.9%和1.1%。

為了驗(yàn)證改進(jìn)后網(wǎng)絡(luò)BAP-CNN 的有效性，將改進(jìn)后的模型在自建的壓瘡傷口圖像數(shù)據(jù)集SCU-PU中進(jìn)行訓(xùn)練和測(cè)試，并與細(xì)粒度分類網(wǎng)絡(luò)NTS 和WSDAN 在識(shí)別準(zhǔn)確率上進(jìn)行比較，定量對(duì)比實(shí)驗(yàn)結(jié)果見表4。

表4 不同模型在SCU-PU 數(shù)據(jù)集上對(duì)比Tab.4 Comparison of different models on the SCU-PU dataset

表4 列出了多個(gè)模型與本文中的BAP-CNN 模型在自建的壓瘡傷口圖像數(shù)據(jù)集SCU-PU 中的準(zhǔn)確率（Accuracy）對(duì)比。由實(shí)驗(yàn)數(shù)據(jù)可以看出，在壓瘡圖像等級(jí)分類任務(wù)中相較于傳統(tǒng)的細(xì)粒度分類網(wǎng)絡(luò)，本文網(wǎng)絡(luò)有更高的識(shí)別準(zhǔn)確率，高于NTS網(wǎng)絡(luò)3.9%，高于WSDAN網(wǎng)絡(luò)2.3%。和基礎(chǔ)網(wǎng)絡(luò)APCNN 對(duì)比，識(shí)別效果也提升了1.4%，驗(yàn)證了本文方法有較好的分類準(zhǔn)確性和良好的泛化能力。

為了進(jìn)一步探究壓瘡圖像各個(gè)等級(jí)分類任務(wù)的差異性，使用基礎(chǔ)網(wǎng)絡(luò)和本文網(wǎng)絡(luò)BAP-CNN 針對(duì)壓瘡圖像的Ⅰ期、Ⅱ期、Ⅲ期和Ⅳ期四種等級(jí)分別進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中，網(wǎng)絡(luò)的Baseline 均選用ResNet50，實(shí)驗(yàn)結(jié)果見表5。

表5 SCU-PU 數(shù)據(jù)集上壓瘡各等級(jí)識(shí)別率對(duì)比Tab.5 Comparison of the recognition rates of pressure ulcers at different levels on the SCU-PU dataset

從表5 所列出的對(duì)比實(shí)驗(yàn)結(jié)果可以看出，對(duì)于不同等級(jí)的壓瘡圖像樣本，識(shí)別的準(zhǔn)確率不同。從Ⅰ期到Ⅳ期壓瘡等級(jí)的樣本，識(shí)別準(zhǔn)確率依次降低。其中，Ⅰ期與Ⅱ期、Ⅲ期的壓瘡等級(jí)識(shí)別率差異相對(duì)較小，而Ⅰ期與Ⅳ期的壓瘡等級(jí)識(shí)別率相差較大，達(dá)到了35%左右。

壓瘡分級(jí)是根據(jù)局部組織破壞的嚴(yán)重程度進(jìn)行劃分的［3］，上述實(shí)驗(yàn)數(shù)據(jù)分析說明，不同程度的局部組織破壞會(huì)對(duì)壓瘡產(chǎn)生不同的影響。這也與實(shí)際的臨床觀察結(jié)果相對(duì)應(yīng)，越高等級(jí)的壓瘡傷口、其局部組織破壞的程度越嚴(yán)重，可以提取到的特征差異性較小，所以導(dǎo)致了識(shí)別率不高的問題。

4 結(jié)束語

為了更好地識(shí)別不同等級(jí)的壓瘡圖像，本文提出了一種基于雙線性注意力金字塔網(wǎng)絡(luò)的壓瘡等級(jí)識(shí)別方法。首先，輸入原始圖像進(jìn)入金字塔網(wǎng)絡(luò)，生成特征圖和注意力圖；然后，根據(jù)注意力圖生成的RoI引導(dǎo)，對(duì)金字塔底層特征進(jìn)行細(xì)化；最后，引入雙線性注意力池化對(duì)特征圖和注意力圖進(jìn)行特征融合得到雙線性向量池，輸入線性分類層得到識(shí)別結(jié)果。改進(jìn)后的網(wǎng)絡(luò)BAP-CNN 在細(xì)粒度視覺分類數(shù)據(jù)集CUB-200-2001 和FGVC-Aircraft 上表現(xiàn)良好，相比基礎(chǔ)網(wǎng)絡(luò)和經(jīng)典細(xì)粒度分類取得了更高的準(zhǔn)確率，驗(yàn)證了網(wǎng)絡(luò)改進(jìn)的有效性。并且在自建壓瘡圖像數(shù)據(jù)集SCU-PU 上測(cè)試得到了71.1%的識(shí)別準(zhǔn)確率，表明BAP-CNN 在識(shí)別分類任務(wù)上具有較好的泛化能力。

但是在壓瘡圖像數(shù)據(jù)集上卻仍有不足，采集到的不同等級(jí)的壓瘡圖像數(shù)量存在差異，數(shù)據(jù)集構(gòu)建在未來還有亟待豐富擴(kuò)充的空間。由于數(shù)據(jù)集存在不足對(duì)壓瘡等級(jí)識(shí)別準(zhǔn)確率有一定影響，所以本文網(wǎng)絡(luò)在公開數(shù)據(jù)集上表現(xiàn)良好，但是在自建數(shù)據(jù)集中識(shí)別準(zhǔn)確率卻較低，針對(duì)如何提升不同等級(jí)的壓瘡的識(shí)別率，在下一步工作中可以繼續(xù)探索。