文凱，薛曉，季娟

面向復雜圖像分類的共享轉(zhuǎn)換矩陣膠囊網(wǎng)絡

文凱，薛曉*，季娟

（重慶郵電大學 通信與信息工程學院，重慶 401520）（ ? 通信作者電子郵箱1464090345@qq.com）

針對膠囊網(wǎng)絡（CapsNet）在處理含有背景噪聲信息的復雜圖像時分類效果不佳且計算開銷大的問題，提出一種基于注意力機制和權值共享的改進膠囊網(wǎng)絡模型——共享轉(zhuǎn)換矩陣膠囊網(wǎng)絡（STM-CapsNet）。該模型主要包括以下改進：1）在特征提取層中引入注意力模塊，使低層膠囊能夠聚焦于與分類任務相關的實體特征；2）將空間位置接近的低層膠囊分為若干組，每組內(nèi)的低層膠囊通過共享轉(zhuǎn)換矩陣映射到高層膠囊，降低計算開銷，提高模型魯棒性；3）在間隔損失與重構損失的基礎上加入L2正則化項，防止模型過擬合。在CIFAR10、SVHN（Street View House Number）、FashionMNIST復雜圖像數(shù)據(jù)集上的實驗結果表明，各改進均能有效提升模型性能；當?shù)螖?shù)為3，共享轉(zhuǎn)換矩陣數(shù)為5時，STM-CapsNet模型的平均準確率分別為85.26%、93.17%、94.96%，平均參數(shù)量為8.29 MB，比基線模型的綜合性能更優(yōu)。

膠囊網(wǎng)絡；圖像分類；注意力機制；共享轉(zhuǎn)換矩陣；深度學習

0 引言

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）在圖像分類、目標檢測、自然語言處理［1-3］等領域被廣泛應用，但隨著研究的深入，CNN的缺陷也逐漸顯現(xiàn)，即無法學習不同特征之間的相對位置關系，導致它無法充分利用圖像中的信息，因此CNN模型往往需要通過數(shù)據(jù)增廣等技術擴充數(shù)據(jù)集，并通過海量數(shù)據(jù)訓練提高模型的泛化能力［4］，這種固有缺陷是由于CNN采用了降采樣的池化操作。為了克服CNN的缺陷，2017年Sabour等［5］提出了新的神經(jīng)網(wǎng)絡架構膠囊網(wǎng)絡（Capsule Network， CapsNet）。CapsNet模型使用向量神經(jīng)元代替?zhèn)鹘y(tǒng)的標量神經(jīng)元作為模型基本的計算單元，它的輸入輸出均為向量，具體的實體由向量的方向表征，向量的模長則表示屬于某類實體的置信度，向量的每個維度表征了實體的具體屬性，這是與CNN中用標量在不同隱藏層之間傳遞信息最大的不同；其次，CapsNet使用一種名為動態(tài)路由的算法代替CNN中的池化操作。文獻［5］中的MNIST重構實驗表明，CapsNet可以有效地識別手寫數(shù)字圖像中特定實體的各種屬性，例如數(shù)字的旋轉(zhuǎn)方向、筆畫的粗細、位置等。其中，低層膠囊類似CNN中的前序隱藏層，用于刻畫局部特征；而高層膠囊則類似CNN中的后序隱藏層，用于匯聚低層膠囊中的特征信息以表達整體抽象特征；動態(tài)路由算法替代了CNN中的池化操作，可以通過聚合低層膠囊信息去更新高層膠囊。文獻［6-7］中通過實驗證明，膠囊網(wǎng)絡可以在訓練次數(shù)和訓練數(shù)據(jù)較少的條件下獲得更好的解釋性和更強的泛化能力。

1 相關模型及關鍵原理

1.1　膠囊網(wǎng)絡架構

膠囊網(wǎng)絡主要由卷積層（Conv）、主膠囊層（PrimaryCaps）、數(shù)字膠囊層（DigitCaps）構成的編碼器與重構網(wǎng)絡構成的解碼器兩部分組成，其中編碼器如圖1所示。

圖1　膠囊網(wǎng)絡編碼器結構

膠囊網(wǎng)絡還有一個解碼器結構（如圖2），它可以利用輸出向量中包含的實體屬性信息來重構原始圖像。解碼器輸入是數(shù)字膠囊層輸出的10個16維向量，輸出是與輸入圖像大小相同的重構圖像。重構圖像越接近原始圖像，說明重構損失越小，重構損失作為總體損失的一部分。

圖2　膠囊網(wǎng)絡解碼器結構

1.2　動態(tài)路由算法

膠囊網(wǎng)絡不僅根據(jù)抽象的特征分類對象，還考慮了特征之間的位置關系，從而更深刻地理解圖像中的對象。如圖3（a）顯示了特征提取層識別出的三角形和矩形，圖3（b）顯示了膠囊網(wǎng)絡對實體存在的判斷。圖3（b）中有12個膠囊，每個膠囊是一個向量。向量的長度表示檢測到某個實體的概率，向量的方向表示實體的位置；實線箭頭和虛線箭頭分別表示三角形和矩形膠囊檢測到的概率。只有當兩個箭頭都較長且方向一致時，才說明在某個位置上有較高概率存在某個對象。如果圖像發(fā)生變換，如翻轉(zhuǎn)、旋轉(zhuǎn)或縮放，膠囊輸出的向量長度不變，只是方向改變，這樣就實現(xiàn)了同變性。

其中：為前一層的第個膠囊的輸出向量和對應的轉(zhuǎn)換矩陣相乘得出的預測向量；耦合系數(shù)是動態(tài)路由算法一個重要參數(shù)，高層膠囊j通過與低層膠囊i傳遞信息，表示低層膠囊對于高層膠囊投票抉擇的一致性，是非負值的標量。此外，對于每一個低層膠囊i，與它所連接的所有高層膠囊j的耦合系數(shù)之和為1，即。是膠囊i連接至膠囊j的先驗概率，初始值為0，通過事先確定的路由次數(shù)迭代計算，使低層膠囊和高層膠囊之間的連接是動態(tài)的，這一機制指出了哪些低層膠囊在反向傳播過程中更應該被更新，同時也指出了圖像中的哪些實體應該被關注，使低層膠囊更傾向于將信息傳遞給與它的耦合系數(shù)更大的高層膠囊。

圖4　動態(tài)路由算法執(zhí)行過程

動態(tài)路由算法如算法1所示。

算法1 動態(tài)路由算法。

4） forin range（higher_level_capsules）：

1.3　膠囊網(wǎng)絡的損失函數(shù)

CapsNet可以處理多標簽分類問題，即它能同時檢測出圖像中的多個目標，所以它不采用常用的交叉熵損失函數(shù)來衡量預測誤差，而是采用間隔損失函數(shù)來優(yōu)化模型，如式（4）所示：

2 本文模型

經(jīng)典CapsNet主要分為三部分：1）用標準的卷積層提取圖像中的特征；2）數(shù)字膠囊層首先將卷積后得到的全部特征圖展平，每個特征圖對應位置的元素被選擇出來并組合在一起，形成低層膠囊；隨后這些低層膠囊通過與變換矩陣相乘計算與高層膠囊之間的關系，根據(jù)動態(tài)路由協(xié)議更新膠囊連接的權重；3）全連接膠囊層根據(jù)路由協(xié)議生成最終膠囊以及屬于每個類別的概率。但CapsNet在包含復雜對象的數(shù)據(jù)集上的性能較差，因此本文提出一種新型的膠囊網(wǎng)絡結構STM-CapsNet（如圖5所示），改進工作如下：

1）在傳統(tǒng)CapsNet的特征提取層引入注意力機制模塊S?Attention，使膠囊聚焦在圖像中更重要的實體。

2）優(yōu)化動態(tài)路由算法，利用共享轉(zhuǎn)換矩陣獲得膠囊的預測向量，大幅減少訓練參數(shù)。

3）提出一種在局部范圍擁有更大梯度的擠壓函數(shù)e-squash來改善網(wǎng)絡中梯度消失的問題，如式（5）所示：

本文模型在卷積層和初級膠囊層之間增加了一層基于注意力機制的特征提取模塊S-Attention，以篩選處理卷積層提取的特征信息，去除噪聲；并對原始CapsNet使用的路由算法進行優(yōu)化，不再對每個低層膠囊學習轉(zhuǎn)換矩陣，而是多個低層膠囊共享一個轉(zhuǎn)換矩陣對高級特征進行打分預測，選擇性地激活高層膠囊。

2.1　基于注意力機制的S-Attention

注意力機制是一種資源分配方案，將有限的計算資源用來處理重要信息，通過網(wǎng)絡自主學習得到一組權重系數(shù)，并將系數(shù)與原始數(shù)據(jù)的對應位置加權，最終突出有用信息并抑制不相關信息，在圖像識別等領域被廣泛應用［17］。在計算機視覺領域中，注意力基于原有數(shù)據(jù)尋求信息間的聯(lián)系，突出待處理對象的重要特征并捕捉圖像感受野。文獻［18］的分析證明了注意力機制能更好地學習信息表征，具有提取更高維度信息的優(yōu)勢。

圖5　STM-CapsNet結構

本文提出的S-Attention模塊結構如圖6所示，原理是將輸入分別通過全局池化層和1×1的卷積層，輸出的注意力圖矩陣與原始特征圖進行乘積運算，最后的注意力模塊將逐漸學習如何將注意力特征圖加在原始的特征圖上，從而最終得到增加了注意力部分的特征圖。該模塊包括四個部分：①特征提取；②擠壓（Squeeze）；③激勵（Excitation）；④得到注意力特征圖。

圖6　S-Attention的結構

2.2　共享轉(zhuǎn)換矩陣的動態(tài)路由算法

與原始膠囊網(wǎng)絡中的動態(tài)路由算法相比，本文提出的動態(tài)路由算法最大的改動就是不再需要為每個低層膠囊學習映射到高層膠囊的轉(zhuǎn)換矩陣，而是通過相近的低層膠囊共享轉(zhuǎn)換矩陣達到減少參數(shù)、提高泛化能力的目的，具體的算法細節(jié)說明如下：

算法2 共享轉(zhuǎn)換矩陣的動態(tài)路由算法。

//依次選擇每組中的低層膠囊參與運算

8） end for

9） end for

10） end for

11） end for

//根據(jù)耦合系數(shù)計算低層膠囊與高層膠囊之間的對數(shù)先驗概率

15） end for

19） end for

23） end for

24） end for

25） end for

2.3　擠壓函數(shù)e-squash

圖8　擠壓函數(shù)對比

3 實驗與結果分析

3.1　實驗平臺與實驗數(shù)據(jù)集

本文實驗使用Windows 10（64位）操作系統(tǒng)，具體處理器為i5-1135G7，NVIDIA 3080顯卡，16 GB DDR4L內(nèi)存，CUDA9.0，cuDNN7，使用PyTorch搭建網(wǎng)絡模型，Python3.7作為編程語言，在集成開發(fā)環(huán)境PyCharm上進行模型的訓練和測試。

本文實驗使用相較于MNIST更復雜的數(shù)據(jù)集CIFAR10［19］、FashionMNIST［20］、SVHN（Street View House Number）［21］來定性和定量評估所提網(wǎng)絡的性能。

CIFAR10是絕大多數(shù)膠囊模型驗證它們在復雜圖像數(shù)據(jù)集上性能的關鍵數(shù)據(jù)集。該數(shù)據(jù)集包含6×104張真實RGB圖像（32×32），其中5×104張用于訓練，1×104張用于測試。它們被平均分成10個不相交的類別，每個類別有5×103張訓練圖像和1×103張測試圖像。相較于MNIST數(shù)據(jù)集，CIFAR10在各方面都更具挑戰(zhàn)性，如紋理、形狀、色彩空間、背景噪聲等。

SVHN數(shù)據(jù)集是由谷歌街景門牌號碼構成的一個真實圖像數(shù)據(jù)集，用于數(shù)字識別任務。該數(shù)據(jù)集中每張圖像都包含一個經(jīng)過裁剪的數(shù)字，背景和前景具有較高的自然場景復雜度，給數(shù)字識別帶來了更大的挑戰(zhàn)，也對識別模型提出了更高的要求。

FashionMNIST是一個由Zalando公司發(fā)布的圖像分類數(shù)據(jù)集，用于服飾識別任務。該數(shù)據(jù)集包含10個不同類別的服飾圖像，每個類別有6×103張訓練圖像和1×103張測試圖像，共計6×104張訓練圖像和1×104張測試圖像。所有的圖像都是28×28的灰度圖像。

3.2　實驗結果與分析

表1　不同路由次數(shù)下的準確率對比 單位： %

表2　消融實驗準確率對比 單位： %

3.2.3不同模型的對比實驗

平均參數(shù)量的說明：模型在不同的數(shù)據(jù)集上的參數(shù)量各不相同，為了方便表達，取3個數(shù)據(jù)集上參數(shù)量的平均值作為計算負載的指標。

表3　值對模型性能的影響

表4展示了本文模型與7個目前在復雜數(shù)據(jù)集上表現(xiàn)較好的改進膠囊網(wǎng)絡在3個數(shù)據(jù)集上的分類準確率和平均參數(shù)量的對比。與DA-CapsNet［9］相比，本文模型STMCapsNet在數(shù)據(jù)集FashionMNIST、SVHN上的分類準確率分別高出1.19、0.14個百分點，平均參數(shù)量減少了3.46 MB。Zhou等［26］認為在多頭自注意力（Mutil-head Self-Attention， MSA）機制中隨著Transformer Block的增多，一部分頭在堆疊多次特征構建模塊后會學習到重復的特征信息，造成計算資源浪費和模型性能的衰退，根本原因在于注意力機制的輸出動態(tài)取決于輸入表示，即學習到的權重信息無法影響模型的學習偏好。這也是本文模型分類準確率高于DA-CapsNet的原因，DA-CapsNet中重復使用注意力模塊使模型泛化能力低于本文模型。其次，本文模型對動態(tài)路由算法進行了優(yōu)化，所以參數(shù)量低于DA-CapsNet。另外，與Quick-CapsNet［14］、DenseCapsNet［22］等注重降低模型復雜度的網(wǎng)絡相比，除了在CIFAR10數(shù)據(jù)集上的準確率低于DenseCapsNet外，本文模型在其他兩個數(shù)據(jù)集上的分類準確率上有較大的優(yōu)勢。值得說明的是，DenseCapsNet利用很少的參數(shù)量依然取得了有競爭力的表現(xiàn)，對比本文模型在參數(shù)量方面優(yōu)勢明顯，這得益于密集連接充分的特征復用，在之后加深膠囊網(wǎng)絡結構的方向上，可以考慮使用密集連接作為傳統(tǒng)卷積層的替換。多尺度膠囊網(wǎng)絡MS-CapsNet（Multi-Scale Capsule Network）［25］、CV-CapsNet等模型通過各自的改進方法，無論是加深模型的深度，還是優(yōu)化路由算法，都取得了較高的準確度，雖然本文模型在準確度上與這些模型相比優(yōu)勢不大，但是參數(shù)量明顯小于這些模型。

實驗結果表明，在膠囊網(wǎng)絡中引入注意力模塊以提高它的特征編碼能力是解決膠囊網(wǎng)絡在復雜數(shù)據(jù)集上性能不佳問題的重要手段之一，而通過共享轉(zhuǎn)換矩陣對路由算法進行優(yōu)化也切實提高了膠囊網(wǎng)絡的泛化能力、減少了計算負載。

4 結語

本文在CapsNet的基礎上引入注意力機制，并通過共享轉(zhuǎn)換矩陣優(yōu)化動態(tài)路由算法：前者增強了模型的特征提取能力，每一個低層膠囊中能夠攜帶更多與分類任務相關的特征信息；后者則降低了模型的復雜度，增強了模型的泛化能力。為了檢驗STM-CapsNet的性能，在3個復雜數(shù)據(jù)集上進行了測試，實驗結果表明本文模型在一定程度上提高了網(wǎng)絡的性能，超過大部分現(xiàn)有的相關算法。

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

[2] FAN Y， LI Y， WANG S， et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects［J］. KSII Transactions on Internet and Information Systems， 2022， 16（1）： 245-265.

[3] CAI J， LI J， LI W， et al. Deep learning model used in text classification［C］// Proceedings of the 2018 15th International Computer Conference on Wavelet Active Media Technology and Information Processing. Piscataway： IEEE， 2018： 123-126.

[4] RATNER A J， EHRENBERG H R， HUSSAIN Z， et al. Learning to compose domain-specific transformations for data augmentation［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3239-3249.

[5] SABOUR S， FROSST N， HINTON G E. Dynamic routing between capsules［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3859-3869.

[6] AFSHAR P， MOHAMMADI A， PLATANIOTIS K N. Brain tumor type classification via capsule networks［C］// Proceedings of the 2018 25th IEEE International Conference on Image Processing. Piscataway： IEEE， 2018： 3124-3128.

[7] MUKHOMETZIANOV R， CARRILLO， J. CapsNet comparative performance evaluation for image classification ［EB/OL］. ［2022-10-15］. https：//doi.org/10.48550/arXiv.1805.11195.

[8] WANG K， HE R， WANG S， et al. The efficient-CapsNet model for facial expression recognition［J］. Applied Intelligence， 2023， 53： 16367-16380.

[9] HUANG W， ZHOU F. DA-CapsNet： dual attention mechanism capsule network［J］. Scientific Reports， 2020，10（1）： Article No. 11383.

[10] JIA X， LI J， ZHAO B， et al. Res-CapsNet： residual capsule network for data classification［J］. Neural Processing Letters， 2022， 54： 4229-4245.

[11] CHENG X， HE J， HEA J， et al. Cv-CapsNet： complex-valued capsule network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（2）： 829-839.

[12] MOBINY A， VAN NGUYEN H. Fast CapsNet for lung cancer screening［C］// Proceedings of the 2018 21st International Conference on Medical Image Computing and Computer Assisted Intervention， LNIP 11071. Cham： Springer， 2018： 706-714.

[13] RAJASEGARAN J， JAYASUNDARA V， JAYASEKARA S， et al. DeepCaps： going deeper with capsule networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2019： 10728-10737.

[14] SHIRI P， SHARIFI R， BANIASADI A. Quick-CapsNet （QCN）： a fast alternative to capsule networks［C］// Proceedings of the 2020 IEEE/ACS 17th International Conference on Computer Systems and Applications. Piscataway： IEEE， 2020： 1-8.

[15] LI X， WANG L.-CapsNet： learning disentangled representation for CapsNet by information bottleneck［J］. Neural Computing and Applications， 2022， 33（1）： 1-13.

[16] 尹春勇，何苗.基于改進膠囊網(wǎng)絡的文本分類［J］.計算機應用，2020，40（9）：2525-2530.（YIN C Y， HE M. Text classification based on improved capsule network［J］. Journal of Computer Applications， 2020， 40（9）： 2525-2530.）

[17] VASWANI A，SHAZEER N，PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

[18] 任曉麗，李曉青，閆雨寒，等.注意力機制及其在醫(yī)學視覺任務中的作用研究［J］.影像技術，2023，35（1）：76-80.（REN X L， LI X Q， YAN Y H， et al. Study on attention mechanism and its role in medical visual task［J］. Image Technology. 2023， 35（1）： 76-80.）

[19] KRIZHEVSKY A， HINTON G E. Learning multiple layers of features from tiny images［J］. Handbook of Systemic Autoimmune Diseases， 2009， 1（4）： 1201-1208.

[20] XIAO H， RASUL K， VOLLGRAF R， et al. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms ［EB/OL］. ［2022-10-15］. https：//arxiv.org/pdf/1708.07747.pdf.

[21] WEI X， YANG F， WU C. Deep residual networks of residual networks for image super-resolution［C］// Proceedings of the 2017 LIDAR Imaging Detection & Target Recognition， SPIE 10605. Bellingham， WA： SPIE， 2017： 1132-1140.

[22] SUN K， WEN X， YUAN L， et al. Dense capsule networks with fewer parameters［J］. Soft Computing， 2021， 25（10）： 6927-6945.

[23] DELIèGE A， CIOPPA A， DROOGENBROECK M V. HitNet： a neural network with capsules embedded in a Hit-or-Miss layer， extended with hybrid data augmentation and ghost capsules ［EB/OL］. ［2022-10-15］. https：//arxiv.org/pdf/1806.06519.pdf.

[24] ROSARIO V M D， BORIN E， BRETERNITZ M， Jr. The Multi-Lane Capsule Network （MLCN）［J］. IEEE Signal Processing Letters， 2019， 26（7）： 1006-1010.

[25] XIANG C， LU Z， ZOU W， et al. MS-CapsNet： a novel multi-scale capsule network［J］. IEEE Signal Processing Letters， 2018， 25（12）：1850-1854.

[26] ZHOU D， KANG B， JIN X， et al. DeepViT： towards deeper vision transformer ［EB/OL］. ［2022-10-15］. https：//arxiv.org/pdf/2103.11886.pdf.

Shared transformation matrix capsule network for complex image classification

WEN Kai， XUE Xiao*， JI Juan

（，，401520，）

Concerning the problems of poor classification performance and high computational overhead of Capsule Network （CapsNet） on complex images with background noise information， an improved capsule network model based on attention mechanism and weight sharing was proposed， called Shared Transformation Matrix CapsNet （STM-CapsNet）. The proposed model mainly includes the following improvement. 1） An attention module was introduced into the feature extraction layer of CapsNet， which enabled low-level capsules to focus on entity features related to the classification task. 2） Low-level capsules with close spatial positions were divided into several groups， and each group of low-level capsules was mapped to high-level capsules by sharing transformation matrices， which reduced computational overhead and improved model robustness. 3） The L2regularization term was added to margin loss and reconstruction loss to prevent model overfitting. Experimental results on three complex image datasets including CIFAR10， SVHN （Street View House Number） and FashionMNIST show that， the above improvements are effective in enhacing the model performance； when the number of iterations is 3， and the number of shared transformation matrices is 5， the average accuracies of STM-CapsNet are 85.26%， 93.17% and 94.96% respectively， the average parameter amount is 8.29 MB， verifying that STM-CapsNet has better performance compared with the baseline models.

Capsule Network (CapsNet); image classification; attention mechanism; shared transformation matrix; deep learning

1001-9081（2023）11-3411-07

10.11772/j.issn.1001-9081.2022101596

2022?10?26；

2023?04?03；

文凱（1972—），男，重慶人，高級工程師，博士，主要研究方向：移動通信、計算機視覺； 薛曉（1996—），男，山西運城人，碩士研究生，主要研究方向：圖像分類、目標檢測； 季娟（1998—），女，四川廣安人，碩士研究生，主要研究方向：圖像去噪、圖像分割。

TP391.41

A

2023?04?06。

WEN Kai， born in 1972， Ph. D.， senior engineer. His research interests include mobile communication， computer vision.

XUE Xiao， born in 1996， M. S. candidate. His research interests include image classification， target detection.

JI Juan， born in 1998， M. S. candidate. Her research interests include image denoising， image segmentation.