姜 虹,賈帥宇,姚紅革

(西安工業(yè)大學 計算機科學與工程學院,西安 710021)

“深度學習”自2006年被提出以來,經過十幾年的發(fā)展,其已發(fā)展出眾多算法,但主要以CNN為主,CNN因其對底層對象之間的空間關系表達的不夠充分,并且其中的Pooling 過程會丟失一定量的位置信息[1],由于這些缺陷的存在CNN在某些方面的識別效果并不理想。文獻[2]首次提出膠囊(Capsule)的概念,作者在該論文中建立了一種三層簡易的網絡結構CapsNet,并將CapsNet用于Mnist手寫體識別,準確率高達97.5%,超越了文獻[3]提到的LeNet-5模型。2018年,文獻[4]對膠囊網絡中動態(tài)路由迭代算法進行了解釋,并提出了一種新的EM路由算法,對Capsule膠囊網絡核心路由算法進行改進。盡管CapsNet網絡模型使用動態(tài)路由迭代算法替代了CNN的池化操作[5-6],降低了前向傳播過程中的特征損失,而且克服了CNN中特征不變性的缺點,提高了識別準確率。但目前,CapsNet僅用于簡單圖像的識別,對于處于復雜場景下的目標識別還鮮有研究。

本文基于膠囊網絡的思想,擬構建一個新的膠囊網絡模型,采用Cifar10數(shù)據集對其進行訓練,在CapsNet的基礎上增加Conv2和Intermediate Capsule Layer,以提升網絡在復雜場景下對于物體識別精度以及單個膠囊對于信息的表征能力。

1 改進膠囊網絡模型的建立

本文整體系統(tǒng)結構如下圖1神經網絡模型結構圖所示。

圖1 神經網絡模型結構

相較于文獻[6]中的CapsNet,本文提出如下改進。

1.1 增加CONV2卷積層

本網絡模型在Conv1與Primary Capsule Layer之間增加了一層額外的卷積層Conv2,由于復雜場景下的彩色圖片蘊含的信息量較大,圖像中干擾信息較多,圖像信息之間的關系較為復雜。所以在結構設計之上希望通過增加卷積層的方法過濾掉部分噪音,并且使得Primary Capsule Layer之前的卷積部分獲得更多有關識別目標的信息,減少復雜背景干擾信息的影響。

1.2 擴展膠囊維度由初級8D擴寬為16D

Primary Capsule Layer之前兩層卷積層在對原始圖像經過兩次特征提取過程,大量的有用信息被抽取至上層膠囊,經過Primary Capsule Layer,Intermediate capsule layer對其信息進行降噪并將有用信息利用Squash()函數(shù)壓縮至膠囊之中,膠囊中攜帶有識別信息。膠囊的維度越大,膠囊中可存儲的信息越多,網絡分類效果更好,本實驗中維度擴寬為16D。

1.3 Intermediate capsule layer

在膠囊層之間,低層的特征膠囊首先通過姿態(tài)關系對高層特征進行預測,通過“動態(tài)路由算法”和“篩分決策機制”選擇性的激活高層膠囊,這相當于對低層膠囊網絡預測的結果進行篩選,然后選擇性激活部分高層膠囊。增加了一層膠囊層Intermediate capsule layer,擬通過前兩層的膠囊層的層間傳播去掉部分噪音,從Intermediate capsule layer所被Primary Capsule Layer選擇激活的上層膠囊在經過一層膠囊層間預測激活過程,激活Advanced Capsule Layer完成最終分類,在兩次選擇激活的過程中,降低干擾因子。

本系統(tǒng)結構正向運行過程如下：

Conv1：將32×32的彩色圖片采用256個5×5大小的卷積核對原始圖像進行卷積,其中步幅為1,在卷積層采用Relu激活函數(shù)。

Conv2：采用512個5×5大小的卷積核對Conv1層進行卷積,得到Conv2層。

Primary Capsule Layer：對網絡中注入的局部圖像信息進行向量化,即采用16組不同的卷積核,每組卷積核中又有64個不同的10×10大小的卷積核對局部圖像進行16次卷積,在卷積操作中步幅設置為1,并且采用Relu激活函數(shù),得到低層特征Ui,其中Ui為1×16大小的向量神經元,具體結構如圖2所示。

圖2 Primary Capsule Layer結構

Advanced Capsule Layer：通過低層特征對高層特征進行預測,并通過篩分決策機制和動態(tài)路由迭代算法選擇激活最高層特征膠囊,完成分類。

膠囊作為一個方向向量,不僅能夠進行圖形目標的分類,本文預測在膠囊中蘊含原始圖像中識別目標的相關信息,即膠囊為原始圖像信息的壓縮。故本文在前向識別網絡后加入下圖3所示的重構網絡來檢測所抽取特征信息的完整度,擬通過該重構網絡實現(xiàn)被壓縮在膠囊中原始圖像的還原。改進后的膠囊網絡如圖3重構網絡結構圖。

圖3 重構網絡結構圖

如圖3所示,在前半部分識別網絡的后面,加上重構網絡結構,識別網絡結構輸出10個1×16的膠囊即10個1×16的向量。該向量神經元中攜帶有所識別圖像的信息,可以通過一個解碼器對這個輸出的1x16的向量進行解碼,從而還原前半部分識別網絡所識別的圖像。

在前層網絡結構的后面加三個全連接層,在第一個全連接層有512個結點組成,采用Relu激活函數(shù),第二個全連接層有1024個結點,采用Relu激活函數(shù),第三層由784個結點組成,激活函數(shù)采用Sigmod分類函數(shù)。

2 關鍵算法原理

2.1 向量神經元

膠囊網絡相比于傳統(tǒng)CNN神經網絡摒棄標量神經元,采用向量神經元。其可用一個向量來表示。因向量神經元可表達的信息量更大,從而使得網絡識別效率更高,識別效果更好。

每一個向量神經元的屬性代表著該向量神經元所指代的信息,向量神經元的向量方向通常指代紋理,顏色,大小,形狀等信息,而向量神經元的模長被用來指代該向量神經元所代表的時間發(fā)生可能性的大小,該向量神經元的模長越長則該向量神經元所指代事件發(fā)生的可能性就越大,模長越短則事件發(fā)生的可能性就越小。

向量神經元采用Squash()進行激活,在經過Squash()函數(shù)激活后的向量神經元,其長度則代表該事件發(fā)生的概率,且Squash()對向量神經元的長度能起到一定的放縮作用,使得特征比較顯著的向量神經元變得概率更加大,使得識別效果更好。

2.2 姿態(tài)關系轉換

膠囊層中物體各部分之間的分層姿態(tài)關系通過姿態(tài)矩陣表現(xiàn)出來[7-8]。其中,姿態(tài)主要包括平移 (translation)、旋轉 (rotation) 和放縮 (scale) 三種形式。通過姿態(tài)矩陣物體姿態(tài)關系轉換過程如圖4所示。

圖4 姿態(tài)關系轉換例圖

用R,T,S定義旋轉、平移和縮放矩陣,那么將 (x,y) 先逆時針轉 30 度,向右平移2個單位,最終縮放 50% 到 (x′,y′) 可以由下列矩陣連乘得到

2.3 動態(tài)路由算法

膠囊網絡在相鄰低級膠囊層和高級膠囊層之間,采用動態(tài)路由算法進行由低層特征向高層特征的預測過程,動態(tài)路由機制由圖5所示。

動態(tài)路由算法基本工作原理如下：

① 初始化參數(shù)bij值。對于所有位于L層的膠囊i和L+1層的膠囊j,令所有bij初值均為0；

② 更新參數(shù)ci值。對于位于L層的所有膠囊i,令ci=softmax(bi)[9]；

圖5 動態(tài)路由機制結構圖

⑤ 對于位于L+1層的所有膠囊j,令Vj= squash(Sj)；

⑦ 判斷膠囊層動態(tài)路由迭代次數(shù)是否達到預先設定好的迭代上限r,若未達到則重新返回步驟②,若完成則結束。

2.4 Squash函數(shù)

為了將每個膠囊的長度都壓縮到0到1之間,從而使得每個膠囊的長度表示該膠囊所代表事件發(fā)生的可能性,在膠囊網絡中引入Squash()函數(shù)[9],該函數(shù)不但可以完成壓縮膠囊長度的工作,而且該函數(shù)能夠對膠囊代表事件發(fā)生可能性的概率放縮,使得大概率事件發(fā)生的可能性更大,小概率事件發(fā)生的可能性更小。其表達式為

(1)

式中：Vj為單個膠囊經過壓縮之后輸出的輸出向量,其長度在0到1之間；Sj為傳入Squash()函數(shù)的膠囊,該膠囊為經過上一層卷積層計算,進行加權求和之后得到的結果。對于該表達式,可以分為兩部分?！琒j‖2/(1+‖Sj‖2)為在不考慮膠囊方向的情況下,單純對膠囊長度進行放縮,使得長度小的膠囊長度表的更小,而長度大的膠囊長度變得更大,在整個計算過程中,對輸入膠囊的長度起放縮作用。Sj/‖Sj‖的作用為在‖Sj‖2/(1+‖Sj‖2)對膠囊長度放縮的前提下保持膠囊的方向不發(fā)生變化,即保持膠囊所代表事件的紋理,速度等特性不發(fā)生變化。Squash()函數(shù)中這兩部分的結合,使得膠囊在不改變方向的情況下有壓縮了膠囊的長度,使得膠囊長度介于0到1之間表示膠囊所指代事件發(fā)生的可能性,起到一種非線性激活的作用。

2.5 篩分決策機制

低層膠囊層向量神經元通過篩分決策機制對高層向量神經元進行選擇性激活,此過程類似于投票選舉,票數(shù)相對較多的單元即為被選定即將被激活的單元。如圖6篩分決策機制原理圖所示,圖中圈起的紅點為投票數(shù)較多并將被激活的單元,這些點聚集在一起意味著低層膠囊對高級特征的預測較為接近,最終將代表低層膠囊對高層的預測。分散在圈外的藍點為投票數(shù)較少無法被激活的單元,由于其距離紅色的聚集點較遠,所以其預測結果將被舍棄。

圖6 篩分決策機制原理圖

在膠囊網絡結構中,每個膠囊即為一個向量神經元,該向量神經元為低層特征根據局部姿態(tài)關系預測得到的表達高級特征的向量神經元。向量神經元具有長度和方向兩個屬性,通過向量的方向表示向量所指代的事件,兩個向量神經元方向差別越小,則這兩個向量神經元所指代的事件相似度越高,其過程如上圖6所示,則最多向量神經元的指向方向即為最終決策向量方向,該決策向量方向所指代的事件為最終決策事件。這種利用向量神經元方向來決策高級特征,并選擇性激活高級特征膠囊的方法稱為篩分決策機制。通過決策機制結合路由算法得到所識別物體最終的類別結果。

3 實驗與分析

3.1 數(shù)據集

在本實驗中,采用經典Cifar10數(shù)據集,該數(shù)據集由十個種類不同的對象構成,數(shù)據集共包括60 000張彩色圖片,每張圖片均為32×32大小。而總共的60 000張圖片又分為50 000張訓練樣本和10 000張測試樣本,其中10類不同對象的圖片各有6 000張,每種對象的圖片數(shù)量一樣多,且圖像大小均相同,在數(shù)據集圖片中,所識別目標均處于較復雜場景之中,每張數(shù)據集背景圖片均不相同,且背景較為復雜,對于目標的識別過程會造成較強的干擾。其中,Cifar10的十類對象的少數(shù)樣本如圖7 Cifar10數(shù)據集所示。

為估算本文算法對Cifar10數(shù)據集的識別效果,使用準確率(accuracy,Acc)來衡量算法的性能,Acc的取值介于[0,1]之間,具體計算公式為

(2)

式中:TN為圖片識別正確的數(shù)量;EN為識別的圖片數(shù)量。

圖7 Cifar10數(shù)據集

3.2 實驗對比分析

3.2.1 文中網絡與CapsNet的性能對比

實驗通過采用Cifar10數(shù)據集來測試CapsNet和本文網絡在復雜場景下的表現(xiàn)情況。分別對兩個網絡進行訓練,通過對相同訓練批次下的兩個不同網絡模型進行測試發(fā)現(xiàn),本文中所構建的網絡相比于CapsNet識別準確率提高了3.2%,并且重構效果有所提升但是提升不明顯,實驗結果見表1。

表1 對CapsNet逐步改進的結果對比

參見表1,實驗分步對CapsNet網絡進行改進。在CapsNet網絡的基礎上增加一個卷積層,此時的初步模型測試準確率有所提升,模型準確率為68.1%。在此基礎上分別在網絡上添加膠囊層并且對膠囊進行擴維的改進,經過三次改進的膠囊最高準確率可達71%,相比于CapsNet準確度提升了3.2%。雖然改進后的網絡沒有達到預期結果,但是相較于CapsNet整體有所提升。

3.2.2 文中網絡與CapsNet的復雜度對比

在參數(shù)數(shù)量方面,CapsNet網絡模型中(不含解碼器部分)大約含有63.13萬個參數(shù)。在改進后的網絡模型中參數(shù)數(shù)量增長到了82.88萬個。改進后模型的參數(shù)量相較于CapsNet增加了31%,但是文中成功提升了CapsNet的模型性能。盡管最終的結果沒有達到預期的效果,但是的確證明了一些方法(增加卷積層與膠囊層、擴維)能夠有效的提升CapsNet網絡模型的識別性能。

3.2.3 動態(tài)路由算法迭代次數(shù)對于識別率的影響

動態(tài)路由算法作為膠囊網絡的核心算法,其迭代次數(shù)對網絡模型的識別結果有著舉足輕重的影響。在本實驗中在其它環(huán)境不變的情況下,調整動態(tài)路由算法的迭代參數(shù)。通過比較不同迭代次數(shù)的情況下,網絡模型的準確率,并通過對所得數(shù)據進行比較分析,從而分析迭代次數(shù)對于網絡模型的局部影響以及全局影響,見表2。

表2 不同路由迭代次數(shù)下的準確率

在該網絡模型上,對膠囊層間動態(tài)路由算法路由迭代次數(shù)進行改變,進而通過實驗結果分析迭代次數(shù)對于整個網絡識別率的影響。通過在MNIST和Cifar10數(shù)據集上通過調整迭代次數(shù)R分別進行四次實驗,通過觀察實驗結果得出當R=3時,整個網絡模型對于MNIST和Cifar10數(shù)據集的識別準確率都是最高的,此時即可認為當R=3時,整個網絡達到了最優(yōu)性能。

3.3 膠囊網絡識別效果測試

3.3.1 改進網絡前向識別測試

通過對動態(tài)路由算法的研究以及大量實驗驗證,在R=3時算法最優(yōu),故在本實驗中擬設置R=3,采用Cifar10數(shù)據集對改進的網絡進行測試,使用Cifar10數(shù)據集中的50 000個訓練樣本進行訓練,通過50 000個訓練樣本每對網絡訓練一個輪次,采用10 000個測試圖像對網絡本次訓練情況進行測試,以得到當前網絡對于圖像的識別準確率。在本實驗中,利用Cifar10數(shù)據集對該網絡模型進行了80個輪次的訓練。在訓練過程中,該網絡模型識別準確率的變化情況如圖8所示,網絡loss如圖9所示。

圖8 準確率變化曲線Fig.8 Precision curve

該網絡模型在訓練過程中,當對網絡的第一個訓練輪次完成時,網絡的準確率如圖8所示,準確率為0.390 9。當對網絡模型的80個輪次的訓練全部結束時,網絡模型的準確率如圖8所示,準確率為0.625 0。但結合圖9中網絡總的loss走勢來看,當訓練程度到達5.000 k左右時,識別準確率達到最高水平為0.71,同時total loss降到最低點,此時網絡中參數(shù)之間協(xié)調度達到全局最優(yōu)。在訓練程度超過5.000 k后,會產生過擬合,網絡模型識別準確率降低,故應在5.000 k時停止對網絡的訓練,此時網絡識別效果最佳,識別準確率為0.71。

圖9 網絡損失變化曲線Fig.9 Network loss curve

3.3.2 Advanced Capsule Layer膠囊擴維對重構的影響

圖10為原始膠囊網絡和改進后膠囊網絡的重構誤差,圖11為原圖及重構效果圖。

圖10 原始膠囊網絡和改進后膠囊網絡的重構誤差曲線

圖11 原圖及重構效果圖

由于文中模型將前向識別網絡輸出膠囊維度擴至16D,對比圖10中重構誤差曲線可看出,相比CapsNet的重構結果,文中實驗所設計的網絡重構誤差更小,效果稍好,這說明對輸出膠囊進行擴維能夠提高重構效果。但是從圖11中看出,重構的效果還是不夠穩(wěn)定,重構所得到的圖片清晰度不夠高。

在實驗的訓練過程中,隨著訓練的進一步深入,整個網絡模型的total_loss值整體趨于下降趨勢,隨著總體誤差值的降低,網絡模型的識別準確度也隨之逐漸上升,但在total_loss下降趨于0.60附近時該網絡模型中的總體誤差開始升高。

4 結 論

本文對CapsNet網絡進行了改進,為使其在復雜場景下對于物體具有更良好的識別和表征能力，文中在CapsNet網絡的基礎上增加了一層卷積層和膠囊層,使其能夠提取到更多細節(jié)特征。并且對各層膠囊進行了擴維,使每個膠囊能夠攜帶更多的特征信息。網絡結構的優(yōu)化使得網絡不但能充分的提取低層特征,而且兩個膠囊層在經過兩層動態(tài)路由和篩分決策之后,降低了復雜場景對于物體識別的干擾,并且改進后的前向識別網絡相比于原來的CapsNet分類準確率提高了3.2%,當訓練程度到達5.000 k左右時,識別準確率達到最高水平為0.71。但目前的分類結果并沒有達到我們預期的結果,今后將嘗試對目前的網絡做進一步的改動,以達到更高的分類準確率。