付家慧 吳曉富 張索非

(1. 南京郵電大學(xué)通信與信息工程學(xué)院，江蘇南京 210003； 2. 南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇南京 210003)

1 引言

目前，圖像中目標(biāo)識別的方法大都借助于卷積神經(jīng)網(wǎng)絡(luò)[1- 4]。這種方法能夠在不知道確切位置的情況下正確識別目標(biāo)并實(shí)現(xiàn)分類。 CNN應(yīng)用到圖像識別上似乎非常合理，而且實(shí)際表現(xiàn)也非常好，但是神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一Hinton認(rèn)為CNN中的池化操作是一個災(zāi)難，因?yàn)槌鼗^程在一定程度上弱化了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對于位置信息的準(zhǔn)確把握。允許模型對一些小的空間上的變化視而不見，并不能精準(zhǔn)地學(xué)習(xí)到不同物體的位置關(guān)聯(lián)。比如在面部識別中，需要一個鼻子和一張嘴這樣的高層部分之間精確的空間關(guān)系的知識[5]。但在卷積網(wǎng)絡(luò)中進(jìn)行了多次下采樣后，在它們的姿態(tài)中，高層特征就有了很大的不確定性。如果此時把人臉照片中的一只眼睛與嘴巴的位置對調(diào)一下，CNN還是會將其識別成人臉，這顯然是不對的。

所以對于卷積神經(jīng)網(wǎng)絡(luò)而言，識別空間位置關(guān)系的能力是十分有限的，不僅如此，CNN對于旋轉(zhuǎn)圖像的識別能力也是有限的，當(dāng)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練完成后，對測試集上的圖片做不同角度的旋轉(zhuǎn)處理，最后得到的準(zhǔn)確率相較于不做旋轉(zhuǎn)處理的數(shù)據(jù)集會明顯降低。所以旋轉(zhuǎn)之后的人臉圖像會存在極大的概率被錯判。

人類識別圖片是基于平移和旋轉(zhuǎn)將看到的圖片與大腦中已存在的圖片模式進(jìn)行匹配，但是這個對于CNN來說是有一定困難的，為了解決這個問題，G.E.Hinton最先在2011年提出了Capsule Network的模型[6-7]，該模型不再以“神經(jīng)元”激活中的視角不變性為目標(biāo)。而是使用局部“膠囊(capsules)”，這些“膠囊”對輸入進(jìn)行一系列復(fù)雜的內(nèi)部操作，然后把計算結(jié)果封裝成一個高信息量的信息輸出的小向量。在一個有限的觀察條件和形變的領(lǐng)域，每個膠囊學(xué)習(xí)識別一個隱式定義的視覺實(shí)體，它的輸出可以是實(shí)體出現(xiàn)在有限領(lǐng)域內(nèi)的概率，也可以是一些包括視覺實(shí)體正確的姿態(tài)、光照和形變等信息的“實(shí)例化參數(shù)”。

為了更好的理解膠囊網(wǎng)絡(luò)較卷積神經(jīng)網(wǎng)絡(luò)在識別空間位置信息上的優(yōu)勢所在，本文研究了平移、旋轉(zhuǎn)等基礎(chǔ)仿射變換下的膠囊網(wǎng)絡(luò)特征的可視化問題。論證得出膠囊網(wǎng)絡(luò)的確可以通過內(nèi)部集成的膠囊模塊去學(xué)習(xí)和輸出包括視覺實(shí)體正確的姿態(tài)、形變等信息在內(nèi)的“實(shí)例化參數(shù)”。同時為驗(yàn)證在平移、旋轉(zhuǎn)過程中的實(shí)驗(yàn)結(jié)果準(zhǔn)確性，論文中給出了數(shù)字識別的評價指標(biāo)，并對每一個仿射變換的實(shí)驗(yàn)過程給出了識別準(zhǔn)確性的評價。

2 仿射變換下膠囊網(wǎng)絡(luò)及卷積網(wǎng)絡(luò)特征可視化

2.1 平移變換下的膠囊網(wǎng)絡(luò)特征可視化

2.1.1 膠囊網(wǎng)絡(luò)的平移模型

圖1中的網(wǎng)絡(luò)模型為G.E.Hinton在2011年提出的平移Capsule Netwot網(wǎng)絡(luò)模型。整個模型由多個分立結(jié)構(gòu)的模塊組成，我們稱之為“膠囊模塊”。

圖1 基于膠囊網(wǎng)絡(luò)的平移模型

圖中的網(wǎng)絡(luò)模型由三個膠囊模塊組成，每個膠囊模塊的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)相同，由三個識別單元和四個生成單元組成。識別單元旨在將圖片的像素強(qiáng)度信息轉(zhuǎn)換為位置關(guān)系信息，X、Y、P是識別單元的輸出值，分別表示圖片中的位置關(guān)系信息以及膠囊的視覺實(shí)體在輸入圖像中存在的概率?！鱴、△y分別表示二維圖像在橫軸和縱軸的偏移量，由學(xué)習(xí)到的位置關(guān)系信息加上偏移量得到的位置信息做生成單元的輸入，最后又得到了由位置關(guān)系信息轉(zhuǎn)換而來的像素信息，最后得到的真實(shí)圖像是各膠囊模塊與其對應(yīng)的概率p加權(quán)和的結(jié)果。

2.1.2 平移變換下的網(wǎng)絡(luò)特征可視化的實(shí)現(xiàn)過程

平移膠囊網(wǎng)絡(luò)的實(shí)現(xiàn)基于MNIST數(shù)據(jù)集，預(yù)處理過程利用python的roll函數(shù)對所有的數(shù)字圖像在x、y坐標(biāo)軸做-5到5范圍內(nèi)任意大小的平移。

具體膠囊模塊的網(wǎng)絡(luò)的搭建仿照圖1的平移模型。網(wǎng)絡(luò)的搭建基于全連接層，邏輯識別單元層的尺寸為784×10，邏輯生成單元層的尺寸為2×20。主要的訓(xùn)練參數(shù)如表1所示。

表1 平移膠囊網(wǎng)絡(luò)主要訓(xùn)練參數(shù)

對比傳統(tǒng)的可視化方法[8-9]，利用 Tensorboard的可視化效果更理想。在平移模型中主要對平移過程中的loss函數(shù)、各膠囊模塊的輸出特征圖像、預(yù)處理前后的是數(shù)字圖像以及生成的真實(shí)圖像進(jìn)行可視化，另外，本文為探究膠囊網(wǎng)絡(luò)對于位置信息的學(xué)習(xí)性，將邏輯識別單元的輸出概率p和二維坐標(biāo)值進(jìn)行激活輸出，并于Matlab中進(jìn)行可視化處理。

2.2 旋轉(zhuǎn)變換下的膠囊網(wǎng)絡(luò)特征可視化

2.2.1 膠囊網(wǎng)絡(luò)的旋轉(zhuǎn)模型

膠囊網(wǎng)絡(luò)的旋轉(zhuǎn)模型如圖2所示，邏輯識別層、邏輯生成層以及概率值p的目的與平移模型中的相同，不同的是為實(shí)現(xiàn)對任意角度旋轉(zhuǎn)圖像的學(xué)習(xí)，利用了圖像矩陣?yán)@中心點(diǎn)旋轉(zhuǎn)的矩陣運(yùn)算式(1)：

(1)

圖2 基于膠囊網(wǎng)絡(luò)的旋轉(zhuǎn)模型

除此之外，與平移網(wǎng)絡(luò)模型最大的不同在于對于圖像中心點(diǎn)X0、Y0的定義也是通過學(xué)習(xí)來得到的，即每一個膠囊都有自己獨(dú)立學(xué)習(xí)到的X0、Y0。膠囊網(wǎng)絡(luò)最后得到的真實(shí)圖像仍舊是各膠囊模塊與其對應(yīng)的概率p加權(quán)和再做激活的結(jié)果。

2.2.2 旋轉(zhuǎn)變換下的網(wǎng)絡(luò)特征可視化的實(shí)現(xiàn)過程

旋轉(zhuǎn)膠囊網(wǎng)絡(luò)的實(shí)現(xiàn)基于MNIST數(shù)據(jù)集，利用opencv對所有的數(shù)字圖像在中心點(diǎn)處做-180°到180°的任意角度旋轉(zhuǎn)。膠囊網(wǎng)絡(luò)的搭建仿照圖2的旋轉(zhuǎn)模型。邏輯識別層與邏輯生成層的尺寸與平移模型中的相同。主要的訓(xùn)練參數(shù)如表2所示。

表2 旋轉(zhuǎn)膠囊網(wǎng)絡(luò)主要訓(xùn)練參數(shù)

同樣的，在旋轉(zhuǎn)模型中對預(yù)處理前后的手寫體圖像、生成的真實(shí)圖像、各膠囊模塊的輸出特征圖像以及激活前的輸出像素矩陣進(jìn)行可視化，與此同時，將邏輯識別單元的輸出概率p、旋轉(zhuǎn)前后的位置坐標(biāo)以及中心位置坐標(biāo)進(jìn)行可視化處理。

2.3 固定旋轉(zhuǎn)中心下的膠囊網(wǎng)絡(luò)特征可視化

2.3.1 膠囊網(wǎng)絡(luò)的旋轉(zhuǎn)模型

基于膠囊網(wǎng)絡(luò)的固定中心點(diǎn)的旋轉(zhuǎn)模型如圖3所示，由上一節(jié)的內(nèi)容可知，基于膠囊網(wǎng)絡(luò)的旋轉(zhuǎn)模型具有很好的健壯性，在一個相對分散的中心點(diǎn)的情況下，依舊可以很好的生成接近于目標(biāo)圖像的真實(shí)圖像，為探究固定中心點(diǎn)時的網(wǎng)絡(luò)效果及位置關(guān)系，對圖2中的基于膠囊網(wǎng)絡(luò)的旋轉(zhuǎn)模型做一些結(jié)構(gòu)上的改變，如圖3所示，改變了模型自身的分立性和封閉性，除了在最后一層相連以外，令其余多個膠囊模塊共用第一個膠囊模塊學(xué)到的中點(diǎn)位置信息，其余結(jié)構(gòu)與原網(wǎng)絡(luò)一樣，在這里不做贅述。

圖3 固定中心點(diǎn)的旋轉(zhuǎn)模型

2.3.2 固定旋轉(zhuǎn)中心下的網(wǎng)絡(luò)特征可視化的實(shí)現(xiàn)

固定中心點(diǎn)的膠囊網(wǎng)絡(luò)的搭建仿照圖3。識別單元層與生成單元層的輸入輸出尺寸與旋轉(zhuǎn)變換下的網(wǎng)絡(luò)保持一致。主要的訓(xùn)練參數(shù)如表3所示。

表3 膠囊網(wǎng)絡(luò)主要訓(xùn)練參數(shù)

該網(wǎng)絡(luò)的預(yù)處理過程與非中心固定點(diǎn)的膠囊網(wǎng)絡(luò)的預(yù)處理過程相同，對輸入輸出圖像的可視化處理以及位置坐標(biāo)點(diǎn)的可視化處理也與非固定中心點(diǎn)的膠囊網(wǎng)絡(luò)相同。在這里不做贅述。

2.4 卷積網(wǎng)絡(luò)特征可視化

為進(jìn)一步印證CNN空間信息表達(dá)的缺陷性，本文通過反卷積的可視化方法[10]，對分類訓(xùn)練的卷積網(wǎng)絡(luò)的特征輸出進(jìn)行可視化。為增加對比性，CNN的輸入數(shù)據(jù)為任意角度旋轉(zhuǎn)之后的MNIST圖像，具體網(wǎng)絡(luò)的搭建如表4所示。

表4 卷積神經(jīng)網(wǎng)絡(luò)各層尺寸

3 膠囊以及卷積網(wǎng)絡(luò)的特征可視化結(jié)果及分析

3.1 平移變換下的可視化結(jié)果及分析

最終得到的平移模型的可視化結(jié)果如表5所示。將邏輯識別層學(xué)到的位置坐標(biāo)打印到表4中數(shù)字3的網(wǎng)絡(luò)輸入圖像上，最后的結(jié)果如圖4(a)所示，同時將平移之后的坐標(biāo)，即邏輯生成單元的輸入打印到表4中數(shù)字3的生成圖像上，結(jié)果如圖4(b)所示。

表5 平移膠囊網(wǎng)絡(luò)可視化結(jié)果

圖4 網(wǎng)絡(luò)平移坐標(biāo)圖

通過對表5中不同數(shù)字所對應(yīng)的膠囊模塊的輸出特征圖像的比較，可以發(fā)現(xiàn)不同的圖片所對應(yīng)的膠囊模塊的姿態(tài)都是相似的，各模塊的輸出特征可以看成一個基圖像，對最后的輸出結(jié)果都有貢獻(xiàn)，而最后得到的網(wǎng)絡(luò)生成圖像是概率值和輸出特征圖像的像素值加權(quán)和再做激活得到的結(jié)果。

與此同時，數(shù)字和數(shù)字之間的特征圖像又會有灰度級上明暗的變化以及黑色邊緣痕跡大小的改變。如表5中數(shù)字3對應(yīng)的第43個膠囊模塊的輸出的特征并不明顯，而該膠囊對應(yīng)的概率值p只有0.10169839，說明在圖片3中的對應(yīng)的第43個膠囊視覺實(shí)體在輸入圖像中存在的概率很低。

3.2 旋轉(zhuǎn)變換下的可視化結(jié)果及分析

對旋轉(zhuǎn)膠囊網(wǎng)絡(luò)的預(yù)處理前后網(wǎng)絡(luò)輸入圖像、目標(biāo)圖像，激活前的圖像以及訓(xùn)練得到的真實(shí)生成圖像進(jìn)行可視化，得到的結(jié)果如表6所示。對網(wǎng)絡(luò)中的坐標(biāo)信息進(jìn)行可視化，得到的可視化結(jié)果如圖5所示。(a)圖初始位置坐標(biāo)圖中的坐標(biāo)點(diǎn)也不再有規(guī)律的分布在輸入圖像上。而(b)圖旋轉(zhuǎn)后的位置坐標(biāo)圖則在目標(biāo)圖像上呈現(xiàn)出了比較好的結(jié)果。

圖5 網(wǎng)絡(luò)旋轉(zhuǎn)坐標(biāo)圖

最后得到的位置坐標(biāo)中一部分有規(guī)律的分布在手寫體數(shù)字上或邊緣輪廓中，其他的坐標(biāo)點(diǎn)分布在黑色背景上，最終得到的概率值的大小與坐標(biāo)點(diǎn)是否在數(shù)字上沒有關(guān)系，它們都對最后得到的真實(shí)生成圖像有所貢獻(xiàn)。通過兩張坐標(biāo)圖彼此之間的聯(lián)系，我們發(fā)現(xiàn)該旋轉(zhuǎn)模型十分健壯，在學(xué)到的中心點(diǎn)不唯一的情況下，仍可以學(xué)到一系列合適的權(quán)重和偏差，使得最終的特征圖像表現(xiàn)出良好的效果。

通過對表6中不同手寫體數(shù)字對應(yīng)的膠囊模塊的輸出特征圖的比較中可以得出以下結(jié)論：

表6 旋轉(zhuǎn)膠囊網(wǎng)絡(luò)可視化結(jié)果

(1) 每個膠囊模塊的輸出可以大體分為兩類：旋轉(zhuǎn)類型、非旋轉(zhuǎn)類型，如圖6中(a)、(b)所示。

圖6 特征類型

(2)真實(shí)圖像由各膠囊模塊的輸出與概率p的加權(quán)和表示，不同圖像所對應(yīng)的膠囊姿態(tài)相似，不同的是亮度和旋轉(zhuǎn)類型特征圖像旋轉(zhuǎn)角度的改變。

(3)結(jié)合旋轉(zhuǎn)后的位置坐標(biāo)以及相應(yīng)的各膠囊輸出模塊的特征圖像，發(fā)現(xiàn)在手寫體數(shù)字輪廓上的點(diǎn)打印出來的特征圖呈現(xiàn)非旋轉(zhuǎn)類型，而沒有在數(shù)字上的點(diǎn)所對應(yīng)的特征圖呈旋轉(zhuǎn)類型。

3.3 固定旋轉(zhuǎn)中心下的可視化結(jié)果及分析

同樣，類似于論文中的非固定旋轉(zhuǎn)中心的模型可視化，在可視化部分對固定旋轉(zhuǎn)中心的膠囊網(wǎng)絡(luò)做相同的處理。最終得到的結(jié)果如表7所示，由表7可知，訓(xùn)練得到的生成圖像接近于目標(biāo)圖像。

通過對不同數(shù)字所對應(yīng)的各個模塊的輸出特征圖像的比較可知，固定旋轉(zhuǎn)中心學(xué)習(xí)到的模塊特征圖像以及圖像呈現(xiàn)出來的特點(diǎn)與非固定旋轉(zhuǎn)中心學(xué)習(xí)到的特征圖像并無本質(zhì)區(qū)別。

最終訓(xùn)練得到的旋轉(zhuǎn)中心坐標(biāo)為：

(-1.46215999，1.41398716)

在此次實(shí)驗(yàn)結(jié)果之前，相同的訓(xùn)練參數(shù)，訓(xùn)練100次epoch得到的真實(shí)生成圖像也是比較理想的，但是最終的旋轉(zhuǎn)中心的位置與300次迭代的實(shí)驗(yàn)結(jié)果有很大的不同，這說明網(wǎng)絡(luò)最后得到的旋轉(zhuǎn)中心有很大概率是不同的，但對最后的訓(xùn)練效果并不會產(chǎn)生太大的影響。在整個訓(xùn)練模型中，所有的坐標(biāo)都是通過學(xué)習(xí)得到的，所以相同數(shù)字圖片的相同位置在不同的訓(xùn)練情況下得到的坐標(biāo)點(diǎn)是不同的。

表7 固定中心點(diǎn)的旋轉(zhuǎn)膠囊網(wǎng)絡(luò)的可視化結(jié)果

對旋轉(zhuǎn)之后的坐標(biāo)點(diǎn)做可視化，得到的結(jié)果如圖7所示。除圖像的中心不再落在零點(diǎn)外，得到的結(jié)果與之前的網(wǎng)絡(luò)結(jié)構(gòu)的可視化結(jié)果相似，仍有大多數(shù)的位置坐標(biāo)點(diǎn)分布在數(shù)字的邊緣輪廓上。網(wǎng)絡(luò)學(xué)到了數(shù)字邊緣輪廓的位置信息。

3.4 卷積網(wǎng)絡(luò)特征的可視化結(jié)果及分析

對于任意角度旋轉(zhuǎn)下的卷積神經(jīng)網(wǎng)絡(luò)，在對處理后的MNIST數(shù)據(jù)集進(jìn)行分類訓(xùn)練完成后，任意取一張圖片卷積層的前五個神經(jīng)元的特征輸出進(jìn)行可視化，得到的特征圖像如表8所示。

圖7 旋轉(zhuǎn)后坐標(biāo)可視化

Conv1Conv2Conv3Conv4

表8中的特征圖像針對的是數(shù)字3的像素矩陣，通過對表8中的特征圖像的觀察，我們發(fā)現(xiàn)各個神經(jīng)元的輸出特征圖像幾乎看不到空間位置的改變?；旧隙际窃谠袛?shù)字3存在的位置上進(jìn)行一些明暗或者細(xì)節(jié)特征信息的改變，當(dāng)然在第一層卷積層提取到的特征信息是比較清晰的，也是一些比較簡單的輪廓信息，隨著卷積層的深入，特征信息的變化更加的復(fù)雜多樣，細(xì)節(jié)信息更加豐富，但是空間信息的提取仍舊是比較有限的。

4 基于仿射變換的實(shí)驗(yàn)結(jié)果準(zhǔn)確性的評價

為驗(yàn)證仿射變換下實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，評價真實(shí)生成圖像與預(yù)處理后得到的目標(biāo)圖像的差距，本文用歐式距離損失函數(shù)值作為實(shí)驗(yàn)結(jié)果的評價指標(biāo)。歐式距離損失函數(shù)的定義如式(2)所示：

(2)

圖8中的展示的是三種變換下600次epoch的損失函數(shù)圖像，其中橫坐標(biāo)表示損失函數(shù)值的迭代次數(shù)，如圖8(c)中橫坐標(biāo)表示損失函數(shù)迭代了300k次。在表5、表6、表7中，對比目標(biāo)圖像和生成圖像，會發(fā)現(xiàn)兩者或在像素強(qiáng)度上，或在邊緣軌跡上會有不同，這是因?yàn)橐陨系挠?xùn)練結(jié)果最大的迭代次數(shù)只有300次，損失函數(shù)并未真正的收斂，但卻已經(jīng)獲得比較好的訓(xùn)練結(jié)果。因?yàn)镚PU資源有限，并盡可能的接近最后的收斂值，故我們選擇了600次epoch的訓(xùn)練結(jié)果進(jìn)行可視化輸出。

我們最終發(fā)現(xiàn)600次epoch也并沒有達(dá)到真正的收斂，但每個batch中的100張圖片的總的歐式距離損失函數(shù)值總能降到10以下，最后得到的生成圖像已經(jīng)十分接近于目標(biāo)圖像。

圖8 仿射變換下的損失函數(shù)圖像

5 結(jié)論

為了進(jìn)一步加強(qiáng)對Capsule Network的實(shí)現(xiàn)過程以及其對位置信息的學(xué)習(xí)的理解，本文利用了Tesorboard等可視化工具對應(yīng)用于平移、旋轉(zhuǎn)的Capsule Network進(jìn)行可視化，由實(shí)驗(yàn)結(jié)果可知，在膠囊網(wǎng)絡(luò)內(nèi)部，每個集成的膠囊模塊都可以學(xué)到一種適用于大多數(shù)手寫體數(shù)字的姿態(tài)，且每一個膠囊模塊得到特征姿態(tài)都對最后的結(jié)果有所貢獻(xiàn)。膠囊網(wǎng)絡(luò)最后的確學(xué)到了手寫體數(shù)字圖像變換后的圖像信息，但不同于卷積神經(jīng)網(wǎng)絡(luò)的是，膠囊網(wǎng)絡(luò)在模型搭建時就考慮到了位置信息，最后邏輯生成單元得到的模塊特征輸出也是從位置信息轉(zhuǎn)換而來的，所以Capsule Network對于位置信息的學(xué)習(xí)和處理是要明顯優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的。