王光波，孫仁誠，隋 毅，邵峰晶

(青島大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山東 青島 266071)

0 引言

近年來，以深度學(xué)習(xí)為主導(dǎo)的人工神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)日趨復(fù)雜，網(wǎng)絡(luò)的層次不斷加深、鏈接關(guān)系更加繁雜。如何設(shè)計(jì)有效的人工神經(jīng)網(wǎng)絡(luò)以提升深度學(xué)習(xí)的效果尚無有效的指導(dǎo)方法。已有研究表明神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的性能產(chǎn)生較大的影響。Simard[1]驗(yàn)證了小世界神經(jīng)網(wǎng)絡(luò)比規(guī)則網(wǎng)絡(luò)和隨機(jī)網(wǎng)絡(luò)具有更快的收斂速度。在2019年Saining Xie[2]分別對(duì)ER，BA,以及WS三種模型生成的隨機(jī)連邊神經(jīng)網(wǎng)絡(luò)進(jìn)行了探索，在計(jì)算域相同的情況下WS(4,0.75)生成的隨機(jī)網(wǎng)絡(luò)在ImageNet上具有最高的準(zhǔn)確率。因此，應(yīng)用復(fù)雜網(wǎng)絡(luò)的“小世界”、“無標(biāo)度”等復(fù)雜網(wǎng)絡(luò)性質(zhì)來指導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)或許為深度學(xué)習(xí)模型設(shè)計(jì)提供理論依據(jù)。然而可以體現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜網(wǎng)絡(luò)性質(zhì)有很多，其中包括平均度，網(wǎng)絡(luò)直徑，圖密度，模塊化，平均聚集系數(shù)，平均路徑長(zhǎng)度等。平均聚集系數(shù)可以體現(xiàn)網(wǎng)絡(luò)中節(jié)點(diǎn)聚集成團(tuán)的程度，網(wǎng)絡(luò)直徑可以體現(xiàn)網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)的最大距離。具體哪些性質(zhì)所體現(xiàn)的網(wǎng)絡(luò)結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率有關(guān)尚不能明確。

因此，本文首先分析了先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性質(zhì)，之后設(shè)計(jì)出了多組拓?fù)浣Y(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)，通過在標(biāo)準(zhǔn)數(shù)據(jù)集的訓(xùn)練和公式計(jì)算獲得了它們的準(zhǔn)確率和拓?fù)鋸?fù)雜性質(zhì)數(shù)據(jù)。通過相關(guān)數(shù)據(jù)探究了神經(jīng)網(wǎng)絡(luò)性能和拓?fù)浣Y(jié)構(gòu)復(fù)雜性質(zhì)的關(guān)系。這為進(jìn)一步設(shè)計(jì)出更好的卷積神經(jīng)網(wǎng)絡(luò)提供了指導(dǎo)。

1 復(fù)雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)

1.1 復(fù)雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的定義

復(fù)雜網(wǎng)絡(luò)是對(duì)復(fù)雜系統(tǒng)的抽象和描述方式，任何包含大量組成單元(或子系統(tǒng))的復(fù)雜系統(tǒng)，當(dāng)把構(gòu)成單元抽象成節(jié)點(diǎn)、單元之間的相互關(guān)系抽象為邊時(shí)，都可以當(dāng)作復(fù)雜網(wǎng)絡(luò)來研究。

前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network，F(xiàn)NN)[3]，簡(jiǎn)稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。前饋神經(jīng)網(wǎng)絡(luò)采用一種單向多層結(jié)構(gòu)。其中每一層包含若干個(gè)神經(jīng)元。在此種神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元可以接收前一層神經(jīng)元的信號(hào)，并產(chǎn)生輸出到下一層。第0層叫輸入層，最后一層叫輸出層，其他中間層叫做隱含層(或隱藏層、隱層)。隱層可以是一層。也可以是多層。整個(gè)網(wǎng)絡(luò)中無反饋，信號(hào)從輸入層向輸出層單向傳播，可用一個(gè)有向無環(huán)圖表示。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。

1.2 復(fù)雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換

如圖1所示，圖中卷積神經(jīng)網(wǎng)絡(luò)的灰色節(jié)點(diǎn)由大量的卷積層、池化層等操作函數(shù)組成，這些操作函數(shù)便是卷積神經(jīng)網(wǎng)絡(luò)這一系統(tǒng)的組成單元。在卷積神經(jīng)網(wǎng)絡(luò)中，每一個(gè)操作函數(shù)會(huì)將特征圖進(jìn)行處理，處理完成后將特征圖傳遞給下一個(gè)操作函數(shù)。由此可得，操作函數(shù)之間具有傳遞信息的關(guān)系。結(jié)合復(fù)雜網(wǎng)絡(luò)的定義可得一組對(duì)特征圖進(jìn)行操作的函數(shù)就可以抽象為復(fù)雜網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)。特征圖在函數(shù)之間的傳遞便可以抽象為節(jié)點(diǎn)之間的連邊。卷積神經(jīng)網(wǎng)絡(luò)可以轉(zhuǎn)換為復(fù)雜網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)會(huì)影響網(wǎng)絡(luò)的性能。要探究網(wǎng)絡(luò)性能與對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)性質(zhì)的關(guān)系，就需要借助復(fù)雜網(wǎng)絡(luò)，對(duì)實(shí)際卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行分析，在此基礎(chǔ)上對(duì)網(wǎng)絡(luò)性能與對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)性質(zhì)的關(guān)系進(jìn)行探究。

1.3 卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)性質(zhì)的分析及問題

卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)由最初從左到右的鏈?zhǔn)浇Y(jié)構(gòu)LeNet[3]，AlexNet[4]，VGGNet[5]等，發(fā)展到了如今的含有跨層連邊的多樣化布線結(jié)構(gòu)Inception-v4[6],ResNet[7],DenseNet[8],NASNet[9]等。參數(shù)數(shù)量越來越多，準(zhǔn)確率越來越強(qiáng)大。

最初的卷積神經(jīng)網(wǎng)絡(luò)都是鏈?zhǔn)浇Y(jié)構(gòu)的，網(wǎng)絡(luò)的卷積核會(huì)對(duì)特征圖進(jìn)行卷積操作。特征圖在網(wǎng)絡(luò)內(nèi)部的流動(dòng)使得神經(jīng)網(wǎng)絡(luò)可以看作一種有向的復(fù)雜網(wǎng)絡(luò)。如圖2所示6層的卷積神經(jīng)網(wǎng)絡(luò)，因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)的權(quán)重共享，網(wǎng)絡(luò)的對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)可以看成是一種規(guī)則網(wǎng)絡(luò)。

如圖3從左到右是3種先進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的一部分，以及k=4的最近鄰耦合網(wǎng)絡(luò)。ResNet的每一個(gè)節(jié)點(diǎn)都會(huì)與后面一個(gè)相鄰節(jié)點(diǎn)有一條連邊，對(duì)于后面的第三個(gè)節(jié)點(diǎn)也會(huì)有一條連邊，可以稱這樣的連邊為跨層連邊。所以ResNet的對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)是一個(gè)規(guī)則網(wǎng)絡(luò)。NASNet的每一個(gè)節(jié)點(diǎn)都會(huì)與后面一個(gè)相鄰節(jié)點(diǎn)有一條連邊，對(duì)于后面的第二個(gè)節(jié)點(diǎn)也有一條連邊。在較大的粒度來看NASNet的對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)是一個(gè)k=4的有向最近鄰耦合網(wǎng)絡(luò)。DenseNet中的每一個(gè)節(jié)點(diǎn)都會(huì)與這個(gè)節(jié)點(diǎn)后面的每一個(gè)節(jié)點(diǎn)有一條連邊，這種網(wǎng)絡(luò)也是一種規(guī)則網(wǎng)絡(luò)。

圖1 復(fù)雜網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換

圖2 6層的卷積神經(jīng)網(wǎng)絡(luò)

通過分析發(fā)現(xiàn)，如今卷積神經(jīng)網(wǎng)絡(luò)的對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)都是規(guī)則網(wǎng)絡(luò)，規(guī)則網(wǎng)絡(luò)會(huì)有較大的聚集系數(shù)和較大的平均路徑長(zhǎng)度。卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率與對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)的較大的聚集系數(shù)和較大的平均路徑長(zhǎng)度的關(guān)系需要進(jìn)一步通過實(shí)驗(yàn)驗(yàn)證。

2 卷積神經(jīng)網(wǎng)絡(luò)拓?fù)湫再|(zhì)的研究

2.1 問題描述

經(jīng)過上述分析，需要進(jìn)一步驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率與網(wǎng)絡(luò)聚集系數(shù)和平均路徑長(zhǎng)度的關(guān)系。網(wǎng)絡(luò)的復(fù)雜性質(zhì)有很多，除了聚集系數(shù)[10]和平均路徑長(zhǎng)度[11]，平均度、網(wǎng)絡(luò)直徑、圖密度、模塊化[12]等也可以在一定程度上反應(yīng)卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的一些特性。

希望通過實(shí)際模型探究卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率與復(fù)雜性質(zhì)的關(guān)系。這就要求設(shè)計(jì)出多組拓?fù)浣Y(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)。為了更好地設(shè)計(jì)拓?fù)浣Y(jié)構(gòu)和描述問題，給出如下定義：

定義1基線網(wǎng)絡(luò)模型記為Bnet(Vb,Eb)，其中，Vb={vi|vi為節(jié)點(diǎn),0

定義2交叉網(wǎng)絡(luò)模型為在基線網(wǎng)絡(luò)的基礎(chǔ)上，添加m條跨層連邊得到，記為Cnet(Vc,Ec)，其中，Vc=Vb，Ec=Eb∪El，這里El={〈vsj,vwj〉j|vsj,vwj∈Vb,0≤sj

圖3 卷積神經(jīng)網(wǎng)絡(luò)和最近鄰耦合網(wǎng)絡(luò)

圖4 交叉網(wǎng)絡(luò)

圖4給出了交叉網(wǎng)絡(luò)的示意圖，交叉網(wǎng)絡(luò)有兩種連邊。第一種連邊是相鄰節(jié)點(diǎn)之間的連邊，用Eb表示，第二種連邊是跨層連邊，用El表示。根據(jù)定義2，可以通過人工設(shè)計(jì)不同的跨層連邊，將跨層連邊添加到基線網(wǎng)絡(luò)中得到不同拓?fù)浣Y(jié)構(gòu)的交叉網(wǎng)絡(luò)。

得到不同拓?fù)浣Y(jié)構(gòu)的交叉網(wǎng)絡(luò)之后，需要進(jìn)一步將只有節(jié)點(diǎn)和連邊的網(wǎng)絡(luò)擴(kuò)展為完整的卷積神經(jīng)網(wǎng)絡(luò)。這需要給出卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)定義，然后在定義的基礎(chǔ)上，通過算法建立完整并有較高性能表現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)，命名為交叉卷積神經(jīng)網(wǎng)絡(luò)。因?yàn)榻徊婢W(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是多樣性的，所以對(duì)應(yīng)得到的卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也是多樣性的。在正式進(jìn)行實(shí)驗(yàn)之前，需要進(jìn)行一下卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)鋸?fù)雜性分析，之后通過交叉卷積神經(jīng)網(wǎng)絡(luò)這一實(shí)際模型探究卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率與網(wǎng)絡(luò)復(fù)雜性質(zhì)之間理論上存在的關(guān)系，最后通過實(shí)驗(yàn)進(jìn)一步驗(yàn)證這一關(guān)系。

2.2 復(fù)雜網(wǎng)絡(luò)拓?fù)涞骄矸e神經(jīng)網(wǎng)絡(luò)的生成算法

影響卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率的因素有很多，實(shí)驗(yàn)中需要注意控制單一變量。以交叉網(wǎng)絡(luò)為基礎(chǔ)，在節(jié)點(diǎn)數(shù)量和連邊數(shù)量一定的條件下，人工設(shè)計(jì)出不同拓?fù)浣Y(jié)構(gòu)的交叉網(wǎng)絡(luò)。然后將不同拓?fù)浣Y(jié)構(gòu)的交叉網(wǎng)絡(luò)轉(zhuǎn)換成對(duì)應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)。為了將網(wǎng)絡(luò)轉(zhuǎn)換成卷積神經(jīng)網(wǎng)絡(luò)，這里給出卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)定義。

考慮圖像X0在卷積神經(jīng)網(wǎng)絡(luò)中前向傳遞，卷積神經(jīng)網(wǎng)絡(luò)包括L層卷積層，每一層都是復(fù)合卷積層Hi(x)或Ti(x)，i表示第i層。Hi(x),Ti(x)是一種由批量歸一化(BN)[13],激活函數(shù)(ReLU)[14],池化或卷積(Conv)組成的連續(xù)操作。BN函數(shù)可以加速網(wǎng)絡(luò)收斂，ReLU是一種激活函數(shù)操作，Conv是卷積操作，Pooling是池化操作，可以減小特征圖尺寸。

定義3復(fù)合卷積層指對(duì)特征圖x依次進(jìn)行批歸一化、ReLu激活及卷積窗口為r×t的卷積運(yùn)算過程，記為H(x)=Conv(ReLU(BN(x)),r,t)。

定義4傳輸層，指對(duì)特征圖x依次進(jìn)行批歸一化、ReLu激活及池化運(yùn)算過程，記為Transition layerT(x)=Pooling(ReLU(BN(x)))。

定義5復(fù)合函數(shù)層，傳輸層或復(fù)合卷積層統(tǒng)稱為復(fù)合函數(shù)層。

定義6特征圖鏈接指復(fù)合函數(shù)層將新產(chǎn)生的特征圖傳遞到下一個(gè)復(fù)合函數(shù)層的過程。這一過程會(huì)將前面?zhèn)鬟f過來的特征圖與已有特征圖進(jìn)行拼接，形成一個(gè)較大的特征圖。記為cat(x0,x1)=[x0,x1]，x1是源復(fù)合函數(shù)層傳遞過來的特征圖，x0是已有特征圖。

定義7交叉卷積神經(jīng)網(wǎng)絡(luò)是將b個(gè)交叉網(wǎng)絡(luò)串行連接得到的網(wǎng)絡(luò)，在交叉網(wǎng)絡(luò)的基礎(chǔ)上通過應(yīng)用算法1可以得到。它的拓?fù)浣Y(jié)構(gòu)與交叉網(wǎng)絡(luò)大致相同。

算法1交叉卷積神經(jīng)網(wǎng)絡(luò)生成算法:

Input：(Cnet(Vc,Ec))，b,r,t

Output: (Cross convolutional neural network(Vc,Ec))

Initialise Composite function setH(x)=Conv(ReLU(BN(x)),r,t)T(x)=Pooling(ReLU(BN(x)))

foreachvinVcdo:

If v is last node: replacevwithT(x)

Else : replacevwithH(x)

foreinEcdo:

replace e withcat(x0,x1) {x0,x1is the feature map produced byT(x) orH(x)}

Cross convolutional neural network(Vc,Ec){Initialize the Cross convolutional neural network}

fori=0;i

vi=Cnet(Vc,Ec);vi+1=Cnet(Vc,Ec)

〈vi,vi+1〉=cat(x0,x1) {x1is produced byvi，x0is produced by other node}

Vc=Vc∪vi∪vi+1;Ec=Ec∪〈vi,vi+1〉

result= Cross convolutional neural network(Vc,Ec)-T(x)+Classification layer

{Replace the final Transition layer with the classification layer}

Output= result

2.3 卷積神經(jīng)網(wǎng)絡(luò)拓?fù)鋸?fù)雜性分析

交叉卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)不同，復(fù)雜性質(zhì)也會(huì)不同。特征圖在不同拓?fù)浣Y(jié)構(gòu)的交叉卷積神經(jīng)網(wǎng)絡(luò)中流動(dòng)時(shí)會(huì)產(chǎn)生不同的結(jié)果，所以，交叉卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性質(zhì)在一定程度上會(huì)對(duì)交叉卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率造成影響。

網(wǎng)絡(luò)的復(fù)雜性質(zhì)包括：平均度，網(wǎng)絡(luò)直徑，模塊化，平均聚集系數(shù)，平均路徑長(zhǎng)度等。這里通過平均路徑長(zhǎng)度和平均聚集系數(shù)[12]分析網(wǎng)絡(luò)的復(fù)雜性質(zhì)如何對(duì)網(wǎng)絡(luò)的準(zhǔn)確率造成影響。

復(fù)雜網(wǎng)絡(luò)中的平均路徑長(zhǎng)度是任意兩個(gè)節(jié)點(diǎn)之間距離的平均值。根據(jù)交叉卷積神經(jīng)網(wǎng)絡(luò)生成算法可知兩個(gè)節(jié)點(diǎn)之間的距離在卷積神經(jīng)網(wǎng)絡(luò)中便是特征圖從一個(gè)網(wǎng)絡(luò)層到另一個(gè)網(wǎng)絡(luò)層經(jīng)過的H(X)或T(X)次數(shù)。網(wǎng)絡(luò)的平均路徑長(zhǎng)度可以在一定程度反映出交叉卷積神經(jīng)網(wǎng)絡(luò)特征圖的卷積細(xì)化程度。

根據(jù)復(fù)雜網(wǎng)絡(luò)的相關(guān)理論，交叉卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)中如果一個(gè)節(jié)點(diǎn)i的度為ki，那么節(jié)點(diǎn)i的聚集系數(shù)[10]Ci定義為

(1)

在拓?fù)浣Y(jié)構(gòu)上ejk表示節(jié)點(diǎn)j有一條指向節(jié)點(diǎn)k的連邊。Ni表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)的集合。式(1)中的分子是節(jié)點(diǎn)i的ki個(gè)鄰居節(jié)點(diǎn)之間實(shí)際存在的邊數(shù)。分母是點(diǎn)i的ki個(gè)鄰居節(jié)點(diǎn)之間至多存在的邊數(shù)。分子和分母的比值便可以反映節(jié)點(diǎn)聚集成團(tuán)的程度。根據(jù)式(1)描述，在ki一定的情況下，ki個(gè)鄰居節(jié)點(diǎn)之間實(shí)際存在的邊數(shù)，就會(huì)直接影響節(jié)點(diǎn)i聚集系數(shù)的值。

在交叉卷積神經(jīng)網(wǎng)絡(luò)中，這ki個(gè)節(jié)點(diǎn)對(duì)應(yīng)的卷積層都接收到了卷積層i產(chǎn)生的特征圖，這ki個(gè)卷積層之間如果互相傳遞的特征圖較多，聚集系數(shù)就會(huì)較大，如果傳遞的特征圖較少，聚集系數(shù)就會(huì)較小。因此，網(wǎng)絡(luò)的平均聚集系數(shù)可以反映網(wǎng)絡(luò)中各個(gè)卷積層特征圖聚集成團(tuán)的程度。

經(jīng)過以上分析，交叉卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性質(zhì)可以反映交叉卷積神經(jīng)網(wǎng)絡(luò)每一個(gè)卷積層或傳輸層產(chǎn)生的特征圖之間的傳遞與融合的某些特性，從而在一定程度反應(yīng)交叉卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。接下來通過實(shí)驗(yàn)進(jìn)一步驗(yàn)證交叉卷積神經(jīng)網(wǎng)絡(luò)復(fù)雜性質(zhì)與交叉卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率的關(guān)系。

3 實(shí)驗(yàn)過程與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證交叉卷積神經(jīng)網(wǎng)絡(luò)復(fù)雜性質(zhì)與網(wǎng)絡(luò)準(zhǔn)確率的關(guān)系，需要設(shè)計(jì)多組復(fù)雜性質(zhì)不同的模型。為了實(shí)現(xiàn)這一目標(biāo)，首先通過定義1和定義2人工設(shè)計(jì)出模型的拓?fù)浣Y(jié)構(gòu)。之后通過應(yīng)用算法1，生成多組拓?fù)浣Y(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)。具體實(shí)施方案如下:

根據(jù)定義1，設(shè)參數(shù)n=6，初始化基線網(wǎng)絡(luò)，網(wǎng)絡(luò)中有標(biāo)號(hào)為0-5的6個(gè)節(jié)點(diǎn)。人工預(yù)設(shè)7組拓?fù)浣Y(jié)構(gòu)不同的跨層連邊，如表1所示。為了進(jìn)行對(duì)照實(shí)驗(yàn)，標(biāo)號(hào)(1,2),(3,4),(5,6,7)是3組對(duì)照實(shí)驗(yàn)，它們的連邊既有相同又有不同，使得它們的復(fù)雜性質(zhì)一定不同。

設(shè)參數(shù)m=5，在基線網(wǎng)絡(luò)的基礎(chǔ)上，根據(jù)定義2將表1中每一組跨層連邊添加到基線網(wǎng)絡(luò)中，得到7組拓?fù)浣Y(jié)構(gòu)不同的交叉網(wǎng)絡(luò)。為了使拓?fù)浣Y(jié)構(gòu)具有多樣性，將其中2組交叉網(wǎng)絡(luò)的拓?fù)溥M(jìn)行修改。去掉了連邊〈4,5〉,增加了連邊〈0,2〉。最終結(jié)果如表2所示。

表1 人工預(yù)設(shè)的7組跨層連邊

表2 不同拓?fù)浣Y(jié)構(gòu)的7組網(wǎng)絡(luò)

最后將設(shè)計(jì)出的拓?fù)浣Y(jié)構(gòu)轉(zhuǎn)換為完整可訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。設(shè)定參數(shù)r=3，t=3,b=3通過應(yīng)用算法1，由表2中這7組交叉網(wǎng)絡(luò)生成對(duì)應(yīng)的交叉卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)算法1可知交叉卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與對(duì)應(yīng)交叉網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)相同。因?yàn)橥ㄟ^m,n控制了節(jié)點(diǎn)數(shù)量和連邊數(shù)量,所以生成的7組模型的參數(shù)數(shù)量基本相同。

3.2 實(shí)驗(yàn)數(shù)據(jù)

通過訓(xùn)練7組交叉卷積神經(jīng)網(wǎng)絡(luò)和計(jì)算它們的復(fù)雜性質(zhì)獲得實(shí)驗(yàn)數(shù)據(jù)。

訓(xùn)練交叉卷積神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)集分別使用了Cifar10和Cifar100。訓(xùn)練的超參數(shù)設(shè)置如下:學(xué)習(xí)率lr=0.001,設(shè)置學(xué)習(xí)率每隔80個(gè)訓(xùn)練輪次衰減為原來的10%，batch_size=64,優(yōu)化器使用Adam[15],每個(gè)模型訓(xùn)練300個(gè)輪次，為了降低隨機(jī)性，取后200個(gè)輪次準(zhǔn)確率的平均值作為模型的評(píng)價(jià)。收集了這兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率表現(xiàn)和網(wǎng)絡(luò)參數(shù)數(shù)量后制作成了表3。

交叉卷積神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與交叉網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)相同，根據(jù)網(wǎng)絡(luò)復(fù)雜性質(zhì)的相關(guān)公式，直接計(jì)算交叉網(wǎng)絡(luò)的平均度，網(wǎng)絡(luò)直徑，圖密度，模塊化，平均聚集系數(shù)，平均路徑長(zhǎng)度，得到了交叉卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性質(zhì)，將結(jié)果進(jìn)行匯總制作成了表4。

3.3 結(jié)果分析

通過對(duì)比表3和表4的數(shù)據(jù)后發(fā)現(xiàn)，表4中的7個(gè)復(fù)雜網(wǎng)絡(luò)的性質(zhì)只有平均聚集系數(shù)會(huì)和卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率有一定的關(guān)系。具體表現(xiàn)為在參數(shù)量相同的情況下，聚集系數(shù)小的網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率會(huì)高。模型3,4參數(shù)數(shù)量相同，模型4的平均聚集系數(shù)比模型3稍微小一些，模型4的卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率表現(xiàn)比模型3也高一些。模型1,2,5,6,7的參數(shù)數(shù)量相同，模型5有最高卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率的同時(shí)平均聚集系數(shù)也是最小的。

表3 7組模型的參數(shù)數(shù)量以及在Cifar10和Cifar100上的準(zhǔn)確率表現(xiàn)

表4 7組模型的復(fù)雜性質(zhì)

經(jīng)實(shí)驗(yàn)數(shù)據(jù)可得到結(jié)論：在統(tǒng)計(jì)意義和參數(shù)數(shù)量一定的情況下，卷積神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)復(fù)雜網(wǎng)絡(luò)的平均聚集系數(shù)越小，卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率越高。這就要求在設(shè)計(jì)新的卷積神經(jīng)網(wǎng)絡(luò)時(shí)，在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上減少節(jié)點(diǎn)聚集成團(tuán)的特性，降低平均聚集系數(shù)的值。

4 結(jié)論

本文通過理論分析和對(duì)照實(shí)驗(yàn)，利用設(shè)計(jì)出的拓?fù)浣Y(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行準(zhǔn)確率和復(fù)雜性質(zhì)的對(duì)比。得到了網(wǎng)絡(luò)拓?fù)涞木奂禂?shù)會(huì)影響卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率的結(jié)論。具體表現(xiàn)為在統(tǒng)計(jì)意義上，聚集系數(shù)越小，卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率越高。這為卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的設(shè)計(jì)進(jìn)一步提供了理論依據(jù)。在今后的研究中,需要進(jìn)一步探究聚集系數(shù)與卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率相關(guān)性。