鮮開軍 丁新虎 朱城超 朱鐘華 徐東偉③

(*中國人民解放軍61478 部隊(duì) 烏魯木齊830001)

(**浙江工業(yè)大學(xué)網(wǎng)絡(luò)空間安全研究院 杭州310023)

0 引言

近年來,深度學(xué)習(xí)的研究成果已經(jīng)成功應(yīng)用在圖像識(shí)別[1]、語音識(shí)別[2]和自然語言處理[3]等諸多領(lǐng)域,具有巨大的發(fā)展?jié)摿蜕鐣?huì)價(jià)值。作為深度學(xué)習(xí)的重要組成部分,神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)在很大程度上決定著深度學(xué)習(xí)的性能表現(xiàn)[4]。例如,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)從提出到現(xiàn)在,已經(jīng)涌現(xiàn)出了許多經(jīng)典的網(wǎng)絡(luò)模型[5],如AlexNet[6]、VGGNet[7]、GoogLeNet[8]、ResNet[9]、DenseNet[10]等,這些網(wǎng)絡(luò)模型成功地應(yīng)用在了許多領(lǐng)域,尤其是在圖像識(shí)別領(lǐng)域[11]。作為深度學(xué)習(xí)領(lǐng)域中另一類重要的模型,循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)擅長處理時(shí)間序列數(shù)據(jù),基于RNN 而提出的長短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)[12]和門控循環(huán)單元(gated recurrent unit,GRU)[13]等變體結(jié)構(gòu),在文本、音頻和視頻等領(lǐng)域也取得了較好的效果[14]。

神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)對于模型來說非常重要,因此獲取神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)并對其進(jìn)行分析具有重要意義。但是當(dāng)?shù)玫揭粋€(gè)黑盒模型時(shí),其模型結(jié)構(gòu)無法得知,而構(gòu)建等價(jià)模型可以模擬出一個(gè)等價(jià)模型來幫助分析黑盒模型。因此等價(jià)模型構(gòu)建具有實(shí)際意義。

遺傳算法[15](genetic algorithm,GA)是模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的計(jì)算模型,是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法[16]。該算法無需準(zhǔn)確描述問題的全部特征,且具有較強(qiáng)的通用性和魯棒性,能較快適應(yīng)問題和環(huán)境的變化,在對較為復(fù)雜的組合優(yōu)化問題求解時(shí),通常能較快地獲得較好的優(yōu)化結(jié)果。

構(gòu)建神經(jīng)網(wǎng)絡(luò)等價(jià)模型的本質(zhì)就是一種較為復(fù)雜的優(yōu)化組合問題,且神經(jīng)網(wǎng)絡(luò)的可解釋性理論研究還處于完善過程中,特別是對于深度神經(jīng)網(wǎng)絡(luò),更是難以找到合適的數(shù)學(xué)工具對其表達(dá)和訓(xùn)練能力進(jìn)行建模[17]。

針對上述問題,本文提出了基于遺傳算法構(gòu)建神經(jīng)網(wǎng)絡(luò)等價(jià)模型的方法,在原模型的輸入輸出數(shù)據(jù)以及經(jīng)典神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的基礎(chǔ)上,將模型的結(jié)構(gòu)參數(shù)進(jìn)行編碼,并充分利用遺傳算法搜索最優(yōu)解的能力,構(gòu)建了原模型的等價(jià)模型。

1 整體方案設(shè)計(jì)

1.1 整體方案

整體設(shè)計(jì)方案的流程圖如圖1 所示。首先提取神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)參數(shù),再選擇合適的編碼方式將提取的參數(shù)進(jìn)行編碼,并根據(jù)編碼結(jié)果生成初始種群,然后通過遺傳算法的選擇算子、交叉算子、變異算子對種群進(jìn)行迭代優(yōu)化,最終選取最優(yōu)個(gè)體作為最終構(gòu)建的等價(jià)模型。

圖1 等價(jià)模型構(gòu)建流程圖

1.2 模型結(jié)構(gòu)參數(shù)提取

模型的結(jié)構(gòu)參數(shù)與模型結(jié)構(gòu)相關(guān),通過優(yōu)化結(jié)構(gòu)參數(shù)可以使得最終構(gòu)建的等價(jià)模型結(jié)構(gòu)相似于原模型,因此首先需要確定所需優(yōu)化的結(jié)構(gòu)參數(shù)。

本文以經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行說明。卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層和輸出層組成,而卷積層為最核心的結(jié)構(gòu)。在卷積層中,上一層的特征圖被卷積核卷積后,通過激活函數(shù)得到輸出特征圖[18]。假設(shè)卷積層的輸入特征圖的大小為H×W×N,其中H×W表示輸入特征圖的尺寸,N是輸入特征的通道數(shù),K×K×N表示卷積核尺寸,用M表示卷積核數(shù)量與輸出特征圖的通道數(shù)[19],卷積操作如圖2 所示。

圖2 卷積計(jì)算過程

卷積神經(jīng)網(wǎng)絡(luò)的最后通常由多層全連接網(wǎng)絡(luò)組成[18],通過全連接層計(jì)算,將特征數(shù)據(jù)映射到樣本標(biāo)簽空間,再對其進(jìn)行分類,全連接層中的核心操作是矩陣向量乘積,如圖3 所示。

圖3 全連接結(jié)構(gòu)

通過分析可知,卷積神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)與卷積核的尺寸、個(gè)數(shù)和全連接層的單元個(gè)數(shù)相關(guān)。通過改變這些參數(shù),可以生成不同的模型結(jié)構(gòu)。

1.3 模型參數(shù)編碼

編碼是把一個(gè)問題的可行解從其解空間通過相應(yīng)的轉(zhuǎn)換方式,轉(zhuǎn)換到遺傳算法所能處理的搜索空間[16]。在遺傳算法編碼方式的選擇問題上,Holland[20]建議采用二進(jìn)制編碼。雖然還有格雷碼編碼[21]、浮點(diǎn)編碼、樹結(jié)構(gòu)編碼[22]、參數(shù)動(dòng)態(tài)編碼[23]等多種編碼方式,但是考慮到本文所提取出的模型結(jié)構(gòu)參數(shù)均為正整數(shù),且編解碼方式越簡潔,就越方便后續(xù)的交叉變異等遺傳操作,因此本文選用二進(jìn)制編碼方式。

二進(jìn)制編碼僅使用{0,1} 2 個(gè)符號(hào),將每個(gè)個(gè)體的參數(shù)編碼為二進(jìn)制符號(hào)串,式(1)體現(xiàn)了一個(gè)二進(jìn)制串(bn,…,b1,b0)2與十進(jìn)制數(shù)(a)10相互轉(zhuǎn)換過程。

本文以經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)AlexNet[6]為例,提取了AlexNet 的模型結(jié)構(gòu)參數(shù)作為等價(jià)模型構(gòu)建時(shí)的優(yōu)化對象,并利用二進(jìn)制編碼方式對其進(jìn)行編碼。表1展示了AlexNet 原始網(wǎng)絡(luò)的結(jié)構(gòu)。選擇卷積核尺寸、個(gè)數(shù)和全連接層單元個(gè)數(shù)作為編碼對象,結(jié)果如表2 所示。

表1 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)

表2 AlexNet 編碼結(jié)果

1.4 適應(yīng)度函數(shù)選擇

適應(yīng)度函數(shù)作為描述個(gè)體性能的主要評價(jià)指標(biāo),依據(jù)函數(shù)值的大小對個(gè)體的優(yōu)劣進(jìn)行區(qū)分。因此適應(yīng)度函數(shù)的構(gòu)造至關(guān)重要,這對遺傳算法的迭代速度以及全局最優(yōu)解有著直接影響。

本文通過將神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)的損失函數(shù)與種群個(gè)體的適應(yīng)度函數(shù)建立映射關(guān)系,實(shí)現(xiàn)種群進(jìn)化過程中對優(yōu)化目標(biāo)函數(shù)的尋優(yōu)。

而神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程,就是減小損失函數(shù)值,直到其收斂至基本穩(wěn)定的過程。多分類問題一般采用交叉熵?fù)p失函數(shù)[23],其數(shù)學(xué)表達(dá)式為

其中,m為樣本數(shù)量,y(i)為第i個(gè)樣本的one-hot 向量,hθ(x(i))為對第i個(gè)樣本的預(yù)測概率結(jié)果。

本文在訓(xùn)練等價(jià)模型時(shí),采用的數(shù)據(jù)標(biāo)簽為原模型的預(yù)測結(jié)果。一般而言,分類問題的最終結(jié)果y(i)為one-hot 向量,但從模型的角度而言,模型最終的輸出值其實(shí)是對各個(gè)類別的預(yù)測概率值。因此為了避免精度損失,在訓(xùn)練等價(jià)模型時(shí)采用相對熵[24]作為其損失函數(shù),其數(shù)學(xué)表達(dá)式如下:

對比式(2)與式(3),式(3)使用原模型的預(yù)測值y(i)pre替換式(2)中的y(i),這避免了y(i)僅考慮原模型預(yù)測結(jié)果的最大分量而造成的精度損失情況,有利于等價(jià)模型在訓(xùn)練階段盡可能地學(xué)到原模型更多的細(xì)節(jié)信息,力求其預(yù)測值hθ(x(i))的概率分布盡可能逼近。

但作為種群進(jìn)化依據(jù)的適應(yīng)度函數(shù),其函數(shù)值越大表示個(gè)體的適應(yīng)性越好,即構(gòu)建的等價(jià)模型越接近原模型。因此選取模型收斂到一定程度時(shí)相對熵的倒數(shù)作為最終個(gè)體的適應(yīng)度,用于后續(xù)遺傳算法對個(gè)體進(jìn)行選擇的依據(jù),其數(shù)學(xué)表達(dá)式如下:

其中,(k,i)代表第k輪迭代中第i個(gè)個(gè)體,而Hki(θ)為對應(yīng)模型的損失函數(shù)值。

1.5 模型訓(xùn)練

當(dāng)確定神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù),并對結(jié)構(gòu)參數(shù)進(jìn)行編碼后,通過將參數(shù)進(jìn)行不同組合即可產(chǎn)生相應(yīng)的種群。對種群中每個(gè)個(gè)體代表的模型進(jìn)行訓(xùn)練后,根據(jù)適應(yīng)度函數(shù)的結(jié)果進(jìn)行后續(xù)遺傳算法的優(yōu)化。

本文對于模型的訓(xùn)練過程考慮了訓(xùn)練數(shù)據(jù)和訓(xùn)練方式。

關(guān)于訓(xùn)練數(shù)據(jù)方面,考慮到原模型最終的輸出值是對各個(gè)類別預(yù)測的概率值,但在轉(zhuǎn)換為預(yù)測結(jié)果時(shí)會(huì)經(jīng)過one-hot 編碼,而one-hot 編碼只關(guān)注預(yù)測結(jié)果中最大的分量,將其置為1,而將其他類別預(yù)測結(jié)果置為0,作為分類問題的最終結(jié)果。構(gòu)建等價(jià)模型的目的是為了使構(gòu)建的模型結(jié)構(gòu)盡可能與原模型一致,因此為了避免one-hot 編碼所造成的轉(zhuǎn)換損失,在訓(xùn)練等價(jià)模型時(shí),直接采用原模型的預(yù)測概率值進(jìn)行損失函數(shù)的計(jì)算,數(shù)學(xué)表達(dá)式如式(3)所示。

關(guān)于訓(xùn)練方式方面,考慮到神經(jīng)網(wǎng)絡(luò)模型本身訓(xùn)練所占時(shí)長,為了提高訓(xùn)練效率,在對種群中個(gè)體對應(yīng)的模型訓(xùn)練時(shí)并不一定要等到損失函數(shù)收斂到最優(yōu)狀態(tài),而是可以設(shè)定固定訓(xùn)練步數(shù)。該舉措雖然使模型沒有收斂到最優(yōu),但加快了遺傳迭代速度,且訓(xùn)練步數(shù)并不是造成模型結(jié)構(gòu)差異的因素,訓(xùn)練步數(shù)為無關(guān)變量,對于后續(xù)的選擇算子進(jìn)行個(gè)體的選擇并未造成影響。為了提高最終構(gòu)建的等價(jià)模型精度,可以將通過遺傳算法迭代后最終選擇的個(gè)體進(jìn)行再訓(xùn)練,直至最優(yōu)收斂狀態(tài),作為構(gòu)建的等價(jià)模型?？傮w訓(xùn)練流程如圖4 所示。

圖4 模型訓(xùn)練方式

1.6 遺傳算法優(yōu)化

遺傳算法的操作算子包括選擇、交叉和變異3種基本形式,它們是遺傳算法強(qiáng)大搜索能力的核心,是模擬自然選擇遺傳過程中發(fā)生的繁殖、雜交和突變現(xiàn)象的主要載體[16]。等價(jià)模型構(gòu)建中的處理流程如圖5 所示。

圖5 遺傳算法優(yōu)化流程

1.6.1 選擇算子

選擇算子體現(xiàn)適者生存的原理,依據(jù)適應(yīng)度對優(yōu)質(zhì)個(gè)體進(jìn)行挑選而拋棄劣質(zhì)個(gè)體,其主要作用是避免基因缺失,并提高全局收斂性和計(jì)算效率[16]。常用的選擇算子有輪盤賭選擇[25]、線性排序選擇[26]、最優(yōu)保留選擇和錦標(biāo)賽選擇[27]等。

本文首先采用最優(yōu)保留選擇方式對種群進(jìn)行選擇,直接將種群中適應(yīng)度最高的個(gè)體結(jié)構(gòu)完整地復(fù)制到下一代群體中。然后再按照個(gè)體的適應(yīng)度計(jì)算出每個(gè)個(gè)體被選中的概率,如式(5)所示,依據(jù)計(jì)算出個(gè)體被選中的概率值,進(jìn)行輪盤賭選擇,從而完成選擇過程。

渤海裝備在與多家用戶日常交流中發(fā)現(xiàn)，煙氣輪機(jī)用戶大都存在大量備件儲(chǔ)存的現(xiàn)象，既不利于企業(yè)資產(chǎn)管理，又嚴(yán)重占用了企業(yè)資金。針對這種情況，渤海裝備開展了煙氣輪機(jī)配件集中儲(chǔ)備工作，建立了配件儲(chǔ)備庫。

1.6.2 交叉算子

在遺傳算法中,交叉算子模擬的是自然界生物遺傳基因交換重組的過程,通過交叉能使個(gè)體之間的遺傳物質(zhì)進(jìn)行交換從而產(chǎn)生新的個(gè)體,一方面保存了種群中的優(yōu)良基因,另一方面也增加了種群的多樣性。

本文采用二進(jìn)制編碼方式,而適用于二進(jìn)制編碼個(gè)體的交叉算子有單點(diǎn)交叉、兩點(diǎn)交叉、多點(diǎn)交叉、均勻交叉和算數(shù)交叉等[28]。在交叉過程中,選擇合適的交叉概率Pc更有利于算法的尋優(yōu)與收斂,Pc過小則會(huì)在迭代過程中導(dǎo)致新個(gè)體產(chǎn)生緩慢,致使優(yōu)化過程減緩,Pc過大會(huì)導(dǎo)致最優(yōu)個(gè)體丟失等情況出現(xiàn),無法收斂[29]。

綜合考慮下,本文采取兩點(diǎn)交叉法作為交叉算子,在個(gè)體的二進(jìn)制編碼串中隨機(jī)設(shè)置兩個(gè)交叉點(diǎn),然后將這兩個(gè)交叉點(diǎn)之間的內(nèi)容進(jìn)行交換。表3 給出了一個(gè)具體的實(shí)例進(jìn)行說明,對于選擇出的兩個(gè)個(gè)體的全連接層進(jìn)行交叉,得到兩個(gè)新的個(gè)體。

表3 兩點(diǎn)交叉法

而對于交叉概率Pc的計(jì)算,則采用文獻(xiàn)[29]中提出的自適應(yīng)調(diào)節(jié)概率計(jì)算方式,如式(6)所示。其中pc1與pc2為設(shè)定的最大與最小交叉概率值,f′為進(jìn)行交叉操作的兩個(gè)個(gè)體中適應(yīng)度較大的個(gè)體,favg與fmax分別為該次迭代中種群的平均適應(yīng)度與最大適應(yīng)度。如果進(jìn)行交叉操作的個(gè)體適應(yīng)度小于平均適應(yīng)度,則表示此時(shí)處于遺傳算法尋優(yōu)的前期過程,種群的適應(yīng)度分布較為分散,選擇更小的交叉概率有利于保留種群中表現(xiàn)較好的個(gè)體;如果進(jìn)行交叉的個(gè)體適應(yīng)度大于平均適應(yīng)度時(shí),則表示此時(shí)處于遺傳算法尋優(yōu)的后期過程,種群的適應(yīng)度分布較為集中,選擇更大的交叉概率,能在不破壞表現(xiàn)較好個(gè)體的前提下,提高新個(gè)體的產(chǎn)生概率,可以在一定程度上避免陷入局部最優(yōu)的困境。

1.6.3 變異算子

變異運(yùn)算就是將個(gè)體的編碼串中某些基因座上的基因值用該基因座上的其他等位基因來替換,從而形成新的個(gè)體。常用的變異方式有基本位變異、

均勻變異、邊界變異、高斯近似變異等[30]。同時(shí)在變異過程中,變異概率Pm的取值對于遺傳算法的尋優(yōu)過程與最終收斂結(jié)果有著同樣重要的影響,Pm過小不容易誕生新的個(gè)體,而Pm過大則會(huì)影響遺傳算法的穩(wěn)定性。

本文采用的編碼方式為二進(jìn)制編碼,因此選擇基本位變異方式即可。首先計(jì)算變異概率Pm,當(dāng)結(jié)果滿足變異條件后;再通過計(jì)算個(gè)體編碼的變異位點(diǎn),對其進(jìn)行取反操作完成變異。表4 給出了一個(gè)具體的實(shí)例進(jìn)行說明,對于一個(gè)全連接層單元數(shù)量做變異操作,生成新的變異個(gè)體。

表4 基本位變異

計(jì)算變異概率Pm的方式選用文獻(xiàn)[29]中提出的自適應(yīng)變異概率方法,其計(jì)算方式如式(7)所示,其中Pm1與Pm2為設(shè)定的最大最小變異概率值,f為當(dāng)前個(gè)體的適應(yīng)度值,favg與fmax分別為該次迭代中種群的平均適應(yīng)度與最大適應(yīng)度。如果個(gè)體的適應(yīng)度大于平均適應(yīng)度,則表示此時(shí)處于遺傳算法尋優(yōu)的后期過程,種群趨于穩(wěn)定,個(gè)體的表現(xiàn)均較為理想,因此加大變異概率更有利于全新個(gè)體的產(chǎn)生。

而當(dāng)確定變異概率Pm后,對于變異位的確定再做進(jìn)一步考慮。由于神經(jīng)網(wǎng)絡(luò)對于結(jié)構(gòu)的敏感性,當(dāng)變異位確定為編碼的高位時(shí),變異結(jié)果對于模型結(jié)構(gòu)的變動(dòng)較為劇烈,容易造成整體結(jié)構(gòu)的不穩(wěn)定。因此本文提出通過結(jié)合編碼的位置信息來確定變異位,使得隨著編碼位的增長而被選中為變異位的概率減小,計(jì)算方式如式(8)所示。

其中pl表示編碼中第l位被選中的概率,random(0,1)表示生成0～1 之間的隨機(jī)數(shù),L表示編碼的總位數(shù)。

2 實(shí)驗(yàn)部分

根據(jù)本文所提出的基于遺傳算法的神經(jīng)網(wǎng)絡(luò)等價(jià)模型構(gòu)建方法,在圖像分類、通信信號(hào)調(diào)制類型分類、網(wǎng)絡(luò)鏈路預(yù)測領(lǐng)域[31]進(jìn)行了模型構(gòu)建實(shí)驗(yàn)。本文就網(wǎng)絡(luò)鏈路領(lǐng)域的模型構(gòu)建結(jié)果進(jìn)行展示說明。

網(wǎng)絡(luò)的鏈路預(yù)測問題主要是通過利用網(wǎng)絡(luò)結(jié)構(gòu)等信息,預(yù)測網(wǎng)絡(luò)中缺失的鏈路或未來可能出現(xiàn)的鏈路。在圖深度學(xué)習(xí)[32]中,鏈路預(yù)測問題主要通過圖自編碼器模型[33]解決。本文利用Apache 數(shù)據(jù)中程序員之間的Email 通訊數(shù)據(jù),構(gòu)建一個(gè)3000 個(gè)節(jié)點(diǎn)左右的Email 通訊網(wǎng)絡(luò),并使用鏈路預(yù)測模型對該通訊網(wǎng)絡(luò)進(jìn)行鏈路預(yù)測。

表5 展示了多個(gè)鏈路預(yù)測模型及其對應(yīng)的模型結(jié)構(gòu)參數(shù)。

表5 鏈路預(yù)測模型

確定上述模型的可提取結(jié)構(gòu)參數(shù)后,根據(jù)原模型的參數(shù)值,對模型參數(shù)的編碼范圍進(jìn)行確定,并在參數(shù)范圍內(nèi)隨機(jī)生成種群并對其進(jìn)行編碼,如表6所示。

表6 鏈路預(yù)測模型參數(shù)范圍

實(shí)驗(yàn)中設(shè)定遺傳算法迭代次數(shù)為30 次,種群規(guī)模為20,最小交叉概率pc1和最大交叉概率pc2分別為0.5 和0.9,最小變異概率pm1和最大變異概率pm2分別為0.1 和0.2,對種群進(jìn)行迭代優(yōu)化,各個(gè)模型的迭代結(jié)果如圖6 所示。

圖6 遺傳算法迭代結(jié)果

在迭代結(jié)束后,取最優(yōu)參數(shù)構(gòu)建的等價(jià)模型進(jìn)行再訓(xùn)練,直至最優(yōu)狀態(tài),最終的曲線下面積(AUC)與平均精度(AP)結(jié)果與原模型對比結(jié)果如表7 所示。從表中的結(jié)果分析可知,構(gòu)建的等價(jià)模型在結(jié)構(gòu)參數(shù)上雖然與原模型存在差別,但是在預(yù)測精度方面與原模型基本一致,由此證明了本文提出的等價(jià)模型構(gòu)建方法的有效性。

表7 原模型與等價(jià)模型對比

3 結(jié)論

在無法獲取準(zhǔn)確神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的情況下,本文充分依據(jù)原模型的輸入輸出數(shù)據(jù)與經(jīng)典神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu),并結(jié)合遺傳算法提出了基于遺傳算法的神經(jīng)網(wǎng)絡(luò)等價(jià)模型構(gòu)建方法,實(shí)現(xiàn)在輸入數(shù)據(jù)相同的情況下,保持原模型的輸出數(shù)據(jù)與等價(jià)模型的輸出數(shù)據(jù)基本一致。實(shí)驗(yàn)結(jié)果表明,本文提出的方法能構(gòu)建出原神經(jīng)網(wǎng)絡(luò)的等價(jià)模型,且精度具有一定的保障。然而,此構(gòu)建方式在原模型預(yù)測精度不高的情況下,構(gòu)建出的等價(jià)模型效果也不理想,因此今后的工作將重點(diǎn)放在提升構(gòu)建的等價(jià)模型擬合精度方面。