劉國(guó)梁 余建波

知識(shí)的表述和推理一直是人工智能的熱點(diǎn)話題,其中知識(shí)所代表的是數(shù)據(jù)特征與標(biāo)簽間存在的一般規(guī)律.在人工智能發(fā)展早期,符號(hào)規(guī)則用來(lái)表述知識(shí)并進(jìn)行推理,研究者企圖通過(guò)這種方式來(lái)以人類的思維模式解釋機(jī)器的結(jié)論,而在這一過(guò)程中的規(guī)則定義為知識(shí)[1].符號(hào)形式的優(yōu)點(diǎn)在于可以通過(guò)推導(dǎo)對(duì)知識(shí)進(jìn)行驗(yàn)證,并且其規(guī)則推導(dǎo)過(guò)程都是可以理解的.

在大數(shù)據(jù)時(shí)代,以連接主義為核心的神經(jīng)網(wǎng)絡(luò)相較于符號(hào)系統(tǒng)具有更好的適應(yīng)性.其中,深度學(xué)習(xí)[2]憑借其良好的特征學(xué)習(xí)性能近些年已經(jīng)在各個(gè)領(lǐng)域得到了廣泛應(yīng)用.通過(guò)深度學(xué)習(xí)得到的深度網(wǎng)絡(luò)即為具有深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò).在深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域,Hinton等[3-4]基于深度置信網(wǎng)絡(luò)(Deep belief network,DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法,為解決深層結(jié)構(gòu)優(yōu)化難題提供了解決辦法,并進(jìn)一步提出了堆疊自動(dòng)編碼器(Stacked auto encoder,SAE).Lecun等[5]提出了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN),利用空間相對(duì)關(guān)系以減少參數(shù)數(shù)目來(lái)提高反向傳播算法的訓(xùn)練效果,在圖像識(shí)別方面應(yīng)用前景廣闊.此外,深度學(xué)習(xí)還出現(xiàn)了一些變形結(jié)構(gòu),如堆疊降噪自編碼器(Stacked denoising auto encoder,SDAE)[6].深度網(wǎng)絡(luò)憑借其強(qiáng)大的學(xué)習(xí)能力廣泛地應(yīng)用于各個(gè)領(lǐng)域,但同時(shí)也據(jù)有不可忽視的 “黑箱問(wèn)題”[7],即人類不能通過(guò)了解網(wǎng)絡(luò)內(nèi)部的結(jié)構(gòu)和數(shù)值特性來(lái)得到數(shù)據(jù)特征和數(shù)據(jù)標(biāo)簽之間的關(guān)系,這一問(wèn)題從根本上限制了深度神經(jīng)網(wǎng)絡(luò)的發(fā)展.

近年來(lái),一些研究者開(kāi)始探究如何將符號(hào)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)相結(jié)合,其中一部分人希望通過(guò)符號(hào)規(guī)則所表示的邏輯關(guān)系來(lái)解釋網(wǎng)絡(luò)內(nèi)部的結(jié)構(gòu)和數(shù)值特性,另一部分希望將人類已知的知識(shí)通過(guò)符號(hào)系統(tǒng)傳入神經(jīng)網(wǎng)絡(luò)以提高網(wǎng)絡(luò)性能.Gallant[8]最先提出了一種使用IF-THEN 規(guī)則解釋推理結(jié)論的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng).其后Towell等[7]提出基于知識(shí)的人工神經(jīng)網(wǎng)絡(luò)(Knowledge-based artificial neural network,KBANN),利用MofN 規(guī)則實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)的知識(shí)抽取和插入,通過(guò)這種方式解釋網(wǎng)絡(luò)并增強(qiáng)網(wǎng)絡(luò)性能.Garcez等[9]在KBANN 的基礎(chǔ)上提出了 CILP (Connectionist inductive learning and logic programming)系統(tǒng),該系統(tǒng)將邏輯規(guī)則應(yīng)用到初始化網(wǎng)絡(luò)過(guò)程中,使網(wǎng)絡(luò)可以更好地學(xué)習(xí)數(shù)據(jù)和知識(shí).Fernando等[10]在KBANN 的基礎(chǔ)上提出了INSS (Incremental neuro-symbolic system)系統(tǒng),成功利用包含實(shí)數(shù)的分類規(guī)則初始化人工神經(jīng)網(wǎng)絡(luò).Setiono[11]在前人的基礎(chǔ)上從標(biāo)準(zhǔn)的三層前饋神經(jīng)網(wǎng)絡(luò)中抽取了IF-THEN 規(guī)則,該抽取算法最大的亮點(diǎn)在于將隱藏節(jié)點(diǎn)的激活值離散化.袁靜等[12]嘗試?yán)梅?hào)邏輯語(yǔ)言描述神經(jīng)網(wǎng)絡(luò),并通過(guò)激活強(qiáng)度從理論上幫助規(guī)則進(jìn)行推導(dǎo).錢(qián)大群等[13]根據(jù)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的輸出值建立約束并生成規(guī)則.這種規(guī)則被用來(lái)解釋神經(jīng)網(wǎng)絡(luò)的行為.黎明等[14]將模糊規(guī)則與神經(jīng)網(wǎng)絡(luò)相結(jié)合以提高模型的模式識(shí)別能力.在深度學(xué)習(xí)上更進(jìn)一步的研究中,Penning等[15]提出神經(jīng)符號(hào)認(rèn)知代理模型(Neural-symbolic cognitive agent,NSCA),試圖將時(shí)間符號(hào)知識(shí)規(guī)則與RTRBM (Recurrent temporal restricted Boltzmann machine)結(jié)合實(shí)現(xiàn)在線學(xué)習(xí).Odense等[16]將受限玻爾茲曼機(jī)(Restricted Boltzmann machine,RBM)與MofN 規(guī)則相結(jié)合.深度置信網(wǎng)絡(luò)(DBN)是由RBM 堆疊形成的,而這一研究的意義則在于這是對(duì)DBN 網(wǎng)絡(luò)進(jìn)行模塊化解釋的主要基礎(chǔ),也是對(duì)神經(jīng)網(wǎng)絡(luò)與符號(hào)結(jié)合的一種新思考.Tran等[17]在NSCA 的基礎(chǔ)上將置信度規(guī)則與DBN 相結(jié)合,實(shí)現(xiàn)知識(shí)的抽取和插入.Li等[18]通過(guò)將符號(hào)系統(tǒng)與神經(jīng)網(wǎng)絡(luò)相結(jié)合形成神經(jīng)符號(hào)系統(tǒng),將符號(hào)主義與連接主義的優(yōu)點(diǎn)集成,形成新的推理學(xué)習(xí)模型.Garcez等[19]提出了神經(jīng)符號(hào)計(jì)算的概念,其中知識(shí)以符號(hào)的形式表示,而學(xué)習(xí)和推理由神經(jīng)元計(jì)算.通過(guò)這種方式將神經(jīng)網(wǎng)絡(luò)的魯棒學(xué)習(xí)和有效推理與符號(hào)的可解釋性相結(jié)合.論文從知識(shí)的表示、提取、推理和學(xué)習(xí)方面進(jìn)行討論,并分別對(duì)基于規(guī)則、基于公式和基于嵌入的神經(jīng)符號(hào)計(jì)算方法進(jìn)行了論述.但是,上文所提到的知識(shí)提取與插入方法通常在淺層神經(jīng)網(wǎng)絡(luò)模型實(shí)施,對(duì)于深度神經(jīng)網(wǎng)絡(luò)模型的知識(shí)提取與插入有待深入展開(kāi).

本文提出了一種新的深度神經(jīng)網(wǎng)絡(luò)模型 ——知識(shí)堆疊降噪自編碼器 (Knowledge-based stacked denoising autoencoder,KBSDAE),實(shí)現(xiàn)了符號(hào)系統(tǒng)與深度SDAE之間的有效集成,解決了深度神經(jīng)網(wǎng)絡(luò)的知識(shí)發(fā)現(xiàn),特征提取與網(wǎng)絡(luò)可視化問(wèn)題.本文的主要貢獻(xiàn)如下:1)提出了一種新的深度知識(shí)神經(jīng)網(wǎng)絡(luò)KBSDAE 模型,顯著地提高了特征學(xué)習(xí)及模式識(shí)別性能;2)提出了一種從深度網(wǎng)絡(luò)發(fā)現(xiàn)知識(shí)的方法,實(shí)現(xiàn)了深度網(wǎng)絡(luò)可解釋的目的;3)有效地將符號(hào)規(guī)則與分類規(guī)則相結(jié)合,獲得了一種具有高推導(dǎo)性能的規(guī)則系統(tǒng).最后采用各類標(biāo)桿數(shù)據(jù)驗(yàn)證了本文所提出方法的有效性與可應(yīng)用性.

1 堆疊降噪自編碼器

自編碼器(Autoencoders,AE)是基于神經(jīng)網(wǎng)絡(luò)的特征表達(dá)網(wǎng)絡(luò),由輸入層 (x)、隱藏層 (h)和輸出層 (y)構(gòu)成,是深度學(xué)習(xí)的典型模型之一[6].它通過(guò)編碼和解碼運(yùn)算重構(gòu)輸入數(shù)據(jù),使得重構(gòu)誤差最小.通過(guò)這種方式得到輸入數(shù)據(jù)的隱藏層表達(dá),以達(dá)到特征提取的目的.因?yàn)閷W(xué)習(xí)過(guò)程中不存在數(shù)據(jù)標(biāo)簽,但是又以輸入數(shù)據(jù)作為重構(gòu)目標(biāo),所以認(rèn)定該模型為自監(jiān)督學(xué)習(xí)過(guò)程.

自編碼器的編碼階段是輸入層x到隱藏層h的過(guò)程,具體表示為

其中,σ是Sigmoid 非線性激活函數(shù):σ(x)=1/(1+e-x),參數(shù)集合θ={w,b}.解碼階段是隱藏層h重構(gòu)輸出層y的過(guò)程,具體表示為

其中,σ′是Sigmoid 非線性激活函數(shù),參數(shù)集合θ′={w′,b′}.

通過(guò)最小化重構(gòu)誤差函數(shù)L(x,y)=‖x-y‖2來(lái)逐步地調(diào)整網(wǎng)絡(luò)內(nèi)部的參數(shù)θ,θ′,優(yōu)化方式選擇隨機(jī)梯度下降法.最優(yōu)參數(shù)表示為

降噪自編碼器(Denoising auto-encoder,DAE)是基于AE 的一種變形,通過(guò)噪聲污染訓(xùn)練輸入數(shù)據(jù)以增加網(wǎng)絡(luò)的魯棒性,防止過(guò)擬合[7].從圖1 可以看到DAE 的訓(xùn)練過(guò)程,首先利用隨機(jī)函數(shù)以一定的概率p將原訓(xùn)練數(shù)據(jù)x中的一些單元置零得到被污染的數(shù)據(jù);通過(guò)編碼和解碼對(duì)進(jìn)行重構(gòu);最后調(diào)整網(wǎng)絡(luò)參數(shù)θ,θ′.在利用受污染的數(shù)據(jù)學(xué)習(xí)后,網(wǎng)絡(luò)可以具有更好的魯棒性.可以說(shuō),DAE 相較于傳統(tǒng)的AE 具有更強(qiáng)的泛化能力.

圖1 堆疊降噪自編碼器工作原理示意圖Fig.1 Stacked denoising auroencoder working principle diagram

將若干個(gè)DAE 堆疊起來(lái),就可以形成SDAE,如圖1 所示.每一個(gè)DAE 都以前一個(gè)DAE 的隱藏層輸出作為原始輸入數(shù)據(jù),添加噪聲后利用被污染的數(shù)據(jù)進(jìn)行訓(xùn)練.其訓(xùn)練過(guò)程首先是逐個(gè)DAE 貪婪訓(xùn)練,最后通過(guò)BP 算法[20]微調(diào)整個(gè)網(wǎng)絡(luò)以獲得最佳網(wǎng)絡(luò)模型.

本文提出的KBSDAE 實(shí)現(xiàn)了深度網(wǎng)絡(luò)知識(shí)抽取和插入目的,形成的KBSDAE 系統(tǒng)如圖2 所示.下面將闡述知識(shí)抽取和插入的詳細(xì)過(guò)程.

圖2 KBSDAE 模型結(jié)構(gòu)圖Fig.2 KBSDAE model structure diagram

2 規(guī)則抽取與推理

本文提出的規(guī)則集是由置信度符號(hào)規(guī)則和分類規(guī)則合并而成的,兩種形式規(guī)則的合成有助于規(guī)則集具有更高的可理解性和推理精度.對(duì)兩種規(guī)則集分別建立了相應(yīng)的規(guī)則抽取算法,并且面向規(guī)則推理過(guò)程中兩者形式不同的問(wèn)題,建立了一套基于懲罰邏輯[21]的完整推理算法.

2.1 混合規(guī)則

符號(hào)規(guī)則方面,傳統(tǒng)邏輯符號(hào)規(guī)則有很多種表達(dá)形式,但是它們?cè)趶?fù)雜問(wèn)題上的邏輯推理能力較弱.為了能描述深度神經(jīng)網(wǎng)絡(luò),本文選擇了一種數(shù)值和符號(hào)相結(jié)合的規(guī)則 ——置信度規(guī)則.這種規(guī)則存在以下特性:規(guī)則節(jié)點(diǎn)與網(wǎng)絡(luò)神經(jīng)元一一對(duì)應(yīng);規(guī)則節(jié)點(diǎn)間的邏輯關(guān)系是從網(wǎng)絡(luò)中拓?fù)涠?規(guī)則置信值是對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行擬合得出的;即便面對(duì)復(fù)雜的大型規(guī)則結(jié)構(gòu)也可以進(jìn)行有效的數(shù)學(xué)推理.這些特性賦予符號(hào)規(guī)則兩種能力:1)符號(hào)規(guī)則的結(jié)構(gòu)與網(wǎng)絡(luò)基本相同且元素一一對(duì)應(yīng),網(wǎng)絡(luò)內(nèi)部的邏輯關(guān)系可以被遷移到規(guī)則上作為一種網(wǎng)絡(luò)內(nèi)部關(guān)系的表現(xiàn);2)規(guī)則可以作為深度神經(jīng)網(wǎng)絡(luò)的一種簡(jiǎn)化表示,具備一定的網(wǎng)絡(luò)能力.所以符號(hào)規(guī)則的運(yùn)行其實(shí)是對(duì)神經(jīng)網(wǎng)絡(luò)行為的一種簡(jiǎn)化模仿,而這種模仿過(guò)程是人類所能理解的.

置信度規(guī)則是一個(gè)符合充要條件的等式c:h ?x1∧···∧xn,其中c屬于實(shí)數(shù)類型,定義為置信值;h和xi(i∈[1,n])為假設(shè)命題,這種符號(hào)規(guī)則形式與文獻(xiàn)[16]中的規(guī)則相似,但由于面向的網(wǎng)絡(luò)不同,規(guī)則符號(hào)的意義也不同.本文定義具體的置信度符號(hào)規(guī)則為

該規(guī)則可解釋為:當(dāng)x1,···,xn命題成立時(shí),h命題也成立的置信值為c,反之亦成立.其中,是符號(hào)規(guī)則標(biāo)簽,解釋為第l層第j個(gè)符號(hào)規(guī)則;代表DAE 中第l個(gè)隱藏層中第j個(gè)神經(jīng)元;xi(i∈[1,n])代表DAE 輸入層中第i個(gè)神經(jīng)元,P和N分別代表對(duì)產(chǎn)生積極和消極影響的輸入層神經(jīng)元集合.根據(jù)表達(dá)式可以看出,符號(hào)規(guī)則的整體結(jié)構(gòu)和堆疊的自編碼器具有相似的堆疊嵌套結(jié)構(gòu),可以最大化復(fù)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu).

分類規(guī)則的解釋邏輯是對(duì)網(wǎng)絡(luò)分類過(guò)程的一種模仿,由數(shù)值和邏輯符號(hào)組成.這種規(guī)則是從功能上對(duì)神經(jīng)網(wǎng)絡(luò)分類層的模仿,通過(guò)數(shù)值和符號(hào)定義不同類別的不同區(qū)間可以最大限度的對(duì)網(wǎng)絡(luò)分類過(guò)程進(jìn)行模仿和解釋.同時(shí),由于分類規(guī)則組成元素與置信度符號(hào)規(guī)則相同,故兩者可以進(jìn)行有效結(jié)合.具體的規(guī)則形式表示為

其中,?是規(guī)則的標(biāo)簽,BN表示從置信度符號(hào)規(guī)則集中推導(dǎo)輸出的可信值集,VN代表對(duì)應(yīng)的實(shí)數(shù)集,y為類值標(biāo)簽,可以被賦值為某一類cl.該規(guī)則的解釋為:當(dāng)符號(hào)規(guī)則集輸出的BN符合相應(yīng)的條件時(shí),可以判定這組數(shù)據(jù)屬于某一類cl.

兩種規(guī)則的合并即為本文提出的混合邏輯規(guī)則Rmix

可以看出,它是由堆疊的多層置信度符號(hào)規(guī)則和分類規(guī)則混合而成.

2.2 符號(hào)規(guī)則抽取

符號(hào)規(guī)則抽取目標(biāo)是每一個(gè)自編碼器的編碼階段[17],抽取過(guò)程的核心原理是將規(guī)則置信度cjsj最大化擬合權(quán)重值wj.根據(jù)DAE 基本原理,其輸入數(shù)據(jù)x到隱含表示h的映射表示為

根據(jù)式(7)提出新的函數(shù),同樣可以將數(shù)據(jù)x映射到隱藏層空間中

其中,cj是連續(xù)實(shí)數(shù),sj∈{1,0,-1}是對(duì)wj的符號(hào)項(xiàng)表示,可以理解為sij=sign(wij).當(dāng)xi或?xi在規(guī)則j中時(shí),sij分別等于1 或 -1,其余情況下sij等于0.對(duì)比式(7)和式(8)可以看出,二式的形式和元素基本相同.為了使hj1可以有效地代表隱藏層空間,需要找到合適的cj和sj,使hj1近似于hj.本文通過(guò)最小化wj與cj×sj之間的歐氏距離實(shí)現(xiàn)擬合過(guò)程

在提取cj的過(guò)程中,對(duì)式(8)進(jìn)行求導(dǎo)并令其等于零,即∑

經(jīng)過(guò)數(shù)學(xué)推導(dǎo),最終可以得到cj的表達(dá)式為

進(jìn)一步對(duì)式(9)分析,可得

可知,如果想要?dú)W氏距離最小,需要在sij=1或sij=0的情況下.進(jìn)一步,如果一個(gè)元素對(duì)應(yīng)的歐氏距離只有在sij=0 的情況下最小,那么可以判定該元素xi不應(yīng)該出現(xiàn)在規(guī)則hj中.即

可知,當(dāng) 2|wij|≤cj時(shí),對(duì)應(yīng)的元素不應(yīng)出現(xiàn)在規(guī)則中.通過(guò)式(11)和式(13)可以得到一種具有強(qiáng)連接關(guān)系和判定系數(shù)的符號(hào)規(guī)則集,能夠更加緊湊地描述DAE 網(wǎng)絡(luò).

根據(jù)上述分析,從DAE 網(wǎng)絡(luò)中抽取置信度符號(hào)規(guī)則的具體算法DAE_CRE 可參考文獻(xiàn)[17]的規(guī)則抽取算法.SDAE 是由DAE 編碼網(wǎng)絡(luò)堆疊而成的,只需將DAE_CRE算法迭代運(yùn)行,就能抽取出SDAE 編碼器部分的置信度符號(hào)規(guī)則集.同時(shí),通過(guò)上述方法得到的規(guī)則集具有堆疊嵌套結(jié)構(gòu),這有助于規(guī)則集的推理性.

2.3 分類規(guī)則抽取

置信度符號(hào)規(guī)則可以表示SDAE 的堆疊編碼器部分,但是在分類層的表示上存在較大的信息損失[17].為了更加準(zhǔn)確地解釋SDAE,本文運(yùn)用數(shù)據(jù)挖掘領(lǐng)域分類規(guī)則的相關(guān)知識(shí),從統(tǒng)計(jì)意義上解釋分類層.為了與之前的符號(hào)規(guī)則保持一致性,分類規(guī)則的基本形式也是IF-THEN.

利用遺傳算法(Genetic algorithm,GA)[22]挖掘符號(hào)規(guī)則推導(dǎo)出的置信值與分類標(biāo)簽之間的關(guān)系是分類規(guī)則抽取算法的核心思想.在實(shí)驗(yàn)中發(fā)現(xiàn),從符號(hào)規(guī)則中推導(dǎo)出的置信度集合存在數(shù)據(jù)間差異過(guò)小的問(wèn)題.這使得一般的GA 編碼方式得到的規(guī)則性能較低.針對(duì)上述問(wèn)題,本文改進(jìn)了Yu等[23]的編碼方式,使分類規(guī)則性能提高的同時(shí)讓規(guī)則更加緊湊簡(jiǎn)單.算法基因的構(gòu)成如表1 所示,每一個(gè)基因由狀態(tài)判別量(Active,Act)、符號(hào)判別量(Distinguished symbol,DS)、具體數(shù)值(Value,V)三個(gè)元素組成.N個(gè)這樣的基因按照特征的順序組成了染色體,N為特征數(shù)量.

表1 遺傳算法基因編碼示意表Table 1 Genetic algorithm gene coding schematic

本文選用的GA 算法適應(yīng)度函數(shù)是較為普遍的規(guī)則質(zhì)量評(píng)估函數(shù):

其中,TP表示被判斷為正樣本,實(shí)際上也是正樣本;FN表示被判斷為負(fù)樣本,實(shí)際上也是負(fù)樣本;TN表示被判斷為負(fù)樣本,但實(shí)際上是正樣本;FP表示被判斷為正樣本,但實(shí)際上是負(fù)樣本.(TP/(TP+FN))和 (TN/(FP+TN))分別表示每條規(guī)則對(duì)該類別的敏感度和特異性.通過(guò)這個(gè)適應(yīng)度函數(shù),可以得到對(duì)每一個(gè)分類都具有高敏感度和特異性的規(guī)則.

2.4 規(guī)則推理

由于符號(hào)規(guī)則與分類規(guī)則的表現(xiàn)形式不同,需要特定的推導(dǎo)方法才能使混合規(guī)則集具有可推導(dǎo)性,抽取的規(guī)則集的意義才能顯現(xiàn).本文提出的推導(dǎo)方法(Rule-INF)分成兩個(gè)部分:符號(hào)規(guī)則部分和分類規(guī)則部分.符號(hào)規(guī)則的推導(dǎo)借鑒了文獻(xiàn)[21]中懲罰邏輯的思想并加以改善.通過(guò)置信度值的數(shù)值特性,符號(hào)規(guī)則的推導(dǎo)突破了二值的限制,可以用于推導(dǎo)大量的連續(xù)性數(shù)據(jù).分類規(guī)則的推導(dǎo)將符號(hào)規(guī)則輸出的置信值與規(guī)則一一對(duì)照,尋找出符合條件的規(guī)則并進(jìn)行分類.具體的推導(dǎo)算法如算法1 所示.

算法 1.Rule-INF 算法

3 KBSDAE

本節(jié)將討論如何利用混合規(guī)則集Rmix初始化并訓(xùn)練KBSDAE,這種初始化過(guò)程可以看作是一種遷移學(xué)習(xí),即在網(wǎng)絡(luò)創(chuàng)建的初始階段就賦予深度網(wǎng)絡(luò)有效的知識(shí).通過(guò)這種方式得到的KBSDAE網(wǎng)絡(luò)具有更快的收斂速度和更高的識(shí)別精度.混合規(guī)則包含符號(hào)規(guī)則和分類規(guī)則,它們分別對(duì)應(yīng)初始化KBSDAE 的編碼部分和分類器部分,本節(jié)將分別討論初始化KBSDAE 不同訓(xùn)練階段的方法.

3.1 DAE 學(xué)習(xí)階段

基于Tran等[17]的符號(hào)規(guī)則與DBN 相結(jié)合的思想,本文首先篩選出置信度較高的分類規(guī)則束,其次利用符號(hào)規(guī)則初始化DAE 網(wǎng)絡(luò),最后利用特殊的參數(shù)更新策略完成訓(xùn)練.

符號(hào)規(guī)則束篩選算法Rule-Screen 基于符號(hào)規(guī)則的置信度運(yùn)行.由于規(guī)則結(jié)構(gòu)具有迭代嵌套特性,可以看作一種類似樹(shù)狀結(jié)構(gòu),所以將規(guī)則集分割為規(guī)則束以作為篩選目標(biāo).每個(gè)規(guī)則束的置信度值通過(guò)推導(dǎo)算法得到,最終選取置信度較高的規(guī)則用于初始化網(wǎng)絡(luò).具體的算法流程如算法2 所示,將第1 層符號(hào)規(guī)則集的置信度值作為輸入在符號(hào)規(guī)則集中進(jìn)行推導(dǎo),并最終篩選出置信度高的n個(gè)規(guī)則束.通過(guò)這種方法將規(guī)則集中最可信的規(guī)則用于網(wǎng)絡(luò)初始化,在不造成信息過(guò)度損失的情況下簡(jiǎn)化初始化過(guò)程.在本文中,規(guī)則篩選率為1/n=0.3,該參數(shù)的選取依據(jù)參照文獻(xiàn)[24].實(shí)驗(yàn)發(fā)現(xiàn),利用算法2 得到的規(guī)則束囊括了各層符號(hào)規(guī)則中的高置信度規(guī)則,這從另一個(gè)方面證明了算法的有效性.

算法 2.Rule-Screen 算法

由于符號(hào)規(guī)則的結(jié)構(gòu)與DAE 的編碼階段基本相同,本文將規(guī)則中的元素和置信度值分別初始化為對(duì)應(yīng)網(wǎng)絡(luò)中的神經(jīng)元和連接權(quán)重,并且在網(wǎng)絡(luò)訓(xùn)練過(guò)程中抑制被初始化參數(shù)的更新,使知識(shí)得以保留.具體訓(xùn)練步驟如下.

步驟 1.建立一個(gè)SDAE,其結(jié)構(gòu)和抽取規(guī)則的原網(wǎng)絡(luò)相同.對(duì)每一個(gè)規(guī)則cj:hj?x1∧···∧xn,hj&x1∧···∧xn分別對(duì)應(yīng)目標(biāo)網(wǎng)絡(luò)的隱藏層神經(jīng)元以及輸入層神經(jīng)元集.注意,這些神經(jīng)元集的排列位置應(yīng)與原網(wǎng)絡(luò)位置相同.

步驟 2.確定在hj與x1···xn之間的連接權(quán)重.如果輸入神經(jīng)元對(duì)應(yīng)規(guī)則中的xp,那么s=1;反之,則s=-1.其余的與hj沒(méi)有關(guān)聯(lián)以及隱藏層與輸出層之間的權(quán)重設(shè)為較小的隨機(jī)值.神經(jīng)元偏差設(shè)為隨機(jī)值.

步驟 3.利用BP 算法訓(xùn)練DAE,其中被規(guī)則初始化的連接權(quán)重不被更新.為了保證代入的規(guī)則在訓(xùn)練過(guò)程中與網(wǎng)絡(luò)較好嵌合,利用隨機(jī)數(shù)對(duì)隱藏層神經(jīng)元輸出進(jìn)行二值化處理:隨機(jī)生成一個(gè)數(shù)值為0-1 的隨機(jī)數(shù)R,如果hj＞R,那么hj=1;反之,則hj=0.

步驟 4.自上而下地對(duì)每一個(gè)DAE 重復(fù)執(zhí)行步驟1～3,直到編碼部分訓(xùn)練完成.

3.2 Fine-tuning 階段

分類規(guī)則的結(jié)構(gòu)形式與SDAE 的分類層結(jié)構(gòu)不同,不能直接進(jìn)行初始化過(guò)程.本文將KBANN[7]的相關(guān)知識(shí)融入到KBSDAE 的分類層中,訓(xùn)練過(guò)程如圖3 所示.但是本文所定義的分類規(guī)則包含實(shí)數(shù)集和符號(hào)集,而只針對(duì)符號(hào)規(guī)則的KBANN 方法在這里并不能完全適用.為了將分類規(guī)則中的實(shí)數(shù)知識(shí)初始化入網(wǎng)絡(luò)中,本文借鑒了Fernando等[10]提出的INSS 系統(tǒng)思想,利用實(shí)數(shù)型規(guī)則初始化網(wǎng)絡(luò).

圖3 KBSDAE 的Fine-tuning 階段示意圖Fig.3 Fine-tuning diagram of KBSDAE

初始化分類層的核心步驟是,利用分類規(guī)則在分類層和DAEs 中間新增加一個(gè)隱藏層,定義為lN+1.對(duì)每一個(gè)規(guī)則基本元素對(duì)應(yīng)網(wǎng)絡(luò)中DAEs 部分最后一個(gè)隱藏層的神經(jīng)元,VnN對(duì)應(yīng)新建隱藏層lN+1中的神經(jīng)元,類標(biāo)簽值clj對(duì)應(yīng)分類層神經(jīng)元.具體的權(quán)值和偏置值初始化方法如圖4所示.圖4 以一條分類規(guī)則為例,展示了這條規(guī)則初始化網(wǎng)絡(luò)的全過(guò)程,其中P代表連向該單元的神經(jīng)元數(shù)目,w和C分別代表分類規(guī)則的靈敏度和可信度.為了更清晰地表達(dá),圖4 省略了大部分連接線.本文中定義Weight2=1.需要注意的是,為了提高被初始化網(wǎng)絡(luò)的泛化性,微調(diào)過(guò)程中在新隱藏層lN+1和編碼階段頂層lN分別新加25 個(gè)神經(jīng)元,這種操作在KBANN[7]中被證明是有效的.

圖4 分類規(guī)則初始化網(wǎng)絡(luò)算法示意圖Fig.4 Classification rule initialize network algorithm diagram

4 實(shí)驗(yàn)與結(jié)果分析

4.1 規(guī)則有效性驗(yàn)證

為驗(yàn)證抽取知識(shí)的有效性.利用數(shù)據(jù)關(guān)系已知的簡(jiǎn)單數(shù)據(jù)訓(xùn)練自編碼器,并從編碼過(guò)程中抽取知識(shí).如果抽取出規(guī)則所代表的知識(shí)與已知數(shù)據(jù)關(guān)系相符,那么可以證明從網(wǎng)絡(luò)中抽取特征間知識(shí)的有效性.本文利用具有異或關(guān)系的數(shù)據(jù)對(duì)自編碼器AE 進(jìn)行訓(xùn)練,并從編碼過(guò)程中抽取符號(hào)規(guī)則集.該實(shí)驗(yàn)的目的在于驗(yàn)證從不同規(guī)模的AE 提取出的符號(hào)規(guī)則是否也具有異或特性.輸入數(shù)據(jù)具有三個(gè)維度x,y,z,它們具有z?x ⊕y關(guān)系的同時(shí)還具有x ?y ⊕z和y?x ⊕z關(guān)系.通過(guò)訓(xùn)練讓DAE 學(xué)習(xí)異或關(guān)系.

從不同DAE 中提取的部分符號(hào)規(guī)則如表2 所示.其中與輸入數(shù)據(jù)關(guān)系相符的規(guī)則具有較大的置信度,反之只具有很小的置信度,并且從不同規(guī)模網(wǎng)絡(luò)中抽取出的規(guī)則都基本符合數(shù)據(jù)關(guān)系.這證實(shí)了本文所提出的符號(hào)規(guī)則體系可以有效拓?fù)洳⒊槿〕鼍W(wǎng)絡(luò)中的知識(shí).盡管抽取過(guò)程存在一定的信息損失,但是依舊可以很好地表示DAE 的編碼過(guò)程.

表2 部分DAE 符號(hào)規(guī)則抽取結(jié)果Table 2 DAE symbol rule extraction result

為了驗(yàn)證符號(hào)規(guī)則是否也能夠像DAE 一樣提取特征,本文利用三種特征維度較高且數(shù)據(jù)特征與標(biāo)簽間的關(guān)系不明顯的數(shù)據(jù)集分別對(duì)不同規(guī)模的DAEs 進(jìn)行訓(xùn)練并抽取規(guī)則.一般情況下,相較于原始數(shù)據(jù),經(jīng)過(guò)DAE 編碼后輸出的數(shù)據(jù)具有更低的維度,而利用這種低緯度數(shù)據(jù)訓(xùn)練的支持向量機(jī)(Suppprt vector machine,SVM)一般具有更好的分類結(jié)果.如果相應(yīng)置信度符號(hào)規(guī)則對(duì)輸入的原始數(shù)據(jù)經(jīng)過(guò)推導(dǎo)后所輸出的低緯度數(shù)據(jù)也可以提升SVM 的分類結(jié)果,那么可以證明從DAE 中提取出來(lái)的規(guī)則具備同樣的特征提取能力.

利用DAE 無(wú)監(jiān)督訓(xùn)練后輸出的降維數(shù)據(jù)和對(duì)應(yīng)規(guī)則推導(dǎo)得到的置信值集合分別對(duì)SVM 進(jìn)行訓(xùn)練并測(cè)試分類性能,其中SVM 選用線性核函數(shù).數(shù)據(jù)集包含MNIST 手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集、HAR 人體活動(dòng)識(shí)別數(shù)據(jù)集、數(shù)據(jù)集的圖像中每個(gè)像素有256 (0～255)灰度級(jí),將這些圖像歸一化到區(qū)間[0,1].MNIST 數(shù)據(jù)集包含 60 000 個(gè)訓(xùn)練數(shù)據(jù)和10 000個(gè)測(cè)試數(shù)據(jù)集.為了提高訓(xùn)練效率,本文首先選取10 000個(gè)訓(xùn)練數(shù)據(jù)和2 000 個(gè)驗(yàn)證數(shù)據(jù)訓(xùn)練初始網(wǎng)絡(luò).之后選取分類效果最好的初始網(wǎng)絡(luò)并利用完整的60 000個(gè)數(shù)據(jù)進(jìn)行訓(xùn)練.最后再利用10 000 個(gè)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試.HAR 數(shù)據(jù)包含由智能手機(jī)收集的561 維特征以及對(duì)應(yīng)的6 種人物動(dòng)作,有8 239 個(gè)訓(xùn)練數(shù)據(jù)集和2 060 個(gè)測(cè)試數(shù)據(jù)集.訓(xùn)練模型的參數(shù):DAE 的學(xué)習(xí)率為0.01～1 之間,噪聲率在0.2～0.5 之間.SVM 的懲罰系數(shù)在0.01～1 之間.

利用SVM 對(duì)不同數(shù)據(jù)進(jìn)行10 折交叉訓(xùn)練的結(jié)果如表3 所示.相較于原始數(shù)據(jù),經(jīng)過(guò)DAEs 或?qū)?yīng)符號(hào)規(guī)則提取特征的低維數(shù)據(jù)具有更好的可分性.雖然規(guī)則的特征提取能力和相應(yīng)DAEs 之間存在差距,但是從某種意義上講,DAEs 中抽取的規(guī)則可以在一定程度上代表DAEs,故規(guī)則也具有穩(wěn)定降維的能力.

表3 復(fù)雜數(shù)據(jù)集降維后SVM 10 折交叉分類結(jié)果(%)Table 3 Ten-fold cross-classification results of dimensionally reduced complex data on SVM (%)

4.2 混合規(guī)則可推導(dǎo)解釋性驗(yàn)證

為了驗(yàn)證混合規(guī)則的可推導(dǎo)性和可解釋性,利用DNA promoter[25]數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)并抽取規(guī)則.該數(shù)據(jù)集普遍應(yīng)用于驗(yàn)證網(wǎng)絡(luò)-符號(hào)系統(tǒng),數(shù)據(jù)集具有106 例數(shù)據(jù),分成53 個(gè)激活項(xiàng)數(shù)據(jù)和53 個(gè)不激活項(xiàng)數(shù)據(jù),每一例數(shù)據(jù)由DNA 的-50～7 位置上的染色體狀態(tài)組成(A,T,G,C).將染色體狀態(tài)進(jìn)行one-hot 編碼以方便網(wǎng)絡(luò)學(xué)習(xí),如:A=(1,0,0,0),T=(0,1,0,0)等.經(jīng)過(guò)數(shù)據(jù)處理,原數(shù)據(jù)變?yōu)?28 維數(shù)據(jù).隨機(jī)選取86 例訓(xùn)練數(shù)據(jù),20 例預(yù)測(cè)數(shù)據(jù).首先利用數(shù)據(jù)分別訓(xùn)練5 個(gè)單層SDAE,網(wǎng)絡(luò)規(guī)模為228-3-2 (即:單層SDAE 的輸入神經(jīng)元個(gè)數(shù)為228 (輸入數(shù)據(jù)為228 維數(shù)據(jù)),SDAE 的隱層神經(jīng)元個(gè)數(shù)為3,輸出層神經(jīng)元個(gè)數(shù)為2 (根據(jù)分類數(shù)確定，此處為激活項(xiàng)與不激活項(xiàng)兩類)),兩個(gè)訓(xùn)練階段的學(xué)習(xí)率分別為0.01和1,DAE 訓(xùn)練階段噪聲率為0.1.這些網(wǎng)絡(luò)在測(cè)試集上的平均識(shí)別精度為90%,而對(duì)應(yīng)抽取出的規(guī)則在測(cè)試集上的平均推導(dǎo)識(shí)別精度為91.52%.具體的分類規(guī)則如表4 所示,可以看出本文提出的混合規(guī)則具有較高的推導(dǎo)判別性能.

表4 基于DNA promoter 的分類規(guī)則明細(xì)表(%)Table 4 Classification rule schedule based on DNA promoter (%)

在模型的可解釋方面,本文所提出模型的核心思想為符號(hào)與網(wǎng)絡(luò)相結(jié)合,而規(guī)則就是對(duì)網(wǎng)絡(luò)的一種模擬和解釋.接下來(lái)我們將嘗試?yán)靡?guī)則對(duì)網(wǎng)絡(luò)進(jìn)行解釋并驗(yàn)證.基于DNA promoter 數(shù)據(jù)集的模型規(guī)則如表3和表4 所示.表5 包含了3 個(gè)隱藏神經(jīng)元所對(duì)應(yīng)的部分規(guī)則以及DNA promoter 數(shù)據(jù)集固有的基本規(guī)則,其中 “[]”表示為任意堿基都成立;“T (A)”表示T 或A 在該位置出現(xiàn)都算假設(shè)成立.以為例解釋網(wǎng)絡(luò)行為:如果輸入數(shù)據(jù)在規(guī)則片段1 對(duì)應(yīng)位置的堿基排列為 “TTG (Tor A)C”;在規(guī)則片段2 對(duì)應(yīng)位置的堿基排列為 “(Tor A)AAAGC”;在規(guī)則片段3 對(duì)應(yīng)位置的堿基排列為“AATAA”,那么DAE 的隱藏層神經(jīng)元h2的輸出值則盡可能大.根據(jù)表4 的分類規(guī)則,如果h2和h3足夠大,就將這一數(shù)據(jù)定義為 “promoter”.上述的過(guò)程為規(guī)則推導(dǎo)的過(guò)程,也在一定意義上解釋了神經(jīng)網(wǎng)絡(luò)內(nèi)部的運(yùn)行機(jī)理.為了驗(yàn)證這種解釋是否正確,將抽取出的規(guī)則與數(shù)據(jù)的固有基本規(guī)則進(jìn)行對(duì)比,可以發(fā)現(xiàn)基本規(guī)則與生成規(guī)則所對(duì)應(yīng)的地方基本相符,這也驗(yàn)證了利用規(guī)則抽取網(wǎng)絡(luò)內(nèi)部知識(shí)的有效性.

表5 基于DNA promote 數(shù)據(jù)集的部分符號(hào)規(guī)則明細(xì)Table 5 Partial symbol rule details based on DNA promote

對(duì)比規(guī)則和標(biāo)準(zhǔn)網(wǎng)絡(luò)在相同測(cè)試數(shù)據(jù)下的推導(dǎo)精度,以驗(yàn)證規(guī)則的高精度推導(dǎo)能力和穩(wěn)定性.根據(jù)不同訓(xùn)練數(shù)據(jù)量,分別連續(xù)訓(xùn)練20 個(gè)標(biāo)準(zhǔn)單層DAE 網(wǎng)絡(luò)并從中抽取規(guī)則.利用20 例測(cè)試數(shù)據(jù)分別對(duì)每一個(gè)網(wǎng)絡(luò)和其對(duì)應(yīng)的規(guī)則進(jìn)行精度測(cè)試,結(jié)果如圖5 所示.圖中橫坐標(biāo)表示標(biāo)準(zhǔn)網(wǎng)絡(luò)在測(cè)試集上的預(yù)測(cè)精度,縱坐標(biāo)表示規(guī)則在測(cè)試集上的推導(dǎo)精度.可以看出,測(cè)試結(jié)果大部分都落在對(duì)角線周圍,這證明規(guī)則推導(dǎo)精度和對(duì)應(yīng)的標(biāo)準(zhǔn)網(wǎng)絡(luò)大體相當(dāng),且具有較高穩(wěn)定性.即便訓(xùn)練數(shù)據(jù)量發(fā)生變化,推導(dǎo)精度也不會(huì)發(fā)生突變.

圖5 SDAE和對(duì)應(yīng)混合規(guī)則DNA promoter 的識(shí)別率對(duì)比(%)Fig.5 Comparison of DNA promoter recognition rate between SDAE and corresponding blending rules (%)

4.3 標(biāo)準(zhǔn)數(shù)據(jù)集驗(yàn)證

KBSDAE 在構(gòu)建過(guò)程中創(chuàng)造性地同時(shí)利用兩種不同類型的規(guī)則進(jìn)行網(wǎng)絡(luò)確定與權(quán)重參數(shù)初始化,其網(wǎng)絡(luò)結(jié)構(gòu)以及訓(xùn)練方法都與傳統(tǒng)SDAE 有所不同.因此,本文采用UCI 數(shù)據(jù)庫(kù)[26]中的經(jīng)典標(biāo)準(zhǔn)數(shù)據(jù)(如表6 所示)對(duì)KBSDAE 的分類性能進(jìn)行測(cè)試,并與其他典型分類器進(jìn)行比較.

表6 UCI 數(shù)據(jù)集信息Table 6 UCI dataset information

KBSDAE 的網(wǎng)絡(luò)結(jié)構(gòu)為兩個(gè)DAE 堆疊(第1個(gè)DAE 隱藏層神經(jīng)元數(shù)稍大于輸入特征數(shù),第2個(gè)DAE 隱藏層神經(jīng)元數(shù)稍小于輸入特征數(shù)),外加一層由分類規(guī)則初始化出的隱藏層lN+1,該層神經(jīng)元數(shù)根據(jù)分類規(guī)則變化,最后堆疊一個(gè)Softmax 分類層.兩個(gè)訓(xùn)練階段的學(xué)習(xí)率在0～0.01 之間,噪聲率在0.01～0.3 之間.DAE 迭代訓(xùn)練200 次,Finetuning 階段迭代50 次,其余分類器的迭代次數(shù)與之相似.對(duì)比的網(wǎng)絡(luò)有DBN,網(wǎng)絡(luò)結(jié)構(gòu)為兩個(gè)RBM 堆疊,其結(jié)構(gòu)與KBSDAE 相似,兩個(gè)訓(xùn)練階段學(xué)習(xí)率在0.1～1 之間,RBM 訓(xùn)練階段的動(dòng)量為0.05～0.3;Sym-DBN 模型來(lái)自于文獻(xiàn)[17],是一種符號(hào)規(guī)則和DBN 相結(jié)合的模型,其網(wǎng)絡(luò)結(jié)構(gòu)與DBN 相同,兩階段學(xué)習(xí)率在0.01～0.2 之間,RBM訓(xùn)練階段的動(dòng)量為0.05～0.3.SDAE 為兩層DAE堆疊而成,網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)和KBSDAE 相同.INSS-KBANN[10]中的規(guī)則由GA 算法直接從訓(xùn)練數(shù)據(jù)集中挖掘,包含一個(gè)隱藏層,學(xué)習(xí)率在0.1～1 之間,迭代訓(xùn)練200 次.BPNN 模型結(jié)構(gòu)與KBSDAE相同,學(xué)習(xí)率在0.1～1 之間,迭代訓(xùn)練300 次.

如表7 所示,其中所有識(shí)別器的測(cè)試結(jié)果都是經(jīng)過(guò)5 折交叉[27]后得到.在實(shí)驗(yàn)過(guò)程中,將數(shù)據(jù)隨機(jī)等分成5 份,其中4 份作為訓(xùn)練數(shù)據(jù),另外一份作為測(cè)試數(shù)據(jù).實(shí)驗(yàn)連續(xù)進(jìn)行5 次,保證每一份數(shù)據(jù)都成為過(guò)測(cè)試集和訓(xùn)練集.實(shí)驗(yàn)結(jié)果證明,KBSDAE的分類性能相較于傳統(tǒng)的機(jī)器學(xué)習(xí)分類器有較為明顯的提升.特別地,KBSDAE 明顯優(yōu)于SDAE,這說(shuō)明符號(hào)規(guī)則與分類規(guī)則融合的SDAE設(shè)計(jì)方法顯著提高了其特征學(xué)習(xí)與識(shí)別性能.

表7 UCI 數(shù)據(jù)集信息 (%)Table 7 UCI dataset information (%)

知識(shí)代入過(guò)程中對(duì)網(wǎng)絡(luò)的影響在于初始化階段.網(wǎng)絡(luò)的初始化對(duì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程具有較大的影響[7].為了驗(yàn)證利用知識(shí)初始化網(wǎng)絡(luò)是否可以帶來(lái)積極影響,本文利用 HAR 數(shù)據(jù)集建立KBSDAE 網(wǎng)絡(luò),并記錄了KBSDAE 在無(wú)監(jiān)督訓(xùn)練和微調(diào)階段的均方誤差(Mean square error,MSE)變化.MSE 可以很好地描述網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的分類性能變化.從圖6 可以看出,無(wú)論是在無(wú)監(jiān)督還是在微調(diào)階段,KBSDAE 的MSE相較于規(guī)模相同的SDAE 都具有更低的起點(diǎn)、更快的收斂速度和更低的收斂區(qū)間.這證明了利用知識(shí)初始化網(wǎng)絡(luò)所帶來(lái)的積極影響,進(jìn)一步證明了本文提出方法的有效性.

圖6 KBSDAE和SDAE 在HAR 數(shù)據(jù)集上訓(xùn)練過(guò)程的均方誤差變化對(duì)比Fig.6 Comparison of mean square error of KBSDAE and SDAE training process on HAR dataset

為了進(jìn)一步驗(yàn)證KBSDAE 模型在處理復(fù)雜分類問(wèn)題時(shí)能否有效進(jìn)行分類,選取了兩種標(biāo)準(zhǔn)數(shù)據(jù)集:USPS 手寫(xiě)數(shù)據(jù)集以及HAR 數(shù)據(jù)集[28].對(duì)比了SDAE和KBSDAE 的類識(shí)別性能.具體的實(shí)驗(yàn)數(shù)據(jù)如表8 所示.從表中可以看出,在結(jié)構(gòu)參數(shù)基本相同的情況下,KBSDAE 與SDAE 的分類情況類似,故認(rèn)定KBSDAE 不存在類識(shí)別不平衡問(wèn)題.值得注意的是,文獻(xiàn)[27]利用改進(jìn)的支持向量機(jī)處理HAR 數(shù)據(jù)集的分類問(wèn)題,識(shí)別精度最高僅達(dá)到89.3%,而KBSDAE 可以達(dá)到98.5%的識(shí)別精度.

表8 復(fù)雜數(shù)據(jù)集分類結(jié)果對(duì)比(%)Table 8 Classification results of comparison on complex datasets (%)

為了驗(yàn)證KBSDAE 在復(fù)雜數(shù)據(jù)集上的分類性能是否足夠優(yōu)越.本文選取了目前較為主流的一維分類器和符號(hào)神經(jīng)模型在USPS和HAR 數(shù)據(jù)集上進(jìn)行分類結(jié)果橫向?qū)Ρ?結(jié)果如表9 所示,其中所有結(jié)果都是5 折交叉后得到的.可以看出,KBSDAE相較于其他分類模型具有更好的分類效果.

表9 復(fù)雜數(shù)據(jù)集5 折交叉分類結(jié)果對(duì)比(%)Table 9 Comparison of five-fold cross-classification results on complex datasets (%)

4.4 靈敏度分析

為了驗(yàn)證規(guī)則中的知識(shí)是否能賦予網(wǎng)絡(luò)一定的分類性能以及KBSDAE 對(duì)數(shù)據(jù)的敏感度,對(duì)比了不同訓(xùn)練數(shù)據(jù)量下網(wǎng)絡(luò)模型的預(yù)測(cè)精度.本文利用DNA promoter 數(shù)據(jù)分別訓(xùn)練SDAE和KBSDAE.訓(xùn)練數(shù)據(jù)量從10 開(kāi)始逐漸遞增.訓(xùn)練后的網(wǎng)絡(luò)利用20 個(gè)測(cè)試數(shù)據(jù)進(jìn)行識(shí)別性能測(cè)試,結(jié)果如圖7所示,在訓(xùn)練數(shù)據(jù)量很小的情況下,KBSDAE 依舊具有高識(shí)別精度,這是由于知識(shí)代入網(wǎng)絡(luò)的結(jié)果.并且,隨著訓(xùn)練數(shù)據(jù)量的增加KBSDAE 識(shí)別精度也穩(wěn)定高于傳統(tǒng)SDAE.

圖7 不同DNA promoter 數(shù)據(jù)量訓(xùn)練的SDAE 與KBSDAE 分類性能對(duì)比Fig.7 Comparison of classification performance between SDAE and KBSDAE trained by different DNA promoter data

為進(jìn)一步驗(yàn)證知識(shí)代入網(wǎng)絡(luò)的過(guò)程是否有效,對(duì)比了KBSDAE和SDAE 在不進(jìn)行Fine-tuning和只進(jìn)行幾步Fine-tuning 后的測(cè)試精度.利用DNA promoter 數(shù)據(jù)集分別建立了結(jié)構(gòu)和訓(xùn)練參數(shù)相同的SDAE和KBSDAE,其中兩個(gè)訓(xùn)練階段的學(xué)習(xí)率分別為0.01和1,DAE 訓(xùn)練階段噪聲率為0.1.實(shí)驗(yàn)結(jié)果如圖8 所示,可以看到KBSDAE 在不進(jìn)行Fine-tuning 的情況下仍具有80%的測(cè)試精度,與SDAE 的51%測(cè)試精度相比提升明顯,這進(jìn)一步證明了利用規(guī)則將知識(shí)代入網(wǎng)絡(luò)中的方法是有效的.經(jīng)過(guò)前幾步Fine-tuning 后的KBSDAE 測(cè)試精度普遍高于SDAE,證明了將知識(shí)代入網(wǎng)絡(luò)可以顯著提高網(wǎng)絡(luò)的分類性能.

圖8 不同F(xiàn)ine-tuning 訓(xùn)練步數(shù)的SDAE 與KBSDAE 分類性能對(duì)比Fig.8 Comparison of SDAE and KBSDAE classification performance of different fine-tuning training steps

5 結(jié)束語(yǔ)

面對(duì)深度神經(jīng)網(wǎng)絡(luò)的 “黑箱問(wèn)題”,本文提出了一套全新的知識(shí)表達(dá)規(guī)則系統(tǒng),嘗試解釋并強(qiáng)化深度神經(jīng)網(wǎng)絡(luò).該系統(tǒng)可以對(duì)SDAE 網(wǎng)絡(luò)進(jìn)行簡(jiǎn)單表示并從SDAE 中抽取和插入知識(shí).通過(guò)這套系統(tǒng),可以理解到網(wǎng)絡(luò)內(nèi)部的知識(shí)并建立性能更加強(qiáng)大的KBSDAE.規(guī)則系統(tǒng)創(chuàng)新性的將符號(hào)類型和數(shù)值類型的規(guī)則進(jìn)行有機(jī)結(jié)合,使得這種混合規(guī)則具有較高的推導(dǎo)性能和可理解性,在網(wǎng)絡(luò)規(guī)模愈加復(fù)雜的當(dāng)下這種規(guī)則形式不失為一條具有研究?jī)r(jià)值的路徑.實(shí)驗(yàn)證明,混合規(guī)則系統(tǒng)可以有效表示網(wǎng)絡(luò)并提取網(wǎng)絡(luò)知識(shí),具有高推導(dǎo)精度和穩(wěn)定性.利用規(guī)則初始化后的KBSDAE 相較于傳統(tǒng)SDAE 具有更快的收斂速度,更高的預(yù)測(cè)精度和數(shù)據(jù)靈敏度.下一步可以將規(guī)則與深度網(wǎng)絡(luò)可視化相結(jié)合以提升對(duì)網(wǎng)絡(luò)的解釋能力.可以嘗試解釋更復(fù)雜和龐大的網(wǎng)絡(luò),如卷積神經(jīng)網(wǎng)絡(luò).