張子楠　丁玉隆

摘要：在人工智能領(lǐng)域中有很多問題存在著相變現(xiàn)象，而相變現(xiàn)象與問題本身結(jié)構(gòu)有很大關(guān)系。通過實(shí)驗(yàn)發(fā)現(xiàn)深度時(shí)空推理網(wǎng)絡(luò)在處理帶有高斯噪聲的數(shù)據(jù)時(shí)，網(wǎng)絡(luò)的識(shí)別率會(huì)隨著噪聲的程度增加發(fā)生相變現(xiàn)象，即從90%以上突然驟減為0。對(duì)這種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)本身進(jìn)行研究，發(fā)現(xiàn)當(dāng)參數(shù)值在一定范圍時(shí)，這種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的識(shí)別率會(huì)發(fā)生相變現(xiàn)象，分析原因，提出一種方法來提高深度時(shí)空推理網(wǎng)絡(luò)的抗噪性能，并提出有待解決的問題。

關(guān)鍵詞：DeSTIN網(wǎng)絡(luò)；深度學(xué)習(xí)；相變；神經(jīng)網(wǎng)絡(luò)；高斯噪聲

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）04-0829-07

1 介紹

近年來，隨著深度學(xué)習(xí)在圖像識(shí)別、語音識(shí)別和文本識(shí)別等領(lǐng)域表現(xiàn)出很好的實(shí)驗(yàn)效果，深度學(xué)習(xí)在人工智能領(lǐng)域有了巨大的發(fā)展。但是，深度學(xué)習(xí)在動(dòng)態(tài)人體行為識(shí)別領(lǐng)域的能力還有待加強(qiáng)。如何處理時(shí)空?qǐng)D像信息成為了深度學(xué)習(xí)領(lǐng)域一個(gè)新的發(fā)展方向。2009年，一種新的深度學(xué)習(xí)系統(tǒng)——DeSTIN被提出[1-2]。

相變現(xiàn)象是物質(zhì)本身的狀態(tài)轉(zhuǎn)化的物理現(xiàn)象，例如，水有氣態(tài)、液態(tài)和固態(tài)三種形態(tài)，三種狀態(tài)之間的轉(zhuǎn)化過程，即為相變現(xiàn)象，它反映了物質(zhì)兩邊和質(zhì)變的本質(zhì)。在計(jì)算機(jī)領(lǐng)域之中，相變現(xiàn)象也是普遍存在的。例如，在合取范式的可滿足性問題（SAT問題）中的相變現(xiàn)象[3-4]，存在一個(gè)臨界點(diǎn)使得SAT問題發(fā)生可解到無解的轉(zhuǎn)變。在不同的問題中，相變現(xiàn)象的刻畫方式和呈現(xiàn)出的結(jié)果也是不盡相同。2002年，Huepe C等人在研究布爾網(wǎng)絡(luò)中處理噪聲對(duì)于網(wǎng)絡(luò)性能的影響，并提出以下結(jié)論：在權(quán)值固定的神經(jīng)網(wǎng)絡(luò)和根據(jù)概率密度函數(shù)進(jìn)行權(quán)值調(diào)節(jié)的神經(jīng)網(wǎng)絡(luò)的相變點(diǎn)是不同的[5]。2012年，Peixoto T P等人根據(jù)布爾網(wǎng)絡(luò)的優(yōu)化函數(shù)，并作為基因調(diào)控的概念模型，抗噪聲的選擇壓力的魯棒性對(duì)布爾網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)化的影響[6]。

2 DeSTIN

DeSTIN是一種新的深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)融合了無監(jiān)督學(xué)習(xí)和貝葉斯推理。DeSTIN系統(tǒng)的架構(gòu)是一種層次結(jié)構(gòu)，每一層由具有相同結(jié)構(gòu)的節(jié)點(diǎn)組成。DeSTIN網(wǎng)絡(luò)的輸入是采用圖像像素的觀察值。在隱含層中，每一層的節(jié)點(diǎn)都包含著一定數(shù)量的聚類中心，DeSTIN網(wǎng)絡(luò)在聚類的過程中DeSTIN網(wǎng)絡(luò)采用winner take all的方法來更新聚類中心。這樣通過每層的聚類傳遞，從而形成這樣的一個(gè)結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)輸出在其所在層的信念值，整個(gè)DeSTIN網(wǎng)絡(luò)會(huì)從這些信念值中提取出數(shù)據(jù)本身所包含的某種特征或模式[7-8]。

DeSTIN網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，網(wǎng)絡(luò)每層都被分為若干個(gè)4*4的像素區(qū)域，第N-1層的一個(gè)4*4的像素區(qū)域連接著第N層的一個(gè)節(jié)點(diǎn)，第N層的四個(gè)節(jié)點(diǎn)再組成一個(gè)4*4的像素區(qū)域連接著第N+1層的一個(gè)節(jié)點(diǎn)，DeSTIN網(wǎng)絡(luò)通過這樣一種連接方式進(jìn)行數(shù)據(jù)的傳輸。

圖1 DeSTIN網(wǎng)絡(luò)結(jié)構(gòu)示意圖

DeSTIN網(wǎng)絡(luò)中的每一層中的每個(gè)節(jié)點(diǎn)都是一個(gè)聚類區(qū)域，每個(gè)節(jié)點(diǎn)都包含一定數(shù)量的聚類中心，計(jì)算輸入數(shù)據(jù)與每個(gè)聚類中心的馬氏距離，進(jìn)而可以找到馬氏距離最小的那個(gè)聚類中心，該聚類中心會(huì)被作為優(yōu)勝聚類中心（winning centroid）。而每一個(gè)聚類區(qū)域的聚類中心數(shù)目是根據(jù)實(shí)際情況隨機(jī)變動(dòng)的。該聚類中心更新的規(guī)則按照公式（1）進(jìn)行。

3 不同噪聲程度下DeSTIN網(wǎng)絡(luò)中的相變現(xiàn)象

3.1 DeSTIN網(wǎng)絡(luò)的在線聚類算法

在DeSTIN網(wǎng)絡(luò)的每層中都有若干個(gè)4*4的聚類區(qū)域，在整個(gè)網(wǎng)絡(luò)初始化時(shí)，給定每個(gè)聚類區(qū)域中存在聚類中心的數(shù)目，在每層聚類之前，網(wǎng)絡(luò)會(huì)初始化指定每個(gè)聚類中心的位置，然后根據(jù)觀察值的分布，按照公式（2）調(diào)整聚類中心的位置。

公式（1）中的[x]即為最后確定時(shí)，聚類中心的位置，[o]為圖像的觀察值，[α]為調(diào)整聚類中心更新速度的學(xué)習(xí)率。在聚類的過程中， DeSTIN網(wǎng)絡(luò)采用了winner take all的工作原理，即在計(jì)算觀察值到當(dāng)前聚類中心的距離時(shí)，只找與聚類中心距離最短的像素，根據(jù)這個(gè)距離最短的像素的位置，進(jìn)行聚類中心的調(diào)整。

但是，初始化的類聚中心并不是都會(huì)很理想，有時(shí)會(huì)產(chǎn)生一些空閑的類聚中心。為了解決這些問題，DeSTIN網(wǎng)絡(luò)采用空閑聚類的方法和偽逆熵值計(jì)算的方法。

解決空閑聚類的策略是，設(shè)定一個(gè)參數(shù)[ψx]，根據(jù)公式（3）來調(diào)整空閑聚類中心的位置。

隨著聚類中心的狀態(tài)轉(zhuǎn)移，若空閑聚類中心沒有得到調(diào)整，那么參數(shù)[ψx]的值就會(huì)逐漸增大，而空閑聚類中心聚類某個(gè)像素的距離就會(huì)縮短，直到某個(gè)像素距離空閑聚類中心的距離比到達(dá)其他聚類中心短時(shí)，則空閑聚類中心的位置就會(huì)發(fā)生更新，那么該問題也就解決了。

在更新聚類中心的過程中，要保證所有的像素都能夠全部合理的分配到每個(gè)聚類中心周圍。用偽逆熵的方法來保證每一層像素都得到合理的聚類。那么，偽逆熵的計(jì)算公式如下：

其中，[vi]表示該像素屬于第[i]個(gè)聚類中心的概率，[D]表示該聚類區(qū)域內(nèi)所有聚類中心數(shù)值的一個(gè)向量。當(dāng)所有像素都得到聚類時(shí)，[?（v）]的值為0，；否則[?（v）]的值不為0，而逐漸趨近于1。

當(dāng)完成該層聚類操作時(shí)，利用公式（5）計(jì)算出該層聚類中心的一組概率分布值，作為下一層的輸入。

其中，[d-1s]表示的是該層的某個(gè)聚類區(qū)域中所有像素到第s個(gè)聚類中心的距離之和，[s∈Sd-1s]則表示聚類區(qū)域中所有像素到每個(gè)聚類中心的距離之和。通過公式（5），可以很清楚的發(fā)現(xiàn)有些聚類中心的概率值比較大，就相當(dāng)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的連接權(quán)值，也就代表這些聚類中心周圍的像素才是整個(gè)圖像上面的焦點(diǎn)信息。

3.2 DeSTIN網(wǎng)絡(luò)中的相變現(xiàn)象

當(dāng)處理添加噪聲的數(shù)據(jù)時(shí)，DeSTIN網(wǎng)絡(luò)的聚類中心已經(jīng)固定，更新算法已經(jīng)關(guān)閉。帶有噪聲的圖像根據(jù)訓(xùn)練時(shí)已經(jīng)確定的聚類中心的值，來計(jì)算圖像上每個(gè)像素（包括噪聲點(diǎn)）到聚類中心的距離。

本文中采用高斯噪聲來分析對(duì)DeSTIN網(wǎng)絡(luò)的影響，圖像中的噪聲點(diǎn)的灰度值必然滿足高斯分布。利用公式（5）可以分析得到，當(dāng)網(wǎng)絡(luò)底層得到圖像的觀察值輸入到第一個(gè)隱層時(shí)，通過計(jì)算的[d-1s]必然會(huì)出現(xiàn)不同幅度的變化，這是由于噪聲點(diǎn)存在的原因。但是，噪聲點(diǎn)是隨機(jī)分布在圖像的任意位置，所以目前還不能確定該聚類區(qū)域內(nèi)的像素到一個(gè)聚類中心的距離之和是增大或者減小。隨著每個(gè)聚類區(qū)域的[d-1s]的變動(dòng)幅度增大，可以肯定的是噪聲已經(jīng)影響了網(wǎng)絡(luò)對(duì)圖像的識(shí)別能力。

定義[p（o|s）]為不添加噪聲點(diǎn)的網(wǎng)絡(luò)隱層中，一個(gè)聚類區(qū)域中的某個(gè)聚類中心的信念值，[p'（o|s）]為添加噪聲點(diǎn)的網(wǎng)絡(luò)隱層中，一個(gè)聚類區(qū)域中的某個(gè)聚類中心的信念值，那么[c=p'（o|s）-p（o|s）]。[k]為兩種不同情況下，取聚類區(qū)域中所有像素到聚類中心距離之和，然后用含有噪聲點(diǎn)的聚類中心的信念值和原圖像的同一聚類中心信念值做差的絕對(duì)值求和，那么我們得到公式（6）：

從公式（6）中，可以分析得到噪聲點(diǎn)對(duì)網(wǎng)絡(luò)聚類的影響大小。實(shí)際上，隨著[k]的逐漸增大，網(wǎng)絡(luò)中每個(gè)聚類區(qū)域的聚類中心已經(jīng)不能夠代表整個(gè)區(qū)域內(nèi)的所有像素，那么這就意味著網(wǎng)絡(luò)的聚類功能已經(jīng)失效，從而網(wǎng)絡(luò)也無法對(duì)圖像進(jìn)行識(shí)別。通過反復(fù)的實(shí)驗(yàn)研究表明，在[k]值不是很大的情況下，DeSTIN網(wǎng)絡(luò)還是能夠?qū)D像進(jìn)行識(shí)別的，但是在[k]值增大到一定程度時(shí)，網(wǎng)絡(luò)的識(shí)別率會(huì)發(fā)生驟減，即相變現(xiàn)象。

[k]值的變化表明噪聲對(duì)網(wǎng)絡(luò)聚類影響的大小，那么網(wǎng)絡(luò)在發(fā)生相變現(xiàn)象時(shí)，說明[k]值的波動(dòng)已經(jīng)超出了網(wǎng)絡(luò)對(duì)噪聲的承受范圍。因此，可以假設(shè)對(duì)于不同的圖像信息，只要它們的[k]值變化超過了某一閾值，它們都會(huì)發(fā)生相變現(xiàn)象。

4 實(shí)驗(yàn)結(jié)果及分析

通過實(shí)驗(yàn)觀察高斯噪聲對(duì)DeSTIN網(wǎng)絡(luò)的影響，在改變?cè)肼暢潭葧r(shí)，發(fā)現(xiàn)對(duì)于不同的圖像信息，高斯噪聲標(biāo)準(zhǔn)差某個(gè)區(qū)間時(shí)，DeSTIN網(wǎng)絡(luò)的識(shí)別率會(huì)呈驟減趨勢(shì)，直到識(shí)別率為0，即在這一區(qū)域DeSTIN網(wǎng)絡(luò)發(fā)生了相變現(xiàn)象。

4.1實(shí)驗(yàn)內(nèi)容及結(jié)果

本文中的實(shí)驗(yàn)主要考察高斯噪聲對(duì)網(wǎng)絡(luò)的影響程度。實(shí)驗(yàn)數(shù)據(jù)采用的是LIRIS 人體行為的標(biāo)準(zhǔn)數(shù)據(jù)集[9]。實(shí)驗(yàn)所采用的DeSTIN網(wǎng)絡(luò)共有8層，其中隱含層數(shù)目為7層，每層的聚類中心數(shù)目分別為4；8；16；32；32；12；4；1。該文所使用的SVM分類器則是采用RBF核函數(shù)。

主要實(shí)驗(yàn)步驟有如下幾步：

1）利用Kinect采集的深度圖像作為DeSTIN網(wǎng)絡(luò)的訓(xùn)練樣本，使DeSTIN網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

2）在已經(jīng)選好的測(cè)試樣本中添加不同程度的噪聲；

3）DeSTIN網(wǎng)絡(luò)訓(xùn)練結(jié)束后，關(guān)閉其更新聚類中心節(jié)點(diǎn)的算法，用已經(jīng)添加好噪聲的測(cè)試圖片輸入DeSTIN網(wǎng)絡(luò)，進(jìn)行測(cè)試并輸出結(jié)果。

4.2實(shí)驗(yàn)結(jié)果分析

如圖2所示，當(dāng)高斯噪聲的均值為0時(shí)，DeSTIN網(wǎng)絡(luò)在[σ≤0.05]（高斯噪聲的標(biāo)準(zhǔn)差）之前，網(wǎng)絡(luò)對(duì)視頻的識(shí)別準(zhǔn)確率高達(dá)99%，而在[0.09≥σ>0.05]的區(qū)間內(nèi)，DeSTIN網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率開始出現(xiàn)下降趨勢(shì)。在[0.1≥σ>0.09]的區(qū)間內(nèi)，網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率突然驟降為0，說明在該區(qū)間內(nèi)DeSTIN網(wǎng)絡(luò)發(fā)生了相變現(xiàn)象，圖2-1為實(shí)驗(yàn)訓(xùn)練時(shí)的原始圖像，圖2-2的圖像是DeSTIN網(wǎng)絡(luò)產(chǎn)生相變現(xiàn)象時(shí)的圖像信息。

為了驗(yàn)證DeSTIN網(wǎng)絡(luò)中存在的相變現(xiàn)象不是偶然現(xiàn)象，如圖4所示，又選擇了不同的場(chǎng)景圖像做同樣的測(cè)試。其中圖4-1所得到的實(shí)驗(yàn)結(jié)果是在圖3-1中的圖像數(shù)據(jù)基礎(chǔ)上添加噪聲，并通過網(wǎng)絡(luò)訓(xùn)練得到的，網(wǎng)絡(luò)相變發(fā)生時(shí)，圖像的噪聲程度如圖3-2所示，圖4-2、圖4-3和圖4-4所得到的實(shí)驗(yàn)結(jié)果分別采用圖3-3，4、圖3-5，6和圖3-7，8所示的圖像信息得到的。對(duì)比不同圖像信息的數(shù)據(jù)后，實(shí)驗(yàn)發(fā)現(xiàn)，每類圖像都出現(xiàn)了相變現(xiàn)象，這表明在有噪聲影響的情況下，DeSTIN網(wǎng)絡(luò)必然會(huì)存在相變現(xiàn)象的。但是，不同圖像出現(xiàn)的相變現(xiàn)象的區(qū)域不同，這是由于不同圖像得到的觀察值也不相同，那么它們聚類中心的位置也不盡相同，所以噪聲對(duì)于不同圖像的影響肯定不相同，即相變區(qū)域也不盡相同。

圖4 在不同噪聲強(qiáng)度下，不同圖像的相變現(xiàn)象

通過分析得出，這是由于添加了高斯噪聲造成噪聲點(diǎn)與聚類中心的距離變的很大，在測(cè)試階段，每層的聚類中心已經(jīng)固定，不再更新，根據(jù)添加高斯噪聲的圖像信息最終的聚類結(jié)果分析，每個(gè)區(qū)域的聚類中心的belief值都會(huì)出現(xiàn)或大或小的波動(dòng)，從而使得整個(gè)網(wǎng)絡(luò)不能很好的對(duì)圖像進(jìn)行有效地特征提取，而訓(xùn)練時(shí)所確定的聚類中心并不能對(duì)測(cè)試時(shí)出現(xiàn)的噪聲點(diǎn)進(jìn)行排除，所以隨著噪聲的增加，最后導(dǎo)致整個(gè)網(wǎng)絡(luò)的聚類過程基本處于失效狀態(tài)。通過觀察圖3的4個(gè)測(cè)試結(jié)果不難發(fā)現(xiàn)，每個(gè)實(shí)驗(yàn)圖像都會(huì)產(chǎn)生相變現(xiàn)象，這是由于[k]值的變化造成的，如圖5所示，圖中顯示了這些組實(shí)驗(yàn)在相變區(qū)域的[k]值變化，網(wǎng)絡(luò)發(fā)生相變時(shí)，[k]值都在（3，4）的區(qū)間內(nèi)，也就是說對(duì)圖像添加高斯噪聲，如果聚類中心的信念值的變化總和超過3時(shí)，DeSTIN網(wǎng)絡(luò)會(huì)發(fā)生相變現(xiàn)象。通過反復(fù)實(shí)驗(yàn)印證了之前的假設(shè)是成立的，也證明了在噪聲影響下，網(wǎng)絡(luò)發(fā)生相變現(xiàn)象和[k]值的變化有密切相關(guān)的聯(lián)系。

5 優(yōu)化DeSTIN網(wǎng)絡(luò)的抗噪性能

在添加噪聲的情況下，DeSTIN網(wǎng)絡(luò)產(chǎn)生的相變現(xiàn)象和[k]值的范圍是有很大關(guān)系的，那么要想提高DeSTIN網(wǎng)絡(luò)的抗噪能力，避免噪聲引起的網(wǎng)絡(luò)的相變現(xiàn)象，就要減小網(wǎng)絡(luò)中每個(gè)聚類中心信念值的波動(dòng)。

由公式（6）可得，[k]值是網(wǎng)絡(luò)對(duì)于添加噪聲的數(shù)據(jù)進(jìn)行聚類時(shí)，一層中所有聚類中心的信念值的變化絕對(duì)值總和，當(dāng)然，對(duì)每個(gè)聚類中心的信念值都會(huì)出現(xiàn)變化，或減小或增大，同時(shí)，它們的變化幅度是不一樣的，也是或大或小，這是添加在該區(qū)域內(nèi)的噪聲點(diǎn)的灰度值和和原圖像在該區(qū)域內(nèi)的像素的灰度值的差異大小所決定的，添加在原始圖像中的噪聲點(diǎn)是隨機(jī)分布的，若在某一聚類區(qū)域中所分配的噪聲點(diǎn)的灰度值和原始圖像在該區(qū)域中像素的灰度值很接近時(shí)，噪聲對(duì)該聚類區(qū)域的影響就會(huì)很小，相應(yīng)的，該聚類區(qū)域中的聚類中心的信念值的變化幅度就會(huì)很小，否則，該聚類區(qū)域中的聚類中心的信念值的變化幅度會(huì)很大。

要提高網(wǎng)絡(luò)的抗噪性能，就要減少圖像灰度產(chǎn)生的這種尖銳變化，使得所有聚類中心的信念值的變動(dòng)趨勢(shì)減緩。由于每個(gè)聚類中心的信念值變化的幅度不相同，由公式（6）可知每個(gè)聚類中心的變化程度。在DeSTIN網(wǎng)絡(luò)每層聚類結(jié)束后，取出差值比較大的幾個(gè)聚類中心的信念值做算數(shù)平均運(yùn)算，用得到的算數(shù)平均數(shù)取代它們?cè)瓉淼男拍钪?。在不同的聚類區(qū)域內(nèi)，聚類中心的信念值變化幅度不同，所以不能把不同聚類區(qū)域的聚類中心的信念值放在一起來計(jì)算它們的平均值，這樣會(huì)導(dǎo)致不同聚類區(qū)域內(nèi)的聚類中心產(chǎn)生更大的變化。首先，應(yīng)該把得到的變化較大的幾個(gè)聚類中心做分類，查看它們有沒有同屬一聚類區(qū)域內(nèi)的，如果有兩個(gè)或者兩個(gè)以上的聚類中心同屬一個(gè)聚類區(qū)域，那么就把它們幾個(gè)的信念值做算術(shù)平均運(yùn)算，否則，用該聚類中心的信念值和它所屬聚類區(qū)域內(nèi)變化最小的聚類中心的信念值做算術(shù)平均運(yùn)算。

具體算法如下：

輸入：DeSTIN網(wǎng)絡(luò)每層的聚類中心的信念值。

輸出：對(duì)聚類中心的信念值加權(quán)平均后得到一組新的信念值。

Begin

計(jì)算每個(gè)聚類中心的[c]值；

將每個(gè)聚類中心的[c]值按照它們所屬的聚類區(qū)域進(jìn)行編號(hào)；

對(duì)每個(gè)聚類中心的[c]值進(jìn)行降序排序，取出對(duì)應(yīng)該層聚類區(qū)域數(shù)目的前若干個(gè)[k]值；

if（是否有兩個(gè)或者兩個(gè)以上的聚類中心屬于同一聚類區(qū)域）

采用這種降低[k]值的方法可以有效的提高DeSTIN網(wǎng)絡(luò)的抗噪性能。現(xiàn)在將上述的5組實(shí)驗(yàn)，用這種方法進(jìn)行改進(jìn)，其測(cè)試性能如圖6所示，圖中虛線代表優(yōu)化之前，網(wǎng)絡(luò)的準(zhǔn)確率，實(shí)線代表優(yōu)化后，網(wǎng)絡(luò)的準(zhǔn)確率。圖中5組實(shí)驗(yàn)隨著噪聲程度的增強(qiáng)，網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率始終沒有出現(xiàn)相變現(xiàn)象，而且在相變點(diǎn)時(shí)，網(wǎng)絡(luò)的性能還沒有出現(xiàn)較大的波動(dòng)，隨著噪聲程度的增強(qiáng)，網(wǎng)絡(luò)的識(shí)別率也是平緩下降。理論上分析，使用這種方法能夠很有效的提高網(wǎng)絡(luò)的抗噪性能，并且能夠避免網(wǎng)絡(luò)發(fā)生的相變現(xiàn)象，從而體現(xiàn)網(wǎng)絡(luò)本身對(duì)噪聲干擾的預(yù)判能力和解決能力。

6 結(jié)論

本文通過研究DeSTIN網(wǎng)絡(luò)識(shí)別帶噪聲的圖像信息，發(fā)現(xiàn)網(wǎng)絡(luò)在不同噪聲程度下，識(shí)別率會(huì)出現(xiàn)相變現(xiàn)象。通過對(duì)出現(xiàn)的相變現(xiàn)象進(jìn)行理論分析，得出這是由于網(wǎng)絡(luò)聚類中心的信念值產(chǎn)生變化而造成的，而且當(dāng)[3

本文通過實(shí)驗(yàn)分析，證實(shí)了論文開始對(duì)DeSTIN網(wǎng)絡(luò)中存在的相變現(xiàn)象猜想，從宏觀角度說明在深度神經(jīng)網(wǎng)絡(luò)中也是存在相變現(xiàn)象。通過發(fā)現(xiàn)DeSTIN網(wǎng)絡(luò)中存在的相變現(xiàn)象，從網(wǎng)絡(luò)自身的運(yùn)行的結(jié)果中，分析噪聲對(duì)網(wǎng)絡(luò)造成的影響，進(jìn)而利用發(fā)現(xiàn)的相變理論來合理的避免噪聲對(duì)神經(jīng)網(wǎng)絡(luò)產(chǎn)生的影響，在神經(jīng)網(wǎng)絡(luò)抗噪性能方面提出一種新的方法和思路。

參考文獻(xiàn)：

[1] Arel I， Rose D， Karnowski T.A Deep Learning Architecture Comprising Homogeneous Cortical Circuits for Scalable Spatiotemporal Pattern Inference[C]//NIPS 2009 Workshop on Deep Learning for Speech Recognition and Related Applications， 2009.

[2] Arel I， Rose D， Coop R.DeSTIN： A Scalable Deep Learning Architecture with Application to High-Dimensional Robust Pattern Recognition[C]//Proc. of the AAAI 2009 Fall Symposium on Biologically Inspired Cognitive Architectures （BICA）， 2009.

[3] Gent I P， Walsh T. The SAT phase transition[C]//ECAI. PITMAN， 1994： 105-109.

[4] Kirkpatrick S， Selman B. Critical behavior in the satisfiability of random boolean expressions[J]. Science， 1994， 264（5163）： 1297-1301.

[5] Huepe C， Aldana-González M. Dynamical phase transition in a neural network model with noise： An exact solution[J]. Journal of Statistical Physics， 2002， 108（3-4）： 527-540.

[6]Peixoto T P. Emergence of robustness against noise： A structural phase transition in evolved models of gene regulatory networks[J]. Physical Review E， 2012， 85（4）： 041908.

[7] Karnowski T P. Deep Machine Learning with Spatio-Temporal Inference[J]. 2012.

[8] Goertzel B. Modifying the destin perception architecture to enable representationally transparent deep learning[J]. 2012.

[9] http：//liris.cnrs.fr/voir/activities-dataset/download.html.