摘 要 我們在摸索人工智能自主學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建方案的最優(yōu)解過程中，由Norbert Wiener創(chuàng)立的控制論（Cybernetics）意在模仿人類思考過程到Geoffrey Hinton提出人工智能的自主學(xué)習(xí)應(yīng)構(gòu)建在類人神經(jīng)網(wǎng)絡(luò)之上再到近年來深度學(xué)習(xí)（Deep Learning）與強(qiáng)化學(xué)習(xí)（Reinforcement Learning）的熱潮，再到目前人工智能發(fā)展進(jìn)入瓶頸期，于此本論文希望將對人工智能如何在未來實現(xiàn)自主學(xué)習(xí)網(wǎng)絡(luò)的構(gòu)建加以淺析。

【關(guān)鍵詞】強(qiáng)化學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) 人工智能 Capsule理論

1 傳統(tǒng)人工智能深度學(xué)習(xí)方式的困局

Frank Rosenblatt在1957年提出最早的神經(jīng)網(wǎng)絡(luò)Perceptron開始了人類邁向仿生人類機(jī)器智能的第一步，但是其局限在于僅僅擁有兩層神經(jīng)元（一個輸入層與一個輸出層）同時對于更多神經(jīng)元的層數(shù)的加入及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法上，此網(wǎng)絡(luò)難以應(yīng)用于實際問題中，隨后Geoffrey Hinton通過BP（Backpropagation）誤差反向算法與最優(yōu)化方法結(jié)合使用來作為訓(xùn)練人工智能的手段，但是BP有一定局限性如學(xué)習(xí)速度慢且學(xué)習(xí)過程不穩(wěn)定，而且容錯率低，于是徑向基網(wǎng)絡(luò)：RBF網(wǎng)絡(luò)應(yīng)用而生，比起B(yǎng)P的多層單元，RBF將層數(shù)降低至3層同時使用了不同的激活函數(shù)使得RBF網(wǎng)絡(luò)具有“局部映射”特性，每個神經(jīng)元相互影響效應(yīng)甚微，可以看作由一個個負(fù)責(zé)不同“職能”的神經(jīng)元結(jié)合在一起，然而RBF網(wǎng)絡(luò)的缺陷在于其僅僅是一個運(yùn)算網(wǎng)絡(luò)的執(zhí)行者，只能執(zhí)行命令而自身沒有能力去解釋該命令背后的邏輯，例如我們現(xiàn)在使用的所謂智能助手，讓我們誤以為“他們“”具有一定程度人工智能，因為“他們”的回答無不模仿人類的語言構(gòu)詞習(xí)慣，但是事實上智能助手更像是一個人類對話交流語言數(shù)據(jù)提取庫，通過大量的歸納重復(fù)，選擇其中的一些特定語句作為自己的標(biāo)準(zhǔn)答案來應(yīng)答，并且進(jìn)行同一問題的連續(xù)對話時，標(biāo)準(zhǔn)答案之間可能會毫不相干。我們使“他們”更多執(zhí)行的是有明確任務(wù)趨向的指令式對話，雖然識別成功率很高但是距離其自主學(xué)習(xí)相距甚遠(yuǎn)，他們甚至無法學(xué)會最簡單的“異或”邏輯，正如了解某一件事的名稱，并不等同于真正理解它一樣，在1997年擊敗人類國際象棋冠軍的IBM的“深藍(lán)”（Deep Blue）與2016年擊敗人類國際圍棋冠軍的Deep Mind的AlphaGo，“深藍(lán)”的勝利依靠的是其每秒高達(dá)幾億次的暴力運(yùn)算窮舉，可以看作“只知其名”，而后者可以“會其意”但是“不明其理”雖然依靠的是深度學(xué)習(xí)體系---蒙特卡洛樹搜索（Monte Calro Tree Search）與價值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)的結(jié)合，基于模擬的數(shù)百萬數(shù)千萬次自我獨(dú)立博弈，從中發(fā)揮強(qiáng)化學(xué)習(xí)的最大效力，借由蒙特卡洛樹搜索在與動態(tài)環(huán)境的“交互反饋”中尋求最優(yōu)解，但是在處理R.Bellman提出的“維數(shù)詛咒”即現(xiàn)實世界中，強(qiáng)化學(xué)習(xí)要納入數(shù)百甚至數(shù)千個變量進(jìn)行考慮，并且強(qiáng)化學(xué)習(xí)會消耗大量數(shù)據(jù)同時，自身依靠對于能夠進(jìn)行模擬的案例，成功率更高，進(jìn)而現(xiàn)實中均陷入一定的困局。

2 未來人工智能神經(jīng)網(wǎng)絡(luò)的構(gòu)建方向

對于機(jī)器又是如何完成“自我學(xué)習(xí)”這件事情，先前的BP類的構(gòu)架更像是從粗鉑金到精鉑金的“提純”，而深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)像是從原礦石中獲取鉑金，不可避免的是需要大量的原礦石，這是深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)所需要的大量的數(shù)據(jù)，雖然深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)能夠得到很多基于大數(shù)據(jù)分析得到的“經(jīng)驗公式”，執(zhí)行“化繁為簡”的工作而不能做到“舉一反三”等。所以其深度學(xué)習(xí)模仿人腦行為的程度，只能停留在一個淺薄的層面，雖然不可否認(rèn)目前深度學(xué)習(xí)在圖像處理，語音、模式識別這些領(lǐng)域仍處于絕對領(lǐng)先的地位，但是這并不是我們認(rèn)知人工智能自主學(xué)習(xí)網(wǎng)絡(luò)的本質(zhì)，如Geoffrey Hinton所言：目前人工智能局限性的關(guān)鍵在于搭建“一個連接計算機(jī)科學(xué)和生物學(xué)的橋梁”，受大腦皮層中的微柱體（mini-column）的啟發(fā)，近期他正式在論文中提出了更加成熟的Capsule理論，Capsule稱為膠囊，每一個Capsule表示的是它所檢測到的類型的一個多維實體的存在和實例化參數(shù)，作為一組神經(jīng)元向量替代現(xiàn)在神經(jīng)網(wǎng)絡(luò)的layer中作為簡單的標(biāo)量neuron。Capsule其向量長度表征了某個實例（物體，視覺概念或者它們的一部分）出現(xiàn)的概率其方向（長度無關(guān)部分）表征了物體的某些實例的一些客觀屬性（包括位置、粗糙度、紋理和顏色等等），每一個capsule由對應(yīng)一個layer中向量neuron構(gòu)成，其本身可以進(jìn)行大量運(yùn)算，多個活躍同一層級預(yù)測一致的capsule輸出一個經(jīng)過「squashing」的非線性函數(shù)（該非線性函數(shù)確保短向量的長度能夠縮短到幾乎等于零，而長向量的長度壓縮到接近但不超過 1 的情況）“壓縮”（通過變換矩陣）獲得的更高級別的capsule的預(yù)測向量，簡單的capsule系統(tǒng)已經(jīng)能在分割重疊數(shù)字任務(wù)中表現(xiàn)出空前強(qiáng)大的性能，在識別高度重疊數(shù)字上比卷積神經(jīng)網(wǎng)絡(luò)（CNN）的性能優(yōu)越很多，更趨近于利用高維度向量neuron來進(jìn)行多模態(tài)機(jī)器學(xué)習(xí)。靈感同樣來自于對人類大腦視覺皮層對于物體的輪廓（contour）和表面（surface）的識別思考，遞歸皮層網(wǎng)絡(luò)（Recursive Cortical Netowks）的誕生整合了實驗神經(jīng)科學(xué)結(jié)論的概率生成模型，RCN在多個CAPTCHA數(shù)據(jù)庫中，獲得了極佳的成績（reCAPTCHA：66.6%， BotDetect 64.4%， Yahoo： 57.4%， PayPal： 57.1%），整體上以300倍的數(shù)據(jù)有效性（data efficiency）將深度學(xué)習(xí)的卷積網(wǎng)絡(luò)模型遠(yuǎn)遠(yuǎn)甩開。其中，在reCAPTCHA上，對于每個字母，RCN僅使用5個訓(xùn)練樣本，而CNN模型達(dá)到相似的成績使用了二百三十萬個訓(xùn)練樣本。此外，RCN在多個任務(wù)（如單樣本和小樣本識別、手寫數(shù)字生成等）中，均取得了優(yōu)異的結(jié)果，RCN進(jìn)一步融合了系統(tǒng)神經(jīng)科學(xué)（systems neuroscience）研究的啟發(fā)，特別是視皮層中的側(cè)連接把物體表示為邊緣和面的組合，生成式組成模型的進(jìn)步，此外，RCN還可以將中低層的語義表達(dá)“具體圖形化”的基本概念單元通過側(cè)向連接來分享給不同高層語義，并且可以被不同的物體邊緣輪廓所共有，大大提高了算法的高效性，算法的可解釋性為其鋪平道路，更是實現(xiàn)了某種意義上的“舉一反三”。

3 綜述

Capsule理論的提出和RCN的不謀而合之處在于將人工智能的發(fā)展藍(lán)圖寄希望于對人類自我大腦的認(rèn)知能力的深度模仿，不是源于無數(shù)次的“歸納總結(jié)”無論是高維度的模擬還是由對人類大腦皮層識別算法的解析，或許未來人工智能自主學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建的“第一性原理”基于大腦的深度解讀。

作者簡介

董鑫（1999-），男，河北省張家口市下花園區(qū)人。河北省張家口市宣化第一中學(xué)學(xué)生。

作者單位

張家口市宣化第一中學(xué) 河北省張家口市 075100