謝耘

隨著其他無監(jiān)督學(xué)習(xí)及生成學(xué)習(xí)算法的發(fā)展，深度信念網(wǎng)絡(luò)已較少被使用，從某種程度上來說它成為了“深度學(xué)習(xí)”的“先烈”。

今天，大數(shù)據(jù)、人工智能等概念由于商業(yè)炒作等多方面的原因，已經(jīng)變得模糊不清。許多具體的技術(shù)也被罩上了奪目的光環(huán)，或有意被賦予了能夠引發(fā)奇妙想象的名字，如“深度學(xué)習(xí)”。

任何事物只有放在它所存在的環(huán)境中，才能準(zhǔn)確理解它的本質(zhì)。下面我們從科學(xué)到應(yīng)用的這個鏈條上，來看一下信息技術(shù)產(chǎn)業(yè)中的不同要素各自處于什么樣的位置。為了不陷入不必要的細(xì)節(jié)而又能揭示本質(zhì)，我們將這個鏈條分為五個環(huán)節(jié)：科學(xué)原理、基礎(chǔ)共性技術(shù)、具體應(yīng)用技術(shù)、基礎(chǔ)系統(tǒng)原理、技術(shù)及具體應(yīng)用系統(tǒng)。

機(jī)器學(xué)習(xí)無法獨立

科學(xué)原理是對基本運(yùn)動規(guī)律的認(rèn)識總結(jié)，而技術(shù)是對規(guī)律的運(yùn)用。所以新的科學(xué)原理的提出，常常會對社會產(chǎn)生深刻而廣泛的影響。正因為科學(xué)原理的意義如此之大，所以“科學(xué)”這個詞也常常被盜用。許多技術(shù)性的產(chǎn)出，也被戴上了“科學(xué)”這個帽子。在計算機(jī)領(lǐng)域，圖靈機(jī)與計算復(fù)雜性理論基本上屬于科學(xué)原理這個范疇。也正因為如此，計算機(jī)學(xué)科才被冠以了“科學(xué)”的稱謂，雖然對此并非沒有異議。

從根本上看，人工智能熱潮（在20世紀(jì)90年代）的冷卻，是因為人們在人工智能領(lǐng)域經(jīng)過了幾十年的努力，沒有能夠理解一般意義上的智能過程的本質(zhì)，因而也就沒有能夠取得科學(xué)意義上的原理性突破，在理論上抽象出類似數(shù)字基本計算那樣的基本智能操作，用以支撐更為高級復(fù)雜的智能過程。

人工智能是一種現(xiàn)代方法

在一個產(chǎn)業(yè)中，會有一些基礎(chǔ)性共性技術(shù)，有時也被稱為核心技術(shù)，它們支撐著整個產(chǎn)業(yè)。在信息技術(shù)產(chǎn)業(yè)中，操作系統(tǒng)、數(shù)據(jù)庫、集成電路等就屬于這個層面的技術(shù)。這些技術(shù)的進(jìn)步，對整個產(chǎn)業(yè)的影響也是全局性的。正是集成電路技術(shù)的進(jìn)步，使得計算機(jī)擁有了“暴力計算”能力，促成了2010年前后整個信息技術(shù)產(chǎn)業(yè)發(fā)生了歷史性的轉(zhuǎn)折。人工智能領(lǐng)域不僅沒有科學(xué)原理層面的成果，而且至今也沒有能夠產(chǎn)生支撐一個產(chǎn)業(yè)的基礎(chǔ)共性技術(shù)，不論我們給那些技術(shù)或方法起個什么樣的名字。

在基礎(chǔ)共性技術(shù)之上，還有面向不同問題的具體應(yīng)用技術(shù)去解決不同類型的問題。當(dāng)人們意識到我們沒有能力用一些普適的基本邏輯化規(guī)則或機(jī)制去有效地解決各種“智能問題”時，人工智能的研究便深入到了各種具體的問題之中。

針對不同類型的問題，發(fā)展出了花樣繁多的解決方法，也取得了很大的進(jìn)展。也正因為如此，人工智能目前更多地是被當(dāng)成了一些具體的應(yīng)用工具方法，融入到不同類型的應(yīng)用之中，以自己具體的技術(shù)性名稱出現(xiàn)，默默無聞地發(fā)揮著自己的作用。

這些年關(guān)于人工智能的一本經(jīng)典的教科書的名字是《人工智能一種現(xiàn)代方法》，它的副標(biāo)題“A Modern Approach”就是指試圖采用“智能體”（Agent）的概念將人工智能在各個不同領(lǐng)域中的方法整合到一個統(tǒng)一的框架之中。其實，用智能體這個概念整合與人工智能相關(guān)的技術(shù)方法，也是沒有辦法的辦法，顯示出了這個領(lǐng)域的一種無奈的現(xiàn)實：只有實用的一些具體技術(shù)方法，缺少科學(xué)原理或基礎(chǔ)共性技術(shù)的支撐，也沒有基礎(chǔ)性系統(tǒng)級的有效理論。這些年被熱捧的“深度學(xué)習(xí)”，也是具體技術(shù)這個層面的技術(shù)。

深度學(xué)習(xí)

大家現(xiàn)在把“深度學(xué)習(xí)”的功勞主要歸功于Geoffrey Hinton（1947—，認(rèn)知心理與計算機(jī)科學(xué)家，任職多倫多大學(xué)）。他從事人工神經(jīng)網(wǎng)絡(luò)研究30多年，不論潮起潮落，矢志不渝。在苦熬了30多年后的2004年，他領(lǐng)導(dǎo)的團(tuán)隊得到了加拿大高等研究院（CIFAR）為期10年共1000萬加元的支持。據(jù)說這是當(dāng)年全球唯一對人工神經(jīng)網(wǎng)絡(luò)研究的大規(guī)模的資金支持。當(dāng)時參與這個計劃的主要成員還有：蒙特利爾大學(xué)的YoshuaBengio，紐約大學(xué)的YannLeCun（楊立昆，Hinton當(dāng)年的博士后），斯坦福大學(xué)的Andrew Ng（吳恩達(dá)）等學(xué)者。

僅僅用“反傳”（BP）算法來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)的隱含層多于一層以上后，訓(xùn)練效果明顯變差。所以后來人工神經(jīng)網(wǎng)絡(luò)只能用來解決一些比較簡單的非線性分類性質(zhì)的問題。YoshuaBengio說：“從2005年開始，由CIFAR支持的一些工作不斷取得突破。2006年時，我們找到了訓(xùn)練深層網(wǎng)絡(luò)的算法，所用到的技巧就是逐層訓(xùn)練”。所以“深度學(xué)習(xí)”是指用多層（目前的應(yīng)用常常達(dá)到幾十到上百層）人工神經(jīng)網(wǎng)絡(luò)來對數(shù)據(jù)（訓(xùn)練樣本）進(jìn)行學(xué)習(xí)的方法。在這些算法中，BP算法（或者說梯度下降算法）依然扮演著基礎(chǔ)性的角色，但是不同的算法融入了不同的其他方法與技巧，用于達(dá)到不同的效果。

之所以能夠訓(xùn)練“深度”網(wǎng)絡(luò)，不僅僅是算法與技巧有了改進(jìn)，還要仰仗計算機(jī)的“暴力計算”能力才行。沒有“暴力計算”能力，如此“深度”的學(xué)習(xí)是完全不可能的，甚至都不會有人有興趣去研究那些“奇技淫巧”般的算法技巧。

“深度學(xué)習(xí)”中使用幾十甚至上百層網(wǎng)絡(luò)的做法，是否讓我們想起了在之前提到的計算機(jī)越來越依靠“粗暴”的方法去解決問題？但是，如果考慮到人腦的神經(jīng)元是以百億來計算的，這種“粗暴”也并非是沒有道理的“野蠻”。

Hinton與其他學(xué)者于2006年分別在《Neural Computation》與《Science》上聯(lián)合發(fā)表了“A FastLearning Algorithm for Deep Belief Nets”與“Reducing the Dimentionality of Data with Neural Networks”的論文，它們被認(rèn)為是“深度學(xué)習(xí)”崛起的先聲。但是讓他們的工作真正產(chǎn)生影響力，讓人工智能“滿血復(fù)活”、“深度學(xué)習(xí)”名揚(yáng)天下的并非是這些論文，而是后來Hinton帶領(lǐng)學(xué)生參加了2012年的ImageNet Large Scale Visaul Recognition Challenge大賽。在此之前，參賽者的最好成績是圖像識別錯誤率為25.7%。

2012年Hinton與他兩個研究生AlexKrizhevsky、lllyaSutskever使用了一個有八層結(jié)構(gòu)、65萬的神經(jīng)元，6000萬個可調(diào)參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，將識別錯誤率降到了15.3%，第二名的錯誤率是26.2%。當(dāng)時其他參賽團(tuán)隊使用的都是非神經(jīng)網(wǎng)絡(luò)的、從科學(xué)的角度來看更加嚴(yán)謹(jǐn)完備的支持向量機(jī)（SVM）技術(shù)。用YoshuaBengio的話來說，這次突破是基于將“以前存在的各種零碎的方法整合在了一起”。

2012年10月23日因ImageNet大賽“深度學(xué)習(xí)”一鳴驚人，人工智能“死而復(fù)生”。這與計算機(jī)歷史性地獲得了“暴力計算”能力，由此開啟智能化時代的時間點高度吻合。這是人工神經(jīng)網(wǎng)絡(luò)方法20多年來在圖像識別領(lǐng)域第一次以無可置疑的優(yōu)勢超越了其它的技術(shù)方法。

隨后“深度學(xué)習(xí)”各種改進(jìn)技巧不斷出現(xiàn)，2015年，中國的微軟亞洲研究院團(tuán)隊在這個比賽中使用了152層的網(wǎng)絡(luò)，引入了“深度殘余學(xué)習(xí)”的技巧（由于他們的網(wǎng)絡(luò)深度太大，為了避免有效信息在逐層處理中損失過大，他們做了一些神經(jīng)元跨層級的連接），將錯誤率降到了3.57%，首次低于自然人的錯誤率。

“深度學(xué)習(xí)”這個概念并沒有嚴(yán)格的定義。通常規(guī)?！白銐虼蟆薄訑?shù)“足夠多”的神經(jīng)網(wǎng)絡(luò)模型，都被認(rèn)為是“深度學(xué)習(xí)”網(wǎng)絡(luò)。它包括了深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)與遞歸網(wǎng)絡(luò)等多種不同的具體網(wǎng)絡(luò)模型與相應(yīng)的算法。

深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN）是第一批成功應(yīng)用深度學(xué)習(xí)架構(gòu)訓(xùn)練模型之一，它也因Hinton在2006年的相關(guān)論文而成為了深度學(xué)習(xí)崛起的代表。Hinton用它向人們展示了我們可以通過逐層設(shè)定目標(biāo)、逐層訓(xùn)練而構(gòu)造出一個深層的神經(jīng)網(wǎng)絡(luò)，并且用它來有效地解決一些問題。DBN是由多個受限玻爾茲曼機(jī)（RBM）相鄰彼此重疊一層級聯(lián)而成為一個“深度”網(wǎng)絡(luò)。每一個RBM采用無監(jiān)督學(xué)習(xí)。與卷積網(wǎng)絡(luò)層間部分連接不同，深度信念網(wǎng)絡(luò)是層間全連接的。一個訓(xùn)練好的DBN可以作為一個概率生成網(wǎng)絡(luò)來使用，也可以用來為分類網(wǎng)絡(luò)做參數(shù)的初始化優(yōu)化設(shè)置，有效改善分類網(wǎng)絡(luò)的學(xué)習(xí)效果。隨著其它無監(jiān)督學(xué)習(xí)及生成學(xué)習(xí)算法的發(fā)展，深度信念網(wǎng)絡(luò)已經(jīng)較少被使用了，在某種程度上它成為了“深度學(xué)習(xí)”的“先烈”。

卷積網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是第一個在解決實際問題中有出色表現(xiàn)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型。將卷積運(yùn)算引入到人工神經(jīng)網(wǎng)絡(luò)中來在上個世紀(jì)80年代就出現(xiàn)了，這種結(jié)構(gòu)是受大腦的視覺神經(jīng)系統(tǒng)結(jié)構(gòu)過程的啟發(fā)而來。它是一種分層前饋、以有監(jiān)督學(xué)習(xí)為主的神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)中主要采用兩個并不復(fù)雜的數(shù)學(xué)方法，一個是用輸入比較少的、可以提取不同局部特征的“核函數(shù)”對輸入做離散卷積運(yùn)算（從網(wǎng)絡(luò)結(jié)構(gòu)的視角看，實際上就是通過兩層神經(jīng)元之間的網(wǎng)絡(luò)連接的設(shè)計實現(xiàn)的），這也是這種模型名稱的來源；另外一個技巧就是“池化”。

它與卷積運(yùn)算有類似的地方，也是對較少的局部神經(jīng)元的輸入做相應(yīng)的處理形成輸出。這兩種方法都是采取某種處理方式對局部數(shù)據(jù)做處理，然后在整個輸入數(shù)據(jù)集上重復(fù)同樣的操作計算。

除了處理算法的技術(shù)特征外，它們都能夠大幅降低深度學(xué)習(xí)的運(yùn)算量。卷積網(wǎng)絡(luò)在許多領(lǐng)域都有出色的表現(xiàn)，其最成功的應(yīng)用領(lǐng)域就是在二維圖像的處理上。這個結(jié)果很正常，因為它就是受啟發(fā)于大腦的視覺過程而出現(xiàn)的。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）也是多層的神經(jīng)網(wǎng)絡(luò)，但是它的部分神經(jīng)元具有狀態(tài)記憶存儲，因而是一種“動力學(xué)”系統(tǒng)，處理起來要比無記憶的靜態(tài)網(wǎng)絡(luò)復(fù)雜很多。循環(huán)神經(jīng)網(wǎng)絡(luò)也是在上個世紀(jì)80年代就出現(xiàn)了。它的學(xué)習(xí)也是以有監(jiān)督為主，用于對時空動態(tài)序列型數(shù)據(jù)做處理，典型的應(yīng)用就是做語音數(shù)據(jù)處理。相比之下，卷積神經(jīng)網(wǎng)絡(luò)則是一種無狀態(tài)記憶的靜態(tài)網(wǎng)絡(luò)。

深度學(xué)習(xí)中不同的模型方法并不是互斥的，在實際應(yīng)用中，不同的模型、算法與技巧，也包括那些非深度學(xué)習(xí)的方法技巧，如支持向量機(jī)，常常根據(jù)問題的特點被整合在一起來解決特定的問題。

不論是哪一類“深度學(xué)習(xí)”網(wǎng)絡(luò)，實際上都是以計算機(jī)的“暴力”計算能力為基礎(chǔ)，用大規(guī)模的、含有多個隱含層、高達(dá)千萬以上的可調(diào)參數(shù)的非線性人工神經(jīng)網(wǎng)絡(luò)，使用特定的有監(jiān)督或無監(jiān)督的“學(xué)習(xí)/訓(xùn)練”算法或它們的組合，通過對大量樣本的統(tǒng)計處理，實現(xiàn)對這些參數(shù)的調(diào)整，從而通過非線性變換完成對輸入數(shù)據(jù)特征的提取、信息表達(dá)的變換以及后續(xù)的分類、預(yù)測等功能。

它們是解決特定類型問題的一些具體的方法與技巧，而不是具有像人那樣的一般意義上的學(xué)習(xí)的能力，盡管“深度學(xué)習(xí)”這個名稱確實引發(fā)了許多不了解這個技術(shù)的人這方面的想象。“深度學(xué)習(xí)”這個詞中的“深”指的是使用的神經(jīng)網(wǎng)絡(luò)的層級很多，并非是一般學(xué)習(xí)意義上的“深”。

其實，信息技術(shù)領(lǐng)域內(nèi)的絕大部分技術(shù)，包括與大數(shù)據(jù)分析相關(guān)的方法/技術(shù)，基本都屬于技術(shù)體系中的這個解決具體問題層面的技術(shù)，而且它們也都屬于輔助與延伸智能性質(zhì)的技術(shù)。所以，大數(shù)據(jù)分析、人工智能方法與其它的技術(shù)彼此的界限日益模糊。

新一代工匠技藝主導(dǎo)科學(xué)

信息技術(shù)中這些解決具體問題的“智能”性實用技術(shù)，包括“深度學(xué)習(xí)”（人工神經(jīng)網(wǎng)絡(luò)），常常是有強(qiáng)烈實驗性成分的方法技巧，在應(yīng)用于一個新的具體問題之前，我們無法確定它是否能夠有效地解決這個問題，或者能夠?qū)栴}解決到什么程度。

正因為如此，以深度學(xué)習(xí)為例，在《深度學(xué)習(xí)》這本被認(rèn)為是“深度學(xué)習(xí)”領(lǐng)域奠基性的經(jīng)典教材中，作者為了闡述深度學(xué)習(xí)的這種實驗性特征，專門在第二部分設(shè)置第11章來討論這個問題，它的題目取為“實踐方法論”。在這一章的開頭，作者寫了這樣一段話：“要成功地使用深度學(xué)習(xí)技術(shù)，僅僅知道存在哪些算法和解釋它們?yōu)楹斡行У脑硎遣粔虻摹?/p>

一個優(yōu)秀的機(jī)器學(xué)習(xí)實踐者還需要知道如何針對具體應(yīng)用挑選一個合適的算法以及如何監(jiān)控，并根據(jù)實驗反饋改進(jìn)機(jī)器學(xué)習(xí)系統(tǒng)。在機(jī)器學(xué)習(xí)系統(tǒng)的日常開發(fā)中，實踐者需要決定是否收集更多的數(shù)據(jù)、增加或減少模型容量、添加或刪除正則化項、改進(jìn)模型的優(yōu)化、改進(jìn)模型的近似推斷或調(diào)整模型的軟件實現(xiàn)。嘗試這些操作都需要大量時間，因此確定正確的做法而不盲目猜測尤為重要。

作為一個具體的例子，我們在前面提到過“深度殘余學(xué)習(xí)”的技巧。它是對嚴(yán)格分層網(wǎng)絡(luò)連接的一種局部改動，利用一些跨層級的連接來保證“有用”的信息不會在“深度”網(wǎng)絡(luò)中過早地衰減而影響網(wǎng)絡(luò)的性能。但是這種連接如何設(shè)置才更合理，則沒有精確嚴(yán)格的普適性理論來支撐，主要靠自己的經(jīng)驗直覺去嘗試。

Gary Marcus在2018年1月2日發(fā)表的引起很大爭議的文章《Deep Learning： A Critical Appraisal》中提出了深度學(xué)習(xí)的十個局限，其中第十個“Deep learning thus far is difficult to engineer with”指的也是這個問題—“深度學(xué)習(xí)”還只是一個就事論事的方法，沒有辦法作為一個標(biāo)準(zhǔn)普適的有效的工程方法被用來去有效地解決不同的問題。換句話來說，以深度學(xué)習(xí)為代表的人工智能方法，更類似于傳統(tǒng)的工匠技藝，而不是現(xiàn)代工程師使用的工程化普適方法。

人工智能的這種狀態(tài)多少有點像傳統(tǒng)領(lǐng)域在現(xiàn)代科學(xué)出現(xiàn)以前，人們通過經(jīng)驗摸索，也能夠設(shè)計制造出很多不同類型的精巧工具來解決各種具體的問題的狀況。而具體的實用技術(shù)再豐富精妙，也未必能夠產(chǎn)生出更深一層的原理性、普適性的成果。中國歷史上無數(shù)的能工巧匠都沒有能夠讓中國趕上現(xiàn)代科技發(fā)展的潮流，就說明了這個問題。

在2018年初，Gary Marcus與YannLeCun等人就“深度學(xué)習(xí)”與“人工智能”技術(shù)在網(wǎng)上發(fā)生了激烈的公開爭論。不過這也正常。超級牛人愛因斯坦至死對量子力學(xué)的看法也與波爾向左。但是不論怎么爭論，人工智能至今都無法在現(xiàn)代科技體系中成為一個獨立的學(xué)科是一個基本的事實。從這個事實出發(fā)去理解一些問題可能不會離真實情況相去太遠(yuǎn)。

當(dāng)然我們完全可以大開腦洞，反過來問一個問題：“人工智能需要成為一個傳統(tǒng)科學(xué)意義上的學(xué)科嗎？”歷史的跨越，常常發(fā)生在基本概念的顛覆之上。也許計算機(jī)的“暴力計算”正在推動科學(xué)技術(shù)的內(nèi)涵與外延發(fā)生著我們尚未察覺的質(zhì)變。

或許，人類在科技領(lǐng)域的發(fā)展，走過了從工匠技藝到科學(xué)理論與工程方法的飛躍之后，在信息技術(shù)這個輔助與延伸智能工具的推動下，會形成一個否定之否定，進(jìn)入到一個在科學(xué)技術(shù)基礎(chǔ)上由新一代工匠技藝主導(dǎo)的“高科技大眾化”的“發(fā)展新階段”？