王元卓 中國(guó)科學(xué)院計(jì)算技術(shù)研究所

江旭暉 中國(guó)科學(xué)院計(jì)算技術(shù)研究所

陸 源 競(jìng)技世界（北京）網(wǎng)絡(luò)技術(shù)有限公司

在《鋼鐵俠》中，鋼鐵俠研發(fā)出第一套戰(zhàn)甲后回到了恐怖分子基地解救難民。當(dāng)恐怖分子挾持人質(zhì)時(shí)，鋼鐵俠通過快速掃描人物特征，分辨出恐怖分子和難民的身份，成功擊斃了恐怖分子并解救人質(zhì)。這個(gè)識(shí)別的過程就是運(yùn)用了深度學(xué)習(xí)的相關(guān)技術(shù)，通過學(xué)習(xí)恐怖分子和人質(zhì)的顯著特征，并利用人工神經(jīng)網(wǎng)絡(luò)來將特征轉(zhuǎn)化為戰(zhàn)甲能夠理解的“信息”，使戰(zhàn)甲能夠自動(dòng)分辨出恐怖分子和人質(zhì)，如圖1所示。

圖1 《鋼鐵俠》電影中的利用深度學(xué)習(xí)識(shí)別恐怖份子片段

深度學(xué)習(xí)的核心是人工神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)思想源自于人腦中的生物神經(jīng)網(wǎng)絡(luò)。大腦中的神經(jīng)網(wǎng)絡(luò)由許多神經(jīng)元組成，每個(gè)神經(jīng)元由多個(gè)樹突和一個(gè)軸突組成。一個(gè)神經(jīng)元可以接收多個(gè)刺激信號(hào)輸入，并產(chǎn)生一個(gè)輸出。神經(jīng)元通過突觸相互連接的復(fù)雜神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了人腦對(duì)外部信息的分析與學(xué)習(xí)。

那么什么是深度學(xué)習(xí)呢？

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支之一，建立在模擬人腦進(jìn)行分析與學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)（以下簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)上，神經(jīng)網(wǎng)絡(luò)對(duì)于文字、圖像和聲音等樣本數(shù)據(jù)的內(nèi)在規(guī)律和特征進(jìn)行學(xué)習(xí)，并轉(zhuǎn)化成機(jī)器能夠理解的高維向量，最終讓機(jī)器能夠像人一樣具有分析和學(xué)習(xí)能力，能夠識(shí)別和分析文字、圖像和聲音等。

神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了一段漫長(zhǎng)的發(fā)展史，可大致分為3個(gè)階段。

20世紀(jì)40年代到60年代是人工神經(jīng)網(wǎng)絡(luò)的起源階段，這個(gè)時(shí)期的數(shù)學(xué)家和心理學(xué)家提出通過數(shù)學(xué)模型模仿人類大腦，提出了基于神經(jīng)網(wǎng)絡(luò)模擬人類神經(jīng)元的數(shù)學(xué)模型和對(duì)應(yīng)的學(xué)習(xí)方法，為以后的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)奠定了基礎(chǔ)。在此基礎(chǔ)上，他們提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，稱之為“感知機(jī)”，這對(duì)于神經(jīng)網(wǎng)絡(luò)的發(fā)展具有里程碑式的意義。但隨著研究深入，科學(xué)家發(fā)現(xiàn)單層感知機(jī)無法解決非線性分類，難以實(shí)際應(yīng)用，至此神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了第一個(gè)寒冬期。

20世紀(jì)80年代到21世紀(jì)初是神經(jīng)網(wǎng)絡(luò)的發(fā)展階段，這個(gè)時(shí)期科學(xué)家提出了適用于多層感知機(jī)的反向傳播算法，完美解決了非線性分類問題，使神經(jīng)網(wǎng)絡(luò)再次受到關(guān)注。但當(dāng)時(shí)有限的運(yùn)算能力限制了神經(jīng)網(wǎng)絡(luò)的規(guī)模，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了第二個(gè)寒冬期。

21世紀(jì)初深度學(xué)習(xí)思想被提出，使得神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入爆發(fā)階段，隨著運(yùn)算能力的大幅提高，神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理能力也隨之增強(qiáng)，深度學(xué)習(xí)的概念正式被提出。在著名的圖像識(shí)別競(jìng)賽中，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法脫穎而出，這使得深度學(xué)習(xí)再次受到關(guān)注，并且蓬勃發(fā)展至今。如AlphaGo、AlphaFold等基于深度學(xué)習(xí)的算法甚至在特定領(lǐng)域取得了超越人類的能力。

接下來我們看看深度學(xué)習(xí)是如何工作的，如圖2所示。

圖2 深度學(xué)習(xí)講解圖

深度學(xué)習(xí)可以被認(rèn)為是一種深度神經(jīng)網(wǎng)絡(luò)，可大致理解為包含多個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)由模仿人腦神經(jīng)元的多個(gè)節(jié)點(diǎn)組成。神經(jīng)元相互連接并產(chǎn)生影響。節(jié)點(diǎn)接收輸入數(shù)據(jù)并進(jìn)行簡(jiǎn)單操作，將結(jié)果傳遞給其他神經(jīng)元。神經(jīng)網(wǎng)絡(luò)通過改變每個(gè)環(huán)節(jié)的權(quán)值來實(shí)現(xiàn)學(xué)習(xí)。

打個(gè)比方，假設(shè)深度學(xué)習(xí)要處理的信息是“水流”，那么深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)則是一個(gè)由管道和閥門組成的巨大水管網(wǎng)絡(luò)。入口和出口是若干管道開口，這個(gè)多層的水管網(wǎng)絡(luò)，每一層有多個(gè)可控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務(wù)需要，水管網(wǎng)絡(luò)的層數(shù)、每層的調(diào)節(jié)閥數(shù)量有不同的組合變化。每一層的每個(gè)調(diào)節(jié)閥都通過水管與下一層的所有調(diào)節(jié)閥連接起來，組成一個(gè)從前到后、逐層完全連通的水流系統(tǒng)。

那么，計(jì)算機(jī)該如何使用這個(gè)龐大的水管網(wǎng)絡(luò)來學(xué)習(xí)呢？

比如我們想讓計(jì)算機(jī)認(rèn)識(shí)漢字。當(dāng)計(jì)算機(jī)看到一張寫有“國(guó)”字的圖片時(shí)，就將組成這張圖片的所有數(shù)字信息全都變成信息的“水流”，從入口灌進(jìn)水管網(wǎng)絡(luò)。我們預(yù)先在水管網(wǎng)絡(luò)的每個(gè)出口都插一塊字牌，對(duì)應(yīng)于每一個(gè)我們想讓計(jì)算機(jī)認(rèn)識(shí)的漢字。這時(shí)，因?yàn)檩斎氲氖恰皣?guó)”這個(gè)漢字，等“水流”流過整個(gè)水管網(wǎng)絡(luò)，計(jì)算機(jī)就會(huì)跑到管道出口位置去看一看，是不是標(biāo)記有“國(guó)”字的管道出口流出來的“水流”最多。如果是這樣，就說明這個(gè)管道網(wǎng)絡(luò)符合要求。如果不是這樣，就調(diào)節(jié)水管網(wǎng)絡(luò)里的流量調(diào)節(jié)閥，讓“國(guó)”字出口流出的水最多。

因此深度學(xué)習(xí)可被視為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步提升，通過增加神經(jīng)網(wǎng)絡(luò)的層數(shù)來提高學(xué)習(xí)的能力。

那么，深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)又有怎樣的關(guān)系呢？

深度學(xué)習(xí)的過程需要提供大量的數(shù)據(jù)，因此當(dāng)數(shù)據(jù)量很少的時(shí)候，深度學(xué)習(xí)的性能會(huì)相對(duì)一般。而傳統(tǒng)的機(jī)器學(xué)習(xí)算法使用了制定的規(guī)則，性能會(huì)相對(duì)較好。傳統(tǒng)的機(jī)器學(xué)習(xí)需要制定規(guī)則，而數(shù)據(jù)的特征提取和規(guī)則制定對(duì)于機(jī)器學(xué)習(xí)來說并不簡(jiǎn)單，需要人工投入大量時(shí)間去研究和調(diào)整。此時(shí)，深度學(xué)習(xí)的優(yōu)勢(shì)就體現(xiàn)出來了，深度學(xué)習(xí)可自動(dòng)學(xué)習(xí)特征和任務(wù)之間的關(guān)聯(lián)，還能從簡(jiǎn)單的特征中提取深層次的復(fù)雜特征。

整體來講，深度學(xué)習(xí)有很強(qiáng)的學(xué)習(xí)能力，在實(shí)際應(yīng)用中表現(xiàn)亮眼；覆蓋范圍廣，可移植性好，能夠兼容多框架、多平臺(tái)，也適用于多樣的數(shù)據(jù)形式，并解決復(fù)雜的問題。在數(shù)據(jù)規(guī)模快速增長(zhǎng)的當(dāng)下，數(shù)據(jù)越多，基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)的表現(xiàn)也會(huì)越好。

但是，深度學(xué)習(xí)也具有一定的缺陷。深度學(xué)習(xí)的計(jì)算量大、成本高，需要大量的數(shù)據(jù)和算力的支撐，普通的CPU通常無法滿足需求，需要更高性能的GPU甚至是TPU。并且深度學(xué)習(xí)的模型設(shè)計(jì)復(fù)雜，其黑盒的特性導(dǎo)致模型的結(jié)果存在潛在的偏見，可解釋性有待提高。

當(dāng)今，深度學(xué)習(xí)技術(shù)已經(jīng)應(yīng)用于各行各業(yè)，并潛移默化地影響著人們的生活方式。人臉識(shí)別的背后有著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用；網(wǎng)購(gòu)、刷短視頻的背后有著深度學(xué)習(xí)在智能推薦領(lǐng)域的應(yīng)用；與小冰、小愛和小度等智能助手對(duì)話的背后有著深度學(xué)習(xí)在信息檢索、語音識(shí)別以及自然語言處理領(lǐng)域的應(yīng)用。深度學(xué)習(xí)技術(shù)在帶給人們生活便利的同時(shí)，也在推動(dòng)著生產(chǎn)力的提升以及社會(huì)的進(jìn)步。

在過去的幾十年的發(fā)展中，深度學(xué)習(xí)大量借鑒了我們關(guān)于人腦、統(tǒng)計(jì)學(xué)和應(yīng)用數(shù)學(xué)的知識(shí)。近年來得益于更強(qiáng)大的計(jì)算能力、更大的數(shù)據(jù)集和能夠訓(xùn)練更多層神經(jīng)網(wǎng)絡(luò)的技術(shù)，深度學(xué)習(xí)的普及性和實(shí)用性都有了極大的發(fā)展。未來，深度學(xué)習(xí)在更多領(lǐng)域的普適應(yīng)用以及可解釋性研究將成為發(fā)展趨勢(shì)。