亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        “深度學(xué)習(xí)三巨頭”來了倆,Hinton、LeCun預(yù)言深度學(xué)習(xí)的未來

        2019-07-25 01:37:55李亞山
        海外星云 2019年13期
        關(guān)鍵詞:卷積權(quán)重神經(jīng)網(wǎng)絡(luò)

        李亞山

        當(dāng)?shù)貢r(shí)間6月23日,今年的ACM圖靈獎(jiǎng)得主、“深度學(xué)習(xí)三巨頭”中的Geoffrey Hinton、Yann LeCun在ACM FCRC 2019上發(fā)表演講,分享了他們對(duì)于深度學(xué)習(xí)的最新觀點(diǎn)。

        人工神經(jīng)網(wǎng)絡(luò)(英文圖示)

        Geoffrey Hinton 演講題目為《深度學(xué)習(xí)革命》。他表示,截至目前,人工智能有兩種典型例證。第一種是20世紀(jì)50年代基于邏輯啟發(fā)的智能,在那時(shí),智能的本質(zhì)是使用符號(hào)規(guī)則來做出符號(hào)表達(dá)。這種方法注重的是推理,主要側(cè)重于解決如何讓計(jì)算機(jī)像人類一樣能根據(jù)推理做出反應(yīng)。第二種是基于生物啟發(fā)的人工智能。它所代表的智能的本質(zhì)是學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的聯(lián)系優(yōu)勢(shì)。這種方法注重的是學(xué)習(xí)和感知。

        基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“看圖說話”

        由此看來,人工智能的這兩個(gè)范例有很大的不同,而且,它們?cè)趦?nèi)部表征方面的觀點(diǎn)也不相同?;谶壿嫷娜斯ぶ悄?,其內(nèi)部表征是符號(hào)表達(dá)。程序員可以用明確的語言把這些符號(hào)輸入計(jì)算機(jī);計(jì)算機(jī)通過應(yīng)用規(guī)則使現(xiàn)有的符號(hào)產(chǎn)生新的表示。而基于生物的人工智能,它的內(nèi)部表征與語言沒有任何關(guān)系。它們就像是神經(jīng)活動(dòng)一樣,充滿了大量向量,這些向量是直接從數(shù)據(jù)中學(xué)習(xí)得到的,而且對(duì)神經(jīng)活動(dòng)有著直接的因果影響。

        這就分別產(chǎn)生了兩種計(jì)算機(jī)執(zhí)行任務(wù)的方式。第一種是編程,Hinton也將它稱為智能設(shè)。編程時(shí),程序員已經(jīng)想清楚了處理任務(wù)的方法步驟,他需要做的是精確計(jì)算,并將所有細(xì)節(jié)輸入計(jì)算機(jī),然后讓計(jì)算機(jī)去執(zhí)行。第二種是學(xué)習(xí),這時(shí)只需要向計(jì)算機(jī)提供大量輸入輸出的例子,讓計(jì)算機(jī)學(xué)習(xí)如何將輸入與輸出聯(lián)系起來,根據(jù)輸入映射出輸出。當(dāng)然這也需要編程,但是所用的程序是簡(jiǎn)化的通用學(xué)習(xí)程序。

        50多年來,人類一直在努力讓符號(hào)型人工智能(symbolic AI)實(shí)現(xiàn)“看圖說話”的功能。針對(duì)這項(xiàng)任務(wù),人類用兩種方式都嘗試了很長(zhǎng)時(shí)間,最后神經(jīng)網(wǎng)絡(luò)成功完成了這一任務(wù),神經(jīng)網(wǎng)絡(luò)正是基于純學(xué)習(xí)的方法。

        Hinton:神經(jīng)網(wǎng)絡(luò)的核心問題

        最初的手寫文字識(shí)別

        這就引出了神經(jīng)網(wǎng)絡(luò)的核心問題:包含數(shù)百萬權(quán)重參數(shù)和多層非線性神經(jīng)元的大型神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的計(jì)算設(shè)備,那么神經(jīng)網(wǎng)絡(luò)能否從隨機(jī)權(quán)重參數(shù)開始,并從訓(xùn)練數(shù)據(jù)中獲取所有知識(shí),從而學(xué)會(huì)執(zhí)行一項(xiàng)困難的任務(wù) (比如物體識(shí)別或機(jī)器翻譯) 呢?

        接下來,Hinton回顧了前人的種種努力成果,神經(jīng)網(wǎng)絡(luò)是如何工作的呢?Hinton做了簡(jiǎn)短的介紹。研究人員首先對(duì)一個(gè)真實(shí)的神經(jīng)元做了一個(gè)粗略的理想化,這樣就可以研究神經(jīng)元是如何協(xié)作完成那些難度很高的計(jì)算。神經(jīng)網(wǎng)絡(luò)由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù),稱為激勵(lì)函數(shù)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值,稱之為權(quán)重,這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式、權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近,也可能是對(duì)一種邏輯策略的表達(dá)。

        那么,如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)呢?Hinton認(rèn)為分為兩大方法,分別是監(jiān)督訓(xùn)練和無監(jiān)督訓(xùn)練。監(jiān)督訓(xùn)練:向網(wǎng)絡(luò)展示一個(gè)輸入向量,并告訴它正確的輸出,通過調(diào)整權(quán)重,減少正確輸出與實(shí)際輸出之間的差異。無監(jiān)督訓(xùn)練:僅向網(wǎng)絡(luò)顯示輸入,通過調(diào)整權(quán)重,更好地從隱含神經(jīng)元的活動(dòng)中重建輸入(或部分輸入),最后產(chǎn)生輸出。其中,監(jiān)督學(xué)習(xí)是很好理解的訓(xùn)練方式,但是它使用的“突變”方法的效率很低。

        相較而言,反向傳播只是計(jì)算權(quán)重變化如何影響輸出錯(cuò)誤的一種有效方法。它不是一次一個(gè)地?cái)_動(dòng)權(quán)重并測(cè)量效果,而是使用微積分同時(shí)計(jì)算所有權(quán)重的誤差梯度。當(dāng)有一百萬個(gè)權(quán)重時(shí),反向傳播方法要比變異方法效率高出一百萬倍。然而,反向傳播算法的發(fā)展卻又不盡如人意。在20世紀(jì)90年代,雖然反向傳播算法的效果還算不錯(cuò),但并沒有達(dá)到人們所期待的那樣,訓(xùn)練深度網(wǎng)絡(luò)仍然非常困難;在中等規(guī)模的數(shù)據(jù)集上,一些其他機(jī)器學(xué)習(xí)方法甚至比反向傳播更有效。

        符號(hào)型人工智能的研究人員稱,想要在大型深層神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)困難的任務(wù)是愚蠢的,因?yàn)檫@些網(wǎng)絡(luò)從隨機(jī)連接開始,且沒有先驗(yàn)知識(shí)。于是深度學(xué)習(xí)經(jīng)歷了一段時(shí)間的“寒冬”,到2012年之后,人們才意識(shí)到深度學(xué)習(xí)是有用的,深度學(xué)習(xí)才有了大量應(yīng)用。例如圖像識(shí)別和機(jī)器翻譯等。

        最后,Hinton談到了神經(jīng)網(wǎng)絡(luò)視覺的未來。Hinton認(rèn)為,幾乎所有人工神經(jīng)網(wǎng)絡(luò)只使用兩個(gè)時(shí)間尺度:對(duì)權(quán)重的緩慢適應(yīng)和神經(jīng)活動(dòng)的快速變化。突觸在多個(gè)不同的時(shí)間尺度上都可以適應(yīng),針對(duì)短時(shí)記憶(short-term memory)的快速權(quán)重適應(yīng)(fast weight)將使神經(jīng)網(wǎng)絡(luò)變得更好。

        Yann LeCun :未來在于監(jiān)督學(xué)習(xí)

        Yann LeCun 則在演講中表示,監(jiān)督學(xué)習(xí)在數(shù)據(jù)量很大時(shí)效果很好,可以做語音識(shí)別、圖像識(shí)別、面部識(shí)別、從圖片生成屬性、機(jī)器翻譯等。

        如果神經(jīng)網(wǎng)絡(luò)具有某些特殊架構(gòu),比如在20世紀(jì)八九十年代提出的那些架構(gòu),就能識(shí)別手寫文字,而且效果很好,到20世紀(jì) 90 年代末時(shí),Yann LeCun在貝爾實(shí)驗(yàn)室研發(fā)的這類系統(tǒng)承擔(dān)了全美10%~20%手寫文字的識(shí)別工作,這不僅在技術(shù)上,而且在商業(yè)上都取得了成功。

        到后來,整個(gè)學(xué)界一度幾乎拋棄了神經(jīng)網(wǎng)絡(luò)。這一方面是因?yàn)槿狈Υ笮蛿?shù)據(jù)庫(kù),還有些原因是當(dāng)時(shí)編寫的軟件過于復(fù)雜,需要很大投資,另一方面,當(dāng)時(shí)的計(jì)算機(jī)速度也不夠快,不足以運(yùn)行其他應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)其實(shí)是受到了生物學(xué)的很多啟發(fā),但它并不是照搬生物學(xué)。Yann LeCun從生物學(xué)的觀點(diǎn)和研究成果中受到啟發(fā),他發(fā)現(xiàn)可以利用反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這些現(xiàn)象。卷積網(wǎng)絡(luò)的理念是,世界上的物體是由各個(gè)部分構(gòu)成的,其各個(gè)部分由圖案構(gòu)成,而圖案是材質(zhì)和邊緣的基本組合,邊緣是由分布的像素組成。如果一個(gè)系統(tǒng)能夠檢測(cè)到有用的像素組合,再依次到邊緣、圖案、最后到物體的各個(gè)部分,這就是一個(gè)目標(biāo)識(shí)別系統(tǒng)。這不僅適用于視覺識(shí)別,也適用于語音、文本等自然信號(hào)。我們可以使用卷積網(wǎng)絡(luò)識(shí)別面部、識(shí)別路上的行人。

        在20世紀(jì) 90 年代到2010年左右,出現(xiàn)了一段所謂的“AI寒冬”,但像Yann LeCun這樣的人依然繼續(xù)著自己的研究。他們繼續(xù)著人臉識(shí)別、行人識(shí)別等研究。他們還將機(jī)器學(xué)習(xí)用在機(jī)器人技術(shù)上,使用卷積網(wǎng)絡(luò)自動(dòng)標(biāo)記整個(gè)圖像,每個(gè)像素都會(huì)標(biāo)記為“能”或“不能”穿越,指引機(jī)器人的前進(jìn)。幾年之后,他們使用類似的系統(tǒng)完成目標(biāo)分割任務(wù),整個(gè)系統(tǒng)可以實(shí)現(xiàn)VGA實(shí)時(shí)部署,對(duì)圖像上的每個(gè)像素進(jìn)行分割。這個(gè)系統(tǒng)可以檢測(cè)行人、道路、樹木,但當(dāng)時(shí)這個(gè)結(jié)果并未馬上得到計(jì)算機(jī)視覺學(xué)會(huì)的認(rèn)可。

        卷積神經(jīng)網(wǎng)絡(luò)在近幾年有很多應(yīng)用,例如醫(yī)療成像、自動(dòng)駕駛、機(jī)器翻譯,以及游戲等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練。但這種海量重復(fù)試驗(yàn)的方式在現(xiàn)實(shí)中是不可行的。例如你想教一臺(tái)自動(dòng)駕駛車學(xué)會(huì)駕駛,在真實(shí)世界如此重復(fù)訓(xùn)練是不行的。純粹的強(qiáng)化學(xué)習(xí)只能適用于虛擬世界。

        卷積神經(jīng)網(wǎng)絡(luò)可進(jìn)行人臉識(shí)別、行人識(shí)別

        那么,為什么人和動(dòng)物的學(xué)習(xí)速度可以如此之快?和自動(dòng)駕駛系統(tǒng)不同的是,人類能夠建立直覺上真實(shí)的模型,所以不會(huì)把車開下懸崖。這是人類掌握的內(nèi)部模型,那么人類是怎么學(xué)習(xí)這個(gè)模型的?又如何讓機(jī)器學(xué)會(huì)這個(gè)模型呢?動(dòng)物身上也存在類似的機(jī)制。預(yù)測(cè)是智能的不可或缺的組成部分,當(dāng)實(shí)際情況和預(yù)測(cè)出現(xiàn)差異時(shí),實(shí)際上就是學(xué)習(xí)的過程。以視頻內(nèi)容預(yù)測(cè)為例,給定一段視頻數(shù)據(jù),需要從其中一段視頻內(nèi)容預(yù)測(cè)另外一段空白處的內(nèi)容。自監(jiān)督學(xué)習(xí)的典型場(chǎng)景是,事先不公布要空出哪一段內(nèi)容,實(shí)際上根本不用真地留出空白,只是讓系統(tǒng)根據(jù)一些限制條件來對(duì)輸入進(jìn)行重建。系統(tǒng)只通過觀察來完成任務(wù),無需外部交互,學(xué)習(xí)效率更高。

        機(jī)器學(xué)習(xí)的未來在于自監(jiān)督和半監(jiān)督學(xué)習(xí),而非監(jiān)督學(xué)習(xí)和純強(qiáng)化學(xué)習(xí)。自監(jiān)督學(xué)習(xí)就像填空,在NLP任務(wù)上表現(xiàn)很好,但在圖像識(shí)別和理解任務(wù)上就表現(xiàn)一般。這是因?yàn)槭澜绮⒉蝗强深A(yù)測(cè)的。對(duì)于視頻預(yù)測(cè)任務(wù),結(jié)果可能有多重可能,訓(xùn)練系統(tǒng)做出的預(yù)測(cè)結(jié)果往往會(huì)得到唯一的“模糊”結(jié)果,即對(duì)未來所有結(jié)果的“平均值”。這并不是理想的預(yù)測(cè)。

        最后,Yann LeCun表示,幾百年以來,理論的提出往往伴隨著之后的偉大發(fā)明和創(chuàng)造。深度學(xué)習(xí)和智能理論在未來會(huì)帶來什么?值得我們拭目以待。

        (摘自美《深科技》)(編輯/華生)

        猜你喜歡
        卷積權(quán)重神經(jīng)網(wǎng)絡(luò)
        基于時(shí)域全卷積網(wǎng)絡(luò)的語音增強(qiáng)
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        權(quán)重常思“浮名輕”
        神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        為黨督政勤履職 代民行權(quán)重?fù)?dān)當(dāng)
        基于公約式權(quán)重的截短線性分組碼盲識(shí)別方法
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
        復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
        基于支持向量機(jī)回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
        很黄很色很污18禁免费| 第九色区Aⅴ天堂| 日韩人妻中文字幕一区二区| 国产精品女丝袜白丝袜美腿| 45岁妇女草逼视频播放| 国产a√无码专区亚洲av| 国内精品久久久久影院一蜜桃 | 日本午夜理论一区二区在线观看| 一本久久a久久免费综合| 大胸少妇午夜三级| 大伊香蕉在线精品视频75| 人妻无码人妻有码不卡| 亚洲一区二区三区毛片| 国产天堂av在线一二三四| 国产三级av在线播放| 国产精品麻豆成人av电影艾秋 | 中文字幕精品一区二区三区av| 国产内射视频在线免费观看| 免费网站看av片| 亚洲精品国产v片在线观看| 色偷偷亚洲第一综合网| 丰满人妻被持续侵犯中出在线| 乱码窝窝久久国产无人精品| 亚洲精品国产av天美传媒| 成人国产精品一区二区网站| 精品粉嫩国产一区二区三区| 六月婷婷亚洲性色av蜜桃| 丝袜美腿一区二区三区| 色伦专区97中文字幕| 欧美日韩综合在线视频免费看| 成人亚洲av网站在线看| 国产一区二区自拍刺激在线观看| 久久久久无码精品国产app| 麻豆AV免费网站| 偷拍一区二区三区在线观看| 在线观看国产成人自拍视频| 67194熟妇人妻欧美日韩| 韩日美无码精品无码| 久久精品国产亚洲av热一区| 中文字幕一区二区三区乱码人妻 | 一区二区三区国产免费视频|