楊毅+鐘嫻+周天宇+喬飛+王生進

摘 要：媒體與認知是清華大學電子信息學科在課程體系改革過程中提出的一門重要必修課程。隨著人工智能技術的快速發(fā)展，將其引入信息專業(yè)本科生教學具有很重要的科研及教學意義。文章介紹媒體與認知課程中的人工智能教學及配套實驗平臺、人工智能內(nèi)容的實驗內(nèi)容及平臺并提供更多關于人類認知和媒體表達的知識，配合人工智能學科發(fā)展的要求。

關鍵詞：人工智能；媒體與認知；RealSense平臺；深度學習

文章編號：1672-5913（2017）07-0155-04

中圖分類號：G642

1 背 景

電子信息科學與技術是以物理和數(shù)學為基礎，研究通過電學形式表達和操控信息的基本規(guī)律以及運用這些基本規(guī)律實現(xiàn)各種電子系統(tǒng)的方法。在進入電子時代和信息社會的今天，電子信息科學技術已滲透各個領域。隨著電子信息技術日新月異，電子信息教學領域也面臨著全新的挑戰(zhàn)，需要培養(yǎng)具有全方位視野和超強能力的新一代工程師及領導者。本著這一目標，清華大學電子系自2008年開始著手進行課程改革，通過改革課程體系將原有課程重新整合，從學科范式的角度整理出電子工程本科教育的知識體系結構，從而梳理出新的本科課程體系，形成電子信息領域學科地圖[1-2]。

2016年AlphaGo戰(zhàn)勝李世石的事實，讓人工智能技術再一次向世人展示了自己的潛力。人工智能無論在傳統(tǒng)的制造加工行業(yè)，還是在新興的互聯(lián)網(wǎng)行業(yè)，都成為國內(nèi)外各大企業(yè)爭相研究開發(fā)的目標，在學術界也是如此。2016年底，Gartner全球峰會發(fā)布2017十大技術趨勢報告[3]，預測2017年十大技術趨勢：人工智能與機器學習、智能應用、智能事物、虛擬和增強現(xiàn)實、數(shù)字化雙生、區(qū)塊鏈和已分配分類賬、對話式系統(tǒng)、格網(wǎng)應用和服務架構、數(shù)字化技術平臺、自適應安全架構。Gartner預計2017年全球將有超過60%的大型企業(yè)開始采用人工智能技術。

在2016年開設的媒體與認知課程內(nèi)容中，我們參考國內(nèi)外諸多名校相關課程的理論及項目內(nèi)容，結合電子工程系在該領域研究的基礎優(yōu)勢和創(chuàng)新性成果，建設了一套媒體認知人工智能技術教學課程內(nèi)容及平臺，以期學生獲得人工智能技術中深度學習技術的基礎理論和開發(fā)能力。課程通過提供人工智能技術領域高層次專業(yè)人才必需的基本技能、專業(yè)知識及思維方式，力爭培養(yǎng)具有國際一流科研創(chuàng)新能力的人工智能方向的專業(yè)技術人才。

2 人工智能技術教學內(nèi)容

美國MIT大學的Statistical Learning Theory and Applications課程[4]，致力于從統(tǒng)計學習和正則化理論的角度介紹機器學習的基礎和最新進展。除了經(jīng)典的機器學習方法，如支持向量機、流形學習、有監(jiān)督學習等之外，還重點介紹深度學習計算的理論框架并要求學生以項目形式給出基于機器學習和深度神經(jīng)網(wǎng)絡的解決方案。

美國CMU大學的Deep Learning課程[5]通過一系列研討會和課程實驗介紹深度學習這一主題，涵蓋深度學習的基礎知識和基礎理論及應用領域，以及大量數(shù)據(jù)學習的最新問題。通過若干實驗題目，學生可以對深度神經(jīng)網(wǎng)絡原理及應用加深理解。

美國Stanford大學的Deep Learning for Natural Language Processing課程[6]深入介紹應用于自然語言理解的深度學習前沿研究，討論包括循環(huán)神經(jīng)網(wǎng)絡、長短期記憶模型、遞歸神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡等非常新穎的模型。通過上機實驗，學生將學習使用神經(jīng)網(wǎng)絡工作的技巧來解決實際問題，包括實施、訓練、調(diào)試、可視化和提出自己的神經(jīng)網(wǎng)絡模型，最終的實驗項目涉及復雜的循環(huán)神經(jīng)網(wǎng)絡并將應用于大規(guī)模自然語言理解的問題。

媒體認知課程參考了上述著名課程的理論內(nèi)容和項目特色。我們結合電子工程系在人工智能領域研究的基礎、優(yōu)勢和創(chuàng)新性成果，設計開發(fā)了一套以人工智能技術為基礎的前沿探索型媒體認知教學課程內(nèi)容及實驗平臺，試圖構建具有國際水準的人工智能技術教學課程內(nèi)容。

3 深度學習技術發(fā)展概況

傳統(tǒng)的人工智能系統(tǒng)一般采用機器學習技術，這類技術在處理原始形式的自然數(shù)據(jù)的能力上受到限制，一般困難集中在如何將原始數(shù)據(jù)變換為合適的內(nèi)部表示或特征向量。深度學習（deep learning）近年來受到人工智能行業(yè)的廣泛關注，是一種表征學習（representation-learning）方法，由于擁有可以逼近任意非線性函數(shù)的特性，深度神經(jīng)網(wǎng)絡（deep neural network，DNN）及其衍生的各種神經(jīng)網(wǎng)絡結構有能力取代傳統(tǒng)模型，在語音、圖像、文本、視頻等各種媒體的內(nèi)容識別系統(tǒng)中發(fā)揮作用。

著名的人工智能科學家Yann LeCun于2015年在Nature上發(fā)表文章[7]指出，深度學習允許多個處理層組成的計算模型學習如何表征具有多級抽象層面的數(shù)據(jù)。這些方法已經(jīng)大大提高語音識別、視覺識別、目標檢測以及諸如藥物發(fā)現(xiàn)、基因學等許多領域的最新技術水平。深度學習通過使用反向傳播算法發(fā)現(xiàn)大數(shù)據(jù)集中的復雜結構，以指示機器如何改變其內(nèi)部參數(shù)，這些內(nèi)部參數(shù)是從深度神經(jīng)網(wǎng)絡上一層的表示中計算每層中的表示。深度卷積網(wǎng)絡在處理圖像、視頻、語音和音頻方面帶來突破性的進展，而遞歸網(wǎng)絡則對文本、語音等順序數(shù)據(jù)提供解決方案。

遞歸網(wǎng)絡可被視作較深的前饋網(wǎng)絡，其中所有層共享相同的權重。遞歸網(wǎng)絡的問題在于難以在長期的時間內(nèi)學習并存儲信息。為了解決這一問題，長短期記憶（long short-term memory，LSTM）模型網(wǎng)絡被提出，主要特點在于其存儲器單元在下一個加權值為1的時間段內(nèi)與自身連接，因此能夠在復制自身狀態(tài)的同時累加外部信號，此外這種自我連接被另一個單元通過學習決定何時清除此類信息。長短期記憶模型被證明在語音識別和機器翻譯應用系統(tǒng)中比傳統(tǒng)的遞歸網(wǎng)絡更加有效。

4 基于深度學習的語音識別教學項目

在對上述課程及配套項目進行詳細研究的基礎上，結合現(xiàn)有科研及平臺，我們構建了一種基于深度學習的連續(xù)語音識別項目平臺，包括兩個主要項目：深度神經(jīng)網(wǎng)絡語音識別項目及長短期記憶模型遞歸神經(jīng)網(wǎng)絡語音識別項目。

4.1 深度神經(jīng)網(wǎng)絡語音識別項目

典型的深度神經(jīng)網(wǎng)絡語音識別模型[8-9]核心是對聲學特征進行多層變換，并將特征提取和聲學建模在同一網(wǎng)絡中進行優(yōu)化。神經(jīng)網(wǎng)絡可以通過非線性激活函數(shù)來擬合任何非線性函數(shù)，可以使用神經(jīng)網(wǎng)絡取代原有聲學模型中的高斯混合模型，用來計算每一幀的特征與每個音素的相似程度。深度神經(jīng)網(wǎng)絡原理的結構示意圖如圖1所示。

圖1代表了一個擁有3個隱含層的深度神經(jīng)網(wǎng)絡。相鄰兩層中，每層的每一個節(jié)點都與另外一層的所有節(jié)點單向連接。數(shù)據(jù)由輸入層輸入，逐層向下一層傳播。對于節(jié)點間的連接權重，采用BP算法。BP算法對于給定的輸入輸出訓練數(shù)據(jù)，首先通過正向傳播由輸入得到輸出，之后通過實際輸出與理論上的正確輸出之差得到殘差，并由輸出層向輸入層根據(jù)激活函數(shù)與連接權重反向傳播殘差，計算出每一個節(jié)點與理想值之間的殘差，最后根據(jù)每個節(jié)點的殘差修正節(jié)點間連接的權重，通過對權重的調(diào)整實現(xiàn)訓練，從而更加靠近理論輸出結果。

將DNN實際利用到語音識別的聲學模型時，其結構示意圖如圖2所示。深度神經(jīng)網(wǎng)絡的輸入層輸入從每一幀音頻中提取出的特征，通過網(wǎng)絡的正向傳播，在輸出層輸出當前幀對應不同音素的相似程度，從而作為HMM的發(fā)射概率進行語音識別。考慮到DNN沒有記憶特性，而語音信號即使是在音素層級上，其前后也有相當大的聯(lián)系。為了提高DNN在處理前后高度關聯(lián)的語音信號中的表現(xiàn)，一般選擇同時將當前幀的前后部分幀作為網(wǎng)絡的輸入，從而提高對當前幀識別的正確率。

4.2 長短期記憶模型遞歸神經(jīng)網(wǎng)絡語音識別項目

長短期記憶模型應用于語音識別中聲學模型的思路和深度神經(jīng)網(wǎng)絡類似[10-11]，取代高斯混合模型用于計算輸入幀與各音素的匹配程度。原理為首先根據(jù)輸入門判斷輸入的數(shù)據(jù)可以進入記憶細胞的比例，同時遺忘門決定記憶細胞遺忘的比例；之后由記憶細胞殘存的記憶部分和新輸入的部分求和，作為記憶細胞的新記憶值；將新的記憶值根據(jù)輸出門的控制得到記憶細胞的輸出，并通過遞歸投影層降維，降維之后的結果一方面作為3個控制門的反饋，另一方面作為網(wǎng)絡的輸出；非遞歸投影層則僅僅作為最終輸出的補充，而不會影響控制門。將長短期記憶模型實際利用到語音識別的聲學模型時，其結構示意圖如圖3所示。

與深度神經(jīng)網(wǎng)絡不同，長短期記憶模型遞歸神經(jīng)網(wǎng)絡因為有記憶特性，所以不需要額外的多幀輸入，只需要輸入當前幀。然而，考慮到語音前后的關聯(lián)性，一般會將輸入的語音幀進行時間偏移，使得對t時刻幀的特征計算得到的輸出結果是基于已知未來部分幀的特征之后進行的，從而提高準確度。

5 結 語

我們主要介紹了媒體與認知課程中的深度學習教學項目“基于深度學習的語音識別教學項目”，在現(xiàn)有開發(fā)平臺的基礎上引入多種深度學習算法并對其進行比較，使得學生掌握了目前主流的深度學習算法核心技術及應用方法。學生反饋表明，通過該部分教學內(nèi)容，學生對深度學習技術加深了了解，調(diào)動了研究積極性，大部分學生對深度學習方向的前景十分樂觀。將這些內(nèi)容與媒體認知教學課程結合并為學生提供研究平臺，使得學生開闊了科研視野，進一步為培養(yǎng)學術興趣、明確科研方向和堅定科研信念提供輔助和支撐，最終達到培養(yǎng)具備國際領先研究水平、同時具有突出創(chuàng)新實踐能力和持續(xù)探索精神的高素質(zhì)人才的目的。下一步，我們將基于該深度學習項目平臺進一步開展研究探索，提高深度學習的實時性和魯棒性。

參考文獻：

[1] 清華大學電子工程系[EB/OL]. [2017-02-01]. http：//www.ee.tsinghua.edu.cn/.

[2] 楊毅， 徐淑正， 喬飛， 等. 媒體認知實驗教學改革研究與探索[J]. 計算機教育， 2015 （9）： 107-109.

[3] 搜狐科技. Gartner最新2017十大戰(zhàn)略技術趨勢： 以智能為中心實現(xiàn)萬物互聯(lián)[EB/OL]. （2016-11-09）[2017-02-01]. http：//it.sohu.com/20161109/n472678047.shtml.

[4] 9.520/6.860： Statistical learning theory and applications， fall 2016[EB/OL]. [2017-02-01]. http：//www.mit.edu/～9.520/fall16/.

[5] Deep Learning[EB/OL]. [2017-02-01]. http：//deeplearning.cs.cmu.edu/.

[6] Deep learning for natural language processing[EB/OL]. [2017-02-01]. http：//cs224d.stanford.edu/.

[7] LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[8] Hinton G E， Osindero S， Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation， 2006， 18（7）： 1527-1554.

[9] Graves A， Mohamed A， Hinton G. Speech recognition with deep recurrent neural networks[C]//2013 IEEE International Conference on Acoustics， Speech and Signal（ICASSP）.Washington D C： IEEE， 2013： 6645-6649.

[10] Sak H， Senior A W， Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//15th Annual Conference of the International Speech Communication Association. Singapore： IEEE， 2014： 338-342.

[11] Botvinick M M， Plaut D C. Short-term memory for serial order： A recurrent neural network model[J]. Psychological review， 2006， 113（2）： 201.

（編輯：宋文婷）