趙 莉
(上海工程技術(shù)大學電子電氣工程學院,上海 201620)
在人工智能走向2.0的發(fā)展過程中,數(shù)據(jù)和知識是兩個最重要的關(guān)鍵元素[1-3]。處理大數(shù)據(jù)和處理多重知識,形成了AI發(fā)展的兩類核心技術(shù)。自然語言處理的核心驅(qū)動力來自數(shù)據(jù)驅(qū)動,在文本處理、信息抽取、情感分析、話題推薦、機器翻譯、專家系統(tǒng)、語音識別與合成等領(lǐng)域,取得了較好的應(yīng)用成效。
人工智能上升到國家戰(zhàn)略,正在邁入“創(chuàng)新驅(qū)動、應(yīng)用深化、規(guī)范發(fā)展”的新階段。人工智能作為一項戰(zhàn)略性技術(shù),不僅標志著人類第三次認知革命,還成為世界多國政府科技投入的聚焦點和產(chǎn)業(yè)政策的發(fā)力點。2017年全國兩會,政府工作報告首次提及人工智能。同年7月,《新一代人工智能發(fā)展規(guī)劃》由國務(wù)院印發(fā),提出人工智能的三個發(fā)展新方向,包括計算機視覺,語音處理和自然語言處理,拉開了我國人工智能高速發(fā)展的序幕。
然而,自然語言處理的技術(shù)難度高,技術(shù)成熟度較低。NLP是一門集心理學、計算機科學、語言學、數(shù)學于一體的科學。在人工智能所覆蓋的六大核心領(lǐng)域──視覺、語言、認知、機器人、機器學習、多智能體,自然語言處理技術(shù)被比爾·蓋茨譽為人工智能皇冠上的“明珠”,其研究是極富挑戰(zhàn)性的。人類語言中的一些不規(guī)則現(xiàn)象。因為語義,即語言所蘊含的意義,復雜度較高,僅靠目前基于大數(shù)據(jù)、并行計算的深度學習,很難達到人類的理解層次。
該課程建設(shè),提出順應(yīng)潮流,與時俱進,為培養(yǎng)人工智能一流人才,促進中國人工智能生態(tài)建設(shè)服務(wù)。從更新課程內(nèi)容,豐富教學手段,完善評價體系等方面著手,實施教學改革,快速、有效地彌補數(shù)字鴻溝,為全面提升人工智能專業(yè)本科生的實踐能力與科學素養(yǎng),培養(yǎng)人工智能應(yīng)用工程師探索有效途徑。此外,本文對自然語言處理課程建設(shè)的優(yōu)點、發(fā)展、痛點等工作進行了一一探討。
自然語言處理是人工智能領(lǐng)域的一項“知易行難”的底層技術(shù),一般分為語法、語義、語用三個層次,被譽為人工智能皇冠上的明珠[4-6]。數(shù)據(jù)增強技術(shù),利用對上下文的深刻理解,豐富了原始數(shù)據(jù)的含義。其最顯著的優(yōu)勢體現(xiàn)在數(shù)據(jù)挖掘和文本分析方面。國內(nèi)外高校,諸如麻省理工、斯坦福大學等世界一流大學,紛紛將其列入本科生與研究生的必修課程。
在世界上已經(jīng)查明的5651種語言中,英語作為主要的媒體,往往具有功能強大、數(shù)量眾多的語料庫,形成了豐富多彩的生態(tài)圈。目前,已然形成了140多個百萬量級的語料庫[7-9],簡化了開發(fā)的復雜度。1991年后,以中國國家語言文字工作委員會為首,建立起國家級大型漢語語料庫。相當一批大學和研究機構(gòu)對中文語料庫的建設(shè)做出了重要貢獻。逐漸創(chuàng)造出一套新的理論與方法,形成了語料語言學新學科。
基于以上現(xiàn)狀,構(gòu)建符合我國國情的自然語言處理課程,為人工智能的后續(xù)課程奠定理論與實踐基礎(chǔ)。是NLP發(fā)展壯大的基石,它賦予了技術(shù)“智能化”的基因。相比于基礎(chǔ)NLP技術(shù),例如分詞、詞干提取、詞性標注、詞性還原等技術(shù),高級NLP技術(shù)奠定了NLP未來發(fā)展的方向[10],主要應(yīng)用于以下四個方面:
1.2.1 機器翻譯
得益于翻譯需求的增長,機器翻譯系統(tǒng)的開發(fā)研究已經(jīng)持續(xù)了半個世紀。2013年,我國提出了偉大“一帶一路”倡議,涉及65個國家和地區(qū),語言種類超過110種,對多語言翻譯的需求異常巨大。早期的詞法分析是用分詞工具切分單詞,找出詞匯詞素,利用對齊算法,獲得單詞的詞義。2016年,Google發(fā)布了神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng),擁有一對編、解碼器。編碼器負責把源語言表示成一個高維的向量。解碼器負責把這個高維向量再解碼翻譯成目標語言??紤]到本校NLP課程的覆蓋范圍涵蓋國際班和國內(nèi)班,機器翻譯具有巨大潛力。
1.2.2 自動文本摘要
文本大數(shù)據(jù)是自然語言的主要載體,自動文本摘要,是指從原始文檔中,自動提取出簡潔、連貫短文的過程。如何有效過濾井噴式信息,凝練出感興趣的內(nèi)容,是自動文本摘要的痛點。過去,利用直接抽取方法生成摘要,準確率較低。基于深度學習的生成式特征提取方式,應(yīng)用注意力機制,計算每個輸入單詞的權(quán)重,已經(jīng)超越了傳統(tǒng)的抽取式模型,取得了不錯的訓練效果。該方法的普及,對學生動手能力的培養(yǎng),提高語言概括能力,對大量未知語料進行主成分分析,優(yōu)缺點比較等方面,具有不同程度的提升。
1.2.3 情感分析
情感分析是自然語言處理的常見應(yīng)用場景,其核心是情感分類算法與模型[10-12]。傳統(tǒng)算法需要建立情感詞典,對正面評價、負面評價、否定詞匯和程度副詞進行分類,然后劃分情感等級。然而,語言的發(fā)展與變化對該方法構(gòu)成了瓶頸??紤]到開發(fā)者迫切希望找到未見新詞的需求,主流的NLP方法采用深度學習算法[8],訓練―映射―編碼是推動人工智能時代發(fā)展的強大引擎。
1.2.4 多模態(tài)模型
預訓練模型的出現(xiàn),使自然語言處理由原來的手工調(diào)參、依靠機器學習專家的階段,進入到可以大規(guī)模、可復制的大工業(yè)實施階段。早期NLP中,基于預訓練模型+微調(diào)機制,具備很高的可擴展性,展現(xiàn)出很高潛力。而當前研究也從單一語言擴展到多模態(tài)??偟膩碚f,是從海量大數(shù)據(jù)中學到蘊含在數(shù)據(jù)中的知識、邏輯,凝練到神經(jīng)網(wǎng)絡(luò)上變成一個“同質(zhì)化”大模型,旨在訓練一套算法,為各種通用智能任務(wù),建立提供服務(wù)的基礎(chǔ)性平臺。
基于上述理由,自然語言處理課程建設(shè)是一項比較復雜的系統(tǒng)工程。由于數(shù)據(jù)規(guī)模的巨大提升可以彌補數(shù)據(jù)內(nèi)部存在的噪聲,萬億級別的超大模型陸續(xù)涌現(xiàn)。目前,海量數(shù)據(jù)高效標注,少量標注樣本微調(diào),數(shù)十個模式場景準確識別成為NLP發(fā)展的共識。該課程理論教學內(nèi)容跨度較大,橫貫機器翻譯、文本摘要、情感分析、模態(tài)識別等多個方面。這對教師的知識體系的廣度、深度,結(jié)構(gòu)化思維和呈現(xiàn)技巧都提出比較高的要求,是NLP課程建設(shè)的主要障礙。
最后,清晰的課程目標,數(shù)字化平臺和數(shù)字化工具是探索NLP技術(shù)的良好基礎(chǔ)。課程的開設(shè)與學習,為學生在求真務(wù)實中,實現(xiàn)知識積累、技能培養(yǎng)、能力提高奠定了扎實基礎(chǔ)。本文在人工智能專業(yè)本科生中開設(shè),年均授課120人,通過混合教學方式,提供了iclass的線上課堂體驗。考慮到本課程建設(shè)尚在起步階段,后續(xù)本項研究將于本地企業(yè)相結(jié)合,為學生創(chuàng)造更多真實應(yīng)用場景與實習途徑,為全面提升人工智能專業(yè)本科生的實踐能力與科學素養(yǎng),培養(yǎng)人工智能應(yīng)用工程師探索有效途徑。