文/本刊記者 馬銘陽
看完電影《超能陸戰(zhàn)隊》,每人都想擁有一個暖心“大白”。現(xiàn)在看來,擁有這樣一個善良、體貼、有情有義的智能機器人,已經(jīng)不再遙遠。人機共生,這個曾經(jīng)只出現(xiàn)在科幻小說和電影中的場景,正在走進我們的生活。
合肥工業(yè)大學先進智能機器研究院院長、情感計算與智能機器人安徽省重點實驗室主任任福繼,就是一位潛心情感機器人研究的專家。他傾心追尋“大白”近20年,已在人工智能,特別是情感機器人領域取得了頗為顯著的成績。自受聘為合肥工業(yè)大學先進智能研究院院長后,他與國內(nèi)有了更多的交集與碰撞。
因為他的影響力,引領和帶動了他培養(yǎng)的不少優(yōu)秀博士生的回歸,使得我國在情感機器人研究領域短期內(nèi)達到了世界先進水平,并在文本情感計算、情感陪護機器人領域成為世界領頭羊。
任福繼,日本工程院院士,歐盟科學院院士,日本工程會院士,IEICE Fellow。教育部“長江學者獎勵計劃”講座教授,中科院“海外杰出青年學者基金”獲得者,國際特聘千人計劃入選者。日本大川信息通信基金評審專家,中國科協(xié)海智專家,中國國務院僑辦科技專家委員。
主要研究領域包括:自然語言處理、多語機器翻譯和信息檢索;大規(guī)模知識獲取和人機會話;情感計算與智能機器人。
把機器人從一個工具變成一個“伙伴”,是任福繼開始從事情感計算與情感機器人研究的初衷。
那是2001年前后,任福繼在日本德島大學任職教授。此前,他曾求學于北京郵電大學、中科院計算機所、日本國立北海道大學等高校院所,并在一些公司從事計算機相關(guān)研究,在自然語言處理和人工智能研究領域積累了豐富經(jīng)驗。
比如他曾在1999年提出“多語言、多功能、多媒體智能化”的概念,引起自然語言處理和人工智能領域?qū)<业膹V泛關(guān)注,并獲IEEE best paper獎。這些都為他之后關(guān)于情感機器人的研究打下了基礎。
“那時,我除了在大學外,也兼任一些公司的技術(shù)顧問,開始對情感計算與情感機器人有了興趣。”任福繼介紹,情感計算這一概念,在1997年由麻省理工學院(MIT)一位教授提出。情感計算的目的是通過賦予計算機識別、理解、表達和適應人的情感的能力來建立和諧人機環(huán)境,并使計算機具有更高、更全面的智能。
但情感是多么主觀的存在,喜怒哀愁、七情六欲,人與人的交流有時都會不暢,更何況機器。情感要怎樣計算?要如何量化成機器可以理解并表達的數(shù)據(jù)?真正的情感機器人又應該是怎樣的呢?
在任福繼看來,除了硬件結(jié)構(gòu)的不斷發(fā)展,真正的情感機器人還應該擁有以下關(guān)鍵技術(shù)能力——基于大數(shù)據(jù)庫自主學習的多源視聽信號融合感知能力;多模態(tài)情感的融合分析與推理能力;多模態(tài)情感的表達與交互能力;具備個性化情感建模能力。
情感陪護機器人”思思“
任福繼版機器人
里奧兒童陪伴機器人
里奧商務機器人
簡單來講,就是讓機器人能夠感覺到人的情緒、了解人的情緒,并能夠根據(jù)這些情緒做出正確的反饋。
情感機器人發(fā)展的最終目標,是實現(xiàn)“自然”的人機交互,而其首要任務就是讓機器人具備情感交互能力,即讓機器人像人一樣具備情感表達和理解能力。這并不是一件容易的事。
“給機器人裝大腦,給機器人制造心,這個大腦和心怎么進行?我們用先進智能理論,用人工智能、自然智能+情感計算,以此來制造出智商。同時提出數(shù)據(jù)、信息、知識、智能大轉(zhuǎn)換,轉(zhuǎn)換過程,這樣就可以制造它的情商,反饋給我們的大數(shù)據(jù),包括面部表情、聲音、語言、生理信息大數(shù)據(jù),最終形成一個反饋,成就靜態(tài)的進化過程?!倍嗄陙恚胃@^就是沿著這樣的研究思路,明知難為仍為之。
為了研制出有情有義的“大白”,任福繼確立了大數(shù)據(jù)驅(qū)動的情感協(xié)同感知、推理與交互的總體研究思路,并定下了自己的“三步走”戰(zhàn)略——
第一步,把情感形式化、量化,讓機器人能夠識別,具備感知能力,會“看”。
第二步,構(gòu)建一個足夠大的情感語料庫,讓機器人不斷學習,進而具備分析、推理能力,能“懂”。
第三步,機器人在不斷學習之后,能對不同場景、不同語境中話語做出正確反饋,及至可自然“交流”。
三步之后,一個有情有義的“大白”便初具形制。初步完成這三步,任福繼建立了情感計算領域三大機制(面向多源大數(shù)據(jù)的類人智能感知機制、面向情感交互的多模態(tài)協(xié)同分析與推理機制以及大數(shù)據(jù)驅(qū)動的情感創(chuàng)生與交互機制),前后用了20年,而近5年在多源感知、深度推理、情感創(chuàng)生等領域發(fā)表的200余篇高質(zhì)量論文記錄了團隊前進的每一步。
“看到”包括識別,感知。要讓機器人“看到”情感,首先要把情感量化、形式化。為此,任福繼在世界上首次提出了“心狀態(tài)轉(zhuǎn)移網(wǎng)絡”理論,使情感計算在工程上得以實現(xiàn)。
在心狀態(tài)轉(zhuǎn)移網(wǎng)絡中,人的情感分為N個狀態(tài),各狀態(tài)都可以在外界刺激(即情感能量)下互相轉(zhuǎn)移,狀態(tài)轉(zhuǎn)移的概率與前一狀態(tài)及情感能量的強度有關(guān)。
基于此,他們根據(jù)文本、語音、面部表情、生理信息和行為5種信息,計算出每一個時間點的情感能量。當心理調(diào)查規(guī)模足夠大、數(shù)據(jù)足夠多,他們就可以計算出不同狀態(tài)在不同情感能量刺激下做出轉(zhuǎn)移的概率,得出不同情感的狀態(tài)轉(zhuǎn)移規(guī)律,從而建立并完善心狀態(tài)轉(zhuǎn)移網(wǎng)絡參數(shù)模型,進而推斷情感。
以這一理論為出發(fā)點,他們進一步研究了情感語義分析與表達,構(gòu)建了情感語義計算的理論和技術(shù)體系,使得情感語義計算建立在堅實的理論基礎上。
“看到”之后是“懂得”。人類的語言豐富多彩,為了讓機器人“見多識廣”,具備自主深度學習能力,任福繼帶領團隊構(gòu)建了世界規(guī)模最大、層次最多、粒度最細的情感語料庫Ren-CECps,在中文的語義基礎資源建設、知識表示、知識獲取、語義分析技術(shù)以及文本理解等方面取得了創(chuàng)新性成果。
Ren-CECps,是一個富含多層次語義信息的大規(guī)模漢語基礎資源庫和知識庫,以文本情感表達的空間模型為框架,從多粒度(篇章、段落、句子、詞語)、多角度(各粒度的多維情感類別、篇章主題、句子情感、情感對象等),采用自動標注與人工校驗相結(jié)合的方法構(gòu)建。
它的標注體系分為文本層、段落層、句子層三個層次,每一個層次都包括不同的情感標注信息,層層架構(gòu),形成了體現(xiàn)中文信息處理特色的語義信息處理體系。
在現(xiàn)有數(shù)據(jù)庫基礎上,綜合機器學習和人工檢校技術(shù)構(gòu)建的大規(guī)模情感語義庫詞規(guī)模超過3千萬。截至目前,已授權(quán)東京大學、哈佛大學、香港理工大學等國內(nèi)外近300所高校及研究機構(gòu)用于情感識別的研究。
最難的一點,人類的情感表達不止靠語言,還憑借語音,還有個性。語音不同傳遞的情感不同,還會根據(jù)不同人的個性化表達衍生出不同的意義,而且人的情感狀態(tài)會伴隨交流的推進發(fā)生變化,極其復雜。任福繼介紹,這其中涉及到了多模態(tài)情感語義協(xié)同計算機理、多維度情感狀態(tài)應激轉(zhuǎn)移機制、多場景情感行為生成表達模型等科學問題。
心狀態(tài)轉(zhuǎn)移網(wǎng)絡
圍繞這些問題,團隊進行了深入研究,在無數(shù)次的嘗試與實驗之后,才最終攻克了情感感知由單模態(tài)到多模態(tài)協(xié)同、情感狀態(tài)由靜態(tài)到動態(tài)轉(zhuǎn)移、情感表達由仿真到系統(tǒng)實裝等技術(shù)難點。
同時,他在國際上率先提出了融合人工智能、自然智能及情感計算的“先進智能”概念,從更高層面引領相關(guān)研究的推進,并得到了國內(nèi)外學術(shù)前輩的支持和積極響應。
最終,基于心狀態(tài)轉(zhuǎn)移網(wǎng)絡理論、多模態(tài)情感計算理論與先進智能理論,任福繼帶領團隊搭建出了具有自主知識產(chǎn)權(quán)的中文情感語義計算系統(tǒng),使情感機器人有了與人一樣的“心腦”,能夠進行情感交互。
這一步,真正將情感機器人推向了產(chǎn)業(yè)化進程?!皬南到y(tǒng)層面,情感機器人的實現(xiàn)需要四大條件,一是大規(guī)模、多模態(tài)、高質(zhì)量的數(shù)據(jù),為情感機器人技術(shù)發(fā)展奠定知識基礎;二是基于先進智能理論的情感計算理論模型,為情感機器人技術(shù)發(fā)展裝備‘心腦’模型;三是先進且較完備的深度學習算法,推動情感機器人技術(shù)實現(xiàn);四是用于支撐上述三個方面的硬件支撐,如強大的計算能力?!比胃@^介紹,上述四個條件已基本具備,情感機器人的實現(xiàn)已真實可期。
其實機器人技術(shù)最早是工業(yè)領域的,他們在實現(xiàn)業(yè)務流程自動化、提高生產(chǎn)力方面,發(fā)揮了非常積極的作用,如今應用也非常廣泛。
伴隨相關(guān)技術(shù)的不斷發(fā)展,機器人的應用邊界得以拓展,機器人技術(shù)已經(jīng)從傳統(tǒng)的工業(yè)制造領域,逐步向生物醫(yī)療、教育娛樂、救災救援等領域擴展。難得的是,任福繼所帶領的團隊在工業(yè)機器人與服務機器人兩方面都已取得了不錯的產(chǎn)業(yè)化成果。
南京匯川工業(yè)視覺技術(shù)開發(fā)有限公司總經(jīng)理李勃
李勃,南京匯川工業(yè)視覺技術(shù)開發(fā)有限公司(以下簡稱“匯川視覺”)總經(jīng)理,他還有一個身份——任福繼的學生+助手。他們合作多年,從學校到企業(yè),從老師和學生轉(zhuǎn)變?yōu)槭紫茖W家和總經(jīng)理,目的就是推動基于先進智能的工業(yè)檢測技術(shù)落地應用。
如今看來,他們做得還不錯。
2016年,匯川視覺成功自主研發(fā)“基于深度學習的全流程灌裝缺陷視覺檢測系統(tǒng)”,填補了深度學習在灌裝缺陷檢測領域的空白。該產(chǎn)品創(chuàng)新的采用深度卷積神經(jīng)網(wǎng)絡等技術(shù),具有多類目標定位、目標識別和缺陷檢測功能,覆蓋灌裝生產(chǎn)線瓶口、瓶蓋、標貼、噴碼和裝箱等全部關(guān)鍵質(zhì)檢環(huán)節(jié),能夠解決灌裝缺陷檢測面臨的品種多、瓶型多、干擾多、形變大、參數(shù)多、調(diào)試復雜等棘手問題,在兼容性、易用性、高效性、準確性等指標方面相比于行業(yè)水平和傳統(tǒng)方法都有大幅提升,基本實現(xiàn)“0”漏檢,誤檢率<0.1%。具有顯著的經(jīng)濟效益和社會效益。
2017年,他們又成功研發(fā)了“基于深度學習的屏幕缺陷檢測系統(tǒng)”,創(chuàng)新性運用深度學習技術(shù),采用良品學習模式,讓機器仿真人類認知,大大提高了系統(tǒng)的檢測性,所有缺陷的漏檢率<0.5%,誤檢率<8%,新型號實現(xiàn)1h內(nèi)換型。
2018年,國內(nèi)首創(chuàng)的“機器視覺+人工智能深度學習”融合的視覺控制器麒麟IV700發(fā)布,采用“傳統(tǒng)圖像處理+人工智能”深耦合技術(shù),讓機器不但能看清而且能看懂,讓機器像人一樣思考。基于平臺中的工具,可輕松構(gòu)建解決實際問題的作業(yè)工程,獲得軟件加硬件的一體化解決方案,大大降低了視覺應用的門檻,使普通工程師、技術(shù)員也能輕松完成視覺現(xiàn)場應用,讓深度學習技術(shù)更方便地覆蓋到更多應用場景,推動了人工智能技術(shù)在工業(yè)自動化領域的廣泛應用,也為國內(nèi)工業(yè)視覺企業(yè)在視覺技術(shù)上彎道超車開辟了新的方向。
走到今天,他們已經(jīng)以基于先進智能的工業(yè)檢測技術(shù)為核心,開發(fā)了一系列工業(yè)視覺檢測產(chǎn)品,形成了一整套基于先進智能應用的工業(yè)視覺檢測技術(shù)體系,為我國先進智能應用,工業(yè)視覺檢測的理論研究、技術(shù)應用、系統(tǒng)實現(xiàn)及產(chǎn)業(yè)化發(fā)展提供了技術(shù)保障。同時,相關(guān)技術(shù)和產(chǎn)品的應用為客戶節(jié)約了人工成本,為產(chǎn)品全生命周期的質(zhì)量追溯提供了支撐,減少了高強度燈檢給人眼帶來的視覺疲勞和損傷,經(jīng)濟效益與社會效益顯著。截至2017年底,項目成果聯(lián)合匯川技術(shù)的其它產(chǎn)品,共創(chuàng)造經(jīng)濟效益47.8億元,直接利潤10.6億元。
2018年10月,被譽為“中國智能科學技術(shù)最高獎”的吳文俊人工智能科學技術(shù)獎最新一屆擬授獎名單公布,南京匯川圖像視覺技術(shù)有限公司榮獲“企業(yè)技術(shù)創(chuàng)新工程項目”獎項。這一獎項的取得,無疑是對任福繼、李勃以及匯川視覺的最大肯定與鼓勵。
這個有點呆頭呆腦的機器人叫“里奧”,身高40cm,是任福繼與青島里奧機器人技術(shù)有限公司合作推出的產(chǎn)業(yè)化產(chǎn)品之一。
這個“里奧”不簡單,它能夠?qū)崿F(xiàn)精準語音識別與智能對話、情感感知等功能,是針對4~12歲兒童智力啟蒙、性格塑造的關(guān)鍵階段研發(fā)的兒童成長陪伴機器人,還曾首次出口到機器人先進國日本。
人們都說,陪伴是最長情的告白。對于成長期的兒童來說,陪伴的重要性不言而喻,而有情感的陪伴更會對孩子的一生產(chǎn)生影響。
里奧就是為了有情感的陪伴而出現(xiàn)。任福繼團隊前期的研究成果,使它具備了情感交互能力和自主學習能力,為它賦予了感情,能夠滿足孩子的心理需求。
先進的加工檢測設備
目前里奧已擁有成熟的機器人本體、機器人智能操作系統(tǒng)、云端服務平臺。并已經(jīng)獲得關(guān)于直線運動型伺服電機、三線制直流電機、座椅式充電裝置、識圖識物系統(tǒng)、基于安卓的機器人控制系統(tǒng)等9項專利權(quán)。
除了兒童陪伴,任福繼還將自己的成果在心理康復領域進行了驗證,并研發(fā)出了高級交互式代步機器人。
該機器人不但具有高可靠性和安全性,同時還具有一定程度的智能化和自動化,可實現(xiàn)室內(nèi)外自主定位導航、語音控制、人機自然語言情感會話、自主充電、頭姿/手勢控制等功能,可以在家庭和醫(yī)療場所對老年人進行陪護,并對特定病情(孤僻癥和抑郁癥)有輔助康復作用。
基于先進智能的高級交互式代步機器人,榮獲2014年吳文俊人工智能科學技術(shù)獎進步獎三等獎。
南京匯川麒麟產(chǎn)品發(fā)布會現(xiàn)場,麒麟研發(fā)團隊主要成員合照
無論意愿如何、歡迎與否,機器人已經(jīng)實實在在走進我們的生活,掃地、擦窗、早教、養(yǎng)老,是最常見的幾個應用場景。但是,能對話有回應的機器人,就是真正的智能機器人了嗎?他們足夠成熟了嗎?
不盡然。
正如任福繼所說:盡管大數(shù)據(jù)應用技術(shù)已成為現(xiàn)實,但關(guān)于它的實際應用并不充分,盡管很多研究者都已經(jīng)在工業(yè)機器人、服務機器人等領域取得一定的社會和經(jīng)濟效益,但它們的功能仍有待完善,應用范圍仍有待拓展。
基于此,任福繼已經(jīng)規(guī)劃好了團隊的下一步研究方向——
他們將繼續(xù)以先進智能為導向,以情感計算為核心與特色,以先進智能機器為載體,開展情感計算與先進智能機器的研究?!爸鞴ッ嫦蚨嘣创髷?shù)據(jù)的類人智能感知機制、面向情感交互的多模態(tài)協(xié)同分析與推理機制以及大數(shù)據(jù)驅(qū)動的情感創(chuàng)生與交互機制等重大科學問題的理論研究、技術(shù)突破及系統(tǒng)實現(xiàn)?!?/p>
在大數(shù)據(jù)方面,“目前,大數(shù)據(jù)驅(qū)動與深度機器學習方法的實際應用還不充分?,F(xiàn)有的大規(guī)模、高質(zhì)量多源情感語義數(shù)據(jù)庫及積累的深度機器學習方法,為進一步探索基于多源大數(shù)據(jù)庫和深度學習的多源視聽融合感知技術(shù)實現(xiàn)理論奠定了基礎,后續(xù)將為基于多源大數(shù)據(jù)庫和深度學習的情感服務機器人、工業(yè)機器人系統(tǒng)等提供理論與技術(shù)支撐?!?/p>
在產(chǎn)業(yè)化應用拓展方面,“有必要立足既有項目成果在完善多模態(tài)情感計算理論與技術(shù)體系的同時,重點發(fā)展先進智能機器核心技術(shù),將智能機器人(情感服務機器人、工業(yè)機器人等)作為核心應用點和主戰(zhàn)場,拓展其功能和應用范圍?!?/p>
人類情感的最美妙之處在于其不可預知無法揣測,機器人的情感終究是由人設計的。從這個意義上來說,情感機器人還有很長的路要走。但我們?nèi)詽M懷期待,期待真正的“大白”早日來到我們身邊。