■文/彭宇新

人工智能2.0時代的跨媒體智能，跨越視覺、聽覺、語言等不同的感官信息，形成跨媒體認(rèn)知、分析和推理的模型、方法、技術(shù)與計算平臺，實現(xiàn)跨媒體智能應(yīng)用，滿足高度個性化的人類社會需求。

隨著多媒體、計算機視覺和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，信息傳播已經(jīng)從文字、圖像、音頻、視頻等單一媒體形態(tài)逐步過渡到相互融合的多種媒體形態(tài)，越來越顯現(xiàn)跨媒體特性。這些來源于信息、物理、社會三元空間的跨媒體數(shù)據(jù)相互融合，全面形象地表現(xiàn)綜合性知識并反映個體和群體的行為，對于感知與認(rèn)知客觀世界具有重要價值。然而，跨媒體數(shù)據(jù)多源異構(gòu)、關(guān)聯(lián)復(fù)雜，蘊含的知識具有內(nèi)隱性和異質(zhì)性，使得跨媒體智能面臨重要挑戰(zhàn)。

跨媒體智能：國家的戰(zhàn)略需求

當(dāng)今世界，人工智能已成為國際競爭的新焦點?；谝寻l(fā)生重大變化的信息新環(huán)境，為提高國家科技競爭力和產(chǎn)業(yè)競爭力，我國著眼于發(fā)展新一代人工智能?？缑襟w智能是其中的重要組成部分，是計算機感知認(rèn)知世界的重要基礎(chǔ)，也是實現(xiàn)聯(lián)想、設(shè)計、概括、創(chuàng)造等智能行為的關(guān)鍵技術(shù)。IBM Watson 2016年的報告指出，圖像、視頻等媒體數(shù)據(jù)已經(jīng)占到大數(shù)據(jù)的80%以上，大數(shù)據(jù)的真正價值在于內(nèi)容的理解與利用。針對跨媒體數(shù)據(jù)的分析與推理已受到廣泛關(guān)注，成為亟須突破的重大難題，也成為國家的重要戰(zhàn)略需求，對于搶占人工智能制高點具有重要意義。

國務(wù)院于2017年7月發(fā)布的《新一代人工智能發(fā)展規(guī)劃》中將“跨媒體協(xié)同處理”列為人工智能的五大發(fā)展重點之一，并將“跨媒體感知計算”和“跨媒體分析推理技術(shù)”列為新一代人工智能重大科技項目中的基礎(chǔ)理論和關(guān)鍵共性技術(shù)。通過構(gòu)建跨媒體智能計算平臺，形成在智能城市、智能制造、智能醫(yī)療等重要領(lǐng)域的產(chǎn)業(yè)應(yīng)用，將對國民經(jīng)濟、國計民生、國家安全等產(chǎn)生深遠(yuǎn)的影響。人工智能2.0時代的跨媒體智能不僅能夠通過跨媒體大數(shù)據(jù)的智能分析為政府決策提供重要依據(jù)，也能夠推進企業(yè)智能制造轉(zhuǎn)型，為經(jīng)濟增長注入新的活力，提升中國經(jīng)濟的發(fā)展質(zhì)量。

跨媒體感知認(rèn)知

科學(xué)研究表明，人腦生理組織結(jié)構(gòu)決定了其對外界的感知認(rèn)知過程是跨越多種感官信息的融合處理。而如何借鑒人腦的這一過程，通過視覺、聽覺、語言等多種感知通道的協(xié)同處理來認(rèn)知外部世界，成為跨媒體智能的主要研究問題。跨媒體感知認(rèn)知是跨媒體智能的重要基礎(chǔ)，主要研究針對多模態(tài)感知通道（視覺、聽覺、語言等）的統(tǒng)一感知認(rèn)知理論和多模態(tài)協(xié)同技術(shù)。然而，一方面計算機特征表示和人類認(rèn)知之間存在“語義鴻溝”，另一方面不同媒體數(shù)據(jù)的特征表示不一致導(dǎo)致了“異構(gòu)鴻溝”，使得跨媒體數(shù)據(jù)的統(tǒng)一感知認(rèn)知面臨巨大挑戰(zhàn)。

為實現(xiàn)跨媒體感知認(rèn)知，我們首先需要研究跨媒體感知計算技術(shù)，包括面向真實世界的主動視覺感知及計算、自然聲學(xué)場景的聽知覺感知及計算、自然交互環(huán)境的言語感知及計算等。在跨媒體認(rèn)知上，針對海量低質(zhì)、多態(tài)異構(gòu)、多源異質(zhì)的跨媒體數(shù)據(jù)，需要探索跨媒體統(tǒng)一表征理論和方法，突破跨媒體數(shù)據(jù)之間的“異構(gòu)鴻溝”。具體地，可以采用子空間映射的思想，通過典型相關(guān)分析等方法，使用統(tǒng)一表征來表示不同媒體的數(shù)據(jù)，突破跨媒體的信息表示壁壘。近年來，深度學(xué)習(xí)在人工智能領(lǐng)域取得了突破性進展，英國倫敦大學(xué)學(xué)院教授肯尼思? 哈里斯（Kenneth D. Harris）于2013年11月在《自然》（Nature）雜志上發(fā)表論文指出，大腦高級皮層能夠?qū)Σ煌襟w的感官信息進行整合。這啟發(fā)我們，模仿人腦神經(jīng)元結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)模型有望實現(xiàn)跨媒體統(tǒng)一認(rèn)知。據(jù)此，我們可以構(gòu)建基于深度網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)聯(lián)分析方法，通過對媒體內(nèi)部與媒體之間關(guān)聯(lián)關(guān)系的共同建模與分析，實現(xiàn)對復(fù)雜跨媒體內(nèi)容的數(shù)據(jù)表示學(xué)習(xí)。在此基礎(chǔ)上，研究跨媒體關(guān)聯(lián)理解方法，構(gòu)建跨媒體數(shù)據(jù)的相似性計算機制，實現(xiàn)跨媒體關(guān)聯(lián)融合與描述生成。此外，在開放的大數(shù)據(jù)應(yīng)用環(huán)境中，語義類別和數(shù)據(jù)總量劇增，對計算效率、自適應(yīng)性、可泛化性等提出了更高要求。因此，需要進一步突破面向大規(guī)?？缑襟w智能計算的算法復(fù)雜度優(yōu)化理論和方法，通過構(gòu)建多源異構(gòu)媒體數(shù)據(jù)對象的結(jié)構(gòu)化索引等機制，滿足實際應(yīng)用環(huán)境中的高效計算需求。

跨媒體知識圖譜構(gòu)建與知識演化推理

對于跨媒體智能而言，知識驅(qū)動方法是一個研究重點。早期的人工智能主要以文本為主，通過謂詞、命題和規(guī)則等方法在充分定義的前提下進行推理。然而，現(xiàn)實世界中的知識以及推理過程通常會有視覺、聽覺、語言等的共同參與，僅僅依靠文本難以利用多種媒體蘊含的豐富語義信息。因此，如何將文本推理擴展到跨媒體推理成為重要的研究問題?？缑襟w知識圖譜是實現(xiàn)跨越不同媒體的知識表達與推理的關(guān)鍵，現(xiàn)有知識圖譜的研究主要基于文本數(shù)據(jù)，包括關(guān)系抽取、知識融合、知識推理等關(guān)鍵技術(shù)。近年來，一些知識圖譜陸續(xù)被構(gòu)建與開放，如DBpedia、Wikidata等，基于知識圖譜的信息檢索、智能問答等應(yīng)用也成為廣泛研究的熱點問題。然而，針對具有視覺、聽覺、語言等多種模態(tài)的跨媒體知識圖譜的構(gòu)建，以及如何基于跨媒體知識表達實現(xiàn)跨媒體推理等的研究尚屬空白。

因此，如何擴展傳統(tǒng)基于文本的知識體系，形成針對跨媒體數(shù)據(jù)的泛化知識圖譜構(gòu)建與推理技術(shù)，成為跨媒體分析走向?qū)嶋H應(yīng)用的一個關(guān)鍵問題。實體是知識圖譜的基本要素，跨媒體語義實體的有效獲取對跨媒體知識圖譜的構(gòu)建至關(guān)重要。我們需要研究面向跨媒體數(shù)據(jù)的實體檢測機制，通過跨媒體語義特征表示和實體識別等方法，從大規(guī)?？缑襟w數(shù)據(jù)中獲取語義實體。實體之間的關(guān)聯(lián)關(guān)系是知識圖譜的另一基本要素，跨媒體實體的關(guān)聯(lián)計算是知識圖譜構(gòu)建的關(guān)鍵技術(shù)。在傳統(tǒng)人工智能通過謂詞、命題和規(guī)則等方法進行推理的基礎(chǔ)上，我們需要研究演繹邏輯、類比推理等技術(shù)手段在跨媒體中的應(yīng)用和發(fā)展，從大規(guī)模跨媒體數(shù)據(jù)中自動推理得到新的關(guān)聯(lián)模式。基于上述研究，我們可以進一步實現(xiàn)知識的持續(xù)增量和自動化獲取，使得跨媒體知識圖譜同時具備概念識別、實體發(fā)現(xiàn)、屬性預(yù)測、知識演化和關(guān)系挖掘等能力，能夠動態(tài)更新與自我完善，實現(xiàn)永不終止的知識獲取、挖掘和演化過程。

跨媒體智能的深度應(yīng)用

近年來，計算機和大數(shù)據(jù)科學(xué)的發(fā)展方興未艾，人工智能技術(shù)正被越來越廣泛地應(yīng)用于各個行業(yè)，深刻改變著人類的生活與思維方式。跨媒體智能作為新一代人工智能發(fā)展的重要內(nèi)容具有廣闊的應(yīng)用前景，將對各個行業(yè)產(chǎn)生重要影響。這里我們介紹3個典型的應(yīng)用領(lǐng)域：內(nèi)容監(jiān)管、網(wǎng)絡(luò)態(tài)勢分析和智能醫(yī)療。

●跨媒體內(nèi)容監(jiān)管

互聯(lián)網(wǎng)已經(jīng)成為影響社會穩(wěn)定的重要因素之一。由于互聯(lián)網(wǎng)跨媒體數(shù)據(jù)具有語義抽象、復(fù)雜多變、孤立分散、海量動態(tài)等特點，自動分析與識別的難度很大。多個國家嘗試建立智能化的互聯(lián)網(wǎng)內(nèi)容監(jiān)管系統(tǒng)，但跨媒體數(shù)據(jù)的異構(gòu)性與分散性導(dǎo)致這些系統(tǒng)時效性差、覆蓋面窄。針對這些問題，我們可以通過基于跨媒體協(xié)同處理的智能數(shù)據(jù)識別技術(shù)，以及基于跨媒體關(guān)聯(lián)分析的信息融合方法，利用跨媒體語義互補性實現(xiàn)對不同媒體數(shù)據(jù)的綜合分析與識別。通過構(gòu)建有效的跨媒體內(nèi)容監(jiān)管技術(shù)，提高我國互聯(lián)網(wǎng)內(nèi)容監(jiān)管的智能水平，維護我國互聯(lián)網(wǎng)內(nèi)容安全和促進網(wǎng)絡(luò)文化健康發(fā)展。

●跨媒體網(wǎng)絡(luò)態(tài)勢分析

當(dāng)前互聯(lián)網(wǎng)環(huán)境中，輿情信息已經(jīng)從文本為主轉(zhuǎn)變?yōu)榘ㄎ谋?、圖像、視頻、音頻等的跨媒體形式，跨媒體網(wǎng)絡(luò)信息態(tài)勢分析對維護社會穩(wěn)定、處置突發(fā)情況等國家重大需求具有重要支撐作用。針對跨媒體網(wǎng)絡(luò)態(tài)勢分析應(yīng)用，我們需要研究事件熱度、用戶觀點及情感傾向性的演化規(guī)律，發(fā)展跨媒體跨空間協(xié)同分析和事件推理技術(shù)，通過基于知識元的跨媒體語義分析方法和基于情感觀點的話題追蹤方法，實現(xiàn)對海量動態(tài)互聯(lián)網(wǎng)輿情話題的實時監(jiān)測與傳播分析。

●跨媒體智能醫(yī)療

醫(yī)療行業(yè)是一個關(guān)系國計民生的重要領(lǐng)域，人工智能新技術(shù)對于提高醫(yī)療服務(wù)的智能化、個性化水平，推動醫(yī)療事業(yè)的發(fā)展具有重要作用。但是，現(xiàn)有智能醫(yī)療模型方法著眼于對同源同質(zhì)醫(yī)療數(shù)據(jù)的分析，無法實現(xiàn)多源異構(gòu)的跨媒體醫(yī)療數(shù)據(jù)的協(xié)同處理。針對這一問題，需要建立多源醫(yī)療數(shù)據(jù)融合與分析機制，通過跨媒體數(shù)據(jù)的協(xié)同分析，實現(xiàn)疫情監(jiān)測和預(yù)警、臨床決策、醫(yī)療資源管理、藥品調(diào)配等重要應(yīng)用，提升醫(yī)療服務(wù)的質(zhì)量與效率。

要充分發(fā)揮跨媒體智能的應(yīng)用潛力，關(guān)鍵在于形成集底層跨媒體數(shù)據(jù)表征、索引、關(guān)聯(lián)和高層知識表達、演化、推理等機制為一體的跨媒體智能計算系統(tǒng)，在智能城市、智能制造、智能醫(yī)療等重要領(lǐng)域形成生態(tài)圈和產(chǎn)業(yè)鏈。在人工智能2.0時代，跨媒體智能的深度應(yīng)用將對互聯(lián)網(wǎng)、醫(yī)療、教育、城市管理、環(huán)境保護等重要領(lǐng)域產(chǎn)生深遠(yuǎn)影響，在提升國家實力、改善民生上發(fā)揮重要作用。