潘云鶴

a Institute of Artificial Intelligence, Zhejiang University, Hangzhou 310027, China b Zhejiang Lab, Hangzhou 311121, China

20世紀70年代認知心理學(xué)已經(jīng)認識到，長期記憶的內(nèi)容應(yīng)為語義和情景的集成[1]，并被分別編碼為言語和心象的表征[2]。1991年，筆者在論文《形象思維中的形象信息模型的研究》[3]中指出，并非所有言語命題都能從言語系統(tǒng)中推理而獲得，很多只能從形象系統(tǒng)中轉(zhuǎn)化而來。兩個月前，筆者在論文《論視覺知識》[4]中提出了視覺知識（VK）的概念，它包括視覺概念、視覺命題和視覺述事。視覺知識可以模擬人在大腦中能對心象進行的各種時空操作，如設(shè)計過程就充滿了此類操作[5]。

而且，令人可喜的是，現(xiàn)有的計算機技術(shù)也已經(jīng)提供了表達和推演視覺知識的有關(guān)技術(shù)基礎(chǔ)。為此，當(dāng)今AI的研究者需要把視野從傳統(tǒng)的AI領(lǐng)域（包括深度學(xué)習(xí)），擴大到計算機圖形學(xué)和計算機視覺等密切相關(guān)的技術(shù)領(lǐng)域，這三個領(lǐng)域的研究者特別需要聯(lián)手研究視覺知識。當(dāng)視覺知識在AI中登堂入室之后，原先那些大量無法用言語系統(tǒng)的推理得出的言語命題，就可能從視覺知識轉(zhuǎn)化而來。所以，用言語知識和視覺知識的雙重表達，能更完整地描述世界的存在與發(fā)展，解決更復(fù)雜的智能計算問題。由此觀之，視覺知識的表達與推演是AI走向2.0的重要技術(shù)[6]。

建立視覺知識之后，在AI 2.0中的知識就有了三種表達。現(xiàn)列出這三種知識的表達與處理方法如下。

（1）知識的言語表達。其特點是使用符號數(shù)據(jù)，結(jié)構(gòu)清晰，語義可理解，知識可推理。其典型例子如語義網(wǎng)絡(luò)、知識圖譜等。

（2）知識的深度神經(jīng)網(wǎng)絡(luò)表達。其特點是適用于圖像、音頻等非結(jié)構(gòu)化數(shù)據(jù)的分類與識別。缺點是語義解釋困難。其典型例子如深度神經(jīng)網(wǎng)絡(luò)（deep neural network, DNN）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）等。

（3）知識的形象表達。其特點是適用于圖形、動畫等形狀、空間、運動的數(shù)據(jù)。知識的結(jié)構(gòu)清晰，語義可解釋，知識可推演。其典型如視覺知識等。

這三種知識表達之間的關(guān)系和傳統(tǒng)AI中已經(jīng)出現(xiàn)過的多種知識表達技術(shù)，如規(guī)則、框架、語義網(wǎng)絡(luò)等之間的關(guān)系，有著本質(zhì)的不同。因為AI的這三種表達是針對人類記憶中的三種不同的內(nèi)容，現(xiàn)說明如下：

（1）知識圖譜——語義的記憶內(nèi)容，宜用于字符檢索與推理；

（2）視覺知識——情景的記憶內(nèi)容，宜用于時空推演與顯示；

（3）深度神經(jīng)網(wǎng)絡(luò)——感覺的記憶內(nèi)容，宜用于對原始數(shù)據(jù)作逐層抽象的分類。

其中，（1）和（2）與人類長期記憶中的兩大內(nèi)容——言語的和心象的編碼方式相對應(yīng)。其中，（3）與人類短期記憶中的感知內(nèi)容相對應(yīng)。因此，上述三種知識表達具有如同人類記憶中的信息特點一樣，具有內(nèi)容系統(tǒng)互補的特點，它們是需要被同時使用的，因此組成為三重知識表達。

除了信息內(nèi)容與使用的互補之外，上述三重表達的另一重要性質(zhì)是它們之間的相互聯(lián)系與相互支持。視覺知識通過投影變換可以將三維圖形或動畫信息轉(zhuǎn)化為圖像或視頻信息。反之，通過3D重建技術(shù)，也可以將圖像或視頻信息轉(zhuǎn)化為3D圖形或動畫信息。

視覺知識的語義是很清晰的，因此，可以用符號檢索與匹配等技術(shù)把視覺知識與知識圖譜進行語義的對應(yīng)，從而實現(xiàn)轉(zhuǎn)化。也就是說，視覺知識與知識圖譜中的情景信息與語義信息的聯(lián)系，可以通過表達的結(jié)構(gòu)（指針）模型來實現(xiàn)；視覺知識與深度神經(jīng)網(wǎng)絡(luò)所用的圖像與視頻數(shù)據(jù)的聯(lián)系可以用重建與變換計算來實現(xiàn)。

上述三重知識表達之間的互相聯(lián)系與支持關(guān)系，以“貓”為例，如圖1所示。

圖1中的知識圖譜表達了貓的種屬上下關(guān)系；視覺知識表達了貓的形體、結(jié)構(gòu)和動作等時空特征；深度神經(jīng)網(wǎng)絡(luò)表達了對所提供的貓的正負樣本圖像判別的一種抽象。

其實，當(dāng)貓的圖像符合其某種系統(tǒng)要求時（如同一貓的不同觀察視角），這些圖像也可以重建為視覺知識。視覺知識可以通過變換（幾何、投影、動作變換等）生成各種貓的圖像供DNN學(xué)習(xí)。通過視覺知識與知識圖譜聯(lián)系可推知，因為貓、虎、豹同屬貓科動物，所以具有類似的形體、結(jié)構(gòu)與動作。因此，貓的視覺知識可通過合適的修改而形成虎、豹的視覺知識，這就以容易理解的方式實現(xiàn)了遷移學(xué)習(xí)的功能，也為小數(shù)據(jù)下的知識學(xué)習(xí)（如少樣本、零樣本學(xué)習(xí)）的小數(shù)據(jù)與模型的通用化打開了一扇大門。

本文提出由知識圖譜、視覺知識和深度神經(jīng)網(wǎng)絡(luò)等構(gòu)成的AI三重知識表達的結(jié)構(gòu)。其中的知識圖譜、視覺知識分別擅長于處理字符性內(nèi)容和形象性內(nèi)容，DNN擅長對感性數(shù)據(jù)作層次抽象，并分別對應(yīng)于模擬人類大腦中對長期記憶和短期記憶中的信息加工與處理。它們彼此能相互銜接、相互支持，從而有利于知識表達與推理等智能計算的可解釋性、可推演性和可遷移性的實現(xiàn)。

圖1 . 貓的三元知識表達及其關(guān)系。

致謝

莊越挺、吳飛、耿衛(wèi)東、湯斯亮等教授為本文提供寶貴意見，特此表示感謝。