張子旋

(北京工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,北京 100124)

手機(jī)3D動(dòng)畫基于事件的情節(jié)規(guī)劃①

張子旋

(北京工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,北京 100124)

情節(jié)規(guī)劃是手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)中至關(guān)重要的一部分,對(duì)于呈現(xiàn)出來的動(dòng)畫有著重要的指導(dǎo)作用.采用語義網(wǎng)技術(shù),通過建立事件本體庫,根據(jù)信息抽取中的關(guān)鍵信息,將難以表現(xiàn)的事件通過一系列具體的動(dòng)作進(jìn)行表示,從而能夠表達(dá)出一個(gè)完整的動(dòng)畫內(nèi)容,不僅僅使得動(dòng)畫具有一定情節(jié)內(nèi)容,而且使生成的動(dòng)畫效果更加豐富.

動(dòng)畫自動(dòng)生成;情節(jié)規(guī)劃;語義網(wǎng);事件;本體庫

全過程計(jì)算機(jī)輔助動(dòng)畫自動(dòng)生成技術(shù)是20世紀(jì)90年代由中國科學(xué)院數(shù)學(xué)所陸汝鈐院士提出的[1-2],它以人工智能技術(shù)為基礎(chǔ),結(jié)合計(jì)算機(jī)圖形學(xué)和電影藝術(shù)來完成動(dòng)畫的制作.此技術(shù)是將適當(dāng)?shù)墓适乱允芟薜淖匀徽Z言方式輸入到計(jì)算機(jī)中,經(jīng)過故事理解、動(dòng)畫定性規(guī)劃、導(dǎo)演規(guī)劃、攝影規(guī)劃、動(dòng)畫定量規(guī)劃直到動(dòng)畫的最終生成,過程中的每一步都是在計(jì)算機(jī)輔助下完成的.動(dòng)畫自動(dòng)生成技術(shù)是人工智能領(lǐng)域一個(gè)嶄新的研究方向,在動(dòng)畫、游戲等領(lǐng)域具有很大的應(yīng)用潛力.手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)是由中科院張松懋研究員審視了當(dāng)前手機(jī)短信和通信技術(shù)的發(fā)展現(xiàn)狀提出將動(dòng)畫自動(dòng)生成技術(shù)應(yīng)用到手機(jī)短信中的一個(gè)應(yīng)用,該系統(tǒng)將發(fā)送的短信內(nèi)容經(jīng)過計(jì)算機(jī)分析處理后生成與之對(duì)應(yīng)的3D動(dòng)畫并發(fā)送給接收方.這個(gè)過程主要分為四部分,如圖1所示.

圖1 手機(jī)短信動(dòng)畫自動(dòng)生成系統(tǒng)流程圖

情節(jié)規(guī)劃是動(dòng)畫自動(dòng)生成系統(tǒng)中的重要組成部分,因?yàn)樵谝徊縿?dòng)畫中劇情的發(fā)展?fàn)縿?dòng)著觀眾的心,劇情中的情節(jié)是最重要的一部分[3].情節(jié)是敘事類作品中基本要素之一,指敘事作品中表現(xiàn)人物之間相互關(guān)系的一系列生活事件的發(fā)展過程.它是由一系列展示人物性格、表現(xiàn)人物與人物、人物與環(huán)境之間相互關(guān)系的具體事件構(gòu)成,合理的情節(jié)是一部作品成功的基礎(chǔ),為動(dòng)畫設(shè)計(jì)一個(gè)比較合理的情節(jié),會(huì)使得動(dòng)畫內(nèi)容更加豐富,畫面更具有想象力,這樣才能給觀眾留下比較深刻的印象,所以,情節(jié)的設(shè)計(jì)會(huì)影響著整個(gè)動(dòng)畫效果.因此,情節(jié)規(guī)劃是動(dòng)畫自動(dòng)生成系統(tǒng)中的重要組成部分,它的主要任務(wù)就是將無法表現(xiàn)的事件展開成 一系列具體的動(dòng)作,使得能夠完整的描述一個(gè)故事內(nèi)容.到目前為止,情節(jié)規(guī)劃主要采用兩種方法[4]:

第一種方法是以故事為中心的方法.通過對(duì)作者的創(chuàng)作過程進(jìn)行建模,定義故事的情節(jié)表達(dá)片段,構(gòu)造常識(shí)知識(shí)庫,由作者的意圖來決定故事人物的動(dòng)作和故事發(fā)展的最終結(jié)果.

第二種方法是以人物為中心的方法.它采用了智能主體理論,用多主體系統(tǒng)對(duì)故事中的人物進(jìn)行建模,利用主體交互的機(jī)制,自動(dòng)生成故事內(nèi)容.主體為了達(dá)到預(yù)定的目標(biāo),對(duì)所處的環(huán)境做出反應(yīng),并與其它主體進(jìn)行交互.

現(xiàn)有的情節(jié)規(guī)劃方法主要用于故事生成中,它根據(jù)已有的故事內(nèi)容進(jìn)行情節(jié)安排,使得最終展示的故事或者動(dòng)畫能夠符合人物的需求.Pablo GervAas和Bel'en Diaz-Agud等人研究出了自動(dòng)生成故事系統(tǒng)[5],該系統(tǒng)是在Ontology中構(gòu)建已有的故事腳本,依據(jù)用戶給定的問題通過基于事例推理的方法在知識(shí)網(wǎng)絡(luò)中獲得基本的情節(jié)結(jié)構(gòu),并通過自然語言方式將產(chǎn)生的新的情節(jié)內(nèi)容表達(dá)出來.Yunju Shim和Minkoo kim提出基于自動(dòng)Agents的短故事生成技術(shù)[6],為角色Agent設(shè)定了三個(gè)不同的層次目標(biāo)——觀察者目標(biāo)、情節(jié)目標(biāo)和特征目標(biāo).觀察者目標(biāo)表示的是情緒狀態(tài),特征目標(biāo)表示的是角色的生理或者心理狀態(tài),所有的角色Agents根據(jù)情緒和性格選擇匹配的動(dòng)作,將選擇的動(dòng)作按照順序排列生成連續(xù)的情節(jié)故事.英國Teesside University的 Marc C-avazza領(lǐng)導(dǎo)開發(fā)的 Interactive Storytelling系統(tǒng)[7]是根據(jù)美國電視劇《Friends》中“Ross請(qǐng)Rachel出去吃飯”內(nèi)容定義故事主線,并且包含四個(gè)故事人物的行為規(guī)劃,以此來控制人物的自動(dòng)交互,人物的行為規(guī)劃是事先使用與或圖的方法定義的,故事生成的過程就是在與或圖上搜索一條能使人物目標(biāo)實(shí)現(xiàn)的路徑,同時(shí)用戶可以隨時(shí)與系統(tǒng)進(jìn)行交互指導(dǎo)故事的發(fā)展.

在動(dòng)畫自動(dòng)生成系統(tǒng)中,我們延續(xù)了一直使用的語義網(wǎng)技術(shù),它為我們提供了良好的知識(shí)表示和推理機(jī)制,不但能夠理解詞語和概念,而且還能夠理解它們之間的邏輯關(guān)系,它的實(shí)現(xiàn)是基于XML語言、資源描述框架(RDF)和本體(Ontology)等諸多元素來完成,其中本體作為一種能在知識(shí)層提供知識(shí)共享和重用的工具在語義網(wǎng)中起著關(guān)鍵的作用[8].本體的理論研究包括概念和概念的分類,通過對(duì)概念的嚴(yán)格定義和概念之間的關(guān)系來確定概念的精確含義,用來表示共同認(rèn)可的、可共享的知識(shí),是當(dāng)前人工智能領(lǐng)域使用較為廣泛的一門語義網(wǎng)技術(shù).

在手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)中,生成的動(dòng)畫人物動(dòng)作單一,動(dòng)作與場(chǎng)景模型、動(dòng)作所要表現(xiàn)的事件與場(chǎng)景關(guān)聯(lián)性差,導(dǎo)致動(dòng)畫情節(jié)表現(xiàn)不明確,無法將短信信息準(zhǔn)確地表示出來,使得生成的動(dòng)畫情節(jié)枯燥乏味[9-11].本文提出了基于事件的情節(jié)規(guī)劃,該方法的實(shí)現(xiàn)會(huì)使得生成的動(dòng)畫中人物的動(dòng)作不再僅僅局限于一個(gè)動(dòng)作,通過連續(xù)的動(dòng)作片段來展現(xiàn)不同的事件,使其能夠滿足短信中的主題內(nèi)容,并且會(huì)使生成的動(dòng)畫效果更加豐富.

基于事件的情節(jié)規(guī)劃是以語義網(wǎng)技術(shù)為指導(dǎo),通過建立事件本體庫和動(dòng)作本體庫作為情節(jié)規(guī)劃的基礎(chǔ),不同事件的組合,不同動(dòng)作的搭配,展現(xiàn)出不一樣的情節(jié),使得動(dòng)畫內(nèi)容更加地符合短信文本.

1 基于事件的情節(jié)規(guī)劃整體設(shè)計(jì)

情節(jié)規(guī)劃主要工作是以信息抽取的結(jié)果為輸入,以現(xiàn)有的本體庫為基礎(chǔ),通過對(duì)主題、模板原子進(jìn)行分析,從知識(shí)庫中選擇與之對(duì)應(yīng)的場(chǎng)景和模型,使得最終生成的動(dòng)畫內(nèi)容符合短信信息.

眾所周知,短信內(nèi)容的主要特點(diǎn)就是短小精悍、包羅萬象,發(fā)送的內(nèi)容往往在敘事,而情節(jié)在敘事性作品中是一個(gè)關(guān)鍵的部分.所謂情節(jié)就是指有因果關(guān)系所串聯(lián)并推動(dòng)、由角色發(fā)出的行動(dòng)所組成的事件或故事的節(jié)點(diǎn),是一個(gè)時(shí)間范疇[12],因此可以說明多個(gè)事件組合可以構(gòu)成一個(gè)情節(jié),而動(dòng)作是事件節(jié)點(diǎn)不可拆分的原子節(jié)點(diǎn),任何事件只有通過動(dòng)作的展現(xiàn)才能表現(xiàn)出它特有的意義.因此,我們將按照“情節(jié)-事件-動(dòng)作”關(guān)聯(lián)關(guān)系來規(guī)劃短信情節(jié).

在手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)的情節(jié)規(guī)劃過程中,需要?jiǎng)幼鲙旌褪录靵碜鲋?根據(jù)信息抽取的結(jié)果和已有的事件本體庫和動(dòng)作本體庫來選擇情節(jié),所選擇的情節(jié)必須最大程度上滿足短信所要表達(dá)的內(nèi)容,包括人物、動(dòng)作、情緒等.在本體庫中事件之間的通過不同的對(duì)象屬性進(jìn)行關(guān)聯(lián),從而能夠形成一個(gè)比較完整的事件鏈,通過不同的事件組合,并且每個(gè)動(dòng)作類有多個(gè)候選者,從而使得最終組合的情節(jié)多種多樣.

情節(jié)的多樣性體現(xiàn)在:

(1)一個(gè)主題可以對(duì)應(yīng)多個(gè)事件,而一個(gè)事件同樣可以對(duì)應(yīng)多個(gè)主題.例如:當(dāng)主題為“打球”時(shí),它對(duì)應(yīng)的事件可以有“打籃球”、“打棒球”、“打網(wǎng)球”等,那“打籃球”這個(gè)事件不僅可以表現(xiàn)“打球”的主題,還可以表現(xiàn)“高興”或者“傷心”的主題;

(2)一個(gè)事件可以有多個(gè)動(dòng)作來表現(xiàn).例如:“高興”的事件可以用一個(gè)大笑的動(dòng)作來表示,此外,我們還可以用跳躍的動(dòng)作來展現(xiàn);

(3)一個(gè)動(dòng)作類是由不同的具體動(dòng)作集合而成.例如:“吃飯”事件類可以由“吃漢堡”或者“喝湯”的具體動(dòng)作組成;

(4)不同的事件組合可以構(gòu)成不同的情節(jié).

2 情節(jié)規(guī)劃本體庫

基于事件的情節(jié)規(guī)劃是以本體庫為基礎(chǔ)來支持整個(gè)規(guī)劃過程,需要建立事件本體庫,而事件與動(dòng)作是緊密相關(guān)的,因此動(dòng)作本體庫同樣是必不可少的.接下來從事件本體庫和動(dòng)作本體庫兩個(gè)方面介紹情節(jié)規(guī)劃本體庫的.

2.1 事件本體庫設(shè)計(jì)

事件(Event)是在特定時(shí)間和環(huán)境下發(fā)生的、由若干角色參與的、表現(xiàn)出一些動(dòng)作特征的一件事情,在形式上用一個(gè)六元組表示,E={O,A,T,V,P,L},事件六元組中的元素稱為事件要素,分別表示對(duì)象、動(dòng)作、時(shí)間、環(huán)境、斷言和語言表現(xiàn).其中,動(dòng)作要素是最重要的要素,它描述了事件變化過程及其特征.

在現(xiàn)實(shí)世界中,每一個(gè)事件都不是孤立存在的,把具有相同特征的事件集合統(tǒng)稱為事件類.一個(gè)事件的發(fā)生都或多或少引發(fā)另一個(gè)事件的發(fā)生,它們之間是緊密聯(lián)系的,那么事件關(guān)系主要分為:組合關(guān)系、因果關(guān)系、跟隨關(guān)系、并列關(guān)系、條件關(guān)系、條件關(guān)系[13].

2.2 事件本體庫

事件本體庫是以動(dòng)作庫為基礎(chǔ),根據(jù)已有的動(dòng)作劃分不同的事件類,并在本體庫中建立相應(yīng)的事件類.比如:當(dāng)前動(dòng)作庫中制作走的動(dòng)作時(shí)都賦予了它一定的感情,高興地走不僅能表示走這個(gè)事件,而且還能表示高興這個(gè)情緒事件.對(duì)于高興事件,不僅可以通過高興地走這個(gè)運(yùn)動(dòng)的動(dòng)作來表示,還可以通過靜止的動(dòng)作來表示,比如:大笑的動(dòng)作,因此,我們可以將情緒類事件—MoodEvent分為DynamicMoodEvent和StaticMoodEvent.圖2展示了事件本體庫的具體內(nèi)容.

圖2 事件本體庫

在事件本體庫中類與類之間的關(guān)系主要包括:

(1)事件與主題之間的關(guān)系:通過對(duì)象屬性hasSuitTopic把事件與主題進(jìn)行關(guān)聯(lián),表明事件能夠表達(dá)的主題;

(2)事件與模板之間的關(guān)系:通過對(duì)象屬性hasSuitTemplate把事件與模板進(jìn)行管理,通過事件來表現(xiàn)信息抽取到的模板信息;

(3)事件與動(dòng)作之間的關(guān)系:通過對(duì)象屬性hasSuitAction進(jìn)行關(guān)聯(lián),表示事件發(fā)生時(shí)人物所要執(zhí)行的動(dòng)作;

(4)事件與事件之間的關(guān)系:①hasPreEvent:事件的前驅(qū)事件;②hasNextEvent:事件的后繼事件;③hasResult:事件的結(jié)果,即事件發(fā)生后給人物帶來的情感反應(yīng);④hasEffect:事件的原因,主要用來表示情緒事件的原因;

(5)事件與參照物之間的關(guān)系:通過對(duì)象屬性hasReference進(jìn)行關(guān)聯(lián);

(6)人物與參照物的距離關(guān)系:通過對(duì)象屬性hasDistence進(jìn)行關(guān)聯(lián),表示人物執(zhí)行動(dòng)作時(shí)與參照物之間的距離.

圖3展示的是“吃飯”事件的類定義和類與類之間的關(guān)系.“吃飯”事件的前驅(qū)事件是“走”,它的結(jié)果是情緒事件,比如:“哭”,能夠表現(xiàn)“吃飯”的動(dòng)作是“吃”和“喝”,適合的主題是“吃飯”(EatingActionTopic),適合的模板是“日常吃飯”的模板.在具體的實(shí)例中定義了人物執(zhí)行吃飯動(dòng)作時(shí)的參照物及其距離,它的參照物是桌子,距離為Near,表示人物吃飯的時(shí)候應(yīng)該站在桌子旁邊,如圖4所示.

圖3 事件本體庫類定義

圖4 事件本體庫實(shí)例定義

圖5 運(yùn)動(dòng)類動(dòng)作層級(jí)關(guān)系

2.3 動(dòng)作本體庫

動(dòng)作庫是情節(jié)規(guī)劃的基礎(chǔ)本體庫,根據(jù)動(dòng)作類型的不同,將動(dòng)作分為了四類,分別是:動(dòng)物模仿類、日常動(dòng)作類、情緒類、運(yùn)動(dòng)類.

圖5展示的是運(yùn)動(dòng)類動(dòng)作的類及其層級(jí)關(guān)系,運(yùn)動(dòng)類動(dòng)作主要包括打籃球、踢足球、跳躍、跳舞、健身、沖浪等動(dòng)作,這些動(dòng)作需要與相應(yīng)的模型進(jìn)行交互,比如:打籃球的動(dòng)作需要有籃球,沖浪的動(dòng)作需要有滑板,如果沒有交互物體的存在會(huì)使得人物執(zhí)行動(dòng)作時(shí)顯得不真實(shí).

2.4 事件本體庫和動(dòng)作庫的聯(lián)系

構(gòu)建本體庫的目的是為了實(shí)現(xiàn)某種程度的知識(shí)共享和重用,它既統(tǒng)一了術(shù)語和概念,同時(shí)避免了重復(fù)的領(lǐng)域知識(shí).我們的本體庫采用的是sumo上層本體,它是由多個(gè)領(lǐng)域本體組合而成,實(shí)現(xiàn)了數(shù)據(jù)的互操作、信息檢索、自動(dòng)推理和自然語言處理,概念完全公理化,與wordnet簡(jiǎn)歷映射關(guān)系.

事件本體庫和動(dòng)作本體庫都是在sumo上層本體基礎(chǔ)上建立的,由于sumo已經(jīng)包含了各領(lǐng)域高度抽象的概念,所以只需在sumo上進(jìn)行擴(kuò)充和精煉.

首先,根據(jù)上文提到的事件分類規(guī)則和動(dòng)作分類規(guī)則建立事件類和動(dòng)作類,以及各自的子孫類.比如: Event是事件類的根節(jié)點(diǎn),EatingEvent是其子節(jié)點(diǎn).

然后,建立對(duì)象屬性.通過構(gòu)建對(duì)象屬性來描述不同類之間的關(guān)系,對(duì)象屬性也描述類實(shí)例的內(nèi)部屬性或自身性質(zhì),在創(chuàng)建對(duì)象屬性時(shí)要指定其的定義域和值域,約束它可控的范圍.事件庫和本體庫之間的溝通橋梁就是通過對(duì)象屬性來連接的.hasSuitAction將事件類和動(dòng)作類聯(lián)系到一起,其定義域?yàn)镋vent,值域?yàn)锳ction.

在圖3事件本體庫類定義中,EatingEventí?hasSuitAction(EatAction or DrinkAction),在類定義中定義的公理屬于宏觀定義,限定了吃飯事件動(dòng)作范圍,而并沒有指定到底是使用哪一個(gè)動(dòng)作,具體動(dòng)作則需要在實(shí)例中定義.但是最終選定的具體動(dòng)作是根據(jù)信息抽取結(jié)果的信息來選定的,從宏觀公理中得到動(dòng)作的存儲(chǔ)位置,為其動(dòng)態(tài)地安排具體動(dòng)作.在圖4事件實(shí)例定義中,并沒有將為吃飯的實(shí)例約束具體動(dòng)作,否則,生成的動(dòng)畫情節(jié)就顯得單調(diào),無法體現(xiàn)出多樣的情節(jié)特性.

3 基于事件的情節(jié)規(guī)劃過程

我們以短信為“我餓了,去吃飯吧”為例,詳細(xì)介紹圖6展示的情節(jié)規(guī)劃流程圖.將短信輸入到系統(tǒng)中,得到如圖7所示的信息抽取結(jié)果.

圖6 情節(jié)規(guī)劃流程圖

由信息抽取的結(jié)果可知短信的主題為“吃飯”,由主題可以明確動(dòng)畫的主要內(nèi)容,根據(jù)主題從事件本體庫中選擇與之對(duì)應(yīng)的情節(jié)表達(dá),吃飯的主題需要有吃飯的動(dòng)作來表現(xiàn),所以選擇吃飯的事件,當(dāng)主要事件選定后,選擇輔助事件.輔助事件的確定是根據(jù)信息抽取結(jié)果中的信息來進(jìn)行選擇,如果信息抽取結(jié)果中能夠抽到輔助動(dòng)作,同時(shí)動(dòng)作符合事件-動(dòng)作的關(guān)系定義,我們即可選定該事件動(dòng)作,否則,根據(jù)事件-事件的關(guān)系定義來選擇與主要事件相關(guān)的輔助事件.信息抽取結(jié)果中包含了動(dòng)作—“走:去”,動(dòng)作庫中存在與“走”對(duì)應(yīng)的動(dòng)作,同時(shí)“吃飯”事件定義處存在與“走”相對(duì)應(yīng)的關(guān)系,所以將動(dòng)作“走:去”作為吃飯事件的前驅(qū)事件,通過兩個(gè)事件的組合即可作為一個(gè)動(dòng)畫情節(jié)來展現(xiàn).情節(jié)明確后,就可以根據(jù)本體庫中事件與動(dòng)作之間的關(guān)系來選擇最終的原子動(dòng)作.

圖7 信息抽取結(jié)果

當(dāng)主要事件確定后,選擇的輔助事件可以是多樣的,不同的關(guān)系定義可以確定不一樣的情節(jié).根據(jù)圖3事件本體庫的定義,對(duì)于“吃飯”事件,我們可以看到還有RunEvent、PhoneEvent、WaitEvent等與之關(guān)聯(lián),從中可以隨機(jī)選擇一個(gè)或者多個(gè)與主事件進(jìn)行組合,使其能夠表現(xiàn)出一個(gè)連貫并且合理的情節(jié),根據(jù)既定的事件組合,選擇與之匹配的動(dòng)作,一個(gè)事件可能對(duì)應(yīng)多個(gè)動(dòng)作,通過不同的組合,不同的動(dòng)作展示,我們可以呈現(xiàn)出不一樣的動(dòng)畫情節(jié).

圖8 情節(jié)規(guī)劃輸出結(jié)果

圖8 是根據(jù)圖7信息抽取結(jié)果得到的情節(jié)規(guī)劃結(jié)果,場(chǎng)景中添加了人物—M_boy.ma和參照物—M_night_table.ma,為人物添加的動(dòng)作是“走”+“吃飯”,“走”表示人物到桌子前的一個(gè)行為方式,“吃飯”是主要的動(dòng)作.

圖9 動(dòng)畫片段

圖9展示的是“我餓了,去吃飯吧”這條短信的動(dòng)畫片段.對(duì)于主題為“吃飯”的短信,為人物添加情緒來展現(xiàn)人物對(duì)食物的態(tài)度,由人物的情緒推動(dòng)動(dòng)畫情節(jié)的發(fā)展,使得產(chǎn)生的動(dòng)畫更加生動(dòng).比如:為人物添加一個(gè)“高興”的情緒作為“吃飯”這個(gè)動(dòng)作的后繼事件,表示人物對(duì)剛才所吃的食物的一個(gè)態(tài)度,“高興”可以表明剛才的食物很好吃或者吃飽了露出了高興的笑容.情緒動(dòng)作不僅僅可以添加到主要人物身上,還可以通過為旁觀者添加情緒動(dòng)作,從另一個(gè)角度來評(píng)價(jià)吃飯動(dòng)作的表現(xiàn)力,可以理解為旁觀者對(duì)主要人物吃飯這件事件是比較贊同的,持有一種欣慰的態(tài)度.通過不同人物的展示,動(dòng)畫呈現(xiàn)出的效果不同.

圖10 情節(jié)規(guī)劃輸出結(jié)果

從圖10結(jié)果中可以看到場(chǎng)景中添加了人物—M_girl.ma和參照物M_table.ma,為人物添加的動(dòng)作是“吃飯”動(dòng)作和情緒動(dòng)作“高興地笑”,通過情緒動(dòng)作反應(yīng)人物對(duì)剛才吃飯的過程或者是食物的感受.圖11是根據(jù)圖10的情節(jié)規(guī)劃結(jié)果生成的動(dòng)畫片段.

圖11 動(dòng)畫片段

人物的情緒表現(xiàn)方式有兩種,第一種是通過人物的某一動(dòng)作來展現(xiàn),第二種是通過人物臉部表情來表現(xiàn).第一種情況通過人物動(dòng)作來表現(xiàn),就比如“走”這個(gè)動(dòng)作,可以是高興地走、傷心地走、害怕地走等,此時(shí),“走”這個(gè)動(dòng)作不單單只是一種行為動(dòng)作,它還可以表現(xiàn)出人物的某一種情緒.第二種通過人物表情來展現(xiàn)人物情緒,人物的面部表情是最能夠表現(xiàn)出人物內(nèi)心感受的,比如吃飯這個(gè)主題,開始的時(shí)候小女孩吃的非常開心,臉上一直露出笑容,但是過了一會(huì)兒,可能由于想家或者其他原因小女孩的臉上出現(xiàn)了傷心的表情,直到后來大哭起來,通過表情的轉(zhuǎn)換,和一些未知的表情改變的原因會(huì)使得觀眾能夠身臨其境地去感受動(dòng)畫帶給自己的感受.圖12展示的是通過表情變化生成的情節(jié)動(dòng)畫.

圖12 動(dòng)畫片段

4 基于事件的情節(jié)規(guī)劃實(shí)驗(yàn)

基于事件的情節(jié)規(guī)劃是手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)中的重要部分,影響著動(dòng)畫質(zhì)量的好壞.當(dāng)前系統(tǒng)已實(shí)現(xiàn)了基本功能,正處于短信測(cè)試階段,根據(jù)短信測(cè)試結(jié)果不斷修正系統(tǒng)內(nèi)容.系統(tǒng)按照情節(jié)規(guī)劃的流程進(jìn)行規(guī)劃,對(duì)于不同的短信,情節(jié)規(guī)劃的結(jié)果將以一個(gè)腳本語言呈現(xiàn)出來,基于事件的情節(jié)規(guī)劃的腳本主要包含動(dòng)作ID、動(dòng)作名字、人物、參照物、是否有交互物等.

為了驗(yàn)證基于事件的情節(jié)規(guī)劃方法在手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)中的有效性,本次實(shí)驗(yàn)針對(duì)短信內(nèi)容為“打籃球是一個(gè)很好的運(yùn)動(dòng)”連續(xù)測(cè)試了50條,其中,經(jīng)過系統(tǒng)整體流程生成的動(dòng)畫的短信數(shù)目為50條,由于場(chǎng)景中沒有人物無法添加相應(yīng)的動(dòng)作導(dǎo)致無情節(jié)內(nèi)容的動(dòng)畫有5條,剩余的45條短信中生成的動(dòng)畫具有一定的情節(jié),45個(gè)動(dòng)畫中共包含了6種不同的情節(jié),28中不同的動(dòng)作組合.對(duì)于短信生成的動(dòng)畫是否與短信內(nèi)容相符合,動(dòng)畫內(nèi)容是否具有一定的情節(jié),這個(gè)問題具有很強(qiáng)的主觀性,本文采取多人驗(yàn)證方式,邀請(qǐng)2名課題組成員和3個(gè)課題組外的同學(xué)對(duì)這一條短信生成的45個(gè)動(dòng)畫進(jìn)行測(cè)評(píng),共收到了225條測(cè)評(píng)結(jié)果,情節(jié)統(tǒng)計(jì)結(jié)果如表1所示.

表1 情節(jié)測(cè)評(píng)結(jié)果表

由表1可以得到,認(rèn)為動(dòng)畫內(nèi)容具有一定的情節(jié),并且能夠良好的展現(xiàn)出短信內(nèi)容的票數(shù)共有150票,占總票數(shù)的66.7%,雖然概率值有點(diǎn)偏低,但超過了一半的概率,可以說明本文所采用的基于事件的情節(jié)規(guī)劃方法能夠良好制作出符合短信內(nèi)容的情節(jié)并且生成的動(dòng)畫能夠得到人們的肯定,說明基于事件的情節(jié)規(guī)劃方法能夠有效地使用在手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)中.圖13展示的是系統(tǒng)測(cè)試短信“打籃球是一個(gè)很好的運(yùn)動(dòng)”生成的兩組動(dòng)畫片段.第一組動(dòng)畫的情節(jié)是由“走”事件和“打籃球”事件組合到一起的,第二組動(dòng)畫的情節(jié)是由“打籃球”事件和“高興”事件組合在一起,通過不同事件組合來展現(xiàn)不一樣的動(dòng)畫情節(jié).

為了證明基于事件的情節(jié)規(guī)劃方法能夠普遍適應(yīng)動(dòng)畫系統(tǒng)所測(cè)試的短信,現(xiàn)統(tǒng)計(jì)了從2016年5月到2016年8月系統(tǒng)所測(cè)試的短信共526條短信,其中能夠應(yīng)用基于事件的情節(jié)規(guī)劃方法的短信共有268條,剩余沒有使用該方法是因?yàn)?場(chǎng)景無法添加人物或者信息抽取結(jié)果沒有匹配到對(duì)應(yīng)的事件.針對(duì)應(yīng)用該方法的268條短信請(qǐng)5名同學(xué)進(jìn)行測(cè)評(píng),如果3名或以上的人認(rèn)為動(dòng)畫情節(jié)能夠表現(xiàn)短信內(nèi)容,則認(rèn)為該方法能夠適應(yīng)動(dòng)畫測(cè)試短信.測(cè)評(píng)結(jié)果如表2所示.

表2 短信測(cè)評(píng)表

從表2可以得到,該方法能夠普遍適用于該系統(tǒng)的比例是77.61%,可以說明基于事件的情節(jié)規(guī)劃方法在一定程度上能普遍適用于動(dòng)畫系統(tǒng),并且能夠表達(dá)出完整的動(dòng)畫情節(jié).

5 總結(jié)

手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)是面向開放的中文短信,短信的內(nèi)容千變?nèi)f化,涉及到了領(lǐng)域非常廣闊,當(dāng)前的人工智能技術(shù)在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等方面應(yīng)用的十分廣泛,對(duì)于常識(shí)知識(shí)的獲取和分析是其所不擅長(zhǎng)的,處理效率非常低.同時(shí),一部良好的動(dòng)畫往往是具有一個(gè)比較完整的故事,并且動(dòng)畫故事戲劇性效果能夠吸引著受眾主體,人工智能技術(shù)對(duì)于動(dòng)畫故事內(nèi)容的呈現(xiàn)和動(dòng)畫戲劇性的表現(xiàn)是非常欠缺的.

為了使得手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)產(chǎn)生的動(dòng)畫能夠具有一個(gè)良好的故事情節(jié)和戲劇性表現(xiàn),本文提出了基于事件的情節(jié)規(guī)劃方法,嘗試從事件入手,從“情節(jié)-事件-動(dòng)作”三個(gè)方面來進(jìn)行規(guī)劃,以語義網(wǎng)知識(shí)為基礎(chǔ)構(gòu)建事件本體庫,通過不同關(guān)系的事件組合來構(gòu)建多樣的情節(jié),根據(jù)短信抽取結(jié)果中的主題選擇與之對(duì)應(yīng)的主題,產(chǎn)生的情節(jié)不再局限于一個(gè)動(dòng)作,通過多個(gè)動(dòng)作串聯(lián)執(zhí)行使得呈現(xiàn)出的動(dòng)畫內(nèi)容更加合理,畫面更加豐富,通過不同的情緒表現(xiàn),也會(huì)使得動(dòng)畫呈現(xiàn)的效果不同,能夠從多個(gè)層面來反映動(dòng)畫內(nèi)容,從生成的動(dòng)畫效果來看,能夠使得動(dòng)畫內(nèi)容比較豐富.

但是,當(dāng)前的本體庫是依托于課題組人員的基本常識(shí)建立,對(duì)開放型的中文短信來說覆蓋率比較低,所以接下來的工作需要進(jìn)一步擴(kuò)充事件本體庫,不僅要增加事件概念的定義,還要擴(kuò)充概念與概念之間的關(guān)聯(lián)關(guān)系,這就需要使用機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)的方法來獲取事件和事件與事件之間的關(guān)系,提高事件本體庫的覆蓋率,使生成的動(dòng)畫情節(jié)更加完善,更加多樣.

1 Lu RQ,Zhang SM,Wei ZC.Generation computer from natural language stories.Proc.of Pacific Asian Conference on Expert Systems.LosAngeles,USA.1999.

2陸汝鈐,張松懋.從故事到動(dòng)畫片從故事到動(dòng)畫片—全過程計(jì)算機(jī)輔助動(dòng)畫自動(dòng)生成.自動(dòng)化學(xué)報(bào),2002,28(15):321–348.

3諸峰,曹存根.敘事生成方法研究綜述.中文信息學(xué)報(bào),2013, 27(3):33–40.

4王海濤,岳小莉.敘事與動(dòng)畫自動(dòng)生成技術(shù)研究.信息技術(shù)快報(bào),2006,4(5):5–15.

5 Gervás P,Díaz-Agudo B,Peinado F,Hervás R.Story plot generation based on CBR.Knowledage-Baed Systems,2005, 18(4-5):235–242.

6 Shim Y,Kim M.Automatic short story generator based on autonomous agents.Pacific Rim International Workshop on Multi-Agents.Springer Berlin Heidelberg.2002.151–162.

7 Cavazza M,Charles F,Mead SJ.Character-based interactive storytelling.IEEE Intelligent Systems and Their Applications, 2002,17(4):17–24.

8 Lee B,Hendler T,Lassila J.The semantic Web.Scientific American,2001,284(5):34–45.

9張?jiān)?面向中文短信的三維動(dòng)畫情節(jié)規(guī)劃.計(jì)算機(jī)工程與應(yīng)用,2012,48(10):187–193.

10聶俊蓮.基于語義網(wǎng)的手機(jī)短信3D動(dòng)畫情節(jié)規(guī)劃[碩士學(xué)位論文].北京:北京工業(yè)大學(xué),2012.

11王金娟.基于本體的手機(jī)3D動(dòng)畫情節(jié)自動(dòng)生成[碩士學(xué)位論文].北京:北京工業(yè)大學(xué),2015.

12馮雪勤,王晶.“動(dòng)作—情節(jié)”:動(dòng)畫劇本創(chuàng)作的核心要素.“思想的旅行:從文本到圖像,從圖像到文本”國際學(xué)術(shù)研討會(huì),2013:28–30.

13張旭潔,劉宗田,劉煒,等.事件與事件本體模型研究綜述.計(jì)算機(jī)工程,2013,(9):303–307.

Plot Planning of 3DAnimation Based on Event

ZHANG Zi-Xuan

(Computer College,Beijing University of Technology,Beijing 100124,China)

Plot plan is a vital part of 3D mobile phone animation automatic generation system,and plays an important guiding role for the presentation of the animation.In this paper,we apply the Semantic Web technologies to build event ontology.Based on the key information extraction,the events which are hard to be expressed can be represented through a series of specific actions.It is possible to express a complete animation content,so that not only makes the animation with certain scenarios,but also creates a richer animation effects.

animation automatic generation;plot planning;semantic Web technologies;event;ontology

2016-08-28;收到修改稿時(shí)間:2016-10-19

10.15888/j.cnki.csa.005781