欒悉道，謝毓湘，陳丹雯，鄧?yán)颦?/p>

(1.長(zhǎng)沙大學(xué)信息與計(jì)算科學(xué)系，湖南長(zhǎng)沙 410003;2.國(guó)防科學(xué)技術(shù)大學(xué)信息系統(tǒng)與管理學(xué)院，湖南長(zhǎng)沙 410073)

基于劇本描述的動(dòng)畫素材語義標(biāo)注方法＊

欒悉道1，謝毓湘2，陳丹雯2，鄧?yán)颦?

(1.長(zhǎng)沙大學(xué)信息與計(jì)算科學(xué)系，湖南長(zhǎng)沙 410003;2.國(guó)防科學(xué)技術(shù)大學(xué)信息系統(tǒng)與管理學(xué)院，湖南長(zhǎng)沙 410073)

提出了一種基于劇本描述的動(dòng)畫素材語義標(biāo)注方法.首先在對(duì)動(dòng)畫劇本進(jìn)行分析的基礎(chǔ)上，設(shè)計(jì)了動(dòng)畫劇本的規(guī)范化描述語言;并在此基礎(chǔ)上，提出了基于Schema引導(dǎo)的動(dòng)畫素材語義標(biāo)注方法;最后設(shè)計(jì)并實(shí)現(xiàn)了動(dòng)畫素材標(biāo)注與檢索系統(tǒng)的框架.

劇本;動(dòng)畫素材;語義標(biāo)注;Schema結(jié)構(gòu)

近幾年，動(dòng)畫產(chǎn)業(yè)得到迅猛發(fā)展，人們對(duì)動(dòng)畫的生產(chǎn)、制作需求與日俱增，動(dòng)畫素材的數(shù)量呈幾何級(jí)數(shù)增長(zhǎng).大量素材的不斷涌現(xiàn)及其低劣的素材重用率，使得動(dòng)畫素材的管理與重用問題日漸突出.對(duì)動(dòng)畫素材進(jìn)行語義標(biāo)注，以便后期檢索與重用是計(jì)算機(jī)輔助動(dòng)畫制作的解決途徑之一.完全依靠人力進(jìn)行動(dòng)畫素材的標(biāo)注，工作量巨大，且標(biāo)注的信息也未必準(zhǔn)確.因此，有必要開展動(dòng)畫素材語義標(biāo)注技術(shù)的研究.動(dòng)畫劇本作為動(dòng)畫的靈魂，蘊(yùn)含豐富的語義信息.通過對(duì)劇本進(jìn)行規(guī)范化描述，并對(duì)其進(jìn)行語義分析，可以有效地從中提取出對(duì)素材有用的標(biāo)注信息.

在動(dòng)畫劇本的規(guī)范化描述方面，研究較早的工作包括北京郵電大學(xué)開發(fā)的動(dòng)畫劇本描述語言SDL/A［1］，該語言是在XYZ系統(tǒng)的CASE環(huán)境系統(tǒng)基礎(chǔ)上建立起來的，其核心是時(shí)序邏輯語言XYZ/E.該語言由一組用于描述動(dòng)畫角色、攝像機(jī)、背景、光源、攝像機(jī)行為等對(duì)象的單元所組成.隨后，中科院軟件所在此基礎(chǔ)上擴(kuò)充了SDL/A，設(shè)計(jì)并實(shí)現(xiàn)了XYZ/ADL語言［2］.該語言可以方便地刻畫動(dòng)畫過程中復(fù)雜、多層次的角色運(yùn)動(dòng)特征以及各角色的同步協(xié)調(diào)關(guān)系，并在一個(gè)統(tǒng)一的邏輯框架下對(duì)動(dòng)畫中的運(yùn)動(dòng)動(dòng)象進(jìn)行行為和運(yùn)動(dòng)的抽象描述.此外，中科院數(shù)學(xué)所在導(dǎo)演規(guī)劃部分采用CAF故事劇本和ADL分鏡頭劇本［3，4］技術(shù)實(shí)現(xiàn)全過程計(jì)算機(jī)輔助動(dòng)畫自動(dòng)生成.

在素材標(biāo)注方面，目前大多是給定一套具體的框架，結(jié)合特定應(yīng)用進(jìn)行手工或半自動(dòng)化標(biāo)注，目前這方面的系統(tǒng)有:IBM公司的MPEG－7描述注解工具［5］.當(dāng)開發(fā)人員建立視頻序列時(shí)，開發(fā)人員可以為視頻序列中的鏡頭添加帶有靜態(tài)景物描述和事件描述的腳注，然后將這些描述存儲(chǔ)在一個(gè)輸出的XML文件中.香港中文大學(xué)開發(fā)的XVIP系統(tǒng)［6］，能夠從視頻中抽取信息，并且把信息存儲(chǔ)為一個(gè)XML文檔.

本研究重點(diǎn)考慮如何在對(duì)動(dòng)畫劇本進(jìn)行規(guī)范化描述的基礎(chǔ)上，進(jìn)一步對(duì)動(dòng)畫素材進(jìn)行半自動(dòng)的標(biāo)注，從而奠定檢索與重用動(dòng)畫素材的基礎(chǔ).

1 動(dòng)畫劇本分析與描述

動(dòng)畫劇本主要用于描述場(chǎng)景、角色以及事件的發(fā)生過程，在動(dòng)畫的制作過程中起著十分重要的作用.當(dāng)編劇和導(dǎo)演將劇本創(chuàng)作出來之后，各種動(dòng)畫制作人員，如臺(tái)本師、原畫師、動(dòng)畫師們便開始圍繞劇本創(chuàng)作相關(guān)素材，所有的素材可以說都是劇本意圖的可視化再現(xiàn).因此，有必要開展對(duì)動(dòng)畫劇本的分析與描述工作.

1.1 動(dòng)畫劇本分析

不同的編劇在根據(jù)其藝術(shù)構(gòu)思創(chuàng)作動(dòng)畫劇本時(shí)，其劇本往往具有不同的風(fēng)格.這種風(fēng)格不僅僅體現(xiàn)在故事內(nèi)容的描述中，在劇本的格式上也有所體現(xiàn).但是，不管風(fēng)格多么與眾不同，都必須把劇本的基本特性交待清楚.例如:故事劇本名稱、場(chǎng)景等.每個(gè)場(chǎng)景基本上包含場(chǎng)景說明與場(chǎng)景內(nèi)容兩個(gè)要素.場(chǎng)景說明交待了場(chǎng)景發(fā)生的時(shí)間、地點(diǎn)、景別(一般是內(nèi)景或外景)，場(chǎng)景內(nèi)容則是故事的具體情節(jié).

在動(dòng)畫故事劇本中，通常都會(huì)包含故事梗概、人物等信息，劇本的描述是以幕或場(chǎng)景為基本單元展開，這些幕或場(chǎng)景可對(duì)其進(jìn)行進(jìn)一步細(xì)化，劃分為若干分鏡頭，并生成更為豐富的分鏡頭劇本信息.這些劇本文件，雖然在內(nèi)容上各不相同，但在段落、格式等方面，還是有規(guī)律可循.

1.2 動(dòng)畫劇本描述

經(jīng)過藝術(shù)創(chuàng)造的動(dòng)畫劇本最重要的特征是非結(jié)構(gòu)化.動(dòng)畫劇本作為系統(tǒng)的重要輸入數(shù)據(jù)，需要對(duì)其進(jìn)行規(guī)范化描述，以便進(jìn)行文本分析和處理.因此，需要確立一套動(dòng)畫劇本描述規(guī)范，用相對(duì)通用的格式描述非結(jié)構(gòu)化的劇本，既保留對(duì)各類劇本的普遍適用性，同時(shí)又能滿足不同劇本的個(gè)性化要求［7］.鑒于XML語言的自描述性、跨平臺(tái)性以及可擴(kuò)展性等特點(diǎn)，我們將其引入動(dòng)畫劇本描述領(lǐng)域，提出一種新的動(dòng)畫劇本標(biāo)記語言——CSML(Cartoon Scenario Markup Language)，以實(shí)現(xiàn)劇本的規(guī)范化描述，生成CSML劇本.

CSML劇本的組成如圖1所示.

1.2.1 CSML 數(shù)據(jù)文件

下面是CSML數(shù)據(jù)文件的示例:

圖1 CSML劇本的構(gòu)成

從CSML數(shù)據(jù)文件示例當(dāng)中可以看出，動(dòng)畫劇本通常包括劇本說明部分和主體部分.其中，劇本說明部分通常包括劇本設(shè)定、劇本信息、劇本梗概等內(nèi)容;主體部分則包括每個(gè)分鏡頭的詳細(xì)說明信息.

1.2.2 Schema 結(jié)構(gòu)文件

在Schema文件中定義的元素有:動(dòng)畫劇本、劇本說明、主體、劇本設(shè)定、劇本信息、劇本梗概、背景、道具、服裝、片名、類型、隸屬、集數(shù)、分鏡頭、鏡頭號(hào)、角色、動(dòng)作、場(chǎng)景、景別、持續(xù)時(shí)間、原文、場(chǎng)景轉(zhuǎn)換等.其中分鏡頭最少出現(xiàn)1次，最多出現(xiàn)500次.而場(chǎng)景轉(zhuǎn)換在每個(gè)分鏡頭中至多出現(xiàn)1次，也可以不出現(xiàn);自定義的數(shù)據(jù)類型有:劇本類型、說明明細(xì)類型、主體內(nèi)容類型、設(shè)定列表類型、信息列表類型、鏡頭內(nèi)容類型、角色類型等.除角色類型是簡(jiǎn)單類型外，其它都是復(fù)雜類型.角色類型還規(guī)定了取值范圍.

1.2.3 CSML劇本描述語言的功能

(1)實(shí)現(xiàn)對(duì)劇本規(guī)則的檢查

通過定義CSML劇本的Schema文件，可以定義完整的劇本描述語言的語法規(guī)則和語義規(guī)則，對(duì)劇本中存在的各種劇情約束條件進(jìn)行定義.

(2)實(shí)現(xiàn)劇本描述的可伸縮性

不同的動(dòng)畫故事對(duì)劇本的需求是不同的，因此對(duì)劇本描述語言的可擴(kuò)展性提出了一定的要求.借助XML語言的可擴(kuò)展性，CSML通過一個(gè)結(jié)構(gòu)化的架構(gòu)，可以定義無限量的標(biāo)注，既保留了對(duì)各類劇本的普遍適用性，又滿足了不同故事在劇本中進(jìn)行表現(xiàn)時(shí)的個(gè)性化要求.

(3)實(shí)現(xiàn)劇本描述的動(dòng)態(tài)裁減、重組和格式轉(zhuǎn)換

在動(dòng)畫制作過程中，不同的創(chuàng)作者對(duì)于同一個(gè)動(dòng)畫故事的劇本在處理時(shí)都會(huì)融入自身的理解和創(chuàng)作，經(jīng)常需要在不同創(chuàng)作者的動(dòng)畫劇本間進(jìn)行動(dòng)態(tài)的裁減、重組和格式轉(zhuǎn)換等操作，用于從整體上達(dá)到風(fēng)格的一致性、故事和角色的連貫性等要求.

2 基于劇本的動(dòng)畫素材標(biāo)注

前面基于XML這種半結(jié)構(gòu)化特征語言對(duì)動(dòng)畫劇本進(jìn)行了描述，因而從規(guī)范化的CSML劇本中提取相關(guān)語義信息來對(duì)素材進(jìn)行標(biāo)注是符合客觀需求的.

2.1 動(dòng)畫素材語義標(biāo)注的方式

基于語義的動(dòng)畫素材標(biāo)注包括兩種情況:(1)某些主觀的個(gè)人理解、判斷;(2)根據(jù)行業(yè)詞匯表，在特定的多媒體模型上進(jìn)行標(biāo)注.

第一種標(biāo)注的缺點(diǎn)顯而易見:因?yàn)闃?biāo)注的主觀性強(qiáng)，標(biāo)注的內(nèi)容不夠準(zhǔn)確，很容易出現(xiàn)對(duì)同樣的內(nèi)容采用不同的描述(標(biāo)注)或?qū)Σ煌膬?nèi)容采用相同的描述等情況.第二種方法因?yàn)橐孕袠I(yè)元數(shù)據(jù)為基礎(chǔ)，從而保證了標(biāo)注的規(guī)范性和準(zhǔn)確性.

2.2 Schema引導(dǎo)的語義標(biāo)注與檢索

CSML劇本中的Schema結(jié)構(gòu)文件提供了一套內(nèi)置的數(shù)據(jù)類型，它不僅可以用來定義CSML劇本的結(jié)構(gòu)，而且還可以用來定義動(dòng)畫領(lǐng)域的行業(yè)元數(shù)據(jù)，實(shí)現(xiàn)對(duì)素材的標(biāo)注.本研究利用CSML劇本中的Schema結(jié)構(gòu)文件生成一棵制導(dǎo)樹，引導(dǎo)系統(tǒng)從CSML數(shù)據(jù)文件中提取出相關(guān)語義信息對(duì)相應(yīng)素材進(jìn)行標(biāo)注.

圖2所示即為根據(jù)CSML數(shù)據(jù)文件和Schema結(jié)構(gòu)文件所生成的制導(dǎo)樹模型.同時(shí)，制導(dǎo)樹可以將Schema中定義的元素之間的關(guān)系表示為樹狀的層次關(guān)系，在檢索環(huán)節(jié)啟發(fā)式地引導(dǎo)用戶正確構(gòu)造素材的檢索條件，實(shí)現(xiàn)友好的人機(jī)界面.另外，通過采用制導(dǎo)樹提供的對(duì)不同結(jié)點(diǎn)的控制功能，可以引導(dǎo)用戶對(duì)素材的標(biāo)注內(nèi)容進(jìn)行修改.制導(dǎo)樹為標(biāo)注和檢索提供了一套標(biāo)準(zhǔn)的框架，可提高標(biāo)注的規(guī)范性和檢索的正確率.

通過Schema制導(dǎo)樹，可實(shí)現(xiàn)對(duì)動(dòng)畫素材的標(biāo)注與檢索等功能.

3 動(dòng)畫素材標(biāo)注與檢索系統(tǒng)框架

在上述研究的基礎(chǔ)上，設(shè)計(jì)了動(dòng)畫素材標(biāo)注與檢索系統(tǒng)的框架，如圖3所示.動(dòng)畫素材標(biāo)注與檢索系統(tǒng)由Schema制導(dǎo)子系統(tǒng)、標(biāo)注子系統(tǒng)和檢索子系統(tǒng)組成.其中，Schema制導(dǎo)子系統(tǒng)根據(jù)用戶選定的Schema，在標(biāo)注系統(tǒng)界面上生成一棵制導(dǎo)樹:標(biāo)注子系統(tǒng)在Schema制導(dǎo)子系統(tǒng)的支持下，利用制導(dǎo)樹將從CSML數(shù)據(jù)文件中提取出來的語義信息(以行業(yè)元數(shù)據(jù)的形式)標(biāo)注給相關(guān)素材，標(biāo)注生成的結(jié)果將是一篇符合Schema定義的XML文檔;檢索子系統(tǒng)可以在制導(dǎo)樹中設(shè)置檢索條件，將這個(gè)檢索條件作為結(jié)構(gòu)化的檢索條件提交給數(shù)據(jù)庫(kù)支持子系統(tǒng)，最后從數(shù)據(jù)庫(kù)支持子系統(tǒng)獲得所需要的檢索結(jié)果;數(shù)據(jù)庫(kù)支持子系統(tǒng)將標(biāo)注后的XML文檔存入數(shù)據(jù)庫(kù)中，通過SQL查詢語言對(duì)XML數(shù)據(jù)進(jìn)行檢索.

圖2 Schema制導(dǎo)樹

圖3 動(dòng)畫素材標(biāo)注與檢索系統(tǒng)框架

圖4是動(dòng)畫素材標(biāo)注系統(tǒng)的部分界面.它展示了通過對(duì)劇本進(jìn)行規(guī)范化分析后得到的對(duì)動(dòng)畫場(chǎng)景素材進(jìn)行自動(dòng)標(biāo)注后得到的結(jié)果.

圖4 動(dòng)畫素材標(biāo)注系統(tǒng)的部分界面

4 結(jié)束語

動(dòng)畫素材標(biāo)注技術(shù)是解決動(dòng)畫素材重用的關(guān)鍵技術(shù)之一.而動(dòng)畫劇本又是動(dòng)畫創(chuàng)作的靈魂，如何從動(dòng)畫劇本中獲取相關(guān)的語義信息，從而實(shí)現(xiàn)對(duì)動(dòng)畫素材的半自動(dòng)標(biāo)注，對(duì)計(jì)算機(jī)輔助動(dòng)畫生成具有重要意義.

本文在對(duì)動(dòng)畫劇本進(jìn)行分析的基礎(chǔ)上，提出了動(dòng)畫劇本的描述語言，并在此基礎(chǔ)上，設(shè)計(jì)了基于Schema引導(dǎo)的動(dòng)畫素材語義標(biāo)注方法，該方法對(duì)動(dòng)畫素材的檢索和重用提供了一條可行思路.最后，設(shè)計(jì)了動(dòng)畫素材標(biāo)注與檢索系統(tǒng)框架.該框架利用規(guī)范化動(dòng)畫劇本，可以實(shí)現(xiàn)素材標(biāo)注和檢索的規(guī)范化，對(duì)提高素材的重用率和動(dòng)畫的創(chuàng)作效率具有積極的意義.

［1］Ma H，Liu S，Tang X，et al.The design and implementation of animation script description language SDL/A［J］.Journal of Software，1996，(7):385 －393.

［2］Tang X，Tang Z，Ma H，et al.The application of XYZ system in the animation field［J］.Journal of Software，1998，(1):1 － 6.

［3］金正皓.計(jì)算機(jī)動(dòng)畫自動(dòng)生成中導(dǎo)演規(guī)劃系統(tǒng)的研究［D］.北京:中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院碩士學(xué)位論文，2000.

［4］陸汝鈐，張松懋.從故事到動(dòng)畫片——全過程計(jì)算機(jī)輔助動(dòng)畫自動(dòng)生成［J］.自動(dòng)化學(xué)報(bào)，2002，(3):321－348.

［5］AlphaWorks Group.IBM MPEG －7 Annotation Tool［EB/OL］.http://xml.coverpages.org/ni2002 － 07 － 25 － a.html，200 － 07－25.

［6］Ngai E C H，Chan P P，Yau E，et al.XVIP:An XML －Based Video Information Processing System［A］.The Proceedings of COMPSAC 2002［C］.Oxford:IEEE Computer Press，2002.

［7］周文.基于XML的動(dòng)畫劇本描述及其應(yīng)用研究［D］.長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文，2010.

TP391.41

A

1008－4681(2012)02－0035－03

2012－01－04

國(guó)家自然科學(xué)基金(批準(zhǔn)號(hào):60802080)資助項(xiàng)目;湖南省自然科學(xué)基金(批準(zhǔn)號(hào):10JJ6103)資助項(xiàng)目;長(zhǎng)沙市科技計(jì)劃重點(diǎn)項(xiàng)目(批準(zhǔn)號(hào):k1008005－11).

欒悉道(1976－)，男，山東即墨人，長(zhǎng)沙大學(xué)信息與計(jì)算科學(xué)系講師，博士.研究方向:多媒體信息系統(tǒng).

(作者本人校對(duì))