欒悉道,謝毓湘,陳丹雯,鄧?yán)颦?/p>
(1.長沙大學(xué)信息與計算科學(xué)系,湖南長沙 410003;2.國防科學(xué)技術(shù)大學(xué)信息系統(tǒng)與管理學(xué)院,湖南長沙 410073)
基于劇本描述的動畫素材語義標(biāo)注方法*
欒悉道1,謝毓湘2,陳丹雯2,鄧?yán)颦?
(1.長沙大學(xué)信息與計算科學(xué)系,湖南長沙 410003;2.國防科學(xué)技術(shù)大學(xué)信息系統(tǒng)與管理學(xué)院,湖南長沙 410073)
提出了一種基于劇本描述的動畫素材語義標(biāo)注方法.首先在對動畫劇本進行分析的基礎(chǔ)上,設(shè)計了動畫劇本的規(guī)范化描述語言;并在此基礎(chǔ)上,提出了基于Schema引導(dǎo)的動畫素材語義標(biāo)注方法;最后設(shè)計并實現(xiàn)了動畫素材標(biāo)注與檢索系統(tǒng)的框架.
劇本;動畫素材;語義標(biāo)注;Schema結(jié)構(gòu)
近幾年,動畫產(chǎn)業(yè)得到迅猛發(fā)展,人們對動畫的生產(chǎn)、制作需求與日俱增,動畫素材的數(shù)量呈幾何級數(shù)增長.大量素材的不斷涌現(xiàn)及其低劣的素材重用率,使得動畫素材的管理與重用問題日漸突出.對動畫素材進行語義標(biāo)注,以便后期檢索與重用是計算機輔助動畫制作的解決途徑之一.完全依靠人力進行動畫素材的標(biāo)注,工作量巨大,且標(biāo)注的信息也未必準(zhǔn)確.因此,有必要開展動畫素材語義標(biāo)注技術(shù)的研究.動畫劇本作為動畫的靈魂,蘊含豐富的語義信息.通過對劇本進行規(guī)范化描述,并對其進行語義分析,可以有效地從中提取出對素材有用的標(biāo)注信息.
在動畫劇本的規(guī)范化描述方面,研究較早的工作包括北京郵電大學(xué)開發(fā)的動畫劇本描述語言SDL/A[1],該語言是在XYZ系統(tǒng)的CASE環(huán)境系統(tǒng)基礎(chǔ)上建立起來的,其核心是時序邏輯語言XYZ/E.該語言由一組用于描述動畫角色、攝像機、背景、光源、攝像機行為等對象的單元所組成.隨后,中科院軟件所在此基礎(chǔ)上擴充了SDL/A,設(shè)計并實現(xiàn)了XYZ/ADL語言[2].該語言可以方便地刻畫動畫過程中復(fù)雜、多層次的角色運動特征以及各角色的同步協(xié)調(diào)關(guān)系,并在一個統(tǒng)一的邏輯框架下對動畫中的運動動象進行行為和運動的抽象描述.此外,中科院數(shù)學(xué)所在導(dǎo)演規(guī)劃部分采用CAF故事劇本和ADL分鏡頭劇本[3,4]技術(shù)實現(xiàn)全過程計算機輔助動畫自動生成.
在素材標(biāo)注方面,目前大多是給定一套具體的框架,結(jié)合特定應(yīng)用進行手工或半自動化標(biāo)注,目前這方面的系統(tǒng)有:IBM公司的MPEG-7描述注解工具[5].當(dāng)開發(fā)人員建立視頻序列時,開發(fā)人員可以為視頻序列中的鏡頭添加帶有靜態(tài)景物描述和事件描述的腳注,然后將這些描述存儲在一個輸出的XML文件中.香港中文大學(xué)開發(fā)的XVIP系統(tǒng)[6],能夠從視頻中抽取信息,并且把信息存儲為一個XML文檔.
本研究重點考慮如何在對動畫劇本進行規(guī)范化描述的基礎(chǔ)上,進一步對動畫素材進行半自動的標(biāo)注,從而奠定檢索與重用動畫素材的基礎(chǔ).
動畫劇本主要用于描述場景、角色以及事件的發(fā)生過程,在動畫的制作過程中起著十分重要的作用.當(dāng)編劇和導(dǎo)演將劇本創(chuàng)作出來之后,各種動畫制作人員,如臺本師、原畫師、動畫師們便開始圍繞劇本創(chuàng)作相關(guān)素材,所有的素材可以說都是劇本意圖的可視化再現(xiàn).因此,有必要開展對動畫劇本的分析與描述工作.
不同的編劇在根據(jù)其藝術(shù)構(gòu)思創(chuàng)作動畫劇本時,其劇本往往具有不同的風(fēng)格.這種風(fēng)格不僅僅體現(xiàn)在故事內(nèi)容的描述中,在劇本的格式上也有所體現(xiàn).但是,不管風(fēng)格多么與眾不同,都必須把劇本的基本特性交待清楚.例如:故事劇本名稱、場景等.每個場景基本上包含場景說明與場景內(nèi)容兩個要素.場景說明交待了場景發(fā)生的時間、地點、景別(一般是內(nèi)景或外景),場景內(nèi)容則是故事的具體情節(jié).
在動畫故事劇本中,通常都會包含故事梗概、人物等信息,劇本的描述是以幕或場景為基本單元展開,這些幕或場景可對其進行進一步細化,劃分為若干分鏡頭,并生成更為豐富的分鏡頭劇本信息.這些劇本文件,雖然在內(nèi)容上各不相同,但在段落、格式等方面,還是有規(guī)律可循.
經(jīng)過藝術(shù)創(chuàng)造的動畫劇本最重要的特征是非結(jié)構(gòu)化.動畫劇本作為系統(tǒng)的重要輸入數(shù)據(jù),需要對其進行規(guī)范化描述,以便進行文本分析和處理.因此,需要確立一套動畫劇本描述規(guī)范,用相對通用的格式描述非結(jié)構(gòu)化的劇本,既保留對各類劇本的普遍適用性,同時又能滿足不同劇本的個性化要求[7].鑒于XML語言的自描述性、跨平臺性以及可擴展性等特點,我們將其引入動畫劇本描述領(lǐng)域,提出一種新的動畫劇本標(biāo)記語言——CSML(Cartoon Scenario Markup Language),以實現(xiàn)劇本的規(guī)范化描述,生成CSML劇本.
CSML劇本的組成如圖1所示.
1.2.1 CSML 數(shù)據(jù)文件
下面是CSML數(shù)據(jù)文件的示例:
圖1 CSML劇本的構(gòu)成
從CSML數(shù)據(jù)文件示例當(dāng)中可以看出,動畫劇本通常包括劇本說明部分和主體部分.其中,劇本說明部分通常包括劇本設(shè)定、劇本信息、劇本梗概等內(nèi)容;主體部分則包括每個分鏡頭的詳細說明信息.
1.2.2 Schema 結(jié)構(gòu)文件
在Schema文件中定義的元素有:動畫劇本、劇本說明、主體、劇本設(shè)定、劇本信息、劇本梗概、背景、道具、服裝、片名、類型、隸屬、集數(shù)、分鏡頭、鏡頭號、角色、動作、場景、景別、持續(xù)時間、原文、場景轉(zhuǎn)換等.其中分鏡頭最少出現(xiàn)1次,最多出現(xiàn)500次.而場景轉(zhuǎn)換在每個分鏡頭中至多出現(xiàn)1次,也可以不出現(xiàn);自定義的數(shù)據(jù)類型有:劇本類型、說明明細類型、主體內(nèi)容類型、設(shè)定列表類型、信息列表類型、鏡頭內(nèi)容類型、角色類型等.除角色類型是簡單類型外,其它都是復(fù)雜類型.角色類型還規(guī)定了取值范圍.
1.2.3 CSML劇本描述語言的功能
(1)實現(xiàn)對劇本規(guī)則的檢查
通過定義CSML劇本的Schema文件,可以定義完整的劇本描述語言的語法規(guī)則和語義規(guī)則,對劇本中存在的各種劇情約束條件進行定義.
(2)實現(xiàn)劇本描述的可伸縮性
不同的動畫故事對劇本的需求是不同的,因此對劇本描述語言的可擴展性提出了一定的要求.借助XML語言的可擴展性,CSML通過一個結(jié)構(gòu)化的架構(gòu),可以定義無限量的標(biāo)注,既保留了對各類劇本的普遍適用性,又滿足了不同故事在劇本中進行表現(xiàn)時的個性化要求.
(3)實現(xiàn)劇本描述的動態(tài)裁減、重組和格式轉(zhuǎn)換
在動畫制作過程中,不同的創(chuàng)作者對于同一個動畫故事的劇本在處理時都會融入自身的理解和創(chuàng)作,經(jīng)常需要在不同創(chuàng)作者的動畫劇本間進行動態(tài)的裁減、重組和格式轉(zhuǎn)換等操作,用于從整體上達到風(fēng)格的一致性、故事和角色的連貫性等要求.
前面基于XML這種半結(jié)構(gòu)化特征語言對動畫劇本進行了描述,因而從規(guī)范化的CSML劇本中提取相關(guān)語義信息來對素材進行標(biāo)注是符合客觀需求的.
基于語義的動畫素材標(biāo)注包括兩種情況:(1)某些主觀的個人理解、判斷;(2)根據(jù)行業(yè)詞匯表,在特定的多媒體模型上進行標(biāo)注.
第一種標(biāo)注的缺點顯而易見:因為標(biāo)注的主觀性強,標(biāo)注的內(nèi)容不夠準(zhǔn)確,很容易出現(xiàn)對同樣的內(nèi)容采用不同的描述(標(biāo)注)或?qū)Σ煌膬?nèi)容采用相同的描述等情況.第二種方法因為以行業(yè)元數(shù)據(jù)為基礎(chǔ),從而保證了標(biāo)注的規(guī)范性和準(zhǔn)確性.
CSML劇本中的Schema結(jié)構(gòu)文件提供了一套內(nèi)置的數(shù)據(jù)類型,它不僅可以用來定義CSML劇本的結(jié)構(gòu),而且還可以用來定義動畫領(lǐng)域的行業(yè)元數(shù)據(jù),實現(xiàn)對素材的標(biāo)注.本研究利用CSML劇本中的Schema結(jié)構(gòu)文件生成一棵制導(dǎo)樹,引導(dǎo)系統(tǒng)從CSML數(shù)據(jù)文件中提取出相關(guān)語義信息對相應(yīng)素材進行標(biāo)注.
圖2所示即為根據(jù)CSML數(shù)據(jù)文件和Schema結(jié)構(gòu)文件所生成的制導(dǎo)樹模型.同時,制導(dǎo)樹可以將Schema中定義的元素之間的關(guān)系表示為樹狀的層次關(guān)系,在檢索環(huán)節(jié)啟發(fā)式地引導(dǎo)用戶正確構(gòu)造素材的檢索條件,實現(xiàn)友好的人機界面.另外,通過采用制導(dǎo)樹提供的對不同結(jié)點的控制功能,可以引導(dǎo)用戶對素材的標(biāo)注內(nèi)容進行修改.制導(dǎo)樹為標(biāo)注和檢索提供了一套標(biāo)準(zhǔn)的框架,可提高標(biāo)注的規(guī)范性和檢索的正確率.
通過Schema制導(dǎo)樹,可實現(xiàn)對動畫素材的標(biāo)注與檢索等功能.
在上述研究的基礎(chǔ)上,設(shè)計了動畫素材標(biāo)注與檢索系統(tǒng)的框架,如圖3所示.動畫素材標(biāo)注與檢索系統(tǒng)由Schema制導(dǎo)子系統(tǒng)、標(biāo)注子系統(tǒng)和檢索子系統(tǒng)組成.其中,Schema制導(dǎo)子系統(tǒng)根據(jù)用戶選定的Schema,在標(biāo)注系統(tǒng)界面上生成一棵制導(dǎo)樹:標(biāo)注子系統(tǒng)在Schema制導(dǎo)子系統(tǒng)的支持下,利用制導(dǎo)樹將從CSML數(shù)據(jù)文件中提取出來的語義信息(以行業(yè)元數(shù)據(jù)的形式)標(biāo)注給相關(guān)素材,標(biāo)注生成的結(jié)果將是一篇符合Schema定義的XML文檔;檢索子系統(tǒng)可以在制導(dǎo)樹中設(shè)置檢索條件,將這個檢索條件作為結(jié)構(gòu)化的檢索條件提交給數(shù)據(jù)庫支持子系統(tǒng),最后從數(shù)據(jù)庫支持子系統(tǒng)獲得所需要的檢索結(jié)果;數(shù)據(jù)庫支持子系統(tǒng)將標(biāo)注后的XML文檔存入數(shù)據(jù)庫中,通過SQL查詢語言對XML數(shù)據(jù)進行檢索.
圖2 Schema制導(dǎo)樹
圖3 動畫素材標(biāo)注與檢索系統(tǒng)框架
圖4是動畫素材標(biāo)注系統(tǒng)的部分界面.它展示了通過對劇本進行規(guī)范化分析后得到的對動畫場景素材進行自動標(biāo)注后得到的結(jié)果.
圖4 動畫素材標(biāo)注系統(tǒng)的部分界面
動畫素材標(biāo)注技術(shù)是解決動畫素材重用的關(guān)鍵技術(shù)之一.而動畫劇本又是動畫創(chuàng)作的靈魂,如何從動畫劇本中獲取相關(guān)的語義信息,從而實現(xiàn)對動畫素材的半自動標(biāo)注,對計算機輔助動畫生成具有重要意義.
本文在對動畫劇本進行分析的基礎(chǔ)上,提出了動畫劇本的描述語言,并在此基礎(chǔ)上,設(shè)計了基于Schema引導(dǎo)的動畫素材語義標(biāo)注方法,該方法對動畫素材的檢索和重用提供了一條可行思路.最后,設(shè)計了動畫素材標(biāo)注與檢索系統(tǒng)框架.該框架利用規(guī)范化動畫劇本,可以實現(xiàn)素材標(biāo)注和檢索的規(guī)范化,對提高素材的重用率和動畫的創(chuàng)作效率具有積極的意義.
[1]Ma H,Liu S,Tang X,et al.The design and implementation of animation script description language SDL/A[J].Journal of Software,1996,(7):385 -393.
[2]Tang X,Tang Z,Ma H,et al.The application of XYZ system in the animation field[J].Journal of Software,1998,(1):1 - 6.
[3]金正皓.計算機動畫自動生成中導(dǎo)演規(guī)劃系統(tǒng)的研究[D].北京:中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院碩士學(xué)位論文,2000.
[4]陸汝鈐,張松懋.從故事到動畫片——全過程計算機輔助動畫自動生成[J].自動化學(xué)報,2002,(3):321-348.
[5]AlphaWorks Group.IBM MPEG -7 Annotation Tool[EB/OL].http://xml.coverpages.org/ni2002 - 07 - 25 - a.html,200 - 07-25.
[6]Ngai E C H,Chan P P,Yau E,et al.XVIP:An XML -Based Video Information Processing System[A].The Proceedings of COMPSAC 2002[C].Oxford:IEEE Computer Press,2002.
[7]周文.基于XML的動畫劇本描述及其應(yīng)用研究[D].長沙:國防科學(xué)技術(shù)大學(xué)碩士學(xué)位論文,2010.
TP391.41
A
1008-4681(2012)02-0035-03
2012-01-04
國家自然科學(xué)基金(批準(zhǔn)號:60802080)資助項目;湖南省自然科學(xué)基金(批準(zhǔn)號:10JJ6103)資助項目;長沙市科技計劃重點項目(批準(zhǔn)號:k1008005-11).
欒悉道(1976-),男,山東即墨人,長沙大學(xué)信息與計算科學(xué)系講師,博士.研究方向:多媒體信息系統(tǒng).
(作者本人校對)