李 晶

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

1 引言

全過(guò)程計(jì)算機(jī)輔助動(dòng)畫(huà)自動(dòng)生成技術(shù)是20 世紀(jì)90年代中國(guó)科學(xué)院陸汝鈐院士提出的一種嶄新的計(jì)算機(jī)動(dòng)畫(huà)技術(shù),是將人工智能技術(shù)與電影藝術(shù)、圖形學(xué)等知識(shí)相結(jié)合,以圖形學(xué)技術(shù)為支撐,運(yùn)用人工智能技術(shù)以及電影藝術(shù)實(shí)現(xiàn)的一個(gè)全新領(lǐng)域[1].基于這個(gè)技術(shù),陸汝鈐院士率領(lǐng)科研人員研制出了一個(gè)動(dòng)畫(huà)自動(dòng)生成原型系統(tǒng)《天鵝》,這個(gè)系統(tǒng)能夠?qū)⒂檬芟薜淖匀徽Z(yǔ)言描述的故事進(jìn)行故事理解、動(dòng)畫(huà)的定性規(guī)劃、導(dǎo)演規(guī)劃、攝影規(guī)劃、動(dòng)畫(huà)定量規(guī)劃直至最后生成可觀看的視頻動(dòng)畫(huà).基于全過(guò)程計(jì)算機(jī)輔助動(dòng)畫(huà)自動(dòng)生成技術(shù),在審視了3G 通信技術(shù)及其應(yīng)用背景之后,中國(guó)科學(xué)院張松懋研究員創(chuàng)新性的提出了將3D 動(dòng)畫(huà)自動(dòng)生成技術(shù)應(yīng)用在手機(jī)短信上的全過(guò)程計(jì)算機(jī)輔助手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成技術(shù),它能夠?qū)⒍绦艃?nèi)容以3D 動(dòng)畫(huà)的形式展示在短信接收者的手機(jī)上[2].

動(dòng)畫(huà)中場(chǎng)景的材質(zhì)包括基礎(chǔ)材質(zhì)、色彩、紋理和貼圖,是動(dòng)畫(huà)最直觀的展示,它就像是動(dòng)畫(huà)作品的包裝,獨(dú)具匠心的材質(zhì)設(shè)計(jì)往往使一個(gè)簡(jiǎn)單的場(chǎng)景蓬蓽生輝[3].材質(zhì)擁有物理效應(yīng)和心理效應(yīng),不同的材質(zhì)會(huì)呈現(xiàn)出不同的視覺(jué)特征,給人不同的視覺(jué)感受,喚起人們的情感,產(chǎn)生心理感受、聯(lián)想,在3D 動(dòng)畫(huà)中,提升紋理材質(zhì)與成像貼圖的美學(xué)功能,能夠更好地表現(xiàn)出鏡頭的美感,增強(qiáng)鏡頭的感染力,使畫(huà)面具有無(wú)與倫比的真實(shí)性,針對(duì)動(dòng)畫(huà)場(chǎng)景整體的材質(zhì)規(guī)劃在呼應(yīng)主題、增強(qiáng)動(dòng)畫(huà)表現(xiàn)力以及豐富動(dòng)畫(huà)表現(xiàn)形式等方面能夠取得更加突出的表現(xiàn).

手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)現(xiàn)在的版本并沒(méi)有材質(zhì)相關(guān)的規(guī)劃,場(chǎng)景中的模型所展示的僅僅是建模時(shí)設(shè)計(jì)的外觀,由于系統(tǒng)模型庫(kù)模型數(shù)量有限,導(dǎo)致最終生成的動(dòng)畫(huà)效果較為單一,尤其是動(dòng)畫(huà)場(chǎng)景的展示效果.為此,本文提出在手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)中增加場(chǎng)景材質(zhì)的規(guī)劃,在豐富動(dòng)畫(huà)展示效果、增強(qiáng)模型真實(shí)感的同時(shí),通過(guò)不同的材質(zhì)方案反映動(dòng)畫(huà)的主題,表現(xiàn)動(dòng)畫(huà)的整體氣氛,帶給短信接收者更直觀的心理感受.

本文完成的主要工作是在手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)中實(shí)現(xiàn)場(chǎng)景材質(zhì)的自動(dòng)規(guī)劃和生成,具體內(nèi)容包括：將語(yǔ)義網(wǎng)技術(shù)應(yīng)用與手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)的材質(zhì)規(guī)劃部分,構(gòu)建材質(zhì)本體庫(kù),通過(guò)短信中的相關(guān)信息得到關(guān)于材質(zhì)的定性描述,最終在具體的動(dòng)畫(huà)場(chǎng)景中實(shí)現(xiàn)材質(zhì)的生成.

2 動(dòng)畫(huà)材質(zhì)相關(guān)研究

在計(jì)算機(jī)動(dòng)畫(huà)中,材質(zhì)的研究主要包含色彩和紋理貼圖兩部分.早期的計(jì)算機(jī)動(dòng)畫(huà)技術(shù)中,場(chǎng)景中模型的材質(zhì)都是在建模時(shí)確定的,當(dāng)需要更改模型材質(zhì)時(shí),只能采取手動(dòng)調(diào)整的方式,使得動(dòng)畫(huà)場(chǎng)景表現(xiàn)形式較為單一[4].近十幾年來(lái),計(jì)算機(jī)圖形學(xué)中,發(fā)展出很多關(guān)于圖像著色的方法,主要分為基于圖片引導(dǎo)和基于數(shù)據(jù)驅(qū)動(dòng)兩種更改方式[5],三維場(chǎng)景中模型的材質(zhì)更改方法,大多由這兩種方式演變而來(lái).基于圖片引導(dǎo)的方式通過(guò)對(duì)示例圖像進(jìn)行特征識(shí)別,擬合出一組材質(zhì)賦予場(chǎng)景中的模型,如趙福愷等人提出的一種從單幅圖像獲取三維場(chǎng)景材質(zhì)風(fēng)格的方法[6],該方法通過(guò)對(duì)場(chǎng)景進(jìn)行多次視圖采樣,利用反繪制技術(shù),能夠快速有效的從圖像中擬合得到多組材質(zhì)并選取最優(yōu)材質(zhì)賦予三維場(chǎng)景中各個(gè)模型,最終場(chǎng)景材質(zhì)效果取決于場(chǎng)景的采樣和示例圖像的選取,實(shí)際上很難得到與場(chǎng)景相符的示例圖像;基于數(shù)據(jù)驅(qū)動(dòng)的方式通過(guò)選取大量相關(guān)的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,通過(guò)相關(guān)的輸入數(shù)據(jù)計(jì)算模型材質(zhì),Chen 等人基與數(shù)據(jù)驅(qū)動(dòng)方法,提出了一種自動(dòng)為三維室內(nèi)場(chǎng)景中的模型分配材質(zhì)的方法[7],該方法收集大量與室內(nèi)場(chǎng)景相關(guān)的圖像,在每幅圖像按照模型種類(lèi)及材質(zhì)信息進(jìn)行標(biāo)注后作為驅(qū)動(dòng)數(shù)據(jù)進(jìn)行訓(xùn)練,達(dá)到為場(chǎng)景中不同模型規(guī)劃材質(zhì)的目的.

基于圖片引導(dǎo)的材質(zhì)實(shí)現(xiàn)方式需要提前獲知場(chǎng)景的最終形態(tài)并根據(jù)場(chǎng)景內(nèi)容選取合適的示例圖像,對(duì)于多樣化的場(chǎng)景應(yīng)用極其有限,與3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)每次生成動(dòng)畫(huà)通過(guò)添加模型改變場(chǎng)景的現(xiàn)狀不符;基于數(shù)據(jù)驅(qū)動(dòng)的方式需要提前準(zhǔn)備大量的具有良好效果的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集,且在應(yīng)用時(shí)需要對(duì)每個(gè)模型單獨(dú)進(jìn)行計(jì)算,耗費(fèi)時(shí)間較長(zhǎng).結(jié)合3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)實(shí)際情況,本文提出基于語(yǔ)義網(wǎng)技術(shù)的場(chǎng)景材質(zhì)規(guī)劃方法,通過(guò)構(gòu)建材質(zhì)本體庫(kù)刻畫(huà)與材質(zhì)有關(guān)的各種屬性,根據(jù)短信文本中有限的信息實(shí)現(xiàn)三維場(chǎng)景材質(zhì)的規(guī)劃和生成.

3 材質(zhì)自動(dòng)生成的整體框架和流程

手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)接收用戶(hù)發(fā)出的短信之后,首先進(jìn)行信息抽取,通過(guò)哈爾濱工業(yè)大學(xué)分詞系統(tǒng)對(duì)短信文本進(jìn)行分詞處理后,經(jīng)過(guò)命名實(shí)體識(shí)別、否定分析、主題識(shí)別、模板識(shí)別、情感分析等模塊對(duì)分詞結(jié)果進(jìn)行分析,將信息抽取結(jié)果以結(jié)構(gòu)化的形式輸出到系統(tǒng)指定位置保存;然后是定性情節(jié)規(guī)劃,讀取信息抽取結(jié)果后,通過(guò)評(píng)分系統(tǒng)進(jìn)行場(chǎng)景的選擇,根據(jù)主題、模板、情感分析結(jié)果等信息,以O(shè)ntology 知識(shí)庫(kù)為基礎(chǔ),確定添加的模型,并通過(guò)變形規(guī)劃、布局規(guī)劃、動(dòng)作規(guī)劃、表情規(guī)劃、粒子特效規(guī)劃等子系統(tǒng)對(duì)場(chǎng)景及場(chǎng)景中的模型定義相關(guān)操作,將各自的屬性信息輸出;之后是定量計(jì)算模塊,定量計(jì)算依賴(lài)定性規(guī)劃結(jié)果,通過(guò)調(diào)用Maya API[8]以及mel 腳本,實(shí)現(xiàn)對(duì)動(dòng)畫(huà)場(chǎng)景及模型的各種操作,包括空間布局計(jì)算、動(dòng)作計(jì)算、變形計(jì)算、色彩計(jì)算、燈光計(jì)算、攝像機(jī)計(jì)算、粒子特效計(jì)算、表情計(jì)算、材質(zhì)計(jì)算等,得到一個(gè)與短信內(nèi)容相符的動(dòng)畫(huà)文件;最后是網(wǎng)絡(luò)渲染模塊,將定量計(jì)算得到的.ma 文件上傳到系統(tǒng)的網(wǎng)絡(luò)服務(wù)器,服務(wù)器通過(guò)批處理程序渲染出一個(gè)圖片序列,使用渲染程序?qū)D片序列和音樂(lè)、字幕合成為.MP4 格式的視頻文件,并將動(dòng)畫(huà)視頻發(fā)送給短信接收者.

圖1 場(chǎng)景材質(zhì)規(guī)劃流程圖

本文主要研究通過(guò)不同的材質(zhì)搭配方案來(lái)反映動(dòng)畫(huà)的主題,表現(xiàn)動(dòng)畫(huà)的整體氣氛,主要包括以下兩個(gè)部分：

(1)材質(zhì)定性規(guī)劃主要包括場(chǎng)景整體基調(diào)的規(guī)劃、基礎(chǔ)材質(zhì)與色彩的規(guī)劃以及紋理貼圖的規(guī)劃三個(gè)部分,其中場(chǎng)景基調(diào)由基礎(chǔ)材質(zhì)與色彩以及紋理貼圖來(lái)表達(dá).首先根據(jù)知識(shí)庫(kù)中關(guān)于場(chǎng)景的標(biāo)記屬性和信息抽取的內(nèi)容對(duì)場(chǎng)景進(jìn)行整體基調(diào)的規(guī)劃,確定動(dòng)畫(huà)場(chǎng)景的整體氛圍;然后基于場(chǎng)景基調(diào)進(jìn)行基礎(chǔ)材質(zhì)與色彩的規(guī)劃,為場(chǎng)景背景和場(chǎng)景中每個(gè)模型分別確定基礎(chǔ)材質(zhì)及色彩搭配;最后進(jìn)行紋理貼圖的規(guī)劃,根據(jù)知識(shí)庫(kù)對(duì)場(chǎng)景中每個(gè)模型的屬性標(biāo)記、信息抽取的內(nèi)容以及場(chǎng)景的整體基調(diào)對(duì)每個(gè)模型分配紋理貼圖.定性規(guī)劃完成后生成定量實(shí)現(xiàn)所需要的定性信息,每條信息包括模型名稱(chēng)、模型基礎(chǔ)材質(zhì)、模型基礎(chǔ)顏色、模型紋理名稱(chēng)以及貼圖文件名等信息.

(2)材質(zhì)定量實(shí)現(xiàn)是整個(gè)材質(zhì)規(guī)劃中最重要的部分,定量計(jì)算的結(jié)果直接影響最終場(chǎng)景表達(dá)效果的好壞.在定量實(shí)現(xiàn)部分,首先根據(jù)定性信息中的紋理名稱(chēng)及貼圖文件,通過(guò)機(jī)器學(xué)習(xí)圖像處理使得貼圖展現(xiàn)出我們需要的紋理效果;然后通過(guò)Maya 中的Hypershade系統(tǒng),調(diào)用API,根據(jù)定性信息依次創(chuàng)建材質(zhì)節(jié)點(diǎn),通過(guò)組合得到最終的材質(zhì)效果并賦予指定的模型.對(duì)于定性信息中沒(méi)有提到的模型以及場(chǎng)景中原有模型,根據(jù)場(chǎng)景基調(diào)進(jìn)行隨機(jī)的基礎(chǔ)材質(zhì)及色彩的規(guī)劃和實(shí)現(xiàn).圖1是整個(gè)系統(tǒng)的流程圖.

4 動(dòng)畫(huà)場(chǎng)景材質(zhì)的定性規(guī)劃

材質(zhì)定性規(guī)劃的實(shí)現(xiàn),主要依靠系統(tǒng)本體庫(kù),結(jié)合材質(zhì)知識(shí)庫(kù)進(jìn)行匹配選擇,包括材質(zhì)本體庫(kù)的建立及定性規(guī)劃設(shè)計(jì)兩個(gè)部分.在目前動(dòng)畫(huà)系統(tǒng)成功運(yùn)行所使用的系統(tǒng)知識(shí)庫(kù)的基礎(chǔ)上,我們通過(guò)構(gòu)建材質(zhì)本體庫(kù),支持動(dòng)畫(huà)材質(zhì)的定性規(guī)劃.

4.1 構(gòu)建動(dòng)畫(huà)材質(zhì)本體庫(kù)

本體[9](Ontology)是由AI 中的語(yǔ)義網(wǎng)絡(luò)演化的一種概念化的、結(jié)構(gòu)化的表示方法,能夠捕捉相關(guān)領(lǐng)域知識(shí),提供對(duì)該領(lǐng)域知識(shí)的共同理解,確定該領(lǐng)域內(nèi)共同認(rèn)可的詞匯,并給出這些詞匯和詞匯間相互關(guān)系的明確定義,通過(guò)概念之間的關(guān)系來(lái)描述概念的語(yǔ)義,被廣泛應(yīng)用到知識(shí)工程、軟件復(fù)用、信息檢索和Web 上異構(gòu)信息處理.本體開(kāi)發(fā)所采用的建模語(yǔ)言通?；诿枋鲞壿?本文選擇Protégé[10]本體編輯工具進(jìn)行知識(shí)庫(kù)的構(gòu)建.

整個(gè)系統(tǒng)的知識(shí)庫(kù)包括本體庫(kù)和規(guī)則庫(kù),本文主要使用其中的本體庫(kù).本體庫(kù)由各種動(dòng)畫(huà)相關(guān)的類(lèi)及屬性組成,包括主題類(lèi)、模板類(lèi)、動(dòng)畫(huà)場(chǎng)景類(lèi)及動(dòng)畫(huà)模型類(lèi)等.圍繞系統(tǒng)本體庫(kù),最終建立的材質(zhì)本體庫(kù)如圖2所示.

材質(zhì)本體庫(kù)包含newMaterial 和scenceHypershade 兩個(gè)類(lèi),其中scenceHypershade 類(lèi)為動(dòng)畫(huà)場(chǎng)景材質(zhì)球類(lèi),分為室內(nèi)場(chǎng)景(inDoorScence)和室外場(chǎng)景(outDoorScence)兩個(gè)子類(lèi),每個(gè)子類(lèi)下定義動(dòng)畫(huà)場(chǎng)景中的材質(zhì)球?qū)嵗?通過(guò)isMaScence 屬性與系統(tǒng)本體庫(kù)中定義的動(dòng)畫(huà)場(chǎng)景實(shí)例關(guān)聯(lián),并刻畫(huà)材質(zhì)球類(lèi)型及名稱(chēng)(如圖3所示).

圖2 材質(zhì)本體庫(kù)

圖3 場(chǎng)景材質(zhì)球?qū)嵗皩傩?/p>

newMaterial 類(lèi)定義了材質(zhì)的各個(gè)基本屬性以及場(chǎng)景材質(zhì)風(fēng)格,包括材質(zhì)類(lèi)型(HyperType),基礎(chǔ)材質(zhì)(BasicMaterial),顏色(Color),紋理(Texture),圖片(Picture)以及場(chǎng)景風(fēng)格(Scene_style)六個(gè)子類(lèi),其中場(chǎng)景風(fēng)格類(lèi)有室內(nèi)設(shè)計(jì)和室外設(shè)計(jì)兩個(gè)子類(lèi),根據(jù)室內(nèi)外場(chǎng)景不同的特點(diǎn),室內(nèi)場(chǎng)景設(shè)計(jì)按照裝修風(fēng)格劃分,室外場(chǎng)景設(shè)計(jì)按照季節(jié)劃分,通過(guò)hasScenceBaseFor-Template 和hasScenceBaseForTopic 兩個(gè)屬性與系統(tǒng)本體庫(kù)中的模板和主題實(shí)例關(guān)聯(lián),并刻畫(huà)場(chǎng)景風(fēng)格實(shí)例對(duì)應(yīng)的材質(zhì)色彩、紋理和貼圖屬性(如圖4所示);基礎(chǔ)材質(zhì)類(lèi)按照Maya 軟件中提供的幾種基礎(chǔ)材質(zhì)創(chuàng)建,圖片類(lèi)定義了系統(tǒng)庫(kù)中的圖片素材實(shí)例,色彩類(lèi)定義了各種色彩的HSV 值,紋理類(lèi)包含兩個(gè)子類(lèi)：程序紋理和圖片紋理,程序紋理類(lèi)為Maya 軟件Hypershade編輯器中提供的二維和三維紋理,圖片紋理類(lèi)依據(jù)DTD 數(shù)據(jù)集中圖片的紋理分類(lèi),定義了47 種紋理類(lèi)型實(shí)例.

圖4 場(chǎng)景風(fēng)格實(shí)例及屬性

4.2 基于材質(zhì)本體庫(kù)的定性規(guī)劃

場(chǎng)景材質(zhì)定性規(guī)劃的目標(biāo)是對(duì)動(dòng)畫(huà)情節(jié)規(guī)劃部分所選擇的動(dòng)畫(huà)場(chǎng)景及新添加到場(chǎng)景中的模型進(jìn)行材質(zhì)的分配,根據(jù)信息抽取模塊得到的短信主題和模板來(lái)推出與短信內(nèi)容相符的材質(zhì)信息.定性規(guī)劃遵循以下的策略：

(1)根據(jù)短信主題和模板確定場(chǎng)景材質(zhì)的整體風(fēng)格,后續(xù)的所有材質(zhì)規(guī)劃在這個(gè)風(fēng)格上進(jìn)行;

(2)為場(chǎng)景背景及其中添加的模型選擇合適的材質(zhì).對(duì)于原始場(chǎng)景,根據(jù)材質(zhì)本體庫(kù)中定義的材質(zhì)球名稱(chēng)和類(lèi)別,選取材質(zhì)風(fēng)格下定義的相應(yīng)類(lèi)別的材質(zhì)實(shí)例得到材質(zhì)定性描述信息;對(duì)于新添加到場(chǎng)景中的模型,根據(jù)適用于模型和適用于材質(zhì)風(fēng)格兩個(gè)條件選取得到貼圖、紋理和色彩的集合,從中隨機(jī)選擇實(shí)例得到材質(zhì)定性描述信息.

(3)對(duì)于信息抽取中沒(méi)有抽取到主題、模板信息或是選取得到的主題、模板沒(méi)有在材質(zhì)庫(kù)中匹配到相應(yīng)材質(zhì)風(fēng)格的情況,本文采用根據(jù)材質(zhì)庫(kù)中定義的與動(dòng)畫(huà)場(chǎng)景相符合的材質(zhì)風(fēng)格實(shí)例進(jìn)行隨機(jī)選擇,即與信息抽取結(jié)果相分離的方法得到材質(zhì)風(fēng)格實(shí)例并進(jìn)行后續(xù)材質(zhì)規(guī)劃.

以短信“好好寫(xiě)論文吧,馬上就要畢業(yè)了”為例,圖5是這條短信信息抽取的結(jié)果.對(duì)于室內(nèi)場(chǎng)景,材質(zhì)規(guī)劃分為兩個(gè)部分,首先是從信息抽取結(jié)果獲取場(chǎng)景材質(zhì)風(fēng)格,然后根據(jù)材質(zhì)風(fēng)格對(duì)添加到場(chǎng)景中的模型依次進(jìn)行材質(zhì)的規(guī)劃.

圖5 “好好寫(xiě)論文吧,馬上就要畢業(yè)了”信息抽取結(jié)果

從圖5看出這條短信沒(méi)有抽取到明確的情緒主題或是模板,室內(nèi)場(chǎng)景與季節(jié)主題或模板無(wú)關(guān),所以在進(jìn)行材質(zhì)規(guī)劃時(shí),隨機(jī)的選擇場(chǎng)景材質(zhì)風(fēng)格.材質(zhì)風(fēng)格確定之后,從材質(zhì)本體庫(kù)讀取到當(dāng)前所選擇場(chǎng)景所包含的材質(zhì)球信息如圖6所示,6(a)是room1 場(chǎng)景在材質(zhì)本體庫(kù)中所擁有的全部材質(zhì)球?qū)嵗?6(b)是room1_floor 材質(zhì)球的屬性信息,6(c)是中式場(chǎng)景材質(zhì)基調(diào)中對(duì)應(yīng)于floor 類(lèi)型的材質(zhì)實(shí)例信息.

根據(jù)材質(zhì)球類(lèi)型,從所選取的場(chǎng)景材質(zhì)風(fēng)格類(lèi)下獲取相應(yīng)類(lèi)別的材質(zhì)實(shí)例并保存到定性規(guī)劃文件中;然后依次處理添加到場(chǎng)景中的模型材質(zhì).圖7是選取到中式風(fēng)格時(shí)的材質(zhì)定性規(guī)劃信息輸出.下面的定性規(guī)劃信息的參數(shù)說(shuō)明如表1所示.

圖6 room1 場(chǎng)景材質(zhì)球?qū)嵗龑傩孕畔?/p>

5 動(dòng)畫(huà)場(chǎng)景材質(zhì)的定量實(shí)現(xiàn)

根據(jù)動(dòng)畫(huà)場(chǎng)景材質(zhì)定性規(guī)劃結(jié)果,材質(zhì)的定量實(shí)現(xiàn)部分讀取到每一條定性描述信息之后,首先進(jìn)行圖像紋理的合成,并對(duì)每一條定性描述信息在具體的場(chǎng)景中進(jìn)行計(jì)算,得到相應(yīng)材質(zhì)的節(jié)點(diǎn)連接方法,從而達(dá)到更改動(dòng)畫(huà)場(chǎng)景材質(zhì)的目的.

圖7 中式場(chǎng)景材質(zhì)風(fēng)格定性規(guī)劃結(jié)果

表1 材質(zhì)的定性規(guī)則信息描述

5.1 圖像紋理合成

在計(jì)算機(jī)動(dòng)畫(huà)技術(shù)中,材質(zhì)的研究主要包含色彩和紋理貼圖兩部分.由于Hypershade 編輯器中提供的紋理類(lèi)型有限且無(wú)法與貼圖同時(shí)使用,需要進(jìn)行紋理合成處理.根據(jù)Subhransu Maji 等人提出的基于機(jī)器學(xué)習(xí)的圖片紋理合成方法[11],本文使用B-CNN[12,13]網(wǎng)絡(luò),通過(guò)vgg-16 模型[14]對(duì)DTD 數(shù)據(jù)集[15]和FMD 數(shù)據(jù)集[16]進(jìn)行訓(xùn)練獲取紋理分類(lèi)器,訓(xùn)練完成后將定性規(guī)劃中選擇的貼圖以及紋理屬性作為輸入數(shù)據(jù),最終得到符合相應(yīng)紋理的紋理圖片.圖8是使用圖片plank.eps 進(jìn)行圖像紋理合成的結(jié)果示例.

5.2 基于Maya Hypershade 編輯器的材質(zhì)計(jì)算

本文選擇Maya 軟件中的Hypershade 編輯器進(jìn)行材質(zhì)的定量計(jì)算.Hypershade 編輯器主要是用來(lái)制作紋理、材質(zhì)節(jié)點(diǎn)的,它是從Maya2.0 中引入的.在Hypershade 編輯器中,有3 種基本的材質(zhì)類(lèi)型,分別為表面材質(zhì)、體積材質(zhì)、置換材質(zhì).Maya 軟件中使用表面材質(zhì)模擬金屬、卡通、木頭、玻璃等質(zhì)感;體積材質(zhì)多用于模擬霧、煙、云等粒子特效;置換貼圖可以實(shí)現(xiàn)真實(shí)的凹凸效果.在Maya 中,紋理貼圖不能直接指定給場(chǎng)景中的物體,必須與材質(zhì)球的某個(gè)屬性連接起來(lái)才能賦予場(chǎng)景模型,創(chuàng)建紋理時(shí),系統(tǒng)會(huì)默認(rèn)創(chuàng)建出對(duì)應(yīng)的紋理貼圖坐標(biāo)器,用于對(duì)曲面進(jìn)行定位.紋理貼圖坐標(biāo)器可以定位紋理在UV 空間的位置及方向,還可以通過(guò)操作手柄及參數(shù)的設(shè)置來(lái)控制其在物體表面覆蓋的位移、旋轉(zhuǎn)、重復(fù)次數(shù)等屬性.利用編輯器中提供的各種材質(zhì)節(jié)點(diǎn),能夠組合得到不同效果的物體材質(zhì).

根據(jù)定性規(guī)劃結(jié)果,對(duì)場(chǎng)景進(jìn)行材質(zhì)規(guī)劃時(shí),材質(zhì)類(lèi)型分為組合材質(zhì)和簡(jiǎn)單材質(zhì).按照讀取的定性信息,首先判斷是否有圖片需要處理,經(jīng)過(guò)圖像紋理合成得到符合相應(yīng)紋理特征的紋理圖片.

對(duì)于動(dòng)畫(huà)場(chǎng)景中的單一材質(zhì),直接在程序中調(diào)用Maya API,通過(guò)Hypershade 編輯器在模型的原始材質(zhì)上進(jìn)行修改,包括修改材質(zhì)顏色,基礎(chǔ)材質(zhì)類(lèi)型以及貼圖路徑等;對(duì)于組合材質(zhì),在Hypershade 編輯器中,依次創(chuàng)建相應(yīng)的材質(zhì)節(jié)點(diǎn),按照特定的組合方式完成材質(zhì)的合成,比如在基礎(chǔ)材質(zhì)上連接凹凸紋理、透明通道貼圖及色彩等,之后再賦予相對(duì)應(yīng)的模型,覆蓋模型原始材質(zhì)信息.如圖9(a)所示,在room1_floor 材質(zhì)球上連接色彩通道貼圖plank-meshed 和凹凸紋理bump2d1 后,在貼圖節(jié)點(diǎn)連接著色節(jié)點(diǎn)shadingMap1將貼圖顏色改為紅褐色再賦予場(chǎng)景中的地面得到圖9(b)所示效果.

在定性規(guī)劃中,一般只對(duì)場(chǎng)景中部分模型的材質(zhì)進(jìn)行規(guī)劃,對(duì)于那些沒(méi)有顯式定性規(guī)劃的模型,定量計(jì)算采取“就近取材”的方式,根據(jù)它在場(chǎng)景中鄰近模型的材質(zhì)的色彩,微調(diào)得到它的色彩.

圖8 圖像紋理合成效果

圖9 中式風(fēng)格場(chǎng)景地板材質(zhì)連接及效果

按照?qǐng)D7的材質(zhì)規(guī)劃結(jié)果,得到圖10(b)所示的動(dòng)畫(huà)截圖,在中式風(fēng)格場(chǎng)景地板材質(zhì)中,采用了圖9(a)所示的材質(zhì)組合方式.

圖10 定量計(jì)算結(jié)果示例

6 系統(tǒng)實(shí)驗(yàn)

目前,手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)中已經(jīng)基本實(shí)現(xiàn)了場(chǎng)景材質(zhì)的自動(dòng)規(guī)劃模塊,本實(shí)驗(yàn)的目的是驗(yàn)證材質(zhì)規(guī)劃的有效性及多樣性,選取系統(tǒng)從2018年6月至2018年10月期間接收的所有短信進(jìn)行測(cè)試并統(tǒng)計(jì)測(cè)試結(jié)果.短信數(shù)量共計(jì)314 條,其中273 條短信進(jìn)行了材質(zhì)規(guī)劃,22 條短信由于程序啟動(dòng)不當(dāng)未進(jìn)行定性規(guī)劃,21 條短信由于所選擇場(chǎng)景不適合作材質(zhì)規(guī)劃且未添加任何模型,沒(méi)有進(jìn)行材質(zhì)規(guī)劃.在進(jìn)行了材質(zhì)規(guī)劃的273 條短信中,約71.4%的短信針對(duì)動(dòng)畫(huà)系統(tǒng)場(chǎng)景庫(kù)中的原始場(chǎng)景進(jìn)行了材質(zhì)規(guī)劃,改變了整個(gè)動(dòng)畫(huà)場(chǎng)景的材質(zhì)風(fēng)格(如圖10),28.6%的短信未改變系統(tǒng)中原有的場(chǎng)景材質(zhì),僅改變程序添加到場(chǎng)景中的模型材質(zhì),這是由于系統(tǒng)未選擇使用場(chǎng)景庫(kù)中的原有場(chǎng)景,而是由程序自動(dòng)生成全新場(chǎng)景(如圖11(a)),或是所選取的場(chǎng)景不適合進(jìn)行材質(zhì)規(guī)劃(如圖11(b),所選擇場(chǎng)景有明顯的指向?yàn)楹５讏?chǎng)景).

圖11 未進(jìn)行原始場(chǎng)景規(guī)劃

6.1 材質(zhì)規(guī)劃多樣性實(shí)驗(yàn)

為了驗(yàn)證材質(zhì)規(guī)劃的多樣性,從上述進(jìn)行了材質(zhì)規(guī)劃的273 條短信中隨機(jī)選取60 條短信,每條短信運(yùn)行10 次,統(tǒng)計(jì)600 次短信運(yùn)行的材質(zhì)規(guī)劃結(jié)果如圖12所示.圖12中,x 軸為一條短信測(cè)試10 次得到不同材質(zhì)效果的個(gè)數(shù),從圖中可知,17 條短信出現(xiàn)了7 個(gè)不同材質(zhì)效果,約占總短信數(shù)28.3%;81.7%的短信得到了5 個(gè)以上的不同材質(zhì)效果.總體來(lái)看,材質(zhì)規(guī)劃多樣性取得較好效果.

圖12 材質(zhì)規(guī)劃多樣性實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果

圖13 同一場(chǎng)景多次規(guī)劃結(jié)果

圖13是對(duì)短信“好好寫(xiě)論文吧,馬上就要畢業(yè)了”多次運(yùn)行得到的不同材質(zhì)風(fēng)格的規(guī)劃結(jié)果截圖,圖13(a)是場(chǎng)景庫(kù)中原始場(chǎng)景,圖13(b)-圖13(f)依次是田園風(fēng)格場(chǎng)景、日式風(fēng)格場(chǎng)景、都市風(fēng)格場(chǎng)景、地中海風(fēng)格場(chǎng)景及中式風(fēng)格場(chǎng)景,材質(zhì)規(guī)劃系統(tǒng)根據(jù)短信選取到合適的場(chǎng)景風(fēng)格后,能夠得到一組相應(yīng)的材質(zhì)組合并對(duì)應(yīng)的選取材質(zhì)包含的色彩、貼圖及紋理.

6.2 材質(zhì)規(guī)劃效果評(píng)估實(shí)驗(yàn)

為了進(jìn)一步分析添加材質(zhì)規(guī)劃后的動(dòng)畫(huà)效果,本文采用調(diào)查問(wèn)卷的方式評(píng)估場(chǎng)景材質(zhì)效果.從成功進(jìn)行了材質(zhì)規(guī)劃的273 條短信中隨機(jī)抽取80 條作為評(píng)價(jià)樣本,設(shè)計(jì)兩個(gè)評(píng)價(jià)指標(biāo),分別是“我認(rèn)為材質(zhì)效果符合動(dòng)畫(huà)場(chǎng)景”、“我認(rèn)為材質(zhì)效果表達(dá)短信主題模板”,采用十分制進(jìn)行評(píng)價(jià)打分,得分越高,說(shuō)明場(chǎng)景材質(zhì)效果越好.本次問(wèn)卷共發(fā)放120 張,填寫(xiě)調(diào)查問(wèn)卷的人群為隨機(jī)抽取人員,問(wèn)卷收回120 張,對(duì)調(diào)查結(jié)果進(jìn)行統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果如圖14所示.

圖14 材質(zhì)規(guī)劃效果評(píng)估性試驗(yàn)結(jié)果

根據(jù)圖14得分統(tǒng)計(jì),“我認(rèn)為材質(zhì)效果很好表現(xiàn)了短信內(nèi)容”的加權(quán)平均分為7.8,“我認(rèn)為材質(zhì)效果很美觀”的加權(quán)平均分為6.4.通過(guò)上述數(shù)據(jù)說(shuō)明,在系統(tǒng)中添加材質(zhì)規(guī)劃是比較被認(rèn)可的,達(dá)到了本文設(shè)計(jì)的初步要求.在“我認(rèn)為材質(zhì)效果與短信內(nèi)容相符”的評(píng)價(jià)中,部分短信所得分值較低,主要原因是目前的材質(zhì)規(guī)劃中,當(dāng)信息抽取部分沒(méi)有抽取到短信主題、模板,或是所抽取的主題、模板在材質(zhì)庫(kù)中匹配不到相應(yīng)的材質(zhì)風(fēng)格時(shí),所采取的方式是根據(jù)動(dòng)畫(huà)場(chǎng)景隨機(jī)選擇材質(zhì)風(fēng)格進(jìn)行材質(zhì)規(guī)劃,導(dǎo)致材質(zhì)風(fēng)格與短信內(nèi)容不符.后續(xù)的工作中,將考慮根據(jù)短信主題之間相關(guān)性進(jìn)行主題、模板推導(dǎo),以得到相符的材質(zhì)風(fēng)格.

7 結(jié)語(yǔ)

本文的主要研究?jī)?nèi)容是手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)中動(dòng)畫(huà)場(chǎng)景材質(zhì)的自動(dòng)規(guī)劃,目前計(jì)算機(jī)技術(shù)中,對(duì)于三維場(chǎng)景材質(zhì)的制作,主要有基于圖片引導(dǎo)和基于數(shù)據(jù)驅(qū)動(dòng)兩種方法,需要依賴(lài)有很高參照性的示例圖像或是大量材質(zhì)圖像數(shù)據(jù)集進(jìn)行材質(zhì)擬合,計(jì)算的復(fù)雜度較高且耗費(fèi)時(shí)間較長(zhǎng).基于手機(jī)3D 動(dòng)畫(huà)自動(dòng)生成系統(tǒng)動(dòng)畫(huà)場(chǎng)景中模型添加的多樣性,本文提出基于語(yǔ)義網(wǎng)技術(shù)的材質(zhì)規(guī)劃方法,通過(guò)提取短信文本中有限的信息進(jìn)行材質(zhì)規(guī)劃.在開(kāi)放性短信測(cè)試中,使用了314 條短信進(jìn)行測(cè)試,我們的方法對(duì)273 條短信所生成的動(dòng)畫(huà)成功進(jìn)行了材質(zhì)規(guī)劃,其中218 條短信多次運(yùn)行得到了不同的材質(zhì)結(jié)果,實(shí)驗(yàn)結(jié)果表明此方法能夠產(chǎn)生正確、多樣的材質(zhì)效果;同時(shí),也發(fā)現(xiàn)目前材質(zhì)規(guī)劃系統(tǒng)中一些潛在的問(wèn)題和不足,主要表現(xiàn)在以下兩方面：(1)場(chǎng)景中材質(zhì)的最終表達(dá)效果受燈光的影響,尤其是一些對(duì)光線(xiàn)比較敏感的材質(zhì);(2)材質(zhì)規(guī)劃依賴(lài)于信息抽取算法對(duì)短信文本的抽取結(jié)果,當(dāng)抽取結(jié)果不準(zhǔn)確時(shí),可能導(dǎo)致最終場(chǎng)景材質(zhì)的規(guī)劃與短信語(yǔ)義不符.針對(duì)以上問(wèn)題的改進(jìn)將是后續(xù)研究的重點(diǎn).