倪辰怡，黃東晉，丁友東

（上海大學(xué) 影視藝術(shù)與技術(shù)學(xué)院，上海 200072）

1 影視動(dòng)畫(huà)創(chuàng)作流程簡(jiǎn)介

隨著計(jì)算機(jī)技術(shù)的日益發(fā)展，新興的數(shù)字媒體產(chǎn)業(yè)開(kāi)始逐漸引起人們的關(guān)注。包括計(jì)算機(jī)動(dòng)畫(huà)、影視廣告、網(wǎng)絡(luò)游戲、虛擬現(xiàn)實(shí)、網(wǎng)絡(luò)藝術(shù)、多媒體、數(shù)字?jǐn)z影、數(shù)字音樂(lè)、錄像及互動(dòng)裝置以及DV（數(shù)字視頻）等數(shù)字藝術(shù)[1]，已經(jīng)悄悄地改變了每一個(gè)人的生活。

人們漸漸地開(kāi)始不再依賴(lài)于使用紙和筆留下文字和涂鴉的方式來(lái)記錄生活，而是學(xué)會(huì)利用數(shù)字媒體技術(shù)帶來(lái)的便利，拍攝下身邊的照片，輸入自己的感悟，通過(guò)網(wǎng)絡(luò)即時(shí)地分享給朋友們。在獲取信息時(shí)，也開(kāi)始不局限于單一的文字或是廣播，而會(huì)更多地被如今絢爛的可視化新媒體展示所吸引。

另外數(shù)字媒體技術(shù)的不斷發(fā)展，也越來(lái)越多地希望給用戶(hù)提供更大的人性化交互空間。像是如今廣泛應(yīng)用的計(jì)算機(jī)繪畫(huà)、修圖等技術(shù)，比起手工的繪畫(huà)具有更大的實(shí)用價(jià)值和商業(yè)利益。

那么在影視動(dòng)畫(huà)創(chuàng)作的過(guò)程中，是不是也能利用網(wǎng)絡(luò)資源的優(yōu)勢(shì)，發(fā)揮數(shù)字媒體科技的魅力呢？

傳統(tǒng)的影視動(dòng)畫(huà)創(chuàng)作流程大致可分為前期、中期和后期，圖1列出了各個(gè)階段的主要工作內(nèi)容。

圖1 影視動(dòng)畫(huà)創(chuàng)作流程

其中前期工作（Pre-Production）中第一步也是最重要的一步是：腳本及故事板的制作。文字腳本經(jīng)畫(huà)師的手工繪制，形成一幅幅的手繪圖，然后拼接成整體的故事板，如圖2所示，主要起到預(yù)覽故事情節(jié)的作用，所以制作往往比較簡(jiǎn)單、粗糙，也不上色，能理解大意即可，并不在最終成片中使用。

圖2 傳統(tǒng)手工故事板

但是即便是制作這種如此簡(jiǎn)易的手繪圖也是件十分費(fèi)時(shí)費(fèi)力的工作。畫(huà)師憑借文字腳本和導(dǎo)演口述的修改意見(jiàn)來(lái)制作，普通一集半個(gè)小時(shí)左右的動(dòng)畫(huà)片，其故事板圖片可能需要上千幅，往往可能需要花費(fèi)3周時(shí)間來(lái)制作。另外，在主創(chuàng)人員討論會(huì)中，腳本的修改也是動(dòng)畫(huà)前期制作中十分常見(jiàn)的情況，在具體實(shí)施過(guò)程中，亦會(huì)遇到實(shí)際問(wèn)題而修改腳本的細(xì)節(jié)。此時(shí)一旦修改腳本，又需重新修改繪制新的故事板?？梢?jiàn)，在動(dòng)畫(huà)創(chuàng)作前期過(guò)程中，僅使用傳統(tǒng)的手繪方式來(lái)繪制故事板，存在許多操作不利的地方。

這種傳統(tǒng)的動(dòng)畫(huà)制作方式：由導(dǎo)演和編劇寫(xiě)好文字腳本，接著分鏡圖畫(huà)師制作完故事板（草圖），然后直接交給后續(xù)三維動(dòng)畫(huà)的創(chuàng)作部門(mén)。模型師、動(dòng)畫(huà)師、渲染師、攝影師、燈光師、剪輯師等各個(gè)工序的工作人員，就都按照這些手繪分鏡圖來(lái)理解人物、故事，從而創(chuàng)作出一部完整的動(dòng)畫(huà)片。

故事板作為整個(gè)動(dòng)畫(huà)片的標(biāo)準(zhǔn)參考圖，其表達(dá)能力的優(yōu)劣會(huì)直接影響到后面所有的環(huán)節(jié)。一旦出現(xiàn)誤解、歧義的情況，可能造成后面動(dòng)畫(huà)制作工作的成本增加和勞動(dòng)力浪費(fèi)。所以在沒(méi)有其他替代方式的情況下，動(dòng)畫(huà)制作公司還是會(huì)選擇花費(fèi)一定的人力和物力，特別是請(qǐng)專(zhuān)業(yè)的畫(huà)師來(lái)制作合適的腳本分鏡圖，希望不僅能保證呈現(xiàn)效果，而且能保證制作效率。

本系統(tǒng)就是為了提高導(dǎo)演與動(dòng)畫(huà)創(chuàng)作人員間的溝通效率，希望將動(dòng)畫(huà)片的構(gòu)思和想法通過(guò)簡(jiǎn)單的交互，直觀地呈現(xiàn)為二維圖像，甚至是三維動(dòng)畫(huà)，這樣便能統(tǒng)一導(dǎo)演與動(dòng)畫(huà)工作人員們的思想，有效提高動(dòng)畫(huà)制作的效率。輸出的圖像和視頻都可達(dá)到照片級(jí)的精度，使得故事板中的人物和場(chǎng)景都能被細(xì)致和精確地表達(dá)，如圖3所示。

圖3 傳統(tǒng)手工分鏡圖與照片級(jí)分鏡圖對(duì)比

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)設(shè)計(jì)思路

該創(chuàng)新系統(tǒng)希望構(gòu)建人類(lèi)創(chuàng)意與計(jì)算機(jī)科學(xué)技術(shù)之間的橋梁，運(yùn)用良好的交互性操作，利用網(wǎng)絡(luò)上海量的可視化媒體素材，以更簡(jiǎn)單直觀的方法，讓每個(gè)人成為自己原創(chuàng)腳本的導(dǎo)演。

同時(shí)考慮到了分鏡圖的重要性，以及傳統(tǒng)手繪方式的不便利性，設(shè)計(jì)制作了一套從文字轉(zhuǎn)到圖像再可轉(zhuǎn)到三維展示的三維動(dòng)畫(huà)快速創(chuàng)作系統(tǒng)，流程如圖4所示。

整個(gè)系統(tǒng)主要共由2個(gè)子系統(tǒng)組成，包括：

1）導(dǎo)演腳本生成子系統(tǒng)：主要完成文字劇本到可視分鏡圖像的轉(zhuǎn)換；

2）三維動(dòng)畫(huà)生成子系統(tǒng)：主要完成分鏡圖像到三維動(dòng)畫(huà)視頻的轉(zhuǎn)換。

兩個(gè)系統(tǒng)可連通使用，亦可單獨(dú)使用。

如此一來(lái)，這套完整的三維動(dòng)畫(huà)快速創(chuàng)作系統(tǒng)，不僅能完成傳統(tǒng)分鏡故事板的生成，還可以直接制成簡(jiǎn)單的三維動(dòng)畫(huà)片。在動(dòng)畫(huà)制作之前的策劃階段亦可發(fā)揮其作用。代替?zhèn)鹘y(tǒng)的文字?jǐn)⑹鍪讲邉潟?shū)，把可視化的圖像、視頻展示給老板和贊助商。制作公司便不必浪費(fèi)經(jīng)費(fèi)來(lái)制作預(yù)告片，而且能很好地呈現(xiàn)創(chuàng)作想法。更重要的是，利用該系統(tǒng)能夠大大地節(jié)省制作時(shí)間，幾分鐘便可以完成一幅可視化的分鏡圖，過(guò)程中也便于修改，提高了前期動(dòng)畫(huà)制作的工作效率。

圖4 系統(tǒng)流程圖

2.2 系統(tǒng)組成及操作步驟

2.2.1 基于Internet的多源可視媒體素材庫(kù)

兩個(gè)子系統(tǒng)所使用的素材庫(kù)都是基于Internet的多源可視媒體素材庫(kù)。在服務(wù)器上存儲(chǔ)了數(shù)十萬(wàn)個(gè)二維和三維的動(dòng)畫(huà)素材資源。

每個(gè)素材利用基于特征袋模型和監(jiān)督學(xué)習(xí)的方法進(jìn)行語(yǔ)義標(biāo)注，其語(yǔ)義信息和特征信息都保存在語(yǔ)義數(shù)據(jù)庫(kù)中，以供在客戶(hù)端利用基于高層語(yǔ)義的圖像/模型檢索算法來(lái)檢索所需的二維圖像或三維模型。

2.2.2 導(dǎo)演腳本生成子系統(tǒng)

1）草圖繪制模塊：本系統(tǒng)所使用的網(wǎng)絡(luò)可視媒體素材庫(kù)，存儲(chǔ)了海量圖像和三維素材。每個(gè)素材都定義了語(yǔ)義概念。有了對(duì)應(yīng)的語(yǔ)義信息，本模塊繪制的草圖就可以和素材庫(kù)中的資源建立關(guān)聯(lián)，進(jìn)行匹配檢索。

在畫(huà)板上，用戶(hù)可選擇右邊工具欄中的鉛筆和橡皮工具，利用一些簡(jiǎn)單的線(xiàn)條，大致畫(huà)出所需對(duì)象的輪廓特點(diǎn)，如圖5所示，再設(shè)置草圖圖形的語(yǔ)義分類(lèi)信息。繪制完所有的草圖對(duì)象后，草圖及其語(yǔ)義保存在指定的目錄中。

圖5 草圖繪制模塊（截圖）

2）素材檢索模塊：采用了基于高層語(yǔ)義的圖像檢索算法[2]。圖像語(yǔ)義具有模糊性、復(fù)雜性、抽象性。一般包括3個(gè)語(yǔ)義層次[3]：特征語(yǔ)義、目標(biāo)和空間關(guān)系語(yǔ)義、高層語(yǔ)義。其中高層語(yǔ)義主要涉及圖像的場(chǎng)景語(yǔ)義（如海濱、街道、室內(nèi)等），行為語(yǔ)義（如表演、超越、進(jìn)攻等）和情感語(yǔ)義（如平靜、和諧、振奮等）。

本系統(tǒng)構(gòu)建的語(yǔ)義本體概念，提取了4層語(yǔ)義技術(shù)框架：對(duì)象語(yǔ)義、場(chǎng)景語(yǔ)義、運(yùn)動(dòng)語(yǔ)義和事件語(yǔ)義，將多源可視媒體素材庫(kù)中素材的底層特征向高層語(yǔ)義進(jìn)行轉(zhuǎn)化，計(jì)算機(jī)會(huì)自動(dòng)對(duì)圖像的特征進(jìn)行提取和存儲(chǔ)，檢索結(jié)果如圖6所示。

圖6 素材檢索模塊（截圖）

3）圖像融合模塊：首先采用基于GPU的共享采樣摳圖算法進(jìn)行圖像分割，采集一定數(shù)量的樣本，并通過(guò)多種度量標(biāo)準(zhǔn)確定出最佳的前景和背景樣本對(duì)，然后結(jié)合鄰近像素的前景背景樣本對(duì)，生成新的能夠更加準(zhǔn)確表示當(dāng)前點(diǎn)的樣本對(duì)。這樣就能從上一步選取的項(xiàng)目中高精度地?fù)溉〕鏊鑼?duì)象。

接著導(dǎo)入一幅背景圖，利用基于均值坐標(biāo)克隆的無(wú)縫融合算法，實(shí)現(xiàn)沿邊界的平滑插值。這種方法近似于一個(gè)針對(duì)邊界插值問(wèn)題的調(diào)和方案，利用均值插值避免求解大型線(xiàn)性系統(tǒng)。能夠?qū)崟r(shí)自動(dòng)地將對(duì)象與場(chǎng)景進(jìn)行無(wú)縫融合，并根據(jù)邊界周?chē)念伾M(jìn)行自適應(yīng)調(diào)整，最終輸出照片級(jí)圖像融合結(jié)果，如圖7所示。

圖7 圖像融合模塊（截圖）

重復(fù)以上3個(gè)模塊，便能將用戶(hù)文字想法呈現(xiàn)為一幅幅高精度的二維分鏡圖了。

2.2.3 三維動(dòng)畫(huà)生成子系統(tǒng)

三維動(dòng)畫(huà)生成系統(tǒng)主要就是把二維分鏡圖像中的對(duì)象轉(zhuǎn)到三維虛擬空間中。整個(gè)系統(tǒng)由標(biāo)準(zhǔn)C++程序和OpenGL編寫(xiě)，利用了OSG（Open Scene Graph）這個(gè)開(kāi)源、跨平臺(tái)的圖形開(kāi)發(fā)包，完成三維渲染。在OSG基礎(chǔ)上，自行開(kāi)發(fā)研制場(chǎng)景管理模塊，擁有良好的用戶(hù)接口、便利的操作性和豐富的場(chǎng)景管理功能，所用功能操作在一個(gè)界面中完成，如圖8所示。

圖8 三維動(dòng)畫(huà)生成子系統(tǒng)界面（截圖）

本子系統(tǒng)的素材導(dǎo)入方式可以有2種：

1）本地模式：與二維系統(tǒng)相同，利用基于高層語(yǔ)義的三維模型的檢索算法，結(jié)合用戶(hù)輸入的關(guān)鍵字語(yǔ)義信息，直接從Internet的多源可視媒體數(shù)據(jù)庫(kù)中檢索，然后把所需模型拖放導(dǎo)入場(chǎng)景中。

2）網(wǎng)絡(luò)模式：此模式下，二維的導(dǎo)演腳本生成子系統(tǒng)和三維動(dòng)畫(huà)渲染子系統(tǒng)便能連通使用。

最大創(chuàng)新點(diǎn)也正是設(shè)計(jì)了這種基于腳本的場(chǎng)景渲染子系統(tǒng)。因?yàn)槎S場(chǎng)景設(shè)計(jì)相對(duì)三維更簡(jiǎn)單、直觀，將二維草圖設(shè)計(jì)時(shí)得到的參數(shù)，通過(guò)XML腳本導(dǎo)入三維渲染引擎中，直接讀取一個(gè)場(chǎng)景，其中包含各個(gè)對(duì)象的位置、尺寸等信息。然后自動(dòng)加載所需的模型，渲染構(gòu)成一個(gè)對(duì)應(yīng)的三維場(chǎng)景。為了呈現(xiàn)出更好的視覺(jué)效果，系統(tǒng)設(shè)置了視點(diǎn)、對(duì)象、光照、相機(jī)漫游、天氣等參數(shù)供用戶(hù)自行調(diào)整。其中視點(diǎn)的高低可設(shè)置為平視、鳥(niǎo)瞰、俯視，或是左側(cè)視、正視、右側(cè)視。模型對(duì)象，可對(duì)其進(jìn)行旋轉(zhuǎn)、移動(dòng)、縮放、克隆、刪除等操作，通過(guò)這些操作來(lái)使模型與場(chǎng)景中的環(huán)境進(jìn)行匹配。光照參數(shù)可設(shè)置清晨、黃昏、中午等不同模式，自動(dòng)加入對(duì)應(yīng)的光照和陰影。由粒子系統(tǒng)實(shí)現(xiàn)的天氣模型，可以選擇晴天、下雨、下雪、霧天這4種天氣。而漫游參數(shù)用來(lái)設(shè)置相機(jī)的漫游路徑，通過(guò)實(shí)時(shí)漫游就可以生成每個(gè)分鏡的漫游視頻片段。最后將視頻片段進(jìn)行剪接，再加入音樂(lè)等后期處理，那么一部繪聲繪色的三維動(dòng)畫(huà)就完成了。

3 關(guān)鍵技術(shù)

本系統(tǒng)中使用了多項(xiàng)計(jì)算機(jī)圖形、圖像處理技術(shù)，其中場(chǎng)景與對(duì)象的無(wú)縫融合算法關(guān)系到整個(gè)系統(tǒng)的性能和速度，其算法的優(yōu)劣會(huì)影響系統(tǒng)輸出效果的優(yōu)劣。本系統(tǒng)中的融合模塊，是將檢索到的圖像，先通過(guò)交互分割出所需對(duì)象，然后導(dǎo)入所需的場(chǎng)景，與之融合，最終輸出結(jié)果，主要工作步驟如圖9所示。

圖9 圖像融合模塊流程圖

其中采用了基于均值坐標(biāo)的無(wú)縫融合算法，這種方法不僅輸出效果好，而且計(jì)算速度快。

3.1 對(duì)象與場(chǎng)景的圖像融合方法

對(duì)象與場(chǎng)景的融合技術(shù)是數(shù)字圖像處理中一項(xiàng)重要的技術(shù)[4]。選擇源圖像中感興趣的區(qū)域作為對(duì)象，然后無(wú)縫拼接到新的背景場(chǎng)景中，目標(biāo)是讓融合的結(jié)果圖像看上去盡可能的和諧與自然[5]。

傳統(tǒng)的泊松融合算法中，運(yùn)用邊界條件來(lái)解泊松方程，以實(shí)現(xiàn)在對(duì)象邊界和場(chǎng)景目標(biāo)的差異之間進(jìn)行平滑的插值[6-7]。這種梯度域融合方法必須要求融合的圖像在梯度域上盡可能平滑[8]。

而選擇更快速的均值坐標(biāo)的方法[9]，來(lái)逼近求解泊松方程。這種基于坐標(biāo)的方法在實(shí)際運(yùn)用中，不像上述方法那樣需要解一個(gè)復(fù)雜的泊松方程[10]，而是沿著邊界對(duì)內(nèi)部的每個(gè)像素加權(quán)后進(jìn)行插值。其速度快，易實(shí)現(xiàn)，內(nèi)存占用小，同時(shí)結(jié)果顯示其融合效果也很好，能夠達(dá)到實(shí)時(shí)性的要求。

3.2 基于均值坐標(biāo)的圖像融合原理

在原始素材圖S和場(chǎng)景目標(biāo)圖T中，其中g(shù)和f*分別是兩幅圖在各自域上的強(qiáng)度，假設(shè)點(diǎn)x是融合區(qū)域Pt內(nèi)的一點(diǎn)，邊界條件?Pt（P0,P1,…,Pm=P0），αi是點(diǎn)Pi，x，Pi+1之間的夾角，如圖10所示。

圖10 角度定義

那么均值坐標(biāo)ωi定義為

內(nèi)插權(quán)值為

于是，就可以對(duì)定義在邊界上的方程f進(jìn)行平滑插值

最終均值融合法結(jié)果即為

由以上過(guò)程可以看到，均值坐標(biāo)融合法計(jì)算公式簡(jiǎn)單，運(yùn)算量小，僅由融合區(qū)域像素?cái)?shù)和邊界像素?cái)?shù)來(lái)決定。

4 實(shí)驗(yàn)結(jié)果

在追求效率的同時(shí)，也不能忽略融合質(zhì)量的要求。分別選取最常使用的復(fù)制粘貼法、泊松融合法與均值坐標(biāo)法進(jìn)行比較。圖11分別是素材圖、目標(biāo)圖，以及3種方法融合的結(jié)果圖。

圖11 各種融合方法結(jié)果圖

將素材圖中的斑馬經(jīng)過(guò)分割后，融合進(jìn)綠色草地的場(chǎng)景目標(biāo)圖中。由圖可見(jiàn)人眼視覺(jué)上的效果，圖11c明顯沒(méi)有構(gòu)建素材圖與目標(biāo)圖之間平滑的插值過(guò)度，導(dǎo)致邊界生硬，整幅圖色調(diào)完全不協(xié)調(diào)。而圖11d、圖11e僅僅從人眼視覺(jué)角度觀察，都有不錯(cuò)的融合效果，不能完全分辨優(yōu)劣。

為了更精確地分析各個(gè)融合結(jié)果的好壞，采用幾種經(jīng)典常見(jiàn)的圖像質(zhì)量評(píng)價(jià)指標(biāo)，來(lái)分析、比較不同融合算法的區(qū)別，3種方法得到的評(píng)價(jià)數(shù)值見(jiàn)表1。

表1 幾種常用的評(píng)價(jià)指標(biāo)

以上數(shù)據(jù)的參考圖均采用了原始的目標(biāo)圖像。從數(shù)值上看，均值坐標(biāo)法在邊緣強(qiáng)度、互信息、交叉熵、相對(duì)標(biāo)準(zhǔn)差、峰值信噪比、均方根誤差、結(jié)構(gòu)相似度方面，都比泊松方法更優(yōu)。再加上更快的計(jì)算速度，均值坐標(biāo)法無(wú)疑更勝一籌。

5 結(jié)論

本系統(tǒng)由導(dǎo)演腳本生成子系統(tǒng)和三維動(dòng)畫(huà)生成子系統(tǒng)聯(lián)合組成，通過(guò)語(yǔ)義標(biāo)注、圖像檢索、分割、融合、三維渲染等一系列計(jì)算機(jī)圖形、圖像處理技術(shù)，提出了一個(gè)可視化的交互式三維動(dòng)畫(huà)快速創(chuàng)作系統(tǒng)。圖12是使用該系統(tǒng)生成的三維漫游動(dòng)畫(huà)例子。

圖12 系統(tǒng)實(shí)例

憑借其高效的特點(diǎn)，本系統(tǒng)完全可以替代傳統(tǒng)的手繪式動(dòng)畫(huà)創(chuàng)作方式，并且具有更多優(yōu)勢(shì)：1）可進(jìn)行實(shí)時(shí)修改；2）可靈活應(yīng)用網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中的內(nèi)容；3）不需要專(zhuān)業(yè)的繪畫(huà)功底；4）擁有更多樣的呈現(xiàn)方式。

利用本系統(tǒng)，用戶(hù)可以通過(guò)簡(jiǎn)單的交互操作，實(shí)現(xiàn)從文字劇本到分鏡圖像再到三維動(dòng)畫(huà)視頻的轉(zhuǎn)換，給普通大眾提供了快速動(dòng)畫(huà)創(chuàng)作的平臺(tái)。

：

[1]李四達(dá).數(shù)字媒體藝術(shù)史[M].北京：清華大學(xué)出版社，2008：51-55.[2]李向陽(yáng)，莊越挺，潘云鶴.基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展，2001，38（3）：344-354.

[3]向友君，謝勝利.圖像檢索技術(shù)綜述[J].重慶郵電學(xué)院學(xué)報(bào)：自然科學(xué)版，2006，18（3）：348-354.

[4]GONZALEZ R C，WOODS R E.Digital image processing[M].2nd ed.Boston，MA，USA：Addison-Wesley Longman Publishing，2001.

[5]AGARWALA A，DONTCHEVA M，AGRAWALA M，et al.Interactive digital photomontage[J].ACM Trans.Graphics(TOG)，2004，23（3）：294-302.

[6]PEREZ P，GANGNET M，BLAKE A.Poisson image editing[J].ACM Trans.Graphics(TOG)，2003，22（3）：313-318.

[7]SUN J，JIA J，TANG C K，et al.Poisson matting[J].ACM Trans.Graphics(ToG)，2004，23（3）：315-321.

[8]JIA J，SUN J，TANG C K，et al.Drag-and-drop pasting[J].ACM Trans.Graphics(TOG)，2006，25（3）：631-637.

[9]JU T，SCHAEFER S，WARREN J.Mean value coordinates for closed triangular meshes[J].ACM Trans.Graphics(TOG)，2005，24（3）：561-566.

[10]FARBMAN Z，HOFFER G，LIPMAN Y，et al.Coordinates for instant image cloning[J].ACM Trans.Graphics(TOG)，2009，28（3）：67.