徐明明 李松松

1.武漢晴川學(xué)院，湖北武漢 430000

2.北京超圖軟件有限公司，北京 100015

1 引言

3D 圖像處理技術(shù)現(xiàn)階段主要應(yīng)用于電影或文物遺跡的數(shù)字化復(fù)原、城市虛擬搭建和導(dǎo)航系統(tǒng)信息可視化等。為等比例還原電影拍攝中的場景或角色，對(duì)作用對(duì)象進(jìn)行視覺圖像的重建和復(fù)原，模擬一個(gè)逼真的感觀世界，進(jìn)而對(duì)未來電影工業(yè)提供數(shù)據(jù)支持。該設(shè)計(jì)是目前3D 計(jì)算機(jī)視覺藝術(shù)在民生領(lǐng)域最廣泛采取的技術(shù)手段[1]。

在對(duì)影片中場景進(jìn)行數(shù)字信息重建和復(fù)原過程中，如何采用合理優(yōu)化的技術(shù)至關(guān)重要。在電影3D圖像技術(shù)處理中，按效果大致可劃分為靜態(tài)圖像展示與動(dòng)態(tài)視頻融入兩種方案，此外，使用計(jì)算機(jī)三維圖像軌跡跟蹤點(diǎn)的方式處理動(dòng)態(tài)類視頻融入十分常見。無論是哪一種方案，都繞不開模型的紋理映射過程，尤其是遇到建筑體量龐大的浩瀚遺跡或者角色造型復(fù)雜的吉光片羽。每一處細(xì)節(jié)都要體現(xiàn)生動(dòng)傳神的肌理效果，傳統(tǒng)映射方式雖然準(zhǔn)確但操作過程復(fù)雜繁冗，尤其是如何在動(dòng)態(tài)視頻融入的方案中，達(dá)到既提升紋理映射效率，同時(shí)增強(qiáng)視覺效果的目的，最終思考的研究重點(diǎn)是如何達(dá)到技術(shù)優(yōu)化訴求。

基于上述問題，本文提出將畫面通過投影覆蓋到三維場景中，并實(shí)現(xiàn)點(diǎn)對(duì)式軌跡追蹤的視頻融合方法，以及能夠批量實(shí)現(xiàn)紋理映射的軟件技術(shù)。本方法在節(jié)省資源的同時(shí)提高了研發(fā)效率，增強(qiáng)了視覺效果，優(yōu)化了3D 信息運(yùn)算的步驟。最后通過分析實(shí)驗(yàn)結(jié)果、比對(duì)實(shí)驗(yàn)數(shù)據(jù)，驗(yàn)證該技術(shù)優(yōu)化的真實(shí)性和研究結(jié)果的正確性[2]。以上實(shí)驗(yàn)可滿足當(dāng)前各相關(guān)領(lǐng)域計(jì)算機(jī)3D 視覺設(shè)計(jì)的要求。

2 研究框架

2.1 3D 圖像處理技術(shù)的基本優(yōu)化架構(gòu)

本文設(shè)計(jì)和實(shí)現(xiàn)的3D 圖像紋理映射優(yōu)化面向電影場景、角色的數(shù)字化塑造需求，在傳統(tǒng)的制作原理上最合理優(yōu)化步驟，提升項(xiàng)目開發(fā)效率。在模型到紋理生成的過程中快速映射貼圖，針對(duì)不同的領(lǐng)域可選擇優(yōu)質(zhì)的策略與途徑。配合工具和技術(shù)結(jié)合成一個(gè)完整的系統(tǒng)架構(gòu)[3]，見圖1。掌握定量分析方法和熟悉“操作性”知識(shí)是決定該研究方法是否可行的重要途徑，對(duì)于實(shí)施途徑有兩個(gè)“雙效”標(biāo)準(zhǔn)：“效率”和“效果”，即進(jìn)行系統(tǒng)的設(shè)計(jì)和開發(fā)后是否提高了工作效率，在提高工作效率的同時(shí)是否達(dá)到甚至超過了“還原”效果。這也是本系統(tǒng)架構(gòu)設(shè)計(jì)的另一個(gè)目的。

圖1 基于系統(tǒng)架構(gòu)的流程指導(dǎo)圖

2.2 過程優(yōu)化設(shè)計(jì)

此處以電影中的虛擬角色制作為例，已知的電影3D 圖像處理技術(shù)制作過程包括：（1）高精度的數(shù)字化信息采集。利用實(shí)物的非接觸性三維掃描技術(shù)進(jìn)行多點(diǎn)掃描，它能完整復(fù)制對(duì)象的材料、色調(diào)及裝飾等完整信息，再將掃描后的數(shù)據(jù)導(dǎo)入并存儲(chǔ)在電腦數(shù)據(jù)庫。然后利用圖像恢復(fù)目標(biāo)3D 模型，這是相機(jī)拍攝照片的逆過程。（2）三維模型建構(gòu)。根據(jù)掃描的數(shù)據(jù)進(jìn)行計(jì)算機(jī)視覺3D 模型的重建，通過數(shù)字化手段建立仿真度極高的3D 模型數(shù)據(jù)庫，這里可以運(yùn)用Maya/3ds Max 進(jìn)行模型優(yōu)化，應(yīng)用這種軟件除了制作成本較低、視覺效果逼真等原因以外，也是考慮后續(xù)的動(dòng)態(tài)視頻的路徑匹配問題。這一過程被經(jīng)常使用。（3）模型紋理映射。進(jìn)入紋理映射環(huán)節(jié)，將有兩種方式可供選擇，基于數(shù)理算法映射人工交互處理方式和基于軟件命令的映射方式[4]。（4）視頻動(dòng)畫演示。（5）環(huán)境渲染。動(dòng)畫演示和環(huán)境渲染可以采用很多技術(shù)方式，這里根據(jù)實(shí)際情況可提供高效率自適應(yīng)的SVG 動(dòng)畫渲染法，實(shí)現(xiàn)真實(shí)性效果優(yōu)化。（6）虛擬現(xiàn)實(shí)。本文重點(diǎn)介紹實(shí)現(xiàn)優(yōu)化的步驟。（7）最后就是電影場景中的預(yù)演展示，它可以讓觀眾切實(shí)感受三維圖像可視化帶來的視覺盛宴。另外利用Unity 3D 和Unreal Engine（UE）軟件平臺(tái)可以很方便地構(gòu)建虛擬互動(dòng)方案。尤其是基于Web 的交互式虛擬展示技法，不管是普通觀眾還是研究者，都可以親自控制數(shù)字模型來實(shí)現(xiàn)人與電影角色的互動(dòng)，見圖2（a）。

圖2 優(yōu)化前后的3D 圖像處理技術(shù)流程

本文研究中，優(yōu)化了紋理映射和動(dòng)畫演示步驟。通過改變紋理映射的方式和增加視頻融入的技術(shù)，降低3D 動(dòng)態(tài)信息計(jì)算的成本，從而很大程度地優(yōu)化了該過程，提高了工作效率，增強(qiáng)了電影效果，見圖2（b)。

2.2.1 動(dòng)態(tài)視頻的融合匹配優(yōu)化

模型確立之后，若是涉及到動(dòng)態(tài)視頻中失真部分的虛擬重建與復(fù)原，就要采取三維場景與實(shí)拍視頻融合制作的方法，增強(qiáng)用戶觀看的真實(shí)感和可信度。這種增強(qiáng)現(xiàn)實(shí)技術(shù)的出現(xiàn)最早是在1996 年，Debevec 等[5]提出了一種視點(diǎn)相關(guān)的視頻紋理混合方法；陸續(xù)又有南加州大學(xué)的Hu 等[6]人提出了基于航拍影像和地面圖形進(jìn)行三維重建的方式；Chen 等[7]人研發(fā)了使用動(dòng)態(tài)紋理映射技術(shù)投射到視頻畫面而生成監(jiān)控系統(tǒng)的技術(shù)等。通過投影的方式將視頻畫面當(dāng)成一張貼圖覆蓋到三維場景中，是一種已知常用的增強(qiáng)現(xiàn)實(shí)方法（圖3）。本節(jié)反向提出一種在已有視頻融入的研究基礎(chǔ)上優(yōu)化效果的方法，即平面視頻融合技術(shù)。它能結(jié)合大范圍的三維場景實(shí)現(xiàn)位移路徑的精準(zhǔn)匹配。

圖3 視頻投影三維場景效果

首先是在三維場景視頻融合中，用點(diǎn)位標(biāo)定計(jì)算的矯正變換矩陣和三維場景中的相機(jī)位姿信息對(duì)場景中一些平面區(qū)域進(jìn)行視頻融合，由于遮擋關(guān)系接近于零，為得到無錯(cuò)誤信息的視頻效果，可以基于平面區(qū)域的特性重新設(shè)計(jì)一種計(jì)算兩個(gè)平面之間的轉(zhuǎn)換矩陣的方法。假設(shè)計(jì)算的矩陣為R，以及一組標(biāo)定對(duì)應(yīng)的二位點(diǎn)對(duì)（a,b）[8]，如式（1）所示，

二維點(diǎn)對(duì)（a,b）用齊次坐標(biāo)表示為：

a=(x1,y1,1)

b=(x2,y2,1)

那么三者之間的關(guān)系應(yīng)為：b= R aT。通過標(biāo)定過程中所得的多組點(diǎn)位以及解線性方程組來求解最終的變換矩陣R，最終達(dá)到針對(duì)平面區(qū)域的視頻融入效果。圖4為平面與視頻投影的融合效果。

圖4 視頻投影融合效果

接下來是視頻轉(zhuǎn)碼的優(yōu)化。一般來說，有些YUV 或VLC 格式在后期處理視頻融入的時(shí)候不能與追蹤軟件兼容，因此需要對(duì)其格式進(jìn)行優(yōu)化，例如YUV 中的Y 為亮度，U 和V 為色度。我們可以通過公式法將YUV 格式轉(zhuǎn)換為RGB 格式，如式（2）所示。

用這樣最簡單直接的方式就可以得到圖像轉(zhuǎn)碼優(yōu)化方法。當(dāng)然還有基于Open CV 實(shí)現(xiàn)和FFmpeg實(shí)現(xiàn)等方式實(shí)現(xiàn)轉(zhuǎn)碼的目的，這里不再詳述。

最后，是將轉(zhuǎn)碼的視頻與虛擬重建的模型利用軟件追蹤，實(shí)現(xiàn)路徑匹配。因?yàn)榇罅康氖褂?D 空間動(dòng)態(tài)信息進(jìn)行計(jì)算機(jī)數(shù)據(jù)處理，會(huì)增大3D 建模工作量，嚴(yán)重降低場景渲染速度，甚至減弱視覺逼真度。圖5 中的電影鏡頭給出了融合視頻路徑運(yùn)用Boujou軟件中遮罩（Mask）技術(shù)算出不參與追蹤的區(qū)域，它適用于移動(dòng)著的大型視頻場景。針對(duì)該平面區(qū)域需要添加的3D 圖像部分，對(duì)綠色屏幕以外的區(qū)域進(jìn)行捕捉點(diǎn)的運(yùn)算，圖6中鏡頭將捕捉到的軌跡點(diǎn)與文件一起導(dǎo)入三維軟件中，再按等比例置入三維模型，完成動(dòng)態(tài)視頻與虛擬場景的路徑匹配。

圖5 MASK 非計(jì)算部分路徑

圖6 平面視頻融合效果

在布有綠幕的影片中，也可以將遮擋物進(jìn)行遮罩處理，見圖7（a）。這樣既可得到屏蔽阻擋物的效果，也可以完成綠幕與虛擬道具（角色）的追蹤匹配，見圖7（b）。

2.2.2 批量映射的設(shè)計(jì)架構(gòu)與優(yōu)化

在紋理映射部分，以VS Code 編程軟件為基礎(chǔ)，搭建出紋理批量映射的基本架構(gòu)，用以提供貼圖技術(shù)的最優(yōu)手段。代碼中最主要的架構(gòu)內(nèi)容為卷葉欄，卷葉欄中可提供函數(shù)、UI 事件及變量的輸寫位置，以便設(shè)置UI 外觀與關(guān)聯(lián)性函數(shù)的優(yōu)化。在卷葉欄中輸入函數(shù)，可分別設(shè)置處理模型的燈光、法線、高光、陰影、透明及遮擋等的UI外觀?；A(chǔ)代碼如下所示：

edittext edt _path“路徑:”pos:［7,14］width:130 height:20 across:2 即定義數(shù)據(jù)的變量。path 為其中很重要的一個(gè)變量，可換成其他任意函數(shù)，比如light、normal、specular 等。這樣，便可生成批量貼圖時(shí)所需要的數(shù)據(jù)路徑。

接下來設(shè)置的為數(shù)據(jù)路徑的UI 按鈕，設(shè)置好后點(diǎn)擊按鈕既可設(shè)置數(shù)據(jù)路徑，其中有控件變量，執(zhí)行按鈕，調(diào)用模型優(yōu)化按鈕，幫助與提示按鈕等?；A(chǔ)代碼如下所示：

Button btn _path”...”pos［:146,14］width:54 height:20 toolTip:”

然后就可以將UI外觀與紋理貼圖的關(guān)聯(lián)性函數(shù)優(yōu)化，以基礎(chǔ)代碼的方式依次編寫法線、自發(fā)光、高光、置換和遮擋等貼圖代碼，將這些代碼與路徑按鈕事件進(jìn)行關(guān)聯(lián)，方便它讀取文件夾路徑，完成后可在文件夾中搜索指定的類型，所設(shè)置的按鈕事件表示這個(gè)按鈕可以執(zhí)行哪些命令。另外，在按鈕事件中定義一個(gè)字符串變量，用于存放打開文件夾獲取的輸入文件路徑。如果輸出路徑未定義就將輸入框里面的路徑作為輸出路徑，完成后即可設(shè)置好按鈕的路徑，方便重復(fù)調(diào)用或修改路徑文件。

接下來是高級(jí)貼圖的核心優(yōu)化部分。繼續(xù)輸入函數(shù)，點(diǎn)擊”開始”按鈕執(zhí)行批量貼圖功能，點(diǎn)擊優(yōu)化模塊按鈕執(zhí)行代碼塊，調(diào)用優(yōu)化腳本的代碼塊，點(diǎn)擊按鈕后執(zhí)行，點(diǎn)擊”幫助”按鈕調(diào)用幫助文檔。這樣”幫助”按鈕事件就生成了。

到了批量映射的核心部分，輸入代碼，表示防止用戶未填寫路徑而對(duì)當(dāng)前選中的模型進(jìn)行自動(dòng)紋理映射的后果。為檢測某種貼圖有無被選上，可輸入函數(shù)，讓貼圖被選中時(shí)在UI 上顯示為勾選狀態(tài)。則在選中法線貼圖后可以在UI 上顯示法線貼圖框被勾選。

最后一步是利用變量，將紋理貼入對(duì)應(yīng)的通道中。還是以法線貼圖為例。輸入函數(shù)，這樣法線貼圖可貼入到法線的通道中了。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)結(jié)果

基于以上技術(shù)的優(yōu)化方案，根據(jù)圖像數(shù)字化需求和本文的研究目標(biāo)，影片《敦煌》中數(shù)字藝術(shù)家展示了利用3D 圖像技術(shù)進(jìn)行復(fù)原的古佛像（圖8）。對(duì)照原有電影畫面效果，作者對(duì)同窟的阿難尊者佛像進(jìn)行了3D 圖像與視頻融合處理，包含原始圖像的精準(zhǔn)測量掃描、3D 模型重建、批量紋理映射、視頻融合等。完成的結(jié)果與使用后的效果見后續(xù)。系統(tǒng)實(shí)驗(yàn)場景運(yùn)用在PC 平臺(tái)配置如下：Windows 10 操作系統(tǒng)、Intel?CoreTMi5-6400、2.70GHz、CPU 8.00GB 內(nèi)存。圖9 是利用三維掃描儀器對(duì)殘損佛像進(jìn)行數(shù)據(jù)采集，在三維軟件中建模，并在ZBrush 軟件中分區(qū)優(yōu)化的3D 模型[9]。

圖8 《敦煌》中復(fù)原的3D 佛像

接著運(yùn)用批量映射插件對(duì)3D 模型中被分區(qū)域的范圍分別施行紋理映射，對(duì)于模型本身存在的局部破點(diǎn)，調(diào)用優(yōu)化功能進(jìn)行優(yōu)化處理，以免貼圖之后模型出現(xiàn)褶皺狀況或破損效果（圖10）。

圖10 批量紋理映射后快速顯示的阿難數(shù)字彩色圖像

圖11 為視頻與數(shù)字模型進(jìn)行路徑追蹤融合后的實(shí)驗(yàn)效果，可以看出3D 圖像與視頻融合后不僅可以模擬出寫實(shí)級(jí)的電影效果，而且規(guī)避了全3D 技術(shù)對(duì)計(jì)算機(jī)處理信息數(shù)據(jù)時(shí)帶來的內(nèi)存損耗。

圖11 阿難尊者像與實(shí)景融合動(dòng)態(tài)分布圖

3.2 數(shù)據(jù)分析

為驗(yàn)證本文研究的技術(shù)優(yōu)化后的實(shí)用性效果，根據(jù)本設(shè)計(jì)使用后的結(jié)果對(duì)用戶進(jìn)行問卷調(diào)查，繼而對(duì)問卷得到的數(shù)據(jù)進(jìn)行整理和分析[10]。在這里搜集了三個(gè)用戶單位使用該軟件的信息，通過采樣提取得到了部分有用的數(shù)據(jù)，分別是動(dòng)態(tài)虛擬數(shù)字模型進(jìn)行批量貼圖處理前后的制作時(shí)長以及合成影片后渲染效果的質(zhì)量對(duì)比，得到以下部分采樣結(jié)果。

圖12 為北京超圖軟件公司項(xiàng)目部X 組制作的廊坊城市景觀宣傳影片中紋理使用批量處理前后的對(duì)比，相同的幀信息和貼圖數(shù)量下，使用批量處理后的用時(shí)明顯縮短，而效果明顯提升。

圖12 批量處理前后對(duì)比圖

圖13 為北京銘鈺高科技公司項(xiàng)目部Y 組制作的廈門城市景觀宣傳影片中紋理使用批量處理前后的對(duì)比，相同的幀信息和貼圖數(shù)量下，使用批量處理后的用時(shí)明顯縮短，而效果明顯提升。

圖13 批量處理前后對(duì)比圖

圖14 為重慶光輝城市公司項(xiàng)目部Z 組制作的廊坊城市景觀宣傳影片中紋理使用批量處理前后的對(duì)比，相同的幀信息和貼圖數(shù)量下，使用批量處理后的用時(shí)明顯縮短，而效果明顯提升。

圖14 批量處理前后對(duì)比圖

通過對(duì)其中30 組鏡頭數(shù)據(jù)采集和選擇性提取，運(yùn)用SPSS 軟件進(jìn)行統(tǒng)計(jì)分析，比對(duì)在使用批量紋理優(yōu)化之前的速度與頻率。可以觀察到：描述性統(tǒng)計(jì)個(gè)案數(shù)是全部有效的，平均值在2.0000～2.5000區(qū)間，最小值均為1，最大值均為4。說明各項(xiàng)數(shù)據(jù)特征均正常[11]（圖15）。

圖15 速度優(yōu)化描述統(tǒng)計(jì)率

圖16 紋理映射優(yōu)化前后頻率對(duì)比

使用批量紋理優(yōu)化前的數(shù)字視頻處理速度頻率中3～5 分鐘居多，使用批量紋理優(yōu)化后的數(shù)字視頻處理速度頻率1～2 分鐘居多，優(yōu)化前頻率在6 分鐘以上視頻所占比重值較大，優(yōu)化后頻率在2分鐘以內(nèi)視頻所占比重值較大。這表明技術(shù)優(yōu)化后3D 圖像制作速度有顯著提升。

進(jìn)一步比對(duì)提高速度之前的視頻渲染效果和提高速度之后的視頻渲染效果。視頻質(zhì)量在圖像技術(shù)優(yōu)化后的渲染效果有大幅度攀升[12]，見圖17。

圖17 批量處理前后效果對(duì)比條形圖

4 結(jié)論

本文研究的對(duì)象是基于紋理映射的電影3D 圖像融合優(yōu)化技術(shù)。該技術(shù)解決方案實(shí)現(xiàn)了在計(jì)算機(jī)中將3D 圖像與實(shí)拍視頻完美融合，又能夠快速準(zhǔn)確批量映射紋理的目標(biāo)。一定程度上較大優(yōu)化了原有的3D 圖像處理技術(shù)步驟。該技術(shù)優(yōu)化考慮了制作者在制作效率上的需求訴愿，同時(shí)兼顧了實(shí)效性。但是隨著計(jì)算機(jī)圖形圖像處理技術(shù)和計(jì)算機(jī)硬件的不斷發(fā)展，這種過程將會(huì)有更多的、更快的解決方案出現(xiàn)。當(dāng)然在此研究方法及后續(xù)延展方案中仍然存在一些不足和缺陷，如視頻鏡頭轉(zhuǎn)換后的銜接效果處理、批量紋理映射后的自適應(yīng)渲染技法提升等，它們都是計(jì)算機(jī)3D 圖像技術(shù)處理流程中亟待解決的技術(shù)問題，也是今后我們要持續(xù)研究和討論的方向。

作者貢獻(xiàn)聲明：

徐明明：負(fù)責(zé)論文的整體撰寫與所有案例分析，全文文字貢獻(xiàn)80%；

李松松：負(fù)責(zé)論文中的案例數(shù)據(jù)的提供，全文文字貢獻(xiàn)20%。