韓 敘 席 萌 宋宇瑩

北京天文館,北京100044

1 引言

隨著沉浸式影像技術的高速發(fā)展，球幕電影作為其主要呈現(xiàn)形態(tài)之一[1]，因其逼真的沉浸視聽體驗受到大眾歡迎。近年來，全國各地天文館、科技館、大型娛樂設施中的球幕影院數(shù)量快速增長[2]，對球幕電影的需求量也日益增加。如何高效完成球幕動畫電影制作工作成為影像工作者面臨的課題。

傳統(tǒng)動畫電影制作針對后期處理的解決方案是渲染農(nóng)場技術，也叫集群渲染、分布式并行集群計算系統(tǒng)[3][4]，它利用現(xiàn)成的CPU、以太網(wǎng)和操作系統(tǒng)來構建“超級計算機”，從而使普通的商業(yè)計算機硬件設備達到或接近超級計算機的計算能力。渲染農(nóng)場由許多運行渲染軟件的計算節(jié)點組成，系統(tǒng)通過對整體資源進行合理分配和優(yōu)化，在渲染管理軟件的統(tǒng)一調(diào)配下協(xié)調(diào)工作，以并行的方式完成所分配的渲染任務，從而實現(xiàn)高效快速的大規(guī)模渲染，縮短電影制作的時間[5]。

隨著三維動畫和影視制作的應用越來越廣泛，國內(nèi)外有多個商用的渲染農(nóng)場軟件涌現(xiàn)出來，國外的如PipelineFX 公 司 的Qube、Axceleon 公 司 開 發(fā) 的En-Fuzion、Frantic Film 公司開發(fā)的Deadline 以及Pixar 公司開發(fā)的RenderMan 等[6]，國內(nèi)如瑞云公司開發(fā)的RenderBus、炫我科技公司開發(fā)的炫我、贊奇公司開發(fā)的渲云等。這些集群渲染管理軟件種類繁多，但功能主要針對三維動畫軟件中渲染的并行計算問題。相較于普通動畫電影，球幕動畫電影分辨率高，工作流程復雜，在后期制作中除了傳統(tǒng)的渲染特效外，處理步驟更加復雜，耗時耗力，如果不能將這些步驟使用集群自動化并行完成，制作效率將大大降低。目前，現(xiàn)有渲染農(nóng)場軟件不能覆蓋球幕動畫電影的所有流程，且國內(nèi)的動畫球幕電影制作量較少，促使形成工業(yè)化規(guī)模制作的原動力不足，進而造成硬件資源的浪費。

本文設計了一套渲染管理系統(tǒng)，可以覆蓋球幕動畫電影后期全流程，并通過集群并行化計算，用以解決現(xiàn)有的渲染農(nóng)場技術在面對球幕動畫電影時制作效率不高的問題。

2 球幕動畫電影制作工作流程

有別于普通的動畫電影，球幕電影需要制作通用格式是正圓形魚眼圖像，具體制作主要流程可以概括為以下三個步驟[7]，如圖1所示。

圖1 球幕動畫電影制作工作流程

2.1 全景魚眼圖像的渲染與拼接

想要制作適用于球幕電影的魚眼圖像，可選兩種方案。第一個方案是使用三維動畫軟件的插件模擬魚眼攝像機并直接渲染出圖，但該方案存在兩個問題：其一，單獨的魚眼鏡頭對畫面進行扭曲，視角很難超過180°，一般在160°～170°左右，無法達到所有電影場景的需求；其二，由于渲染的畫面中包含復雜的多邊形及光線效果，如果直接輸出分辨率不小于4K×4K 的魚眼圖像，對渲染節(jié)點的性能要求極高。所以該方案適用于較為簡單的場景，否則渲染失敗率較高。第二個制作方案是在三維動畫軟件中，使用多個攝像機通道，將輸出圖像拼接成魚眼圖像，這個方案是目前球幕動畫電影通用的制作方式[8]。該方式雖然制作步驟多，但是不受視角約束，多個攝像機通道的圖像渲染成功率高。

在三維動畫軟件的動畫場景中，實際使用時通過擺放5個正交的視角為90°的攝像機來實現(xiàn)可視角度覆蓋全球幕區(qū)域，每個攝像機渲染出一個通道圖像，分別對應前、后、左、右及頂部通道。將輸出的多個通道圖像通過魚眼變形算法拼接融合成360°×180°的正圓形魚眼圖像。對球幕動畫電影而言，該步驟是整個制作過程中的核心，在制作過程中需要執(zhí)行大量的魚眼合成，示意圖可見圖1上半部分。

2.2 全景特效及后期合成

通過上一步得到全景魚眼圖像，后期制作人員可以利用后期處理軟件完成大部分特效、轉場、校色、剪輯等操作。有些效果，如粒子發(fā)射等，可以在上一步驟的三維軟件內(nèi)添加，通過渲染拼接后得到，從而保證粒子在三維空間內(nèi)的透視關系。另一些特效，如發(fā)光、漸變等，如果在第一步制作中添加可能會產(chǎn)生可見的拼接縫隙，所以一般在此步驟通過圖層疊加上去。由于全景圖像存在魚眼變形，一些后期效果，如添加字幕等，需要先制作平面圖像，再重新投影轉換為魚眼圖像，最后將多層魚眼圖像疊加在一起完成最終效果。

2.3 多投影通道的圖像切分、視頻編碼

與普通商業(yè)影院直接使用影片拷貝不同，球幕動畫電影分辨率大，目前沒有適合播放的投影機，所以在球幕影院播放一般采用多個投影機同步組成。每個節(jié)目片源都需要根據(jù)劇場投影和播放設備的參數(shù)轉換成劇場制式片源，這涉及到切圖、編碼、轉碼等一系列操作。比如，北京天文館宇宙劇場利用16 臺投影機輸出，需要將圓形魚眼圖像序列幀的球幕片源（分辨率4K～8K 不等），按照投影機位置參數(shù)進行幾何變形，切分成16份分辨率為2K×1K圖像，再將每份序列幀圖像分別編碼成劇場指定的視頻播放格式。最后，每一份視頻文件拷貝到對應的播放設備中，同步放映即為觀眾最終觀賞到的球幕動畫電影。該步驟示意圖可見圖1下半部分右側多通道視頻。

3 渲染管理系統(tǒng)總體架構

為了滿足上述球幕動畫電影制作流程的集成化，并通過集群并行化計算提高制作效率，參考目前已有集群渲染系統(tǒng)的技術架構[9]，本渲染制作系統(tǒng)總體架構由三部分組成，分別為管理節(jié)點、計算節(jié)點以及存儲節(jié)點。

系統(tǒng)的整體框架設計如圖2所示。

圖2 渲染管理系統(tǒng)整體框架

3.1 管理節(jié)點

管理節(jié)點是渲染管理系統(tǒng)的核心。它包括與用戶的交互、調(diào)度和管理作業(yè)以及分發(fā)作業(yè)任務到計算節(jié)點三部分功能，同時也要負責計算節(jié)點的管理和容錯。

由于動畫球幕制作過程中所需的主流軟件，包括渲染軟件（Maya、3ds Max）以及魚眼變形軟件、圖像切分等軟件及其插件大部分都只依賴于Windows系統(tǒng)，所以計算節(jié)點需要使用Windows 系統(tǒng)來運行相應的應用程序。因此，管理節(jié)點中選用Windows HPC Server集群調(diào)度管理系統(tǒng)。

Microsoft Windows HPC，是微軟的高性能計算解決方案，提供了完整的集群環(huán)境，包括操作系統(tǒng)、作業(yè)調(diào)度、消息傳遞接口、集群管理和監(jiān)控組件[10]。它可以為現(xiàn)有的集群設備部署系統(tǒng)，管理集群內(nèi)不同型號的硬件設備，調(diào)度資源池中的作業(yè)，也可以通過使用PowerShell 命令或者WCF 的接口，在原有的基礎上進行二次開發(fā)[11]，擴展渲染管理軟件的相關功能[12]。Windows HPC Server 只需要在Windows Server 系統(tǒng)上安裝HPC 包即可使用，方便集群的搭建、配置與部署。

管理節(jié)點還包括以下模塊：

（1)用戶界面：為渲染管理系統(tǒng)提供用戶交互界面。系統(tǒng)采用B/S 模式，用戶通過瀏覽器即可完成操作。根據(jù)用戶所擁有的權限，生成相應的網(wǎng)頁界面，協(xié)助完成用戶對作業(yè)的提交、查看、修改以及對計算節(jié)點的監(jiān)控。

（2)身份驗證：記錄每個用戶的權限。包括對其所示用戶界面、所能使用的應用功能，以及相應的存儲空間。維護存儲節(jié)點數(shù)據(jù)庫中的用戶信息表以及權限策略表。

（3) 作業(yè)管理：對現(xiàn)有作業(yè)管理，包括對作業(yè)及其任務的查看、取消、繼續(xù)、重渲、復制等操作，維護存儲節(jié)點數(shù)據(jù)庫中的作業(yè)狀態(tài)表。

（4) 集群管理：對集群中的計算節(jié)點進行管理，包括集群軟硬件狀態(tài)的查看及操作，維護存儲節(jié)點數(shù)據(jù)庫中的節(jié)點狀態(tài)表。

（5) 作業(yè)生成：根據(jù)用戶的設置，驗證參數(shù)的合法性，生成作業(yè)及其任務的屬性，創(chuàng)建作業(yè)XML 文檔，提交到集群上運行。

3.2 計算節(jié)點

計算節(jié)點是渲染管理系統(tǒng)的計算核心。每一個計算節(jié)點從管理節(jié)點接受任務，根據(jù)任務信息生成任務腳本，啟動對應的程序完成，并將任務的執(zhí)行結果返回給管理節(jié)點。集群中包含CPU 計算節(jié)點和GPU計算節(jié)點，分別針對不同的作業(yè)任務。

計算節(jié)點包含以下模塊：

（1）作業(yè)處理：對管理節(jié)點分配來的作業(yè)屬性和任務號進行分析，生成任務腳本，啟動相應的應用程序執(zhí)行，并將執(zhí)行結果反饋給管理節(jié)點；

（2）作業(yè)優(yōu)化：針對球幕動畫電影制作，對正在運行中的作業(yè)任務進行檢查和優(yōu)化。

3.3 存儲節(jié)點

存儲節(jié)點包含數(shù)據(jù)庫節(jié)點以及數(shù)據(jù)存儲節(jié)點，負責整個渲染管理系統(tǒng)的數(shù)據(jù)交互、場景共享以及文件存儲。數(shù)據(jù)庫節(jié)點存儲制作系統(tǒng)中的數(shù)據(jù)信息，包括用戶信息表、權限策略表、作業(yè)狀態(tài)表、節(jié)點狀態(tài)表等。數(shù)據(jù)存儲節(jié)點存放制作球幕動畫電影的數(shù)據(jù)，包括應用程序、場景、模型中間文件以及序列幀、視頻等。

本項目中存儲節(jié)點使用分布式存儲方案，支持集群并行化訪問存儲，讀寫速度快，具備良好的存儲性能[13]。

4 渲染管理系統(tǒng)關鍵點設計與實現(xiàn)

相較于傳統(tǒng)的動畫電影，球幕電影的制作流程更為復雜，所需軟件調(diào)度更為繁瑣。如何提高系統(tǒng)整體效率、簡化工作流程，成為制作球幕動畫電影的難點。本文梳理其中關鍵技術，抽象化工作流程，對任務的資源和粒度分配進行設計并部署實現(xiàn)。

4.1 集成工作流作業(yè)設計

作業(yè)是渲染管理系統(tǒng)中的一個基本單位[14]。用戶可以針對作業(yè)進行提交、調(diào)度、執(zhí)行以及控制等機制。每一個作業(yè)都由任務組成，一個作業(yè)可以包含一個或者多個任務，每個任務可以直接運行應用。

為了滿足球幕動畫電影的集成化制作流程需求，本系統(tǒng)以圖像幀作為基本單位，在作業(yè)中設計如下三種任務。

（1）工作流任務：工作流任務包括但不局限于上述球幕動畫電影制作過程中所述的基本制作流程。常用的工作流任務還包括缺幀檢查、序列幀色彩校驗、序列幀修復等，也可以自定義工作流任務。該制作系統(tǒng)中將每一個工作流任務模塊化，用戶根據(jù)業(yè)務需求，按照順序添加并設置即可。工作流任務可以設置依賴關系，當前任務執(zhí)行完畢后才可以繼續(xù)執(zhí)行下一個，直至全部完成。計算節(jié)點將根據(jù)每個工作流任務，調(diào)用相應的應用模塊執(zhí)行。每個作業(yè)中至少包含一個工作流任務。

（2）序列幀任務：幀是視頻中最小單位的單幅圖像畫面，序列幀是一組順序的幀圖像文件。由于每個制作步驟都會處理不同數(shù)量的序列幀，所以根據(jù)用戶設置，每個工作流任務會分解為一個或者多個序列幀任務執(zhí)行。

（3）通道任務：球幕動畫電影的制作過程中需要頻繁的拼接或者拆分魚眼圖像，或者會頻繁地出現(xiàn)多通道圖像，以及將一幅高分辨率圖像拆分成多個子圖像，因此系統(tǒng)根據(jù)序列幀以及需要執(zhí)行步驟的通道數(shù)，生成相應的通道任務。每個序列幀任務中包含一個或者多個通道任務，通道任務是整個制作平臺系統(tǒng)的最小任務。

工作流任務通過依賴關系保證了球幕動畫電影制作步驟的連貫性，實現(xiàn)了集成化的制作流程。再將每一個工作流任務拆分成序列幀及通道任務，以方便分發(fā)給集群的計算節(jié)點并行計算。通過定義不同的工作流任務，可以根據(jù)需要向作業(yè)中自由添加，可以是已有的，也可以是自定義的，滿足用戶在使用上的靈活性。

作業(yè)與任務的定義由管理節(jié)點中作業(yè)生成模塊完成。在Windows HPC Server 中支持通過XML 模板導入作業(yè)。根據(jù)作業(yè)模板規(guī)范，在制作系統(tǒng)中設計Job類，包含作業(yè)屬性、任務屬性以及工作流任務之間的依賴關系。Job 類將在應用程序中被實例化，最終由作業(yè)提交模塊生成XML 文件發(fā)送給Windows HPC Server執(zhí)行。

每次提交的每個作業(yè)包含多個任務，可以自定義每個任務執(zhí)行的應用，并且保證任務之間的依賴關系。每個任務通過命令行執(zhí)行對應的應用程序。在實際應用中，提交作業(yè)包含的常用工作流任務是：通過三維動畫軟件Maya 實現(xiàn)渲染，通過Python 程序執(zhí)行魚眼合成，通過后期制作軟件After Effects 后期編輯輸出，使用Sky-Skan Slicer 完成劇場對應通道的切圖，最后通過FFmpeg 軟件進行視頻編碼。每一步任務都在前一步作業(yè)完成確認后繼續(xù)進行。用戶提交作業(yè)時，可以包含其中的一個任務或者多個任務，形成工作流的整合，提高作業(yè)配置的靈活度，減少作業(yè)的提交次數(shù)。

4.2 計算資源分配設計

一部球幕動畫電影通常20～30 分鐘，包含4 萬～5萬圖像序列幀。其中，每幀圖像的畫面內(nèi)容不同，所包含的多邊形數(shù)量、粒子分布、光照復雜度等也大不相同，每幀圖像消耗的計算資源也大不相同。計算節(jié)點的種類也有不同，有GPU 節(jié)點、CPU 節(jié)點等，同種類不同型號的機器也會帶來不同的性能差異。因此需要通過預渲染方式控制任務的調(diào)度與分解，保證集群的執(zhí)行效率。

將提交作業(yè)按照場景內(nèi)的每個鏡頭分組。一般來說，一個鏡頭內(nèi)的圖像內(nèi)容具備相似性，相應消耗的計算資源差別較小。將計算節(jié)點按照性能相似性分組成資源池，保證每組執(zhí)行相同作業(yè)時所花費時長相近。將待提交的作業(yè)與對應待分配的計算資源確定后，可以從每組任務中挑選部分圖像序列幀進行預渲染，記錄渲染時間，計算資源占用率等數(shù)據(jù)。通過這些數(shù)據(jù)可以在計算資源費分配以及渲染范圍上進行設置，以獲得更高的計算效率。

在Windows HPC 中有三種計算資源分配方式[15]，如表1所示。

表1 Windows HPC支持的資源分配方式

根據(jù)預渲染的資源占用率不同，尤其是CPU 和內(nèi)存設備的使用率，給每個任務分配不同的計算節(jié)點資源分配方式。目前的CPU 計算節(jié)點，由于計算性能的不斷提升以及每個計算節(jié)點包含多個CPU 內(nèi)核可以進行并行計算，現(xiàn)在的渲染一般不會耗盡單一計算節(jié)點的全部計算資源。可以根據(jù)內(nèi)存占用情況進行資源分配，提高計算資源的使用效率。

對于CPU 計算節(jié)點，后期軟件及圖像處理任務一般使用Core 模式，根據(jù)預渲染的CPU 和內(nèi)存使用率進行分解，確定使用的CPU 核心數(shù)；對于渲染文件一般使用Socket 模式可以獲得較高的計算效率[16]，根據(jù)預渲染結果，如果渲染場景特別耗費計算資源，可以通過通道任務將渲染圖像拆分，進而獲得更高的執(zhí)行效率。對于GPU 計算節(jié)點，則一般使用Node 模式進行資源分配，通過顯卡加速獲得計算效率的提升。

4.3 任務粒度控制設計

在渲染管理系統(tǒng)中，一般每個任務都是以單個序列幀作為最小的任務粒度，但在實際執(zhí)行中，如果一個進程每次執(zhí)行只生成一幀圖像，即該任務下起始幀序號等于終結幀序號，這樣會造成計算性能的浪費，降低整體的制作效率。

如表2 所示，在同一個CPU 計算節(jié)點上，執(zhí)行不同的應用程序與應用場景，左側兩列為后期制作軟件After Effects 應用，完成后期制作生成圖像，右側兩列為三維動畫軟件Maya應用，通過三維場景渲染圖像。每個應用中場景2 相較場景1 運算更為復雜。由表2可見，每個任務粒度，即起始幀—終結幀范圍越大，單幀圖像生成的時間呈下降趨勢，最后趨近于一個常數(shù)。因為每次生成圖像，每個進程都需要啟動應用程序、加載場景設置，最后計算生成圖像，單個任務擴大渲染范圍，可以在統(tǒng)一應用和場景下生成圖像，避免重復啟動、加載的時間，有效縮短計算時長。但是并不是單任務的渲染范圍越大越好，在實際使用中，隨著單個任務的完成序列幀設置變多，每幀的生成時間會出現(xiàn)不穩(wěn)定、平均生成時間變慢的情況。如圖中第四列所示，任務范圍50和100的平均生成時間長于任務范圍30。

表2 相同計算資源不同任務范圍下每幀圖像平均生成時間

因此，在實際應用中，可以在預渲染中得到單幀渲染的時長。如果生成時間較短，如每幀時間不超過1分鐘，可以將任務的起始幀—終結幀范圍設置到50或者100；如果生成時間較長，則可以將渲染范圍設置縮小，如10或者20。

通過預渲染，可以有效控制任務的資源分配方式以及渲染執(zhí)行范圍，讓渲染集群高效完成圖像的處理工作，合理利用集群，均衡承擔作業(yè)任務，縮短球幕電影的制作時間。

4.4 渲染管理系統(tǒng)部署與實現(xiàn)

渲染管理系統(tǒng)已實現(xiàn)并部署于北京天文館渲染中心。根據(jù)實際集群環(huán)境，本系統(tǒng)包括1臺管理節(jié)點服務器、184 臺計算節(jié)點服務器（其中4 個GPU 計算節(jié)點）以及1 臺數(shù)據(jù)庫服務器、1 套存儲服務器設備，系統(tǒng)界面如圖3所示。

圖3 北京天文館渲染管理系統(tǒng)界面

管理節(jié)點安裝Windows Server 2016 系統(tǒng)，ASP.NET 作為編程工具，在IIS 7.0 上部署網(wǎng)站服務，安裝HPC 集群管理器工具；計算節(jié)點端使用Windows Server 2016，安裝HPC Pack 包，配置與管理節(jié)點集群服務聯(lián)通，使用PowerShell、Python 腳本開發(fā)，便于修改和二次開發(fā)。存儲服務器使用分布式存儲節(jié)點，一方面在集群并行計算時，保障存儲讀寫的抗壓能力，另一方面通過多副本冗余，保證存儲內(nèi)容的穩(wěn)定性與容錯性。

用戶通過瀏覽器訪問進入系統(tǒng)。提交作業(yè)中，用戶可以根據(jù)已有作業(yè)模板完成，包括自定義作業(yè)、Maya作業(yè)、3ds Max作業(yè)、Fisheye作業(yè)、After Effects作業(yè)、Fusion 作業(yè)、視頻編碼作業(yè)、球幕編碼作業(yè)以及可定制的工作流作業(yè)等，用戶只需填寫相關路徑參數(shù)即可完成作業(yè)的提交工作；管理作業(yè)中，系統(tǒng)可以實時顯示每個作業(yè)的狀態(tài)，包括作業(yè)基本信息、已完成個數(shù)、正在運行個數(shù)、失敗個數(shù)等，用戶也可以查看每個作業(yè)下的任務明細，并根據(jù)實際情況取消、復制、重渲作業(yè)任務。

5 結語

本文針對現(xiàn)有渲染農(nóng)場的現(xiàn)狀，設計了一種面向球幕動畫電影的渲染管理系統(tǒng)。通過該系統(tǒng)對渲染作業(yè)及任務的設計，可以覆蓋球幕動畫電影后期制作全流程，并將所有步驟通過集群并行化處理，根據(jù)預渲染反饋控制計算資源的分配以及任務粒度的大小，保證集群整體的制作能力。該系統(tǒng)易于實現(xiàn)且方便推廣，目前已應用于北京天文館渲染中心集群設備，參與完成多部球幕動畫電影的后期制作工作，使用效果良好。該渲染管理系統(tǒng)的設計與實現(xiàn)，擴展了集群系統(tǒng)的使用范圍，簡化了用戶的人工操作，提高了球幕動畫電影的制作效率，為球幕動畫電影的后期制作提供了一個新的解決方案，對于其他制作球幕動畫電影的科技場館及動畫公司具有一定的理論意義和應用價值。

隨著球幕動畫電影制作向著高質量、規(guī)模化、協(xié)作化發(fā)展，構建基于云計算的渲染管理平臺將成為行業(yè)發(fā)展趨勢。云渲染可以更好地整合計算資源，為用戶提供更加高效的應用服務體驗。本技術可以在云渲染框架下重構并提供相應的云服務，如遇特殊場景無法到崗的情況，員工仍可通過本系統(tǒng)提供的云渲染服務在線完成球幕電影的制作工作。但應用云渲染技術進行球幕動畫電影渲染管理的系統(tǒng)仍存在一些待改進的問題：一是球幕動畫電影制作過程中涉及到的工程文件數(shù)據(jù)量大，單一文件占據(jù)較大存儲空間，受限于用戶的網(wǎng)絡帶寬，且存在拷貝錯誤的風險，在上傳、下載步驟中通常會浪費大量時間；二是云渲染也在系統(tǒng)整體安全性及球幕電影內(nèi)容的版權方面提出了更高要求，需要提供相應的技術保障。?