李 侃 馬同斌

（作者單位：北京電影學(xué)院）

當前國產(chǎn)電影2D轉(zhuǎn)3D技術(shù)的問題與對策

李 侃 馬同斌

（作者單位：北京電影學(xué)院）

與傳統(tǒng)的2D電影不同，轉(zhuǎn)制3D對技術(shù)系統(tǒng)的依賴性較高，而這些核心技術(shù)還基本掌握在國外先進公司的手中，由于核心技術(shù)、關(guān)鍵技術(shù)上的原因，已上映的國產(chǎn)3D電影制作不很理想。一些影迷認為，國產(chǎn)3D電影就是“山寨3D”，立體畫面缺乏質(zhì)感，有些3D電影只有十幾分鐘是3D制作也號稱3D電影，甚至“只有字幕是3D”的評論，技術(shù)實力的不足損害了我國3D電影的聲譽和形象。由此可見，有必要進行2D轉(zhuǎn)3D技術(shù)的開發(fā)研究，并將其在電影產(chǎn)業(yè)界廣泛推廣，以推動我國3D電影業(yè)的健康發(fā)展。

2D電影；3D電影；虛擬視點繪制；空洞修復(fù)；轉(zhuǎn)換算法

3D電影被納入中國國家電影產(chǎn)業(yè)規(guī)劃始于2008年，廣電總局電影局提出的“盡快發(fā)展中國的3D電影與國產(chǎn)設(shè)備研發(fā)”，標志著國產(chǎn)電影3D技術(shù)時代的到來，這主要源于國家從政策指導(dǎo)上提供了有力保證。3D電影的規(guī)劃與發(fā)展作為未來中國電影產(chǎn)業(yè)發(fā)展的重要一環(huán)，必將引領(lǐng)中國現(xiàn)代電影發(fā)展的趨勢和潮流。目前，市面上具有3D立體拍攝技術(shù)的攝影機型號為數(shù)不多，且存在價格昂貴、操作不便、成本高、周期長等問題，制約了3D電影的發(fā)展；同時，3D電影的內(nèi)容來源成了制約3D電影發(fā)展的主要問題。然而，發(fā)展歷史長達百年的傳統(tǒng)2D電影卻有著取之不竭的內(nèi)容資源，目前來看，美國好萊塢和國內(nèi)電影制作商都是通過傳統(tǒng)2D電影的內(nèi)容來反哺3D電影。如今，在2D電影和3D電影共存的格局下，通過3D攝影技術(shù)續(xù)存3D電影內(nèi)容資源并非一條行之有效的途徑，而電影2D轉(zhuǎn)3D技術(shù)的開發(fā)研究卻為當前國產(chǎn)3D電影的發(fā)展指引了方向，帶來了轉(zhuǎn)機。

1　電影2D轉(zhuǎn)3D技術(shù)的主要流程

3D技術(shù)是利用人的左右眼角度不同所產(chǎn)生視差經(jīng)過大腦復(fù)現(xiàn)形成3D心理圖像。在2D轉(zhuǎn)3D時，所形成的具有視覺差別的圖像對，是通過還原人的左右眼的瞳距和視角，而分別生成人的左、右眼圖像。2D轉(zhuǎn)3D的技術(shù)和方法眾多，但無論運用那種軟件和方法，2D轉(zhuǎn)3D的流程中存在3個主要環(huán)節(jié)，即畫面元素的分解、深度信息重建和轉(zhuǎn)換的算法。轉(zhuǎn)制流程見圖1。

圖1　2D轉(zhuǎn)3D的流程

針對電影2D轉(zhuǎn)3D技術(shù)進行深度開發(fā)，需要根據(jù)每一流程階段的特點進行深度開發(fā)、推廣。

1.1畫面元素分解

首先針對轉(zhuǎn)換的畫面進行場景深度分析，主要研究畫面信息的構(gòu)成和場景中元素所占空間比例問題，然后把畫面內(nèi)容按照實際的深度層次劃分出來，提高轉(zhuǎn)化過程中的準確性。該階段的特點是分析、摳像軟件的準確性還不足。因此，在該階段的開發(fā)重點包括2個方面。一是建立和完善該階段的制作流程、細節(jié)，加強技術(shù)管理過程控制，形成系統(tǒng)的操作手冊和經(jīng)驗積累文本；二是不斷探索摳像分析軟件的自動化操控規(guī)律，以提高效率，減少人工勞動，如針對2D轉(zhuǎn)3D中大量的運動模糊和半透明的物體，運動模糊的邊緣通過Silhouette的內(nèi)外邊緣的限定加以前后幀的求算得出邊緣部分的半透明的圖像；利用邊緣像素差可以半自動或全自動追蹤。

1.2深度信息重建

在2D轉(zhuǎn)3D制作流程中，深度信息重建是立體效果呈現(xiàn)的關(guān)鍵環(huán)節(jié)，在此環(huán)節(jié)中深度信息的精度直接影響轉(zhuǎn)換后的立體效果和畫面質(zhì)量。通過軟件對畫面的光線、運動速度、運動方向和元素運動規(guī)律進行跟蹤反求攝像機，得到一個真實的三維場景，在跟蹤過程中畫面的像素信息通過解算轉(zhuǎn)化為立體空間坐標。根據(jù)坐標值可以確定畫面像素在在立體空間中的具體位置，通過像素矩陣構(gòu)成空間物體模型。這一階段主要有2種途徑：一是電腦軟件生成圖像的深度信息，通過分析圖像中的運動幅度、明暗關(guān)系號景深程度等，計算出最終結(jié)果；二是人工分析出圖像的深度信息，通過Roto給出每一個圖像層深度結(jié)果。這2種方式都會出現(xiàn)深度信息不準確的短板，人工得出來的信息會因為人為經(jīng)驗和誤識的原因出現(xiàn)許多細微的錯誤，同樣，電腦生成的深度信息，絕少數(shù)相對準確，絕大部分都不太準確，這是因為計算機不能完美地識別每一個鏡頭中的前后關(guān)系。這2種方式各有優(yōu)勢，因此，電影2D轉(zhuǎn)3D技術(shù)需要從這2個方面努力，一方面為人工填充的方法積累相關(guān)的知識庫，建立科學(xué)的工作流程，以此來減少人為的經(jīng)驗不足問題；另一方面，要根據(jù)不同的場景開發(fā)更具針對性的信息重建參數(shù)和方法，提高軟件系統(tǒng)的準確度，保證畫面質(zhì)量和立體效果。

1.3轉(zhuǎn)換算法

轉(zhuǎn)換算法是通過圖層偏移或差值信息輸入得到的新的右眼圖像，基本方式是運用深度圖信息對母圖像進行子圖像的重新建構(gòu)。轉(zhuǎn)換算法對于轉(zhuǎn)換質(zhì)量和工作效率有著直接的影響。這種方式轉(zhuǎn)換出來的3D視頻，被許多人稱為“偽3D”，但遭到了質(zhì)疑。然而，隨著研究者對3D影像的深入研究，人們發(fā)現(xiàn)即使是3D攝影機拍攝出來的影像，也同樣存在這樣的問題。但是，如果在質(zhì)量和流程監(jiān)管嚴格的情況下，轉(zhuǎn)換算法得出的3D影像甚至比3D攝影機拍攝的影響還要準確。因此，像盧卡斯和卡梅隆這樣的好萊塢大導(dǎo)在重新評估了2D轉(zhuǎn)3D的影像質(zhì)量之后，采納了這種轉(zhuǎn)換方式，并堅信這種方式能夠制作出完美的3D影像體驗。盡管如此，也應(yīng)該正視轉(zhuǎn)換算法在重建子圖像過程中的不足，這些圖像中的部分細節(jié)信息是空白的、不存在的，如前后景偏移和差值之后所形成的“空洞”，現(xiàn)在來看，修補這些“空洞”的轉(zhuǎn)換算法很多，但從本質(zhì)上來假設(shè)，根本不存在絕對完美和正確3D影像。因此，在大銀幕上觀看轉(zhuǎn)換之后的3D影像，即使是各種轉(zhuǎn)換算法修補后的“空洞”，哪怕影像不足再怎么微小，也都會被放大，被發(fā)現(xiàn)，被質(zhì)疑。針對該問題，需要研究不同質(zhì)量問題下的應(yīng)對方案，發(fā)展更加精確的計算方法，如差值運算法，以減少畫面修補的工作量。

上述幾點是2D轉(zhuǎn)3D的制作流程中幾個至關(guān)重要的影像質(zhì)量把控環(huán)節(jié)，對2D轉(zhuǎn)3D技術(shù)流程和影像質(zhì)量的嚴格控制，直接關(guān)系到受眾對3D立體影像體驗的流暢度和舒適度，因此，需要電影技術(shù)工作者對每個技術(shù)流程的細節(jié)進行最嚴密管控。這既是對影像質(zhì)量的負責，也是對工作效率的負責；既是對電影技術(shù)的負責，也是對電影藝術(shù)的負責。當前，迫切需要建立一整套科學(xué)而有效的監(jiān)控標準，對主要流程的各個技術(shù)細節(jié)進行質(zhì)量管控，用規(guī)范化的工作方式去提高3D影像質(zhì)量，而不單單只依靠電影科技工作者的自我能力。

2　電影2D轉(zhuǎn)3D技術(shù)的核心任務(wù)

電影2D轉(zhuǎn)3D技術(shù)的核心任務(wù)是從已有的2D影像中重建和提取出每一幀所對應(yīng)的深度圖信息，繼而完成3D立體影像的渲染。當前，對3D影像進行渲染的主流技術(shù)分為2種：第一種是雙目立體技術(shù)的渲染（Binocular Stereoscopic Rendering，BSR），通過轉(zhuǎn)換算法一幀一幀地重建出立體影像的左右眼圖像對，這是一種比較傳統(tǒng)的技術(shù)渲染方式，目前，在3D電影技術(shù)市場上還處于主流；第二種是基于深度圖的渲染（Depth Image_Based Rendering，DIBR），在已轉(zhuǎn)換的2D影像的序列上添加了一軌與其對應(yīng)的深度圖信息，并由DIBR處理技術(shù)對其進行統(tǒng)一渲染輸出，直接顯示在終端。DIBR以其高效、兼容和實時的特點與優(yōu)勢，在蓬勃發(fā)展的3DTV，以及其他移動終端市場上占據(jù)了得天獨厚的地位，是未來3D立體影像技術(shù)發(fā)展的方向。

從電影2D/3D轉(zhuǎn)換的發(fā)展研究現(xiàn)狀和趨勢來看，這項技術(shù)主要集中于兩大領(lǐng)域：第一種是為已有的經(jīng)典電影、記錄文獻資料等提供離線轉(zhuǎn)換工具，因為這些影像資料3D轉(zhuǎn)制并不要求即時處理，可以利用充足的時間采納運算量大且影像效果佳的轉(zhuǎn)換方式，這種方式能為人類保存更多更珍貴的電影歷史影像資料，但需要大量的人工進行后期的渲染、處理；第二種是為電子消費市場開發(fā)和應(yīng)用的實時轉(zhuǎn)換工具，目前，市場上已存有3D內(nèi)容資源十分匱乏，投機的廠商從電影2D轉(zhuǎn)3D中發(fā)現(xiàn)了無限的商機，通過將這種轉(zhuǎn)換技術(shù)配置在3D電子產(chǎn)品中，既提供了內(nèi)容，同時也降低了成本。然而，這種轉(zhuǎn)換技術(shù)要求更高些，需要平衡轉(zhuǎn)換效率和最終效果，這也是該技術(shù)的難點突破。當前，3D電子市場上具備2D轉(zhuǎn)3D功能包括兩大類：一種是3DTV，如人們所熟知的三星C7000系列、索尼Nx810系列、東芝ZFl系列和夏普LV系列等；另一種是3D移動終端，如三星的SCH系列和夏普的SH系列。這些3D電子產(chǎn)品只需要按下一個鍵，就可以實時觀看具有立體感的影像。

由此可以預(yù)料到，如果電影2D轉(zhuǎn)3D技術(shù)得到普及，那么對于所有的當下的或歷史的影視內(nèi)容資源，都可以進行隨時欣賞，很好地解決了3D技術(shù)的快速發(fā)展而內(nèi)容資源嚴重不足的尷尬局面。但當前3D電子產(chǎn)品的轉(zhuǎn)換效果還不盡如人意，國產(chǎn)電影2D轉(zhuǎn)3D技術(shù)還有很長一段路要走。

3　電影2D轉(zhuǎn)3D技術(shù)的關(guān)鍵研發(fā)

近年來，雖然電影技術(shù)工作者對2D轉(zhuǎn)3D技術(shù)進行了研究和開發(fā)，并取得了一定成果，但3D影像效果還是不能令觀眾滿意。目前來看，電影2D轉(zhuǎn)3D技術(shù)研發(fā)的瓶頸主要包括以下3個方面。一是在轉(zhuǎn)換過程中，已有的單軌的2D視頻的影像質(zhì)量不佳，導(dǎo)致深度圖信息的空白，深度圖信息轉(zhuǎn)換難度大；二是2D影像的攝影機參數(shù)無從得知，只能憑借感覺和經(jīng)驗進行虛擬繪制，繪制出來的深度信息嚴重偏差，且出現(xiàn)影像的錯誤點；三是修復(fù)影像空洞的難度很大，這些空洞區(qū)域分布廣泛，并且大小不一，形狀各異。因此，針對目前電影2D轉(zhuǎn)3D的技術(shù)現(xiàn)狀與趨勢，應(yīng)基于深度圖信息的生成、虛擬視點的繪制以及圖像空洞的修復(fù)3個方面進行研發(fā)，最終開發(fā)出智能2D轉(zhuǎn)3D視頻系統(tǒng)推廣市場應(yīng)用。

3.1基于運動估計（Motion-Based）的深度圖生成

按照人眼的視覺特性經(jīng)驗來看，一般來說，在一個視域內(nèi)，如果兩個物體同時運動，那么離人眼越近的物體，運動幅度更大；反之，離人眼越遠的物體，運動幅度越小。這就是通常所說的“近大遠小”的視覺原理。常見的2D影像場景中，大部分都是由運動的前景和靜止的后景構(gòu)成，根據(jù)以上原理，可以采用基于運動估計的轉(zhuǎn)換方法，獲得影像場景中的運動信息，通過分離出運動的物體與靜止的物體，推測出其深度圖的遠近關(guān)系信息。

依據(jù)以上原理，基于運動估計（Motion-Based）的深度圖生成技術(shù)研發(fā)，成為當前國產(chǎn)電影2D轉(zhuǎn)3D技術(shù)研發(fā)的重要方向。按照運動估計等得到場景圖像中的運動信息，再通過其與深度的對應(yīng)關(guān)系，將其轉(zhuǎn)化成深度圖信息。在此基礎(chǔ)上，進行顏色和濾波的校正和處理，得出最終的深度圖。因為深度圖的質(zhì)量效果直接關(guān)系到空洞影像修復(fù)的效果，所以，深入研究基于運動估計的深度圖轉(zhuǎn)換方法，將有助于改善最終合成3D立體影像的效果和質(zhì)量。

3.2基于深度的虛擬視點繪制

虛擬視點繪制指由單個和多個不同視角所看到的影像來繪制某一視點的虛擬視點影像，要包括基于模型的虛擬視點繪制（MBR）和基于圖像的虛擬視點繪制（IBR）?；谀Ｐ偷奶摂M視點繪制需要建立精準的3D模型，計算量大且不易實現(xiàn)?；趫D像的虛擬視點繪制可以實時快速的繪制出虛擬視點影像，特別是基于深度圖的虛擬視點繪制，速度快，影像質(zhì)量高，這就避開了3D建立模型的復(fù)雜工序，業(yè)已成為虛擬視點繪制的主流。

研發(fā)簡化的虛擬視點繪制技術(shù)是一個電影2D轉(zhuǎn)3D技術(shù)的重要方向。建立和開發(fā)三維坐標的深度圖投影信息數(shù)據(jù)庫，根據(jù)實際情況，簡化和改造DIBR的原有技術(shù)，通過開發(fā)速度快、計算量小的虛擬視點的深度圖繪制，提升電影2D轉(zhuǎn)3D技術(shù)的立體影像的質(zhì)量和效果。

3.3空洞修復(fù)技術(shù)

由虛擬視點繪制的合成影像，或多或少地存在著大小不一的空白領(lǐng)域，這就是人們平常所說的“空洞”。這些“空洞”的是由于場景中物體的遮擋產(chǎn)生的，合成后的虛擬視點繪制的影像無法從原有的2D影像的視點中找到相對應(yīng)的信息來填充。這些“空洞”的影像區(qū)域位置不定、大小不一，形狀各異，給影像的修復(fù)工作帶來了很大的難度。一旦這些空洞點信息永久性丟失，只能通過相鄰領(lǐng)域進行金絲估計修復(fù)。

目前，針對該問題，主要基于Criminisi算法進行圖像修復(fù)。該技術(shù)是基于偏微分方程結(jié)合圖像修復(fù)技術(shù)與紋理合成技術(shù)來進行圖像的空洞修復(fù)的，改進了以前通過畫面分解進行結(jié)構(gòu)和紋理的重復(fù)修復(fù)，這種技術(shù)通過尋找最優(yōu)化的影像空洞填充方式，不僅提升了3D合成立體影像質(zhì)量，還大大地提升了工作效率。目前，該技術(shù)主要包括計算空洞邊緣像素的優(yōu)先級、修復(fù)優(yōu)先級最高像素區(qū)域、更新置信度和空洞區(qū)域。Criminisi算法通常用于普通圖像修復(fù)，并沒有特別針對2D轉(zhuǎn)3D領(lǐng)域，但其思路方法可以用于電影的2D轉(zhuǎn)3D技術(shù)。因此，應(yīng)該研發(fā)一種改進Criminisi算法的技術(shù)，來應(yīng)用于轉(zhuǎn)換技術(shù)過程中虛擬視點空洞的修復(fù)工作，結(jié)合2D轉(zhuǎn)3D技術(shù)的市場實際情況，開發(fā)出最優(yōu)化的3D電子產(chǎn)品。

4　結(jié)語

3D電影已經(jīng)逐步成為了電影行業(yè)的潮流，2D轉(zhuǎn)3D技術(shù)能夠有效應(yīng)對3D電影的片源不足問題、成本高問題、拍攝難問題，是3D電影發(fā)展的不可或缺的制作方式之一，得到了國家宏觀政策的大力支持。但目前，我國2D轉(zhuǎn)3D的技術(shù)水平不足，專業(yè)人才資源缺乏嚴重影響了這一領(lǐng)域的發(fā)展，制作質(zhì)量和3D效果較差，被影迷們稱為“偽3D”。因此，需要通過打造電影2D轉(zhuǎn)3D的技術(shù)推廣平臺，為2D轉(zhuǎn)3D領(lǐng)域提供可借鑒的前沿技術(shù)，培育專業(yè)技術(shù)人才。因此，應(yīng)該對電影2D轉(zhuǎn)3D技術(shù)流程進行深入分析，總結(jié)其技術(shù)改進方案和有效的管控模式，貼近電影制作實踐，切實為我國電影的2D轉(zhuǎn)3D制作方式提供有效的技術(shù)實施建議和管理提升方案。