陳俊良 顧曉娟

1.北京電影學(xué)院中國(guó)電影高新技術(shù)研究院,北京100088

2.北京電影學(xué)院影視技術(shù)系,北京100088

1 背景

電影是技術(shù)與藝術(shù)相結(jié)合的產(chǎn)物，藝術(shù)帶動(dòng)技術(shù)，技術(shù)啟發(fā)藝術(shù)。隨著技術(shù)的發(fā)展，電影的制作水準(zhǔn)也在不斷提升，觀眾的審美要求日趨嚴(yán)格。特別是進(jìn)入數(shù)字時(shí)代后，沉浸式觀影體驗(yàn)已經(jīng)是現(xiàn)代電影不可或缺的要求。其中，數(shù)字調(diào)色對(duì)電影藝術(shù)風(fēng)格構(gòu)建和沉浸式體驗(yàn)的提升起著關(guān)鍵性作用。一部?jī)?yōu)秀的影片往往離不開(kāi)數(shù)字調(diào)色的貢獻(xiàn)，配合劇情內(nèi)容需求，視覺(jué)上準(zhǔn)確的藝術(shù)風(fēng)格，以及色彩觀感連續(xù)的體驗(yàn)有助于觀眾更好的代入影片，將創(chuàng)作者的思緒和情感傳遞給觀眾，直擊內(nèi)心。

在數(shù)字調(diào)色系統(tǒng)中，調(diào)色師對(duì)于畫(huà)面的調(diào)整一般分為整體性調(diào)整和局部調(diào)整。整體性調(diào)整一般包含降噪銳化、曝光處理、色彩平衡、色彩風(fēng)格創(chuàng)建、技術(shù)性空間轉(zhuǎn)換等步驟。局部調(diào)整則是對(duì)畫(huà)面中的某一局部物體，或者顏色范圍分區(qū)進(jìn)行選擇性處理，例如，通過(guò)窗口選區(qū)、色鍵選區(qū)等工具，選擇人臉、服裝等具備語(yǔ)義信息的內(nèi)容進(jìn)行調(diào)色。調(diào)色過(guò)程中，色彩風(fēng)格化創(chuàng)建是影片風(fēng)格的重要一步。風(fēng)格化過(guò)程是通過(guò)參考相關(guān)的色彩風(fēng)格，并對(duì)影片色調(diào)統(tǒng)一進(jìn)行整體性色彩調(diào)整。這個(gè)過(guò)程除了對(duì)調(diào)色師的創(chuàng)造藝術(shù)風(fēng)格的審美要求和調(diào)色經(jīng)驗(yàn)要求極高，同時(shí)也占用較多的時(shí)間和精力。

圖1 傳統(tǒng)數(shù)字調(diào)色流程

圖像色彩風(fēng)格遷移技術(shù)是指從參考圖片將顏色特征遷移到待處理的目標(biāo)圖片，在目標(biāo)圖片保持原有內(nèi)容信息不變的情況下，目標(biāo)圖片色彩風(fēng)格與參考圖片相似，得到風(fēng)格化藝術(shù)效果。色彩遷移分為整體圖片風(fēng)格遷移和局部?jī)?nèi)容色彩遷移，類(lèi)似的對(duì)應(yīng)在數(shù)字調(diào)色的色彩風(fēng)格創(chuàng)建以及二級(jí)區(qū)域選擇調(diào)色過(guò)程。

本文針對(duì)調(diào)色過(guò)程中的色彩風(fēng)格化制作部分進(jìn)行研究，探討基于多種色彩遷移算法輔助電影調(diào)色制作的方法。在電影調(diào)色過(guò)程中，該方法能夠保持鏡頭組間的顏色風(fēng)格一致，并且易于藝術(shù)家隨時(shí)進(jìn)行整體風(fēng)格修改。

2 色彩遷移方法

色彩風(fēng)格遷移的方法一般包括全局遷移和局部遷移。全局遷移常見(jiàn)的有基于均值、基于直方圖等方法。2001年Erik等[1]首次提出色彩遷移，其由于圖片色彩空間在RGB 空間內(nèi)通道間關(guān)聯(lián)性太強(qiáng)，不利于獨(dú)立進(jìn)行遷移變換，因此使用了CIE LAB 色彩空間。LAB是一種基于感知的色彩空間，也是一種正交色彩空間，實(shí)現(xiàn)了通道間接耦合分離，在對(duì)某一個(gè)通道進(jìn)行變換時(shí)，其他通道不會(huì)受影響。L 表示亮度，AB 分別表示黃藍(lán)通道和紅綠通道?；贚AB 空間再進(jìn)行色彩遷移，作者將其稱為顏色校正（Colour Correction），對(duì)參考圖像和待處理圖像的三通道分別計(jì)算其均值和標(biāo)準(zhǔn)差，然后將待處理圖像像素減去對(duì)應(yīng)通道均值后，乘以參考圖像和待處理圖像的標(biāo)準(zhǔn)差比值，最后加上參考圖像的均值并轉(zhuǎn)回RGB 空間。這種方式在具有明顯的均值差異的情況下，則表現(xiàn)較為明顯，但是對(duì)于參考圖像與待處理圖像較為接近的情況，則該方法具有一定局限性。

圖2 Erik等[1]提出的色彩遷移結(jié)果

基于此思路，后續(xù)Welsh 等[2]在此基礎(chǔ)上提出了隨機(jī)采樣匹配方法。其主要應(yīng)用于灰度圖像彩色化，利用灰度圖的亮度信息，將亮度值進(jìn)行單獨(dú)匹配，使待處理圖像的亮度分布與參考圖像的亮度分布一致。其后使用亮度統(tǒng)計(jì)匹配的方式將參考圖片的匹配色度分配給待處理圖片，以完成圖像上色或遷移任務(wù)。

除此，Nguyen 等[3]提出一種基于色域（Colour Gamut）的色彩遷移方法，考慮全色域映射技術(shù)，不只單獨(dú)考慮通道，控制局部范圍內(nèi)的色彩遷移結(jié)果與參考圖像的結(jié)果在色域上分布一致。

圖3 Nguyen等[3]提出的基于色域的色彩遷移結(jié)果

這些方式對(duì)于顏色分布具有較大差異或者較小差異時(shí)，往往效果不理想。因此，出現(xiàn)了局部顏色遷移的方法，對(duì)畫(huà)面進(jìn)行分區(qū)局部操作，再進(jìn)行合成處理。局部遷移方法中，Tai等[4]使用高斯混合模型，將輸入圖像分解為多個(gè)均勻顏色的圖層，其大多數(shù)色彩空域使用六種基色的軟顏色混合形成。Hwang 等[5]人提出移動(dòng)最小二乘的方法進(jìn)行色彩遷移，但是由于其對(duì)于特征點(diǎn)的選擇以及參考圖片的選擇較為嚴(yán)格，需要大量的特征點(diǎn)作為控制點(diǎn)，以及需要參考圖片和待處理圖片在同一場(chǎng)景，往往很難達(dá)到。

圖4 Hwang等[5]提出的基于移動(dòng)最小二乘的色彩遷移結(jié)果

隨著算力不斷提升以及訓(xùn)練數(shù)據(jù)集的不斷豐富，深度學(xué)習(xí)的發(fā)展日趨成熟，基于深度學(xué)習(xí)的色彩遷移算法應(yīng)運(yùn)而生。通過(guò)神經(jīng)網(wǎng)絡(luò)，在語(yǔ)義區(qū)域分割、色板選擇、色彩遷移等方面有了更多的可能。通過(guò)大量樣本的學(xué)習(xí)，能夠得到更加符合樣本特征的結(jié)果。例如，在色彩遷移上，Liu 等[6]提出了一種采用四元數(shù)距離度量，同時(shí)保證時(shí)間一致性感知視頻顏色遷移方法，使得在視頻中幀間一致和減少顏色偽影。Lee等[7]為了解決參考圖片和待處理圖片的風(fēng)格多樣性限制，提出了一個(gè)利用顏色直方圖類(lèi)比進(jìn)行顏色遷移的深度神經(jīng)網(wǎng)絡(luò)。直方圖包含圖像的基本顏色信息，通過(guò)直方圖之間抽取顏色特征來(lái)遷移參考圖像的顏色。這個(gè)直方圖參考空域被應(yīng)用在全局的色彩遷移中，也可以根據(jù)語(yǔ)義信息應(yīng)用于對(duì)應(yīng)區(qū)域。

圖5 Lee等[7]基于基于直方圖的色彩遷移結(jié)果

Du 等[8]提出一種基于凸包的調(diào)色板色彩遷移方法，在基于時(shí)空幾何中，采用一個(gè)多頂點(diǎn)的4D傾斜多邊形，通過(guò)在時(shí)間變化過(guò)程中進(jìn)行多邊形切片表示對(duì)應(yīng)的色板，使用廣義的重心坐標(biāo)插值進(jìn)行圖片顏色遷移。它們是一類(lèi)基于色板的色彩遷移方法。

圖6 Du 等[8]提出的基于凸包的色彩遷移結(jié)果

對(duì)于在局部區(qū)域帶語(yǔ)義信息的色彩遷移，區(qū)別于全手動(dòng)的遷移方法，神經(jīng)網(wǎng)絡(luò)基于數(shù)據(jù)學(xué)習(xí)后，通過(guò)融合用戶提供的多個(gè)點(diǎn)顏色提示以及高級(jí)語(yǔ)義信息相結(jié)合，映射到卷積神經(jīng)網(wǎng)絡(luò)（CNN）中，傳播用戶指定的顏色編輯內(nèi)容，實(shí)現(xiàn)用戶進(jìn)行著色或者遷移的功能。同時(shí)為了引導(dǎo)用戶進(jìn)行有效的輸入選擇，也可以根據(jù)現(xiàn)有的情況提供對(duì)應(yīng)的建議。在白遷移和顏色遷移[11]（Whitening and Colouring Transform，WCT）基礎(chǔ)上，Li等[9]和Chiu等[10]進(jìn)行改進(jìn)并實(shí)現(xiàn)具有高細(xì)節(jié)保留的色彩遷移。Zhao 等[12]提出了一種基于學(xué)習(xí)的圖形設(shè)計(jì)的照片遷移方法，解決在局部語(yǔ)義內(nèi)容顏色調(diào)整同時(shí)保持圖片視覺(jué)自然的問(wèn)題。將參考圖片進(jìn)行區(qū)域預(yù)測(cè)選擇，并可以選擇性地調(diào)整圖片中局部區(qū)域選區(qū)，然后對(duì)遷移的目標(biāo)顏色進(jìn)行傳播。Afifi 等[13]提出了一種基于物體的語(yǔ)義更改方法，將輸入圖片進(jìn)行基于語(yǔ)義的對(duì)象分割，得到多個(gè)具有不同語(yǔ)義內(nèi)容的蒙版，同時(shí)參考其對(duì)象存在的固有色分布情況，如天空所具有的幾種分布可能：白天的天空是藍(lán)色，黃昏黎明的天空是紅色或者黃色，夜晚的天空是黑色。通過(guò)將輸入圖像顏色直方圖映射到參考圖像的顏色直方圖，直方圖是基于圖像中學(xué)習(xí)物體的顏色分布，實(shí)現(xiàn)基于物體的顏色遷移。

圖7 Zhao等[12]提出的帶局部語(yǔ)義分割色彩遷移結(jié)果

在現(xiàn)有的研究中，暫時(shí)仍不能在復(fù)雜鏡頭場(chǎng)景中進(jìn)行連續(xù)精準(zhǔn)的語(yǔ)義分割并遷移。同時(shí)，對(duì)多個(gè)不同鏡頭場(chǎng)景遷移的情況下，難以保持穩(wěn)定可控的色彩風(fēng)格統(tǒng)一。

3 數(shù)字調(diào)色中色彩遷移輔助應(yīng)用框架

在電影調(diào)色中，不同類(lèi)型、不同風(fēng)格甚至在不同情緒的段落中，調(diào)色師需要建構(gòu)的色彩情緒往往不同，需要對(duì)內(nèi)容進(jìn)行充分的理解和把握后進(jìn)行處理。色板選擇、色調(diào)風(fēng)格確立是調(diào)色過(guò)程中的重點(diǎn)。一般情況下，同一場(chǎng)戲的鏡頭風(fēng)格化信息應(yīng)該是保持一致的，通常表現(xiàn)為使用相同的色彩查找表（Look Up Table，LUT）作為風(fēng)格基礎(chǔ)，對(duì)不同的拍攝鏡頭進(jìn)行曝光調(diào)整、色彩調(diào)整以及局部細(xì)節(jié)調(diào)整。色彩風(fēng)格LUT以往需要調(diào)色師根據(jù)參考照片或樣片進(jìn)行風(fēng)格的制作，類(lèi)似于在完成色彩遷移的過(guò)程。

LUT具備存儲(chǔ)顏色風(fēng)格映射信息，以及快速運(yùn)算結(jié)果、設(shè)備兼容性好等優(yōu)勢(shì)，常作為色彩風(fēng)格傳遞的應(yīng)用載體。基于數(shù)學(xué)的這些色彩風(fēng)格遷移方式，在經(jīng)過(guò)圖像對(duì)計(jì)算之后，將其所完成的風(fēng)格（Look）信息，大多都可以通過(guò)這種形式生成LUT 或者再進(jìn)行分通道的CTL的方式進(jìn)行傳遞，應(yīng)用于多個(gè)圖像序列或者鏡頭，實(shí)現(xiàn)成為通用的色彩風(fēng)格。

基于此，我們?cè)O(shè)計(jì)了一種輔助藝術(shù)創(chuàng)作過(guò)程的遷移方法，能保持在場(chǎng)景內(nèi)多個(gè)鏡頭的風(fēng)格一致性，并且包含多種色彩遷移算法供藝術(shù)家選擇（注：本文假設(shè)影像的色彩空間相同，因此不涉及多空間轉(zhuǎn)換過(guò)程）。具體如圖8所示，首先，藝術(shù)家選擇參考風(fēng)格圖片和待處理圖片；其次，根據(jù)多種色彩風(fēng)格遷移算法，給出不同的色彩遷移結(jié)果；然后，根據(jù)藝術(shù)家選擇的結(jié)果，進(jìn)行色板提取，構(gòu)造多組對(duì)應(yīng)的色對(duì)；最后，采用3D TPS方式進(jìn)行LUT 插值，生成風(fēng)格化LUT 制作。這種方法可以解決基于深度學(xué)習(xí)的色彩遷移應(yīng)用于多個(gè)視頻鏡頭間出現(xiàn)的色彩風(fēng)格不一致的問(wèn)題；同時(shí)該方法便于藝術(shù)家統(tǒng)一修改同一鏡頭組的風(fēng)格，提高生產(chǎn)效率。

圖8 輔助遷移流程圖

圖9 目標(biāo)圖像（左列）、參考圖像（右列）（圖片來(lái)自短片《奧克利堆》和《野步》）

3.1 圖對(duì)選擇

首先，我們選擇了兩個(gè)影片的部分幀作為素材，構(gòu)造了若干個(gè)圖像對(duì)，每一個(gè)圖相對(duì)由提供畫(huà)面內(nèi)容信息的目標(biāo)圖像和提供畫(huà)面風(fēng)格信息的參考圖像組成。

3.2 色彩遷移

我們選擇了多種方式進(jìn)行色彩遷移，其中包括Erik 等[1]使用均值方差方法、Nguyen 等[3]使用白平衡直方圖匹配方法、Li 等[9]保留空間信息并使用增加平滑實(shí)現(xiàn)自然效果的PhotoWCT 方法和Chiu 等[10]使用小波校正的方法，以及Lee等[7]使用學(xué)習(xí)直方圖方法。具體色彩遷移算法的選擇由藝術(shù)家的需求決定。

通過(guò)對(duì)比不同的色彩遷移算法結(jié)果，可以發(fā)現(xiàn)不同的算法可能也會(huì)帶來(lái)一些問(wèn)題，如使用帶語(yǔ)義分割的方法，如圖10 中的M4 方法，在具有復(fù)雜信息的語(yǔ)義分割時(shí)，可能會(huì)出現(xiàn)分割不準(zhǔn)確，帶來(lái)色彩遷移效果不佳的問(wèn)題。同時(shí)，由于AI數(shù)據(jù)集限制，學(xué)習(xí)的方法難以生成高分辨率圖像，或是由于網(wǎng)絡(luò)帶來(lái)的細(xì)節(jié)損失，造成生成結(jié)果圖片分辨率小，細(xì)節(jié)信息損失，素材位深不夠，難以統(tǒng)一修改大量鏡頭等，不能直接使用生成結(jié)果作為調(diào)色后結(jié)果替代傳統(tǒng)素材調(diào)色方式結(jié)果。因此，我們沿用了傳統(tǒng)調(diào)色LUT 的方式，在對(duì)多鏡頭的多幀素材調(diào)整的情況下，能夠快速一致地應(yīng)用同一種風(fēng)格，并且使用LUT 的方式可以讓藝術(shù)家有更大的調(diào)整空間。

圖10 使用不同色彩遷移算法實(shí)驗(yàn)結(jié)果

3.3 色板提取及LUT生成

以圖11為例，藝術(shù)家若選擇M5的方法進(jìn)行色板遷移。色板提取有很多種方法，這里我們以kMeans方法為例提取色板，也可以使用其他多種色板提取方法，也可以手動(dòng)指定或調(diào)整對(duì)應(yīng)色板映射點(diǎn)。將色板顏色所在的坐標(biāo)分別在目標(biāo)圖像的顏色和色彩遷移后圖像所在坐標(biāo)顏色作為顏色對(duì)，構(gòu)造一系列顏色對(duì)，尋找映射關(guān)系（Map）。

圖11 色彩遷移選擇示意

色彩遷移風(fēng)格的LUT 制作，可以分為兩種方式，其一是根據(jù)數(shù)學(xué)方式中推導(dǎo)出的遷移過(guò)程數(shù)據(jù)，將其應(yīng)用于查找表每個(gè)顏色數(shù)值采樣點(diǎn)上，得到新的映射結(jié)果，形成色彩風(fēng)格查找表，或是通過(guò)應(yīng)用于標(biāo)準(zhǔn)色彩圖（HALD）進(jìn)行晶格插值。

由于色彩遷移的結(jié)果往往是圖片，并無(wú)法直接得到一個(gè)可被復(fù)制的風(fēng)格處理過(guò)程，無(wú)法直接應(yīng)用于HALD 進(jìn)行晶格插值或者計(jì)算出對(duì)應(yīng)的風(fēng)格映射結(jié)果。因此，另一種制作方式需要通過(guò)將待處理圖片的原圖片和色彩遷移結(jié)果作為圖像對(duì)，進(jìn)行空間隨機(jī)撒點(diǎn)二次采樣，通過(guò)形成映射點(diǎn)組，使用3D薄板樣條插值（Thin-plate Spline,TPS）[14][15]沖壓扭曲的方式，色彩網(wǎng)格扭曲得到映射過(guò)程LUT，即可應(yīng)用于調(diào)色過(guò)程作為風(fēng)格LUT 使用。這種方式使得色彩遷移的結(jié)果可以被存為獨(dú)立風(fēng)格樣式并應(yīng)用于多個(gè)鏡頭，不必對(duì)每一個(gè)鏡頭都與參考圖片進(jìn)行風(fēng)格遷移，計(jì)算時(shí)間短且便于制作過(guò)程中統(tǒng)一進(jìn)行風(fēng)格修改操作。

選擇足夠多的顏色對(duì)之后，使用3D TPS 方法（圖12），將顏色對(duì)分別作為控制點(diǎn)和目標(biāo)點(diǎn)，計(jì)算變換系數(shù)后應(yīng)用于17、33、65 等階數(shù)點(diǎn)上，得到顏色映射LUT，應(yīng)用LUT 的圖像結(jié)果如圖13 所示。對(duì)于顯示效果不佳的情況，可以通過(guò)修正色對(duì)數(shù)量補(bǔ)充顏色對(duì)。

圖12 TPS點(diǎn)坐標(biāo)映射示意[15]

圖13 應(yīng)用顏色映射LUT后風(fēng)格結(jié)果與色彩遷移圖像結(jié)果對(duì)比

3.4 工程應(yīng)用

生成色彩風(fēng)格LUT 之后，可以統(tǒng)一應(yīng)用于多個(gè)鏡頭。在同一場(chǎng)戲內(nèi)，可以在分組節(jié)點(diǎn)上或者對(duì)時(shí)間線整體添加色彩風(fēng)格LUT。調(diào)色師在此基礎(chǔ)上再對(duì)每一個(gè)鏡頭進(jìn)行獨(dú)立的處理。如果對(duì)色彩風(fēng)格需要調(diào)整，可以再返回上一步進(jìn)行點(diǎn)對(duì)選擇或調(diào)整，并進(jìn)行LUT 更新。如圖14 左列，為原素材709 的還原色彩，圖14 右列為使用了上一步驟制作的LUT 進(jìn)行監(jiān)看的結(jié)果。使用這種AI 輔助LUT 的制作管線，特別是對(duì)于鏡頭數(shù)較多的情況可以更統(tǒng)一地對(duì)時(shí)間線進(jìn)行色彩風(fēng)格控制和管理。

圖14 不同鏡頭使用該風(fēng)格LUT效果

4 總結(jié)與展望

本文通過(guò)對(duì)現(xiàn)有的風(fēng)格遷移方法進(jìn)行調(diào)研，提出了一種數(shù)字調(diào)色中色彩遷移輔助應(yīng)用框架，對(duì)現(xiàn)有的多種風(fēng)格遷移方法進(jìn)行總結(jié)。對(duì)于不同風(fēng)格的參考畫(huà)面，使用不同的遷移方法，效果也不同。在實(shí)際創(chuàng)作中，對(duì)色彩風(fēng)格化需求也不盡不同，使用多種遷移算法，能夠給藝術(shù)家提供多種參考選擇，這樣做可以避免單遷移算法帶來(lái)的不確定問(wèn)題。同時(shí)，將風(fēng)格遷移的結(jié)果通過(guò)LUT 的形式應(yīng)用于實(shí)際生產(chǎn)中，既可以利用人工智能帶來(lái)的優(yōu)勢(shì)生成具有更接近參考圖片風(fēng)格的結(jié)果，又可以使用傳統(tǒng)方式將其融入到實(shí)際制作中，避免了人工智能在分辨率、位深、細(xì)節(jié)等方面的缺陷。

這種生成LUT 風(fēng)格的方式，調(diào)色師可以更快地?fù)碛幸粋€(gè)接近目標(biāo)參考的調(diào)色起點(diǎn)，且因?yàn)閳D對(duì)選擇可以自由控制點(diǎn)數(shù)量和匹配情況，調(diào)色師可以有更大空間和自由度進(jìn)行風(fēng)格制作調(diào)整。應(yīng)用基于機(jī)器學(xué)習(xí)的色彩遷移輔助數(shù)字調(diào)色方法，可簡(jiǎn)化調(diào)色師風(fēng)格創(chuàng)作復(fù)雜度，優(yōu)化制作流程，提升制作效率。?