胡曉彬 孫 帆 黎 濤

(中國電影資料館,北京 100082)

1 引言

歷史的車輪滾滾向前,為我們留下了許多珍貴的影片。遺憾的是,限于當時的技術,以往很多珍貴的影像都是黑白的。相比于黑白圖像,人眼對彩色圖像更敏感,如果能將黑白影像著色為彩色影像,不僅能提高影像本身的價值,也會大大提升影片的視覺效果。除此之外,一些珍貴的黑白老電影具有重要的歷史意義,將其進行修復和上色,不僅能夠使觀眾欣賞到更精彩的畫面,也能夠更好地發(fā)揮經典黑白老電影的歷史價值。

目前,傳統(tǒng)的黑白電影上色是應用視頻處理軟件一幀一幀進行修復和色彩填充,工作量大,耗時耗力,且對修復人員的專業(yè)性具有較高的要求。同時,人工修復上色的方法存在大量的重復性工作。實際上,即便一部影片連續(xù)多幀的變化不大,但是對于修復人員來說,仍需要針對每一幀從黑白圖像開始,重復上色工作。因此這種傳統(tǒng)的人工上色方法難以快速實現(xiàn)一整部黑白電影的上色任務。機器學習的興起使得通過人工智能(AI)進行黑白老電影的上色成為可能。在人工智能時代,經典老電影將有可能重現(xiàn)光彩,讓影片中的人物重新煥發(fā)出生命力。計算機通過學習上色的規(guī)則,可以自動、批量地完成黑白老電影上色的任務,解放了人力,提升了成片的速度,當前已有一些相應的研究成果,能夠完成利用人工智能進行電影上色的任務:趙紹良等人提出了一種卷積網絡的灰度圖像自動上色方法;呂李娜等人提出了一種改進后的生成對抗網絡的圖像上色方法,使圖片著色質量有較大的提升;蔣文杰等人在生成器中添加自注意力機制,使輸出圖像色彩變得更多樣;李炬提出了一種人臉灰度圖上色模型,模型的輸入為人臉灰度圖,輸出為子通道的彩色圖像,在判別部分的輸出端給出生成圖像質量的評價。

國外研究者針對如何提升人工智能的上色效果也提出了不同的解決方案。Aditya Deshpande 等人選擇了變分自動編碼器(VAE)模型,考慮了像素顏色的不均勻分布,他們建立了灰度圖像和色域嵌入之間多峰分布的條件模型,此條件模型中的樣本會產生不同的顏色;Yuji Morimoto等人提出了一種利用從Web上采集的多幅圖像進行全自動彩色化的方法,該方法利用場景結構的信息,從輸入的單色圖像中生成各種自然的彩色圖像;Guillaume Charpiat等人整體考慮整個待上色圖片,評估每個像素所有可能的顏色概率分布,而不是在局部選擇最可能的顏色;Tomihisa Welsh 等人通過在源彩色圖像和目標灰度圖像之間傳輸顏色來“著色”灰度圖像,通過匹配圖像之間的亮度和紋理信息將源的整個顏色“mood”轉移到目標圖像,僅傳輸色度信息并保留目標圖像的原始亮度值;Raj Kumar Gupta等人提出了一種基于實例的灰度圖像著色方法,用戶只需要輸入一個語義上與目標圖像相似的參考彩色圖像,從這些圖像中提取超像素分辨率的特征,并利用這些特征來指導著色過程。

雖然人工智能技術的應用能夠實現(xiàn)將黑白照片轉換為彩色的功能,但是黑白老電影上色的任務是一個更復雜的工程問題,有諸多問題需要解決,單一依靠手工或者人工智能技術都無法很好地完成這項任務。目前已有的一些黑白轉彩色影片或多或少都存在缺陷,大部分無法達到在大銀幕上映的需求。本文基于影片《永不消逝的電波》修復、上色并在大銀幕上映的成功經驗,探討總結了黑白老電影上色的標準化流程。

2 黑白老電影上色標準化流程

本章節(jié)針對黑白老電影上色,并達到大銀幕上映的要求這一任務進行探討和研究,總結了完成這一任務所需要的處理步驟,以及一整套的標準化流程。

電影級的黑白上色任務是一項系統(tǒng)化的工程,需要經歷:畫面修復、底色預處理、人工考證色彩修正、基于參考的糾正上色、人工調色等過程。

2.1 畫面修復

膠片數字化后并不能直接用于上色,需要進行前期的畫面修復。作為整個上色流程的第一步,畫面修復對數字化影片的修復工作尤為重要。數字化后的影片存在諸多的缺陷,例如褪色不均勻、劃痕、臟點等,如果這些缺陷在第一步不進行修復和改善,將持續(xù)到后續(xù)的步驟,直接影響最終的上色效果。因此,在整個上色流程的第一步,需要人工對待數字化后的上色影片畫面進行質量檢查,同時對于存在缺陷的畫面進行修復,保證用于后續(xù)步驟的影片的質量。

首先對畫面進行質量檢查,其目的是確定影片需要修復的問題,以便找出最佳的修復方法。通過畫面質量檢查,可將影片分為A、B、C 三個等級:A 級影片畫面質量較好,有輕微臟點、劃痕、閃爍問題;B級影片畫面質量一般,有大量臟點、劃痕、閃爍、抖動、輕微霉斑等問題;C 級影片畫面質量較差,有大量臟點、劃痕、閃爍、抖動、霉斑、撕裂等問題。

不同等級的影片可根據不同的損傷程度,制定不同的修復計劃:A 級影片畫面質量較好,應以AI修復為主,結合手動修復,畫面修復周期為1～2周;B級影片畫面質量一般,可使用AI修復解決臟點、劃痕、抖動、閃爍等問題,手動修復解決霉斑等問題,畫面修復周期為4～5周;C級影片畫面質量較差,應以手動修復為主,適當結合AI修復,對疑難問題集中解決,畫面修復周期為7～8周。

圖1 畫面修復前后對比

以影片《永不消逝的電波》為例,原版影片于1958年上映,膠片保存質量較好。但是隨著時間的流逝,膠片上產生了臟點、劃痕、抖動、閃爍等問題,且膠片褪色,整體偏紅,影響觀感。經過畫面質量鑒定,確定為B 級。修復師通過AI算法,解決畫面上大部分的臟點、劃痕、閃爍、抖動等問題,再通過手動修復,將AI算法處理不好的問題,例如移動鏡頭、下雨鏡頭等,一幀一幀進行完善,通過反復觀看、檢查、修改,最終完成畫面修復工作。修復完成的畫面清晰,無臟點、劃痕問題,畫面層次豐富,有空間感。

除了膠片損傷,畫面修復還應對由于拍攝條件限制造成的問題進行修復。在影片《永不消逝的電波》中主人公李俠出獄后的一場室內戲,人物的服飾為冬季服飾,可判定劇情發(fā)生時的環(huán)境設定為冬天,而畫面中李俠的衣服上出現(xiàn)了一只蒼蠅,這是不符合故事背景的?；蛟S是當時拍攝沒有注意到這個細節(jié),或許是當時膠片成本太高,沒有進行重拍,我們無從考證,但是現(xiàn)有的畫面修復技術可以把畫面中的這個“遺憾”去除。由于畫面中的蒼蠅或紋絲不動,或有合理的運動軌跡,AI不能將其判定為臟點進行自動修復,需要修復師采用前后幀克隆的方法,將畫面中蒼蠅的位置替換為原本的衣服。在替換時也要充分考慮衣服的紋理,要嚴絲合縫,不能出現(xiàn)錯位。圖2展示了男主人公李俠衣服下擺處蒼蠅處理前后的效果。

圖2 畫面修復前后對比圖片

畫面修復工藝的驗收標準:

(1)畫面圖像分辨率、圖像量化深度與原始數據保持一致;

(2)修復完成的幀數與原始數據幀數保持一致;

(3)修復完成畫損傷程度較修復前顯著降低,無臟點、劃痕、黑幀等問題,無明顯閃爍、抖動現(xiàn)象,無明顯霉斑、干燥斑、鏡頭接頭等問題;

(4)畫面細節(jié)清晰,無焦點不實、過度平滑濾波等現(xiàn)象;

(5)畫面穩(wěn)定連貫、無明顯抖動;

(6)無因修復對畫面造成的二次損傷現(xiàn)象。

2.2 底色預處理

完成畫面修復之后需要對黑白影片進行預上色,本文選擇生成式對抗網絡(GAN,Generative Adversarial Networks)模型來完成預上色步驟。這一環(huán)節(jié)中,需要建立針對待上色影片的訓練數據集,根據影片拍攝的年代、出現(xiàn)的物品、影片場景等諸多內容分門別類地建立相應的數據集來進行模型的訓練。如圖3所示,影片《永不消逝的電波》根據不同場景分成141段,針對不同的片段建立141個訓練集。

圖3 影片場景劃分示例圖

為符合電影的年代感,訓練數據同時還增加了來自同年代彩色故事片,同題材、同導演的影片。完成訓練后可以對整部影片進行預上色,其主要目的是為后續(xù)的上色工作提供參考和人工修復所需要的底色。例如,影片《永不消逝的電波》開場便是革命根據地延安的外景,訓練集為此增加大量延安外景素材形成延安外景模型,圖4為延安外景經過模型處理后的效果。

圖4 底色預處理前后對比

2.3 人工考證色彩修正

通過機器學習的算法進行自動上色是存在一定局限性的。一般自動上色模型只能夠根據訓練數據中的顏色對黑白影片進行上色。而真實的影片中,場景多且復雜,機器難以學習到全部細節(jié),預上色的效果有時不能符合特定場景色彩需求,存在色彩選擇錯誤、單調等問題。這就需要人工進行史料的調研和考證為其確定正確的色彩,例如針對影片拍攝年代的建筑、服裝、室內裝飾、特殊物品等。人工史料調研和考證是黑白老電影上色最重要的環(huán)節(jié),尤其是畫面中出現(xiàn)軍裝、軍旗等有明確可考證的元素,需要考證人員認真負責查閱各類書籍,聯(lián)系史料專家進行交流和探討,確保色彩還原準確?？甲C人員需要對影片中的畫面了然于胸,深入了解影片的故事背景和拍攝背景,往往耗費數月的時間,才能對影片中的色彩做出正確判斷。因此,流程的第三步需要進行人工考證,來確定正確的顏色。圖5以老上海建筑為例,展示了通過歷史資料考證的方法,來確定的正確顏色。

圖5 關于影片中出現(xiàn)的上海街景的色彩考證

2.4 基于參考的糾正上色

完成色彩修正之后,本文通過下述網絡進行基于參考的糾正上色,也就是將人工修正后的影片作為參考,有目的地引導模型進行正確上色,在預上色的基礎上,修改某些錯誤的顏色。本文所使用的黑白電影上色任務的網絡的模型架構如圖6 所示,由兩個可訓練的部分組成:預處理網絡和參考網絡。預處理網絡主要由卷積神經網絡(Convolutional Neural Network)構成,通過共享參數的卷積核在訓練網絡中不斷地移動,提取特征信息,得到輸入數據的高級特征。同時,為了提高網絡的特征提取能力,使用殘差網絡(Residual Network)加深神經網絡的網絡層數,最終通過模型中的色彩生成網絡可以生成針對黑白輸入圖片的彩色圖片。參考網絡則接受通過人工完成的已上色的關鍵幀作為輸入,經過卷積神經網絡處理產生具有顏色高級語義的特征向量。與預處理網絡一樣,該模型基于編碼器/解碼器架構。參考網絡核心是將作為參考的彩色關鍵幀進行特征的提出,通過與預處理網絡融合,實現(xiàn)對其進行上色指導。

圖6 基于參考的糾正上色模型架構

2.5 人工調色

通過以上步驟,可以做到將黑白影像轉為彩色影像,但距將這些影像搬上大銀幕還遠遠不夠。電影中的每一幀畫面,都是由導演、攝影、燈光、美術等諸多電影人精心設計安排的,畫面時而豐富多彩,時而簡單靜謐,光影變化、色調風格都十分精妙。而人工智能轉換的影片色彩往往較為生硬、單調,不能夠滿足我們對彩色電影的要求。所以我們在最后一步要“精雕細琢”,即對上色完成的影像進行優(yōu)化與調整。這一步驟主要分為以下幾個方面:

圖7 上色細節(jié)修正對比

(1)上色細節(jié)的修正。在上一步驟完成的上色影片中可能存在一些缺陷,在某些細小的地方上色效果不理想,例如手指、眼白、嘴唇以及場景復雜或存在人物運動的鏡頭等,這就需要通過人工的方式對這些細節(jié)進行修正。上色細節(jié)修正可使畫面更加豐富、精致,尤其是人物的眼睛、服飾等,對于表達人物性格、塑造人物形象起到極大的作用。如圖7所示,在經細節(jié)修正過程中,將人物的眼睛、嘴唇、首飾進行了處理,使畫面更加豐富、有層次,人物的眼神明亮,妝容漂亮干凈,塑造出地下工作人員正面、堅定、機智的人物形象。

(2)光影的調整。通過人工智能的方法進行上色,原始影片的光影效果會被減弱,造成上色結果色彩死板,缺乏光影變化的問題。這就需要通過人工調色的方法對畫面光線進行調整,使畫面更具有空間感和層次感。如圖8所示,為了安全隱蔽傳遞情報,影片主人公李俠是深夜在閣樓中工作,通過光線的調整,使畫面亮度降低,營造出深夜閣樓隱蔽、幽暗的環(huán)境。

圖8 光影調整對此

圖9 人工調色展示

(3)色彩調整。在符合歷史史實的前提下,對于色彩的選擇還需要兼顧美學。通過人工智能的方法上色出來的色彩會存在畫面色彩單一、突兀、不連貫等問題,需要通過調色的手法,對整體畫面色彩進行調整。根據人物性格、服裝材質對同鏡頭中不同人物的服飾顏色進行調整,采用不同色彩,使畫面色彩更加豐富。對鏡頭中人物或者物體的顏色進行色相、明度、飽和度的調整,使之與整體畫面色彩協(xié)調。對于鏡頭前后色彩不統(tǒng)一、不連貫的鏡頭,通過調色的方式也可以將色彩進行調整,使色調統(tǒng)一、連貫,使影片達到最佳的觀看效果。圖9展示了人工調色的例子。

通過上述步驟,才能夠真正完成黑白老電影上色任務。簡單的人工智能方法的應用無法達到大銀幕上映的要求,需要一整套的制作流程,在人工指導的前提下,結合人工智能的方法才能夠滿足黑白老電影上色的要求。圖10展示了最終的上色結果。

圖10 上色前后展示對比

2.6 黑白老電影上色的驗收標準

當下電影技術的發(fā)展日新月異,我們在網絡上也能看到很多黑白影片上色的視頻資料,這些視頻多以紀錄片為主,展現(xiàn)過去的人文歷史、生活風貌。而對這些視頻的上色引起了廣泛的社會關注,網友紛紛表示上色后的影像更加真實,仿佛回到過去。然而這些上色后的視頻在網上播放與黑白老電影上色是完全不同的概念,觀眾對于電影的要求往往更加嚴格。

黑白老電影上色并不是使用AI人工智能算法計算一遍就算完成了,要達到目前針對上映電影的技術標準,同時滿足觀眾對電影的要求和需求,需要嚴格對上色完成的畫面進行審查,不能出現(xiàn)可考證元素色彩錯誤、上色完成的畫面閃爍、抖動等問題。

本文總結影片《永不消逝的電波》黑白轉彩色修復過程中遇到的問題,總結出以下驗收標準:

(1)上色完成的畫面分辨率、圖像量化深度與原始數據保持一致;

(2)修復完成的幀數與原始數據幀數保持一致;

(3)上色色彩還原準確,尤其是影片中可考證的元素還原準確;

(4)色彩穩(wěn)定,不能出現(xiàn)色彩閃爍、花幀等情況;

(5)色彩邊界清晰,不能出現(xiàn)溢色等情況;

(6)畫面細節(jié)清晰、無焦點不實、過度平滑濾波等現(xiàn)象;

(7)無因上色對畫面造成的二次損傷現(xiàn)象。

3 結論

本文針對黑白老電影上色這一任務,探討研究了實現(xiàn)這一任務的標準化流程。當前存在一些影片黑白轉彩色缺乏規(guī)范化的制作要求,最終成片質量參差不齊。本文所提出的流程綜合考慮了影片從膠片轉數字化開始到最終成片各個環(huán)節(jié),明確每個步驟所需要解決的問題,最終得到高質量的彩色影片。