黃嘉寶 顧曉娟

(1.北京電影學(xué)院中國(guó)電影高新技術(shù)研究院,北京 100088)

(2.北京電影學(xué)院影視技術(shù)系,北京 100088)

1 前言

近幾年來(lái),高動(dòng)態(tài)范圍 (High Dynamic Range,HDR)技術(shù)在影視領(lǐng)域中逐漸興起:在電視領(lǐng)域,越來(lái)越多的消費(fèi)級(jí)HDR 顯示器投入市場(chǎng),國(guó)內(nèi)外的電視臺(tái)和網(wǎng)絡(luò)媒體都紛紛積極推動(dòng)HDR節(jié)目在業(yè)務(wù)上的發(fā)展;在電影領(lǐng)域,具有超高光通量的激光光源放映機(jī)以及大尺寸LED 銀幕的出現(xiàn),使得人們可以在電影院中觀看HDR 電影。

然而,HDR 技術(shù)在行業(yè)內(nèi)迅速發(fā)展的同時(shí),也存在著一些限制。在制作端,拍攝、制作、存儲(chǔ)HDR 內(nèi)容需要更高的成本、更高的技術(shù)要求和一定的設(shè)備支持;在用戶端,家用電視機(jī)、電腦、手機(jī)等顯示設(shè)備從SDR 過(guò)渡到HDR 還需要很長(zhǎng)一段時(shí)間;在影院端,由于成本和技術(shù)的制約,放映設(shè)備從SDR 升級(jí)為HDR 也非一蹴而就。因此,目前大部分電視節(jié)目、電影、網(wǎng)絡(luò)視頻等內(nèi)容都還是以SDR 的標(biāo)準(zhǔn)進(jìn)行拍攝、制作和播出的,而這些SDR的發(fā)行母版并達(dá)不到HDR 電視頻道、院線及網(wǎng)絡(luò)平臺(tái)的播出標(biāo)準(zhǔn)。面對(duì)HDR 影像需求量的不斷增長(zhǎng),解決目前HDR 內(nèi)容匱乏的方法之一就是使用逆色調(diào)映射算法(Inverse Tone Mapping Operator,iTMO)將現(xiàn)有的SDR 影片轉(zhuǎn)換成HDR 版本。

逆色調(diào)映射,指的是將影像從低動(dòng)態(tài)范圍拓展為高動(dòng)態(tài)范圍,使其在HDR 顯示設(shè)備上以適合的對(duì)比度顯示。目前,國(guó)內(nèi)外已經(jīng)有許多學(xué)者做過(guò)了將SDR 內(nèi)容轉(zhuǎn)換為HDR 的研究,現(xiàn)有的算法可以分為兩大類(lèi),一類(lèi)是模型驅(qū)動(dòng) (Model-Driven)的算法,另一類(lèi)是數(shù)據(jù)驅(qū)動(dòng) (Data-Driven)的算法。

本文首先對(duì)不同時(shí)期、不同分類(lèi)的逆色調(diào)映射算法的發(fā)展歷史進(jìn)行了詳細(xì)的梳理,探討其在當(dāng)今影視領(lǐng)域中的應(yīng)用并舉出了實(shí)例,最后提出了幾條逆色調(diào)映射算法在內(nèi)容創(chuàng)作上的設(shè)計(jì)原則,對(duì)該技術(shù)的前景做出了簡(jiǎn)要的分析。

2 逆色調(diào)映射相關(guān)算法

2.1 模型驅(qū)動(dòng)的逆色調(diào)映射算法

模型驅(qū)動(dòng)的逆色調(diào)映射算法可以由一個(gè)數(shù)學(xué)公式來(lái)描述規(guī)律,表示為:L=f (L),其中L對(duì)應(yīng)SDR 影像亮度,f(·)表示逆色調(diào)映射,L對(duì)應(yīng)映射后的HDR 影像亮度。模型驅(qū)動(dòng)的算法在處理圖像上有一定的優(yōu)勢(shì),例如計(jì)算量小、圖像處理速度快,以及可以直觀地用曲線來(lái)表示。按照?qǐng)D像處理的方式,目前算法的模型可分為四大類(lèi),分別是全局模型、分段模型、基于蒙版的模型和基于用戶的模型。

2.1.1 全局模型

在全局模型中,SDR 影像的同一幀畫(huà)面中的每個(gè)像素都應(yīng)用同一種逆色調(diào)映射方式進(jìn)行變換。

(1)線性變換模型

Akyüz等人在不同動(dòng)態(tài)范圍下的主觀感受實(shí)驗(yàn)中發(fā)現(xiàn),SDR 圖像不需要經(jīng)過(guò)復(fù)雜的處理,僅僅通過(guò)簡(jiǎn)單的線性縮放就能達(dá)到令人接受的HDR 效果。他們采用如下公式對(duì)SDR 影像進(jìn)行亮度范圍的拓展:

其中L表示畫(huà)面中的最高亮度,L表示畫(huà)面中的最低亮度,L表示HDR 顯示器的最高亮度。

雖然Akyüz在主觀實(shí)驗(yàn)中發(fā)現(xiàn)對(duì)亮度進(jìn)行線性縮放使得影像的平均亮度更亮,更能得到觀測(cè)者的青睞,但是他們的算法在今天可能并不適用。首先,該算法中映射后的HDR 圖像亮度受每幀畫(huà)面的最大亮度L及最小亮度L所影響,因此它不適用于動(dòng)態(tài)視頻的逆色調(diào)映射,因?yàn)榭赡茉斐砷W爍的現(xiàn)象。其次,隨著目前HDR 顯示技術(shù)的發(fā)展,HDR顯示器的峰值亮度可以達(dá)到4000尼特及以上,那么線性變換使得影像的平均亮度大大提升,從而在視覺(jué)上造成令人不適的結(jié)果。

(2)非線性變換模型

Masia等人提出自適應(yīng)伽馬曲線,適用于拓展曝光過(guò)度圖像的亮度范圍。通過(guò)測(cè)量圖像的最大亮度、最小亮度和平均亮度,為每幅圖像計(jì)算出合適的伽馬值,進(jìn)而對(duì)SDR 圖像進(jìn)行伽馬校正,提高其動(dòng)態(tài)范圍。其公式可表示為:

其中L表示HDR 顯示器的峰值亮度,L表示SDR 顯示器的峰值亮度,γ=a×key+b,a和b 為常數(shù) (a=10.44,b=-6.282),key表示畫(huà)面的亮度傾向,該值越高,畫(huà)面的平均亮度越高,反之畫(huà)面的平均亮度越低,計(jì)算方式為:

L表示圖像的平均亮度,計(jì)算方式為:

(x,y)表示圖像中像素的坐標(biāo),δ是一個(gè)為了避免L（x,y）=0時(shí)產(chǎn)生奇異性的一個(gè)很小的數(shù)。

即便使用伽馬曲線可以控制圖像的平均亮度在一個(gè)不太高的區(qū)間內(nèi),這種算法的局限性在于它可能增大圖像的對(duì)比度,使得轉(zhuǎn)換成HDR 后的影像損失一部分的暗部細(xì)節(jié)。

Huo 等人受人類(lèi)視覺(jué)系統(tǒng) (Human Visual System,HVS)特性的啟發(fā),提出了一種基于視網(wǎng)膜響應(yīng)的逆色調(diào)映射算法。算法模擬了人眼視覺(jué)適應(yīng)的特性,將輸入亮度進(jìn)行非線性變換,其公式可表示為:

式(5)中的V表示SDR 影像的碼值,σ表示映射為HDR 影像后的像素 (x,y)周?chē)木植苛炼?使用雙邊濾波對(duì)周邊像素進(jìn)行加權(quán)平均計(jì)算該值,即σ=L（σ,σ）,其中σ表示空間域中的權(quán)重,σ表示亮度域上的權(quán)重。δ是一個(gè)為了避免分母為0的一個(gè)很小的常數(shù),n表示靈敏度控制指數(shù),取值為0.7 到1.0,原文中作者建議該值取0.9。

該算法的可取之處在于從人體生理學(xué)的角度上進(jìn)行研究,然而,它需要人為地對(duì)n的值進(jìn)行調(diào)參。其次,使用雙邊濾波導(dǎo)致了算法的時(shí)間復(fù)雜度較高,需要逐幀對(duì)畫(huà)面的局部循環(huán)進(jìn)行計(jì)算,且卷積核的尺寸越大,濾波的速度越慢。另外,與Masia的算法類(lèi)似,Huo的算法結(jié)果會(huì)隨著畫(huà)面中視覺(jué)元素的變化而變化,將它們應(yīng)用在動(dòng)態(tài)視頻中可能會(huì)產(chǎn)生畫(huà)面閃爍的現(xiàn)象。

2.1.2 分段模型

分段模型將同一幀SDR 畫(huà)面根據(jù)亮度區(qū)間進(jìn)行分組,每組應(yīng)用不同的逆色調(diào)映射方式對(duì)像素的亮度范圍進(jìn)行拓展。

Meylan等人提出了一種色調(diào)縮放函數(shù),該函數(shù)為包含了兩種不同斜率的分段線性函數(shù),分別對(duì)圖像的漫反射區(qū)域和高光區(qū)域的亮度進(jìn)行不同程度的線性縮放,分段拓展圖像的動(dòng)態(tài)范圍。另外,在高光區(qū)域應(yīng)用了圖像平滑,以減少分段縮放造成圖像灰度變化的不連貫,其公式可表示為:

2.1.3 基于蒙版的模型

基于蒙版的模型利用單色蒙版對(duì)畫(huà)面的不同區(qū)域進(jìn)行劃分,一般將畫(huà)面分割成高光區(qū)域和非高光區(qū)域,進(jìn)而對(duì)不同的區(qū)域進(jìn)行相應(yīng)的處理。比起全局模型和分段模型,基于蒙版的模型更適用于對(duì)畫(huà)面進(jìn)行細(xì)化處理,正因如此,該模型的計(jì)算量更大,運(yùn)算時(shí)間相對(duì)較長(zhǎng)。

Banterle等人提出了一種基于蒙版的逆色調(diào)映射框架,首先使用逆伽馬變換將輸入的SDR 圖像亮度進(jìn)行線性化處理,接著應(yīng)用基于Reinhard的攝影學(xué)色調(diào)重現(xiàn)算子的逆色調(diào)映射算子將SDR 圖像拓展成HDR 圖像,同時(shí)根據(jù)圖像分割出來(lái)的高光區(qū)域計(jì)算出插值權(quán)重,最后使用線性插值對(duì)拓展后的圖像與原始的SDR 圖像進(jìn)行組合。

Rempel等人提出了一種名為L(zhǎng)DR2HDR 的逆色調(diào)映射算法,該算法首先將SDR 圖像中非線性的像素值通過(guò)逆伽馬變換轉(zhuǎn)換成線性亮度,接著使用線性變換擴(kuò)大圖像的對(duì)比度,同時(shí)使用雙邊濾波對(duì)圖像進(jìn)行平滑處理以抑制噪聲的產(chǎn)生;下一步使用灰度蒙版分割出畫(huà)面的高光區(qū)域,并對(duì)蒙版應(yīng)用高斯濾波以柔化邊緣,然后使用邊緣停止函數(shù)(Edge-stopping Function)檢測(cè)畫(huà)面里高光的邊緣,以防止羽化后的蒙版影響高光邊緣外的像素;最后對(duì)蒙版分割出的高光區(qū)域進(jìn)行線性增強(qiáng)。如圖1所示,LDR2 HDR 將輸入的SDR 圖像 (左1)使用灰度蒙版(右2)將高光區(qū)域劃分出來(lái)進(jìn)行亮度增強(qiáng),最終輸出HDR 圖像(右1)。

圖1 Rempel的LDR2HDR 逆色調(diào)映射算法流程①

Kovaleski和Oliveira也提出了一種基于蒙版的模型,它包括了基于雙邊濾波 (Cross-Bilateral Filtering)的亮度增強(qiáng)函數(shù),可以處理曝光不足的畫(huà)面。在他們的算法中,第一步對(duì)原SDR 圖像應(yīng)用雙邊濾波以去除噪聲,然后對(duì)圖像線性化處理;第二步,使用雙邊網(wǎng)格將圖像中碼值高于230 (原文使用8比特位深的圖片進(jìn)行實(shí)驗(yàn),碼值在0～255間)的像素區(qū)分開(kāi),并對(duì)其應(yīng)用雙邊濾波,以平滑高光區(qū)域的輪廓,同時(shí)保證了物體的邊緣不受影響;最后,將原SDR 的亮度映射到目標(biāo)顯示器的動(dòng)態(tài)范圍內(nèi),同時(shí)高光區(qū)域也得到了增強(qiáng),二者相結(jié)合得到最終HDR 畫(huà)面。后來(lái)該算法得到了改進(jìn),圖像無(wú)論在任何曝光條件下都能完成高質(zhì)量的轉(zhuǎn)換,并且支持實(shí)時(shí)對(duì)SDR 視頻進(jìn)行處理。

2.1.4 基于用戶的模型

在基于用戶的模型中,需要涉及到用戶的參與和交互,和上文所述的幾類(lèi)自動(dòng)算法相比,此類(lèi)算法屬于半自動(dòng)模型。

Wang等人提出了一種基于用戶的算法,需要人為地在圖像中使用畫(huà)筆工具框選出欠曝或過(guò)曝的區(qū)域,并框選出與之具有相似紋理的正常曝光區(qū)域,通過(guò)紋理合成技術(shù)來(lái)重構(gòu)欠曝或過(guò)曝區(qū)域的細(xì)節(jié)。與自動(dòng)的算法相比,雖然Wang的算法在重構(gòu)欠曝或過(guò)曝區(qū)域的細(xì)節(jié)上更具有真實(shí)性,但需要耗費(fèi)較長(zhǎng)的時(shí)間進(jìn)行人工處理,并且該算法不適用于視頻轉(zhuǎn)換。

Jain 等人提出了Internet HDR 算法。和Wang的算法類(lèi)似,該算法涉及到用戶交互,不同之處在于Wang使用原圖中相似紋理處來(lái)恢復(fù)丟失的信息,而Jain通過(guò)使用Google圖像搜索引擎來(lái)獲取與原圖相似的信息,以恢復(fù)SDR 圖像中陰影和高光區(qū)域丟失的信息來(lái)創(chuàng)建HDR 圖像。

圖2 Didyk的半自動(dòng)系統(tǒng)的軟件截圖②

Didyk等人開(kāi)發(fā)了一套用于增強(qiáng)SDR 視頻中高光區(qū)域的半自動(dòng)系統(tǒng),首先對(duì)畫(huà)面中的過(guò)曝區(qū)域進(jìn)行檢測(cè),并自動(dòng)對(duì)過(guò)曝區(qū)域進(jìn)行預(yù)分類(lèi),將其分成漫反射、鏡面反射、光源三個(gè)部分,如圖2中藍(lán)色、品紅、黃色三種色塊分別與之對(duì)應(yīng),然后將分類(lèi)結(jié)果顯示給用戶;在用戶協(xié)助階段,用戶可以選擇接受或者修改系統(tǒng)自動(dòng)分類(lèi)的結(jié)果;最后使用一個(gè)自適應(yīng)非線性色調(diào)曲線 (Adaptive Non-Linear Tone-Curve)對(duì)鏡面反射區(qū)域和光源兩個(gè)部分進(jìn)行亮度和對(duì)比度的增強(qiáng)。與其他自動(dòng)算法相比,人工介入更能保證高質(zhì)量視頻的輸出,同樣,該半自動(dòng)系統(tǒng)需要人為花費(fèi)一些時(shí)間進(jìn)行校正和質(zhì)檢的工作。

2.2 數(shù)據(jù)驅(qū)動(dòng)的逆色調(diào)映射算法

近幾年來(lái),基于深度學(xué)習(xí)的圖像處理提供了數(shù)據(jù)驅(qū)動(dòng)的解決方案,這些算法模型基本上都不再使用封閉的數(shù)學(xué)公式來(lái)描述。它們和基于模型驅(qū)動(dòng)的算法的區(qū)別,首先,在建模方式上,模型驅(qū)動(dòng)的算法是人類(lèi)根據(jù)現(xiàn)實(shí)規(guī)律來(lái)建模,而數(shù)據(jù)驅(qū)動(dòng)的算法是計(jì)算機(jī)在大量數(shù)據(jù)的基礎(chǔ)上經(jīng)過(guò)訓(xùn)練和擬合,形成一個(gè)決策模型。其次,在對(duì)圖像的處理方式上,模型驅(qū)動(dòng)是對(duì)圖像中的像素進(jìn)行直接處理,而數(shù)據(jù)驅(qū)動(dòng)是對(duì)圖像的抽象特征進(jìn)行計(jì)算。另外,在處理結(jié)果上,大部分基于模型驅(qū)動(dòng)的算法都不能補(bǔ)償由于圖像量化、曝光不足或過(guò)度、伽馬校正等因素造成的圖像信息丟失,它們解決的只是圖像亮度的拓展,而基于數(shù)據(jù)驅(qū)動(dòng)的圖像增強(qiáng)算法不僅能改變圖像的亮度曲線,還能自動(dòng)地預(yù)測(cè)并重建出圖像中丟失的信息。

這類(lèi)算法的建模步驟分為三步,首先需要收集大量的數(shù)據(jù),其次建立起一個(gè)初步的神經(jīng)網(wǎng)絡(luò),最后利用采集到的數(shù)據(jù)對(duì)該神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其中,卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network,CNN)模型具有很高的學(xué)習(xí)能力,并且它的結(jié)構(gòu)非常適用于圖像處理。

(1)基于自編碼架構(gòu)的逆色調(diào)映射模型

自編碼 (Autoencoder)架構(gòu)由編碼器 (Encoder)和解碼器 (Decoder)兩個(gè)部分組成。編碼器是全卷積網(wǎng)絡(luò)的結(jié)構(gòu),它負(fù)責(zé)提取輸入的SDR 圖像或影像的潛在特征。解碼器是反卷積網(wǎng)絡(luò)的結(jié)構(gòu),它負(fù)責(zé)將提取到的潛在特征轉(zhuǎn)換為HDR 圖像或影像。

圖3 Endo的深度逆色調(diào)映射算法流程③

2017年,Endo等人提出了第一個(gè)基于深度學(xué)習(xí)的逆色調(diào)映射算法,該算法的主要思想基于包圍曝光技術(shù),從一張SDR 圖像生成不同曝光的SDR 圖像,最終合成一張HDR 圖像。圖3描述了該算法的學(xué)習(xí)和推理兩個(gè)階段:在學(xué)習(xí)階段,使用攝影機(jī)響應(yīng)曲線 (Camera Response Function,CRF)對(duì)HDR 圖像生成k張不同曝光的SDR 圖像序列,讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)在這k張圖像的同一像素中不同亮度值的變化;在推理階段,學(xué)習(xí)后的模型將生成具有k個(gè)不同曝光量的SDR 圖像序列,最后通過(guò)合并這些圖像以創(chuàng)建HDR 圖像。

同年,Eilertsen等人設(shè)計(jì)了一種基于混合動(dòng)態(tài)范圍自動(dòng)編碼器的全卷積神經(jīng)網(wǎng)絡(luò),通過(guò)預(yù)測(cè)圖像中高光區(qū)域因過(guò)曝而丟失的信息,將SDR 圖像重建為HDR 圖像。SDR 輸入圖像由編碼器進(jìn)行編碼,通過(guò)卷積運(yùn)算對(duì)輸入的圖像數(shù)據(jù)進(jìn)行降維,編碼后的圖像由HDR 解碼器進(jìn)行解碼,進(jìn)而將抽象的潛在特征可視化輸出的HDR 圖像。同時(shí)殘差連接在編碼器和解碼器之間傳輸數(shù)據(jù),以利用高分辨率圖像細(xì)節(jié)來(lái)重建HDR 圖像。該算法的局限在于不擅長(zhǎng)處理暗部區(qū)域,但它能夠還原過(guò)曝區(qū)域的細(xì)節(jié),前提是這個(gè)范圍不宜太大。

Yang等人提出了一種深度往復(fù)式HDR 轉(zhuǎn)換框架。這個(gè)模型適用于曝光不足或曝光過(guò)度的圖像校正,它包含了兩個(gè)卷積神經(jīng)網(wǎng)絡(luò),第一個(gè)網(wǎng)絡(luò)負(fù)責(zé)處理輸入的SDR 圖像,將其轉(zhuǎn)換成HDR 圖像并重構(gòu)陰影和高光部分丟失的細(xì)節(jié),而第二個(gè)網(wǎng)絡(luò)負(fù)責(zé)對(duì)重建的HDR 圖像進(jìn)行色調(diào)映射并輸出細(xì)節(jié)經(jīng)過(guò)增強(qiáng)的SDR 圖像。

Xu等人提出利用過(guò)去基于深度學(xué)習(xí)的算法來(lái)轉(zhuǎn)換動(dòng)態(tài)視頻會(huì)導(dǎo)致畫(huà)面閃爍的問(wèn)題,因此他們?cè)O(shè)計(jì)了一種基于深度學(xué)習(xí)的視頻逆色調(diào)映射算法,可對(duì)視頻進(jìn)行處理,同時(shí)解決幀間的閃爍問(wèn)題。他們的視頻轉(zhuǎn)換框架由一個(gè)3D 全卷積神經(jīng)網(wǎng)絡(luò)和一個(gè)3D 反卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成,其中3D 的卷積神經(jīng)網(wǎng)絡(luò)在視頻處理領(lǐng)域發(fā)揮巨大的優(yōu)勢(shì)。但他們使用的訓(xùn)練樣本是在一個(gè)鏡頭中取連續(xù)的21幀組成的視頻序列,即該算法是基于單個(gè)鏡頭來(lái)處理視頻的,它的局限性在于不能處理多個(gè)鏡頭、多個(gè)場(chǎng)景的常規(guī)影片。

(2)基于生成對(duì)抗網(wǎng)絡(luò)的逆色調(diào)映射模型

生成對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network,GAN)由生成模型和判別模型組成,在每次的單獨(dú)交替迭代訓(xùn)練中,生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)在博弈的過(guò)程中不斷進(jìn)行優(yōu)化。

Ning等人提出了基于生成對(duì)抗網(wǎng)絡(luò)的逆色調(diào)映射模型,其中生成網(wǎng)絡(luò)為自編碼模型,負(fù)責(zé)將輸入的SDR 圖像轉(zhuǎn)換成HDR 圖像,而判別網(wǎng)絡(luò)為分類(lèi)模型,負(fù)責(zé)將生成網(wǎng)絡(luò)輸出的HDR 圖像判別為“真”HDR 圖像或“假”HDR 圖像。判別網(wǎng)絡(luò)將分類(lèi)后得出的結(jié)果由0到1以及之間的數(shù)字表示,若結(jié)果為1,則判定為“真”HDR 圖像,若結(jié)果為0,則判定為“假”HDR 圖像,若結(jié)果為0到1之間時(shí)表示圖像為“真”HDR 的概率大小。該判定結(jié)果進(jìn)而反饋給生成網(wǎng)絡(luò),作為損失函數(shù)來(lái)不斷優(yōu)化網(wǎng)絡(luò)中的參數(shù)。

(3)基于新型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的逆色調(diào)映射模型

Marnerides等人提出了一種基于Expand Net的深度卷積神經(jīng)網(wǎng)絡(luò),用于在SDR 轉(zhuǎn)換到HDR 的過(guò)程中重建丟失的信息。設(shè)計(jì)該架構(gòu)而摒棄自編碼架構(gòu)是為了避免編碼器在對(duì)圖像信息進(jìn)行下采樣和解碼器對(duì)數(shù)據(jù)上采樣為圖像的過(guò)程中數(shù)據(jù)受到一部分的損失,造成圖像清晰度的下降,以及減少光暈、條帶等圖像劣化的現(xiàn)象。Expand Net架構(gòu)分為三個(gè)分支,即局部分支、擴(kuò)張分支和全局分支,分別負(fù)責(zé)處理SDR 圖像的高頻特征、中頻特征和高頻特征,然后三個(gè)分支的處理結(jié)果進(jìn)行融合,并由一個(gè)小的卷積層進(jìn)行進(jìn)一步處理,以最終生成HDR 圖像。

3 SDR上變換HDR在影視領(lǐng)域中的應(yīng)用

目前在影視領(lǐng)域中,將SDR 內(nèi)容轉(zhuǎn)換為HDR的需求量越來(lái)越大,因此在商業(yè)上也出現(xiàn)了一些利用現(xiàn)有的SDR 母版制作成HDR 母版以及在實(shí)況轉(zhuǎn)播中實(shí)時(shí)將SDR 信號(hào)上變換為HDR 信號(hào)的解決方案。

3.1 利用SDR母版制作HDR母版

將SDR 的視頻母版制作成HDR 版本實(shí)際上屬于內(nèi)容創(chuàng)作的范疇,這個(gè)過(guò)程一般在DI系統(tǒng)中完成。英國(guó)Film Light公司的Baselight調(diào)色系統(tǒng)針對(duì)HDR 調(diào)色進(jìn)行了一些優(yōu)化,并推出了逆色調(diào)映射工具Boost Range,使得SDR 素材的動(dòng)態(tài)范圍拓展到HDR 的動(dòng)態(tài)范圍上。該工具可以對(duì)每個(gè)鏡頭的逆色調(diào)映射效果進(jìn)行微調(diào),例如調(diào)節(jié)高光拓展的幅度、鏡頭整體曝光、峰值白、對(duì)比度、飽和度、高光飽和度和趾部。

圖4 Baselight中的Boost Range工具

圖5 灰度漸變圖

圖6 灰度漸變圖映射前 (左)及映射后 (右)示波器截圖,縱軸為圖像中像素的絕對(duì)亮度 (單位:尼特)

以亮度從100 尼特映射到1000 尼特為例,Boost Range工具基于某種非線性變換模型對(duì)SDR圖像進(jìn)行逆色調(diào)映射。使用該工具對(duì)圖5所示的灰度漸變圖的亮度進(jìn)行映射,參數(shù)設(shè)置如圖4 所示,其中Film Light建議將Boost參數(shù)的值設(shè)置為1,其他參數(shù)設(shè)置為初始值。映射前的亮度在0～100尼特的區(qū)間均勻分布(見(jiàn)圖6左),映射后圖像的亮度在暗部和高光區(qū)域得到了非線性的拓展,而中間調(diào)部分的亮度趨向于使用線性的方式進(jìn)行提高 (見(jiàn)圖6右)。

圖7為主觀測(cè)試圖在使用Boost Range工具進(jìn)行逆色調(diào)映射前后的對(duì)比,圖中紅色方框強(qiáng)調(diào)了畫(huà)面中亮度發(fā)生明顯變化的區(qū)域 (見(jiàn)圖7 左上、右上),如天空中云層反射的太陽(yáng)光、人物面部和水果的高光和銀質(zhì)器具表面的鏡面反射光。結(jié)合圖7左下、右下示波器截圖可見(jiàn),該工具并不會(huì)大幅度提升畫(huà)面中的暗部及中間調(diào)的亮度,而畫(huà)面中的高光區(qū)域得到了適當(dāng)?shù)耐卣?。另?由于亮度的整體提升,映射后畫(huà)面的飽和度稍低于映射前畫(huà)面的飽和度。

圖7 測(cè)試圖映射前主觀圖 (左上)、映射后主觀圖 (右上)④及映射前示波器截圖 (左下)、映射后示波器截圖 (右下),縱軸為圖像中像素的絕對(duì)亮度 (單位:尼特)

除此之外,可以使用在DI系統(tǒng)中加載3D 查找表(Look-up Table,LUT)的方式來(lái)對(duì)SDR 素材進(jìn)行亮度范圍的拓展。例如,為了促進(jìn)HLG 產(chǎn)品的推廣,BBC 授權(quán)了一系列LUT 的許可,其中包括了四種BT.709 (SDR)轉(zhuǎn)換到BT.2100 HLG 的3D LUT,它們分別適用于不同的應(yīng)用條件,即顯示相關(guān)的保持SDR 外觀的直接映射、場(chǎng)景相關(guān)的匹配HDR 攝影機(jī)的直接映射、顯示相關(guān)的保持SDR 創(chuàng)作意圖的逆色調(diào)映射、場(chǎng)景相關(guān)的匹配HDR 攝影機(jī)的逆色調(diào)映射。

3.2 實(shí)況轉(zhuǎn)播中的SDR上變換HDR

使用信號(hào)轉(zhuǎn)換器可以實(shí)時(shí)地將SDR 視頻信號(hào)轉(zhuǎn)換為HDR 視頻信號(hào),這種方式通常用于電視臺(tái)的實(shí)況轉(zhuǎn)播。市面上常見(jiàn)的轉(zhuǎn)換設(shè)備有SONY 的HDRC-4000 和AJA 的HDR FS-HDR 等,用 于4K 現(xiàn)場(chǎng)直播制作流程中4K/HDR 和HD/SDR 同步制作和播出,大大節(jié)省HDR 和SDR 獨(dú)立制作的時(shí)間和成本。

4 結(jié)語(yǔ)

高動(dòng)態(tài)范圍影像的制作已經(jīng)成為了一種趨勢(shì),但是目前大部分影視工作者仍然以制作SDR 內(nèi)容為主,而逆色調(diào)映射技術(shù)的研究正好解決HDR 內(nèi)容不足的迫切問(wèn)題。另外,現(xiàn)有的逆色調(diào)映射算法的優(yōu)勢(shì)及不足之處都可以為今后算法的設(shè)計(jì)提供有用的理論參考。為了展現(xiàn)高動(dòng)態(tài)范圍影像獨(dú)特的魅力,從內(nèi)容創(chuàng)作的角度出發(fā),逆色調(diào)映射算法的設(shè)計(jì)可以依據(jù)以下幾個(gè)原則:

(1)畫(huà)面的平均亮度不能過(guò)度拓展。由于影像中大部分元素都在中間調(diào)的范圍內(nèi),若大大提高影像的平均亮度,畫(huà)面的中間調(diào)過(guò)于明亮?xí)?dǎo)致觀眾眼睛的不適。報(bào)告ITU-R BT.2390-7 建議,對(duì)于峰值亮度為1000尼特的顯示器而言,漫射白的亮度應(yīng)該在200尼特左右,鏡面反射及光源的亮度應(yīng)該在200尼特到1000尼特這一區(qū)間內(nèi)。

(2)適當(dāng)將畫(huà)面的最高亮度拓展到顯示器的峰值亮度。相比傳統(tǒng)的SDR 影像,HDR 影像利用了更多的資源去存儲(chǔ)從漫射白到高光白的細(xì)節(jié)信息。在影像質(zhì)量允許的范圍內(nèi),以及在不影響畫(huà)面主體作為首要興趣點(diǎn)的前提條件下,可以嘗試把畫(huà)面中例如火焰、爆炸、燈泡等元素的高光推到極限,其原因首先是這充分利用了HDR 影像的碼值,其次是使得影像更接近于真實(shí)場(chǎng)景,增強(qiáng)觀眾的沉浸感。

(3)保持畫(huà)面暗部的細(xì)節(jié)。HDR 顯示器的黑電平比常規(guī)顯示器的黑電平要更低,因此HDR 影像具有層次更豐富的暗部細(xì)節(jié)。在對(duì)畫(huà)面整體進(jìn)行亮度縮放的同時(shí),需要注意畫(huà)面的暗部應(yīng)該適當(dāng)?shù)叵蚋偷碾娖竭M(jìn)行拓展。

(4)兩個(gè)相鄰鏡頭的平均亮度不宜相差過(guò)大。雖然人眼能感知到的動(dòng)態(tài)范圍高達(dá)24檔,但是靜態(tài)的動(dòng)態(tài)范圍只有12檔左右,人眼從觀看較亮畫(huà)面到較暗畫(huà)面時(shí)會(huì)進(jìn)行暗適應(yīng)的過(guò)程,反之進(jìn)行明適應(yīng)的過(guò)程,而且暗適應(yīng)的時(shí)間比明適應(yīng)的時(shí)間要長(zhǎng)很多。因此,若在長(zhǎng)時(shí)間觀看HDR 影像時(shí)不斷地調(diào)節(jié)眼睛靜態(tài)的動(dòng)態(tài)范圍,觀眾會(huì)造成用眼疲勞的問(wèn)題。

(5)合理地對(duì)色彩的飽和度進(jìn)行處理。對(duì)于同一碼值的像素而言,亮度越低,人眼感知到該像素的飽和度越高,亮度越高,人眼感知到該像素的飽和度越低。因此,對(duì)SDR 影像進(jìn)行動(dòng)態(tài)范圍的拓展,可能會(huì)稍微降低畫(huà)面的飽和度,尤其是高光部分。在這種情況下,需要適當(dāng)對(duì)提升了亮度的高光區(qū)域進(jìn)行一些飽和度的補(bǔ)償。

現(xiàn)在,我們正處于一個(gè)SDR 向HDR 過(guò)渡的時(shí)代,而逆色調(diào)映射算法正是這個(gè)時(shí)代的必然產(chǎn)物。在未來(lái),這項(xiàng)技術(shù)也會(huì)有更廣闊的發(fā)展空間。過(guò)去的電影由于拍攝、制作、發(fā)行和放映條件的限制,其分辨率、動(dòng)態(tài)范圍、色彩空間等畫(huà)面的質(zhì)量指標(biāo)都沒(méi)有達(dá)到最理想的效果,因此逆色調(diào)映射算法與超分辨率、色彩空間擴(kuò)張、2D 轉(zhuǎn)3D 等技術(shù)同理,都是為了將從前低質(zhì)量的作品重制為高技術(shù)格式的影像,使得電影這一門(mén)藝術(shù)在科技不斷更新的時(shí)代中一直傳承下去。?

注釋

①圖片來(lái)源:Rempel A.,Trentacoste M.,Seetzen H.,et al.Ldr2Hdr:On-the-Fly Reverse Tone Mapping of Legacy Video and Photographs[J].ACM Transactions on Graphics,2007,26 (3):39.1-39.6.

②圖片來(lái)源:Didyk P.,Mantiuk R.,Hein M.,et al.Enhancement of Bright Video Features for HDR Displays [J].Computer Graphic Forum,2008,27 (4):1265-1274.

③圖片來(lái)源:Endo Y.,Kanamori Y.,and Mitani J..Deep Reverse Tone Mapping [J].ACM Transactions on Graphics,2017,36(6):177.1-177.10.

④圖片來(lái)源:北京電影學(xué)院影視技術(shù)系高技術(shù)格式測(cè)試片 《如你所見(jiàn)》鏡頭素材。