鄒瑞波，廖海泳

（汕頭大學(xué)工學(xué)院，廣東 汕頭 515063）

0 引言

高動(dòng)態(tài)范圍成像（High Dynamic Range Imaging，簡稱HDRI或HDR），在計(jì)算機(jī)圖形學(xué)與電影攝影術(shù)中，是用來實(shí)現(xiàn)比普通數(shù)位圖像技術(shù)更大曝光動(dòng)態(tài)范圍（即更大的明暗差別）的一組技術(shù).高動(dòng)態(tài)范圍成像的目的是要正確地記錄和重現(xiàn)真實(shí)場景中各區(qū)域的細(xì)節(jié)，特別是高亮區(qū)和暗區(qū).隨著技術(shù)的發(fā)展，很多成像設(shè)備都可以達(dá)到很高的分辨率，例如手機(jī)拍照的分辨率已經(jīng)可達(dá)2300萬像素，在這種情況下，高分辨率HDR圖像需要有一個(gè)有效和快速的算法.目前有各種各樣的HDR色調(diào)映射算法，然而很多算法不能同時(shí)兼顧保持細(xì)節(jié)信息和快速這兩個(gè)特點(diǎn).例如，基于簡單變換函數(shù)的算法如文獻(xiàn)[1]，雖然速度很快，但是由于壓縮亮度的同時(shí)也壓縮了細(xì)節(jié)的亮度，使得變換后邊緣細(xì)節(jié)信息不夠清晰.另一個(gè)方面，基于非線性變換的方法，如WLS算法[2]雖然能夠很好地重現(xiàn)細(xì)節(jié)信息，但是由于計(jì)算量極大，甚至不能實(shí)現(xiàn)，而不能應(yīng)用在高分辨率HDR圖像.本文提出的色調(diào)映射算法首先利用移動(dòng)最小二乘提取光照分量，也就是在移動(dòng)窗口中利用最小二乘法提取光照分量.接著根據(jù)成像模型對光照分量進(jìn)行壓縮，最后再恢復(fù)細(xì)節(jié)和色彩信息.實(shí)驗(yàn)表明本文算法針對高分辨率HDR圖像能夠很好地保持和重現(xiàn)細(xì)節(jié)信息，而且速度比WLS算法快.

1 高分辨率HDR圖像色調(diào)映射

1.1 圖像分解與壓縮模型

根據(jù)成像模型[3]，圖像f（p）可以表示為：

其中p表示圖像像素的位置，i（p）為光照分量，r（p）稱為反射分量.即圖像在位置p的像素值由這兩者的乘積得到.光照分量i（p）的大小反應(yīng)了在自然場景中照射到物體的光能的多少.根據(jù)我們的日常經(jīng)驗(yàn)可以知道，自然場景中的光照一般都是局部均勻，雖然有不同明暗的區(qū)別，但是從信號處理的角度看，所含的細(xì)節(jié)信息比較少.所以我們可以通過改變i（p）的值來壓縮圖像的亮度范圍，最終使得亮區(qū)和暗區(qū)的信息能夠同時(shí)較好地顯示出來.反射分量r（p）的幅值相比之下往往較小，但富含細(xì)節(jié)，能夠真實(shí)反映場景中的各種信息.因此這一分量的信息要盡量保存.

基于前面的理論分析，我們利用如下模型進(jìn)行壓縮，重建LDR圖像：

其中f′（p）為壓縮重建后的LDR圖像.c為壓縮系數(shù).根據(jù)冪函數(shù)的性質(zhì)[4]，我們可以知道當(dāng)c＞1時(shí)，將對暗區(qū)像素值進(jìn)行壓縮，同時(shí)放大亮區(qū)像素值范圍；反過來，當(dāng)c＜1時(shí)，將對暗區(qū)像素值范圍進(jìn)行放大，同時(shí)壓縮亮區(qū)像素值范圍，如圖1所示.通過大量的觀察我們發(fā)現(xiàn)絕大部分的HDR圖像像素值主要集中在灰度直方圖的左邊，而右邊的高像素值所占比例極少.圖2 Memorial的灰度直方圖就是一個(gè)經(jīng)典的例子.綜上可知，為了達(dá)到增強(qiáng)暗區(qū)細(xì)節(jié)對比度的效果，c的設(shè)置一般要在小于1.

圖1 冪函數(shù)

圖2 Memorial灰度直方圖

1.2 算法框架

我們先給出整個(gè)算法的主要步驟，再對關(guān)鍵步驟進(jìn)行解釋.

算法步驟如圖3所示

圖3 算法框架

在第二部分中我們利用移動(dòng)最小二乘方法提取光照分量.移動(dòng)最小二乘方法在下一節(jié)中將進(jìn)行詳細(xì)介紹.從圖2可以觀察到HDR圖像亮區(qū)的像素值比其他區(qū)大得多，而且亮區(qū)的像素在直方圖中所占比例非常小.根據(jù)這個(gè)特點(diǎn)，我們在第三部分中利用98%百分位數(shù)對高亮像素值進(jìn)行截?cái)?，這樣可以有效的縮短動(dòng)態(tài)域范圍，進(jìn)而達(dá)到壓縮的目的.

2 光照分量的提取

由于光照分量具有局部均勻的特點(diǎn)，如果采用傳統(tǒng)的平滑濾波器進(jìn)行濾波會(huì)導(dǎo)致邊緣模糊，從而使得重建后的圖像中邊緣有光暈的問題.為了避免這個(gè)問題，我們可以采用各種邊緣保持濾波器進(jìn)行提取，例如WLS濾波器[2]，雙邊濾波器[5]，TV濾波器[6]等.由于WLS濾波器具有很好的邊緣保持效果，下面主要介紹WLS濾波器的基本原理.

2.1 最小二乘濾波器

給定灰度圖像g（p），WLS濾波器通過求解來得到光照分量u（為了在下文避免符號容易混淆問題，這里使用u表示光照分量，而不是前面的i（p））.在式子（3）中第一項(xiàng)是數(shù)據(jù)保真項(xiàng)，用來保證u和g盡量接近，第二項(xiàng)是正則化項(xiàng)，用來控制所求u的平滑程度[7].是一個(gè)正則化參數(shù)， 越大則所求的光照分量u越平滑.而關(guān)于平滑權(quán)重的計(jì)算，我們參考了文獻(xiàn)[8]的方法，具體如公式4所示

其中I＝log（g）.ax，p（g），ay，p（g）分別表示在像素p位置求偏導(dǎo)數(shù).α取值一般在[1.2，2]的范圍.ε是一個(gè)很小的值，例如，ε＝10－4，甚至更小，主要用來避免零做除數(shù).式子（3）是一個(gè)二次型，對其求導(dǎo)可得到一個(gè)線性方程組

其中矩陣

這里下標(biāo)i，j表示圖像中的像素，N4（i）表示像素i的4-鄰域.u，g分別是光照分量和原圖像按列形成的列向量.系數(shù)矩陣A是一個(gè)大型的稀疏矩陣，其大小為N×N，對應(yīng)圖像的像素個(gè)數(shù)為N.圖4是N＝100時(shí)，系數(shù)矩陣A非零元素的分布模式.可以看到A是一個(gè)主對角帶狀的稀疏矩陣.值得一提的是，當(dāng)圖像分辨率為1000×1000時(shí)，矩陣A的大小為106×106.而現(xiàn)在日常生活中圖像分辨率至少是這個(gè)級別，甚至更大，所以WLS濾波器求解一個(gè)大型稀疏線性方程組將會(huì)更加困難.

求解大型稀疏方程組有迭代法[9]，直接法[10]兩大類.后面我們采用的是直接法求解.關(guān)于直接法，具體可參考方獻(xiàn)[11].

圖4 稀疏矩陣

2.2 移動(dòng)最小二乘濾波器

基于WLS濾波器的色調(diào)映射方法具有很好的視覺效果，然而由于需要求解大型方程組，不適合高分辨率圖像.高分辨率圖像的像素個(gè)數(shù)一般可以達(dá)到107這個(gè)級別，如果直接對整個(gè)圖像進(jìn)行求解線性方程組，計(jì)算量相當(dāng)驚人，幾乎不可能實(shí)現(xiàn).受平滑濾波器[12]和圖像分塊處理算法[13]啟發(fā)，對高分辨率圖像，我們采用平滑濾波器的框架，在移動(dòng)窗口里面進(jìn)行最小二乘濾波.具體如圖5所示，設(shè)置一個(gè)移動(dòng)窗口，該窗口首先位于圖像的左上角，先在窗口里面利用式子（5）求出光照分量，再將窗口以步長h向右移動(dòng)，接著求出新位置的光照分量，以此類推，一直到圖像的右邊邊界.然后窗口下移步長h，再從左到右移動(dòng)濾波，重復(fù)之前步驟，直到窗口到達(dá)圖像的右下角.對于窗口移動(dòng)過程中的重疊區(qū)域，我們采用加權(quán)平均的方式計(jì)算該重疊區(qū)域的像素值.

圖5 稀疏矩陣

為了驗(yàn)證本文算法是否有效，我們將本文算的濾波效果與WLS濾波的效果進(jìn)行比較，具體見圖6.其中圖6（a）測試圖片來自文獻(xiàn)[2].（b）（d）（f）是 WLS 濾波的效果，（c）（e）（g）是移動(dòng)最小二乘濾波的效果，可以看出本文算法可以達(dá)到WLS濾波器[2]的效果，這說明了本文算法的有效性.

圖6 對比WLS和本文算法對于邊緣保持的效果

在移動(dòng)最小二乘濾波器算法里面需要設(shè)置兩個(gè)參數(shù)，一個(gè)是移動(dòng)窗口的大小，一個(gè)是移動(dòng)窗口的步長（同時(shí)決定了相鄰窗口的重疊區(qū)域）.下面討論這兩個(gè)參數(shù)的選擇對濾波效果和速度的影響.顯然，移動(dòng)窗口的設(shè)置不能太小也不能太大，因?yàn)樘〉脑挾鴮?dǎo)致重疊區(qū)域增多，從而影響整體的計(jì)算速度，相反，如果太大會(huì)增加在移動(dòng)窗口中求解線性方程組的難度.移動(dòng)窗口的步長會(huì)影響到相鄰窗口的重疊區(qū)域，例如，步長太大，則相鄰窗口的重疊區(qū)域太小，則可能會(huì)造成塊狀效應(yīng).反之，如果太小，則相鄰窗口的重疊區(qū)域較大，會(huì)增加一些不必要的計(jì)算量，從而影響計(jì)算速度.經(jīng)過實(shí)驗(yàn)我們發(fā)現(xiàn)，只要相鄰移動(dòng)窗口有至少百分之十的重疊區(qū)域就可以達(dá)到WLS濾波器的效果.為了更好地測試窗口大小對計(jì)算速度的影響，我們采用不同大小的窗口對圖6（a）進(jìn)行測試，在保證與WLS濾波器一樣效果和使用最長步長的情況下，表1列出了窗口大小和濾波計(jì)算時(shí)間的結(jié)果.可以看出當(dāng)窗口大小為200×200時(shí)或以下時(shí)，計(jì)算速度較快.使用這樣大小窗口的另一個(gè)好處是：在這種情況下，求解線性方程組不需要占用大量的內(nèi)存資源.

表1 不同窗口大小對計(jì)算時(shí)間的影響

3 實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)中本文采用的硬件設(shè)備為：Core i5-7200U，@2.50Hz雙核處理器，Nvidia GeForce 920MX（2GB）顯卡，8GB內(nèi)存.軟件環(huán)境為：Ubuntu16.04＋MATLAB.由于篇幅所限，下面展示兩幅具有代表性的HDR圖像及其測試效果，其中圖6（a）Oxford Church HDR圖像的分辨率為1 013×1 200.圖7（a）Narrow Path HDR圖像的分辨率為8 192×4 096.圖7（b）到圖7（d）分別是本文算法，WLS 算法[2]，雙邊濾波算法[5]處理后得到結(jié)果.可以看到，本文算法與WLS算法非常接近，而圖7（d）整體上細(xì)節(jié)沒有圖7（b）和圖7（c）清晰，特別是窗口玻璃上的細(xì)節(jié)，這是由于雙邊濾波器的邊緣保持效果沒有WLS濾波器好這一特點(diǎn)決定的，原因具體見文獻(xiàn)[2].同樣的，通過比較圖8（b）和圖8（c），我們可以觀察本文算法在細(xì)節(jié)方面明顯比雙邊濾波器清晰，特別是石頭后面遠(yuǎn)處的山這些區(qū)域.需要說明的是，由于圖8（a）Narrow Path HDR圖像的分辨率過高，WLS濾波器需要求解一個(gè)超大規(guī)模的線性方程組而導(dǎo)致內(nèi)存溢出，無法得到最終的結(jié)果.

最后，我們采用不同的HDR圖像進(jìn)行測試，比較3個(gè)算法的處理時(shí)間，結(jié)果如表2所示.當(dāng)圖像分辨率比較大時(shí)，本文算法的計(jì)算時(shí)間明顯比WLS算法少，而且能夠處理任意分辨率的HDR圖像，后者是WLS算法所做不到的.雖然雙邊濾波明顯比其他兩種算法快，但是從前面的實(shí)驗(yàn)結(jié)果圖7，圖8可知基于雙邊濾波的算法整體上細(xì)節(jié)沒有比其他兩種算法清晰.

圖7 Oxford Church HDR圖像的算法效果比較

圖8 Narrow Path HDR圖像的算法效果比較

4 總結(jié)

近年來，隨著成像設(shè)備分辨率的不斷提高，高分辨率HDR圖像受到越來越多人的青睞.WLS算法是一個(gè)很優(yōu)秀的色調(diào)映射算法，然而對于高分辨率的HDR圖像，WLS算法由于需要求解超大規(guī)模的線性方程組而導(dǎo)致無法得到最終結(jié)果.本文提出的移動(dòng)最小二乘濾波算法可以克服這一缺點(diǎn)，同時(shí)可以很好地保持圖像邊緣信息.實(shí)驗(yàn)結(jié)果表明，本文中所提的色調(diào)映射算法能很好地保持圖像細(xì)節(jié)，能夠處理任意分辨率的HDR圖像.

表2 本文算法和WLS算法處理時(shí)間比較