廖斌++李曉屯

摘 要：針對傳統(tǒng)本征圖像分解無法獲取完整的解決方案的問題。該文提出一種基于深度的圖像本征分解方法，首先，采用迭代法進(jìn)行鏡面高光分解以獲取鏡面反射明暗圖，并且計算圖像中光照的顏色和色度，然后結(jié)合深度信息和光源位置進(jìn)行漫反射分解，從而得到漫反射色明暗圖和反射率圖，進(jìn)而完成本征圖像分解。實(shí)驗(yàn)結(jié)果表明，與相關(guān)工作相比較，該方法能夠比較徹底地對圖像地進(jìn)行分解，分解所得的反射率效果圖像更為令人滿意。

關(guān)鍵詞：圖像處理 本征圖像分解 高光分解 漫反射分解

中圖分類號：TP39 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2017）06（b）-0154-04

Intrinsic Images DecompositionBased on Reflection Model

Liao Bin Li Xiaotun

（Hubei University， College of Computer and Information Engineering， Hubei， Wuhan， 430062）

Abstract：Aiming at the problem that traditional intrinsic images decompositioncan not obtain a complete solution. In this paper， we propose a depth-based intrinsic images decomposition method. First， we use the iterative method to separate the specular component from the input image to obtain specular shading， and calculate the color and chroma of the light in the image， and then using the extracted depth map and the initial estimated light information toextract the diffuse shading imageand albedoimage， and then complete the intrinsic images decomposition. The experimental results show that compared with the related work， the method can decompose the image completely and decompose the image of the reflectivity effect is more satisfactory.

Key words：Image processing； Intrinsic imagesdecomposition； Specular component separation； Diffuse component decomposition

總所周知，本征圖像分解是圖像處理和計算機(jī)視覺領(lǐng)域中的一個熱點(diǎn)問題，即給定一幅圖像，能夠分解得到對應(yīng)的反射率本征圖和明暗度本征圖。傳統(tǒng)的本征圖分解算法一般是近似地模擬人類視覺系統(tǒng)光照的穩(wěn)定性，從而得到不錯的分解圖像，值得說明的是該類方法忽略了人的視覺系統(tǒng)中對深度的辨析能力。因此，如何更好地進(jìn)行本征圖像分解仍然是一個具有挑戰(zhàn)性的課題。

由于本征圖像的符號是在文獻(xiàn)[1]中首次引入，許多本征圖像分解方法已經(jīng)開發(fā)出來。一些方法[2-4]基于圖像梯度或結(jié)構(gòu)配置分解圖像，該類方法認(rèn)為類似的反射率可能有相似的像素梯度或結(jié)構(gòu)配置。一些方法應(yīng)用圖像材料顏色的稀疏先驗(yàn)對圖像分解[5]。例如，文獻(xiàn)[6]第一次執(zhí)行分段圖像壓縮抑制明暗變化，然后基于圖像聚類分解圖像。作為自動方法有時對于復(fù)雜的場景難以產(chǎn)生滿意的結(jié)果，為了提高分解精度，用戶交互也已納入圖像分解[7]。如果深度信息或點(diǎn)云對于圖像是可用的，分解精度也可以大大提高[8]。在該文中，采用文獻(xiàn)[9]的方法從單一圖像中推斷深度圖，該文結(jié)合圖像的深度信息提出了一種新的圖像分解方法。

基于圖像的重光照工作是為了使用之前獲取的圖片產(chǎn)生新的照明條件下的自然場景圖像。基于圖像的重光照不需要估計場景的材料和幾何結(jié)構(gòu)，這很方便生成新的圖像。許多基于的重光照方法被提出了，詳情請參見文獻(xiàn)[10]。例如，Debevec等人[11]提出了一種方法來呈現(xiàn)任意光照條件下的人臉。他們使用燈光舞臺對面對入射光方向的人臉采樣下捕獲的圖像集，并且這些采樣圖像對每個可觀測的圖像像素用于構(gòu)建一個反射函數(shù)圖像。面對新的照明條件下的圖像可以根據(jù)這些反射函數(shù)生成。一個場景的外觀可以從光的傳輸計算。對于一個幾何結(jié)構(gòu)，反射屬性，和照明環(huán)境都是難以獲取的真實(shí)的圖像，光傳輸?shù)挠绊懣梢詮脑诓煌墓庹諚l件下展示圖像外觀的圖像集中推斷出來。最近，Ren等人[12]提出了一個神經(jīng)網(wǎng)絡(luò)回歸方法用于對少量圖像中的真實(shí)場景進(jìn)行重光照。重光照是場景的光照傳播矩陣和新光向量的計算結(jié)果，而光傳輸矩陣是由圖像集重構(gòu)。盡管基于圖像的重光照可以產(chǎn)生視覺上較好的結(jié)果，這些方法需要輸入圖像集，有時需要額外的圖像捕獲裝置。

2 本文方法

根據(jù)輸入圖像的光照效果，利用反射模型（見圖1），本文將輸入圖像分解成三個圖片：鏡面反射明暗圖，漫反射明暗圖和反射率圖。首先從圖像中提取鏡面反射明暗圖，然后將剩余圖像分解為漫反射明暗圖和反射率圖，進(jìn)而得到本征圖像分解。

2.1 高光部分分離

高光存在于大多數(shù)真實(shí)圖像，本節(jié)使用了一種基于色度的高光去除技術(shù)[13]從輸入圖像分離出鏡面反射部分并且估計多個光源的色度。Neverova等人[14]改進(jìn)了高光去除方法[13]并且使用迭代的方式估計的燈光顏色和色度。具體地說，對于輸入圖像，首先假設(shè)光源是白色的，然后運(yùn)行的算法[13]分離鏡面反射部分。然后，估計場景中光源的色度作為鏡面反射像素的平均色度。最后，將原始圖像正則化于光源估計值，并重新計算鏡面高光部分。重復(fù)前面的過程（高光去除、光照色度估計、使用光源色度估值對鏡面高光部分重新計算），直到估計出的光源色度不再變化，得到最終的高光部分和光源色度估計。在圖2的實(shí)驗(yàn)中，該文發(fā)現(xiàn)5迭代就足夠了。高光部分分離，即鏡明暗圖，如圖3，將用于光線位置估計過程并且估計的光源顏色可以在在照明編輯中編輯。

2.2 漫反射分解

從輸入圖像去除高光部分后，可以得到了漫反射圖像?，F(xiàn)在進(jìn)一步將漫反射圖像分解為漫反射明暗圖和相應(yīng)的反射率圖。我們可以改進(jìn)一個基于深度的本征圖像分解方法，它使用提取的深度圖和初始估計的光信息來提取漫反射明暗圖和反射率圖。然后，利用分解本征圖像，可以進(jìn)一步優(yōu)化光的顏色和位置。

本征圖像分解可以表示為。其中，I表示輸入圖像，s表示光照分量（漫反射明暗圖）并且R是反射率。同時，當(dāng)分解圖像時需要考慮場景深度和光源位置L。具體本征圖像分解如下：

首先，使用文獻(xiàn)[5]中描述的修改后的自動分解方法得到原始的本征圖像s和R，最小化目標(biāo)函數(shù)如下：

（1）

其中，是衡量像素和之間反射率的相似度，是YUV顏色空間中通道的強(qiáng)度值，是像素的鄰域。通過解這個最小二乘問題，可以得到原始的本征分解圖像和。

然后將場景深度和燈源的位置（在下一節(jié)中解出）作為約束條件添加到式（1）中就會得到更準(zhǔn)確的結(jié)果。分解函數(shù)根據(jù)如下先驗(yàn)定義：（1）具有相似深度值的相鄰像素在相同光源下通常有類似的明暗值；（2）具有相似強(qiáng)度值的像素具有相似的反射率值；（3）表面點(diǎn)也有類似的距離總和每個光源本身將分享類似的陰影值。這將鼓勵整個場景的陰影平滑。然后制定以下能量函數(shù)，見公式（2）：

（2）

其中，衡量像素i和j之間深度值的相似度，νi，νj是點(diǎn)i，j在三維空間中的近似位置。是根據(jù)光源位置對明暗圖的平滑項(xiàng)，是一個平衡因子。這里定義如下：

（3）

（4）

其中，和是點(diǎn)和的近似明暗度值，是物體表面點(diǎn)到場景中各光源的距離總和，是第個光源的3D位置，是表面點(diǎn)的3D位置，如圖4。

通過最小化式（2）可以得到改進(jìn)的分解結(jié)果。具體來說，使用一個迭代優(yōu)化方法解決能量函數(shù)最小化問題。首先，將第一步中計算的R和s作為初始值。然后，根據(jù)約束從新計算s的值并且重新計算R和s。重復(fù)這一過程直到計算的明暗值s之間的變化值低于固定閾值。

3 實(shí)驗(yàn)分析

該文實(shí)驗(yàn)基于主頻為2.3GHz CPU，內(nèi)存為4G的計算機(jī)，同時采用VS2010和Matlab實(shí)現(xiàn)了該文所提出的算法。通過對一些不同場景內(nèi)容下光照的退化圖像的復(fù)原處理來表明該文算法的有效性。

圖（5）中，（a）輸入圖像，（b）和（c）是相應(yīng)的文獻(xiàn)[5]中得出的反射率圖和明暗圖，（d）是高光部分分離，（e）和（f）是該文方法得到的反射率圖和明暗圖。由上圖可以說明圖像分解方法的有效性，同時與文獻(xiàn)[5]的結(jié)果進(jìn)行比較可以得知該文方法大大提高了反射率圖像質(zhì)量。

4 結(jié)語

該文提出了一種基于反射模型的本征圖像分解法，首先，利用迭代法分解圖像得到鏡面反射明暗圖，并且計算出圖像中光照的顏色和色度，然后將圖像的深度信息和光源位置引入到分解模型中，對漫反射圖像進(jìn)行分解，從而得到漫反射色明暗圖和反射率圖，從而完成本征圖像分解。未來的研究方向是將本文所提出的基于反射模型的本征圖像分解算法引入到圖像渲染中，使得對單幅圖像的光照渲染更加貼近于現(xiàn)實(shí)。

參考文獻(xiàn)

[1] Barrow H G， Tenenbaum J M. Recovering Intrinsic Scene Characteristics from Images[J]. Journal of Fujian Commercial College， 1978.

[2] Tappen M F， Freeman W T， Adelson E H. Recovering intrinsic images from a single image.[J].Pattern Analysis & Machine Intelligence IEEE Transactions on，2005，27（9）：1459.

[3] Shen L， Tan P，Lin S.Intrinsic image decomposition with non-local texture cues[J]. Proc IEEE Cvpr，2008：1-7.

[4] Zhao Q，Tan P，Dai Q，et al.A Closed-Form Solution to Retinex with Nonlocal Texture Constraints[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2012，34（7）：1437.

[5] Shen L， Yeo C. Intrinsic images decomposition using a local and global sparse representation of reflectance[J].2011，32（14）：697-704.

[6] Bi S， Han X，Yu Y.An L 1 image transform for edge-preserving smoothing and scene-level intrinsic decomposition[J].Acm Transactions on Graphics，2015，34（4）：1-12.

[7] Bousseau A，Paris S，Durand F.User-assisted intrinsic images[J].Acm Transactions on Graphics，2009，28（5）：89-97.

[8] Chen Q，Koltun V.A Simple Model for Intrinsic Image Decomposition with Depth Cues[C]//.International Conference on Computer Vision.2013.

[9] 朱堯，喻秋.基于非參數(shù)化采樣的單幅圖像深度估計[J].計算機(jī)應(yīng)用研究，2016，7（33）：78.

[10] Choudhury B，Chandran S.A Survey of Image-based Relighting Techniques[C]//GRAPP.2006.

[11] Debevec P，Hawkins T，Tchou C，et al.Acquiring the reflectance field of a human face[C]//.Conference on Computer Graphics and Interactive Techniques.2000.

[12] Ren P，Dong Y，Lin S，et al. Image based relighting using neural networks[J].Acm Transactions on Graphics，2015，34（4）：1-12.

[13] Shen H L， Cai Q Y.Simple and efficient method for specularity removal in an image[J].Applied Optics，2009，48（14）：2711.

[14] Neverova N，Muselet D，Trémeau A.Lighting Estimation in Indoor Environments from Low-Quality Images[M]//Computer Vision–ECCV 2012.Workshops and Demonstrations. Springer Berlin Heidelberg，2012：380-389.