郎思祺,陳純毅,申忠業(yè),胡小娟,于海洋

(長春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,長春 130022)

0 引 言

蒙特卡羅路徑追蹤算法能夠渲染出具有真實(shí)感的三維場景圖像,但由于其方差收斂速度慢導(dǎo)致在低采樣率下會(huì)產(chǎn)生嚴(yán)重的噪聲問題.圖像去噪算法可以有效降低結(jié)果圖像中的噪聲[1,2],但在去噪的過程中往往會(huì)造成圖像細(xì)節(jié)的丟失,因此如何在短時(shí)間內(nèi)進(jìn)行去噪的同時(shí)盡可能保留圖像細(xì)節(jié)是圖形學(xué)中研究的熱點(diǎn)問題.

Rousselle等[3]利用非局部均值濾波器對圖像進(jìn)行平滑去噪,但由于缺乏對場景特征信息的考量,導(dǎo)致結(jié)果圖像的細(xì)節(jié)存在一定程度缺失.一些方法根據(jù)從噪聲圖像中獲取的信息來設(shè)置濾波器參數(shù),如深度、法線或反照率等輔助特征,這些額外的信息可以用于指導(dǎo)非局部均值濾波器和雙邊濾波器重構(gòu)圖像.Yang等[4]對反照率特征圖進(jìn)行預(yù)濾波,再通過結(jié)構(gòu)相似性改進(jìn)非局部均值濾波器權(quán)值,有效保留了結(jié)果圖像的細(xì)節(jié),但在復(fù)雜場景下其算法的去噪效果不夠理想.Cao等[5]提出一種利用排序聚類的局部濾波框架,有效解決了去噪過程中的邊緣模糊問題.

為了進(jìn)一步提升去噪效果,自適應(yīng)渲染算法被提出[6],通過優(yōu)化采樣點(diǎn)的分布并重構(gòu)像素光照值,有效提升了結(jié)果圖像質(zhì)量.Liu等[7]使用SURE作為無參考誤差估計(jì)度量,能夠較為準(zhǔn)確地分配樣本,但由于濾波過平滑導(dǎo)致細(xì)節(jié)損失嚴(yán)重.Xing[8]通過估算相對均方誤差來指導(dǎo)自適應(yīng)采樣,但由于誤差度量方法不夠先進(jìn)導(dǎo)致沒有使去噪效果達(dá)到最優(yōu).Liu等[9]通過基于特征的重構(gòu)來去除蒙特卡羅噪聲,但耗時(shí)較長.Xing[10]通過神經(jīng)網(wǎng)絡(luò)預(yù)測濾波器最優(yōu)重構(gòu)參數(shù),使最終圖像質(zhì)量大幅提升,但其沒有考慮特征圖中的噪聲傳遞問題.Kuznetsov等[11]利用神經(jīng)網(wǎng)絡(luò)預(yù)測采樣密度圖引導(dǎo)自適應(yīng)采樣,但需要花費(fèi)大量時(shí)間來訓(xùn)練模型.Hasselgren等[12]將實(shí)時(shí)去噪與自適應(yīng)采樣相結(jié)合,保護(hù)了高頻區(qū)域的圖像細(xì)節(jié),獲得了高保真的渲染結(jié)果.

Xin等[13]利用深度卷積網(wǎng)絡(luò)對蒙特卡羅噪聲圖像進(jìn)行快速重構(gòu),但在低采樣樣本下不能很好地保留場景細(xì)節(jié),容易造成圖像模糊.Iik等[14]提出的深度學(xué)習(xí)方法有效減少了訓(xùn)練時(shí)間,并能夠以每像素1個(gè)采樣點(diǎn)引導(dǎo)路徑追蹤算法.Gharbi等[15]提出一種新穎的樣本噴濺方法,雖然計(jì)算成本和存儲(chǔ)空間較大,但獲得了更好的結(jié)果.Huo等[16]提出兩個(gè)網(wǎng)絡(luò)分別用于指導(dǎo)自適應(yīng)采樣和濾波重構(gòu),但在鏡面材質(zhì)下去噪效果一般.Firmino等[17]通過SURE作為誤差估計(jì)度量,結(jié)合去噪后的圖像和原噪聲圖像進(jìn)一步去噪,取得了不錯(cuò)的效果.Fan等[18]提出了一種以實(shí)時(shí)幀速率對低采樣數(shù)下蒙特卡羅路徑追蹤圖像去噪的方法,大幅降低了去噪時(shí)間,但其算法占用的內(nèi)存空間較大.Lin等[19]提出了一種新的去噪管道,通過處理3個(gè)尺度特征(像素、樣本和路徑)以保留清晰的圖像細(xì)節(jié).Zheng等[20]提出一種集成去噪技術(shù),結(jié)合了多個(gè)單獨(dú)的蒙特卡羅去噪器,但其算法效率較低.Yu等[21]提出了一種基于自我注意的蒙特卡羅去噪深度學(xué)習(xí)網(wǎng)絡(luò),利用輔助特征引導(dǎo)自我注意機(jī)制進(jìn)行圖像去噪.

上述去噪算法主要存在以下問題:在復(fù)雜場景下特征圖存在大量噪聲,由于缺少對特征圖的預(yù)處理導(dǎo)致噪聲傳遞到結(jié)果圖像;濾波重構(gòu)階段運(yùn)算時(shí)間長且濾波器收斂速度慢,無法在短時(shí)間內(nèi)重構(gòu)出具有高質(zhì)量紋理細(xì)節(jié)的結(jié)果圖像.針對上述問題,本文提出一種視覺驅(qū)動(dòng)梯度域?yàn)V波重構(gòu)的自適應(yīng)渲染算法.利用引導(dǎo)濾波器對特征圖進(jìn)行預(yù)濾波,有效降低由于特征圖造成的噪聲傳遞問題;在濾波重構(gòu)階段利用人眼視覺感知的局限性來降低算法消耗,通過顯著性閾值判斷,在人眼熱衷于觀看的區(qū)域利用改進(jìn)后的雙邊濾波器進(jìn)行濾波重構(gòu),非顯著區(qū)域利用均值濾波器重構(gòu),能夠在不降低圖像視覺觀看質(zhì)量的同時(shí)有效提升算法效率.

1 本文方法

本文提出的自適應(yīng)渲染算法流程圖如圖1所示.其中算法的關(guān)鍵步驟為濾波重構(gòu)階段和自適應(yīng)采樣階段.濾波重構(gòu)階段通過濾波器平滑濾波去除圖像噪聲,在數(shù)學(xué)上表現(xiàn)為降低均方誤差,濾波重構(gòu)的關(guān)鍵是為濾波器設(shè)置合適的重構(gòu)參數(shù),通常重構(gòu)參數(shù)越大去噪效果越好,但容易造成紋理細(xì)節(jié)的丟失,所以重構(gòu)階段的關(guān)鍵是在去除噪聲和保留細(xì)節(jié)之間取得平衡.自適應(yīng)采樣階段通過增加誤差較大區(qū)域的采樣樣本數(shù)目來去除圖像噪聲,對于邊角等高頻區(qū)域的像素分配更多樣本,使其在降低噪聲的同時(shí)保留圖像細(xì)節(jié).

圖1 本文算法流程圖Fig.1 Flow diagram of the proposed algorithm

具體實(shí)施步驟如下:

步驟1.預(yù)渲染.利用蒙特卡羅路徑追蹤算法生成每像素采樣少量樣本的粗圖像,該階段獲取到的圖像含有大量噪聲,將此圖像作為算法的輸入;

步驟2.特征提取及預(yù)處理.從上一階段渲染的粗圖像中提取深度、法線、紋理等特征,同時(shí)對特征圖進(jìn)行預(yù)濾波;

步驟3.濾波重構(gòu)并計(jì)算誤差度量值.獲取圖像的視覺顯著性信息來驅(qū)動(dòng)濾波器的選擇,對噪聲圖像進(jìn)行濾波重構(gòu)以去除噪聲,然后估計(jì)當(dāng)前像素值和真實(shí)值的誤差;

步驟4.自適應(yīng)分配樣本.根據(jù)像素誤差水平在每像素分配相應(yīng)的采樣樣本;

步驟5.判斷是否還有剩余的樣本,如果沒有則結(jié)束渲染流程輸出結(jié)果圖像,否則繼續(xù)投射樣本進(jìn)行渲染.

1.1 特征預(yù)處理

特征圖可以用于指導(dǎo)濾波器重構(gòu)圖像,但在含有諸如運(yùn)動(dòng)模糊、景深等復(fù)雜渲染區(qū)域的場景下特征圖會(huì)產(chǎn)生大量噪聲.圖2展示了不同場景下的幾種特征圖,其中包括深度圖、法向量圖和紋理圖,可以看到特征圖在場景紋理細(xì)節(jié)豐富的區(qū)域含有較多噪聲.為了減少特征圖中噪聲對最終重構(gòu)結(jié)果的影響,本文利用特征圖獲取到的梯度圖作為引導(dǎo)濾波器的引導(dǎo)圖,通過引導(dǎo)濾波器對初始探索場景得到的特征圖像進(jìn)行預(yù)濾波.

圖2 特征圖和全局梯度圖Fig.2 Characteristic graph and global gradient graph

首先利用Sobel算子求出特征圖的局部梯度圖,然后將每個(gè)特征圖的局部梯度圖像gk歸一化后取最大值得到全局梯度圖像g,如公式(1)所示:

(1)

利用全局梯度圖像g作為引導(dǎo)濾波器的引導(dǎo)圖,對原始含噪特征圖進(jìn)行預(yù)濾波.引導(dǎo)濾波器是一種用于保護(hù)邊緣細(xì)節(jié)的平滑濾波器,能夠有效去除含噪圖像噪聲,引導(dǎo)濾波器把窗口中的每個(gè)像素i都看作是引導(dǎo)圖像I在相同位置上的線性變化,公式上可以表示為[4]:

(2)

圖3 特征預(yù)處理Fig.3 Feature pre filtering

1.2 視覺顯著性驅(qū)動(dòng)濾波重構(gòu)

在濾波重構(gòu)階段開始前,首先獲取圖像的視覺顯著性信息.視覺顯著性是指在某一場景中的元素吸引人眼注意力能力的強(qiáng)弱.本文采用RC算法對圖像進(jìn)行顯著性檢測,圖4展示了不同場景下的顯著性圖.本文通過顯著性閾值過濾出顯著區(qū)域和非顯著區(qū)域,對于顯著性閾值的設(shè)置過大會(huì)使得到的顯著區(qū)域過小導(dǎo)致最終結(jié)果圖像細(xì)節(jié)描繪不佳;而顯著性閾值過小則會(huì)使顯著區(qū)域過大導(dǎo)致算法去噪的運(yùn)算效率降低,經(jīng)實(shí)驗(yàn)將顯著性閾值t設(shè)置為0.1.

圖4 不同場景下的顯著性圖Fig.4 Saliency map under different scenes

1.3 融合梯度信息的雙邊濾波重構(gòu)

對于篩選出的顯著區(qū)域即人眼視覺熱衷于關(guān)注的區(qū)域采用雙邊濾波器進(jìn)行濾波重構(gòu),雙邊濾波器考慮了像素之間的距離關(guān)系和顏色值差異,使其能夠保留圖像的邊緣高頻信息.其中雙邊濾波器的參數(shù)wij定義為[8]:

(3)

(4)

(5)

與法向量或深度等其他特征相比,梯度特征與真實(shí)情況更為接近,能夠提取到更多細(xì)節(jié),同時(shí)如果濾波器在梯度域收斂,則改進(jìn)的雙邊濾波器在其他空間域也接近收斂.基于以上結(jié)論,本文引入梯度信息來加快濾波器的收斂速度以提高算法效率,使整個(gè)渲染算法能在更低的樣本下獲取到更高質(zhì)量的結(jié)果圖像.

首先利用Sobel算子獲取圖像的梯度信息,再利用求得的梯度信息來改進(jìn)雙邊濾波器,結(jié)合公式(3)和公式(5)可得:

i=

(6)

(7)

(8)

根據(jù)指數(shù)函數(shù)的泰勒級數(shù)展開,可將公式(8)改寫為:

(9)

1.4 均值濾波重構(gòu)

在非顯著區(qū)域采用運(yùn)算速度快的均值濾波器進(jìn)行圖像濾波重構(gòu),均值濾波的公式如:

(10)

(11)

圖5所示是本文算法在濾波重構(gòu)前后的對比圖,從框選區(qū)域標(biāo)注的細(xì)節(jié)圖上可以看出,重構(gòu)后結(jié)果圖像中的噪聲被有效移除,同時(shí)還保留了大量紋理細(xì)節(jié).

1.5 自適應(yīng)采樣

自適應(yīng)采樣階段通過對像素分配采樣樣本,能夠在進(jìn)一步提升去噪效果的同時(shí)更好的表現(xiàn)圖像細(xì)節(jié).在自適應(yīng)采樣過程中,需要對估計(jì)的像素誤差值的準(zhǔn)確率進(jìn)行評估.使用SURE[17]來評估估計(jì)值和真實(shí)值之間的誤差:

(12)

(13)

其中wij表示基于濾波器的重構(gòu)方法的參數(shù),σc表示顏色域中樣本的標(biāo)準(zhǔn)差.最后像素的誤差度量值定義為:

(14)

式中ε設(shè)為0.01防止除零.由于人眼視覺系統(tǒng)在較黑暗的地方對噪聲更為敏感,所以在分母中加入光照值的平方,使更多樣本分配到黑暗區(qū)域.同時(shí)設(shè)置誤差度量值閾值,對誤差度量值不同的區(qū)域分配不同數(shù)目的樣本:

(15)

其中誤差度量值閾值φ{(diào)φ1,φ2,φ3}設(shè)置為{5×10-3,1×10-2,2×10-2},每像素可能分配到的采樣數(shù)α{α1,α2,α3,α4}分別設(shè)置為{1,2,4,8}.通過誤差度量值閾值判斷可以使每次迭代過程中將更多采樣樣本分配到誤差較大的區(qū)域,有效提升了去噪效率.

圖6展示了不同場景下的采樣點(diǎn)密度圖,可以看到在邊緣高頻區(qū)域的亮度更高,表示分配到了更多的樣本,從結(jié)果圖像可以看出,亮度更高的邊緣高頻區(qū)域渲染效果更好,紋理細(xì)節(jié)更為豐富.

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)利用PBRT平臺(tái)進(jìn)行渲染,實(shí)驗(yàn)環(huán)境為Intel(R)Core(TM)-8700@3.20GHzCPU,8GB內(nèi)存,測試場景選擇PBRT平臺(tái)官方通用場景.本文與傳統(tǒng)蒙特卡羅路徑追蹤渲染算法MC、多特征非局部均值濾波去噪算法MFNLM[4]和基于SURE的去噪算法PD[17]算法進(jìn)行了對比.

公式(3)中σr指定為4,m設(shè)為3表示3種特征,其中法向量、紋理、和深度的標(biāo)準(zhǔn)差分別設(shè)為0.4、0.125和0.3.MFNLM算法以及PD算法的參數(shù)均遵照原文中提到的參數(shù)進(jìn)行設(shè)置.評價(jià)標(biāo)準(zhǔn)是在同一采樣水平下的渲染結(jié)果圖像質(zhì)量.其中客觀評價(jià)指標(biāo)采用峰值信噪比PSNR(Peak Signal to Noise Ratio)和結(jié)構(gòu)相似性SSIM(Structural Similarity),兩項(xiàng)指標(biāo)數(shù)值越大越好.在算法效率方面,本文通過渲染時(shí)間來比較幾種算法的時(shí)間復(fù)雜度.

2.2 場景對比

圖7所示為killeroos-moving場景的渲染結(jié)果對比圖,該場景分辨率為1024×1024.其中圖7(a)是本文算法的渲染結(jié)果,圖7(b)～圖7(e)是本文算法與其他算法的細(xì)節(jié)對比,所有方法均設(shè)置為每像素4個(gè)采樣點(diǎn),圖7(f)參考圖像采用8192個(gè)采樣點(diǎn).由于該場景中含有部分運(yùn)動(dòng)模糊區(qū)域,導(dǎo)致MC方法生成的圖像受噪聲影響嚴(yán)重,如圖7(b)所示MC算法的結(jié)果圖像產(chǎn)生了大量噪點(diǎn),MFNLM算法利用結(jié)構(gòu)相似性改進(jìn)濾波器權(quán)值重構(gòu)圖像,但是由于特征圖中的噪聲傳遞,導(dǎo)致圖7(c)結(jié)果圖像的去噪效果一般,PD算法的去噪效果優(yōu)于MFNLM算法和MC算法,但在樣本較低的條件下無法處理高頻區(qū)域存在的噪聲問題.本文算法在濾波重構(gòu)階段融合梯度信息進(jìn)行濾波重構(gòu)有效提高了結(jié)果圖像質(zhì)量.表1展示了該場景下幾種算法的數(shù)據(jù)對比,MC算法由于存在大量噪聲,PSNR值很低,MFNLM算法和PD算法的PSNR值有一定提升,但沒有達(dá)到最優(yōu),從表中可以看到本文算法的PSNR值最高且渲染時(shí)間最短,在相同采樣數(shù)下能高效地渲染出與參考圖像更為接近的結(jié)果圖像.

表1 killeroos-moving場景數(shù)據(jù)對比Table 1 Comparison of data for scene killeroos-moving

圖7 killeroos-moving場景Fig.7 Comparison for scene killeroos-moving

圖8所示為bluesphere場景的渲染結(jié)果對比,該場景分辨率為800×800.圖8(a)是本文算法的渲染結(jié)果,圖8(b)～圖8(e)是本文算法與其他算法的細(xì)節(jié)對比,所有算法均設(shè)置為每像素8個(gè)采樣點(diǎn),圖8(f)參考圖像采用8192個(gè)采樣點(diǎn).如圖8(b)所示MC算法存在尖銳的噪聲,圖8(c)中MFNLM算法會(huì)模糊圖像細(xì)節(jié),圖8(d)中PD算法的細(xì)節(jié)圖可以看出,在球體上的黑色高頻邊緣部分,PD算法造成了較大的細(xì)節(jié)損失.本文算法首先經(jīng)過特征圖預(yù)處理,解決了由于特征圖而產(chǎn)生的噪聲傳遞問題,大幅降低了圖像噪聲.表2展示了該場景下幾種算法的數(shù)據(jù)對比,MFNLM算法在重構(gòu)過程中由于濾波過平滑導(dǎo)致紋理細(xì)節(jié)損失嚴(yán)重,SSIM值較低,本文算法的PSNR相比于PD算法有大幅提升,在算法效率方面,由于本文通過視覺顯著性信息劃分濾波重構(gòu)區(qū)域使得算法效率獲得較大提升,相比于PD算法運(yùn)行時(shí)間降低7.6%,在視覺效果上本文算法也比PD算法具有更好的觀感.

表2 bluesphere場景數(shù)據(jù)對比Table 2 Comparison of data for scene bluesphere

圖8 bluesphere場景Fig.8 Comparison for scene bluesphere

圖9所示為teapot-metal場景的渲染結(jié)果對比,該場景分辨率為800×800.圖9(a)是本文算法的渲染結(jié)果,圖9(b)～圖9(e)是本文算法與其他算法的細(xì)節(jié)對比,所有算法均設(shè)置為每像素8個(gè)采樣點(diǎn),圖9(f)參考圖像采用8192個(gè)采樣點(diǎn).該場景的茶壺和地面紋理效果較為復(fù)雜,容易丟失細(xì)節(jié).從圖9(c)細(xì)節(jié)框圖中可以看出,MFNLM算法在該場景下不能很好地表現(xiàn)出地面紋理細(xì)節(jié),從圖9(d)中看到PD算法在茶壺把手位置產(chǎn)生了尖銳噪聲,且無法表現(xiàn)出優(yōu)質(zhì)的光照效果.MFNLM算法和PD算法由于缺少特征圖預(yù)處理,所以在高頻區(qū)域存在明顯噪聲.從圖9(e)中可以看到本文算法的去噪效果優(yōu)于其他算法,同時(shí)表現(xiàn)出優(yōu)質(zhì)的紋理細(xì)節(jié),與參考圖像最為接近.表3展示了幾種算法的數(shù)據(jù)對比,其中MC算法PSNR值最低,結(jié)果圖像效果很差,MFNLM算法去噪效果一般,PSNR值比較低,在該場景下本文算法的PSNR值高于PD算法,SSIM指標(biāo)也有大幅提升,同時(shí)在渲染效率方面本文算法也優(yōu)于其他算法.

表3 teapot-metal場景數(shù)據(jù)對比Table 3 Comparison of data for scene teapot-metal

圖9 teapot-metal場景Fig.9 Comparison for scene teapot-metal

2.3 算法局限性分析

本文算法雖然有效提升了渲染效率及質(zhì)量,但也存在部分局限性.如圖9中teapot-metal場景的對比圖,PD算法對地面的描繪優(yōu)于本文算法,其算法保留了更多地面紋理細(xì)節(jié).通過更多實(shí)驗(yàn)發(fā)現(xiàn),在少部分場景下也同樣存在該問題,這是由于在視覺顯著性驅(qū)動(dòng)濾波重構(gòu)階段的區(qū)域劃分不夠優(yōu),部分復(fù)雜且視覺關(guān)注度較高的區(qū)域未能劃分為顯著區(qū)域,導(dǎo)致該部分區(qū)域僅通過均值濾波進(jìn)行快速重構(gòu),雖然在算法效率上取得提升,但損失掉了部分紋理細(xì)節(jié).在未來的工作中考慮通過深度學(xué)習(xí)的方法來劃分顯著區(qū)域以提升算法的魯棒性.

3 總 結(jié)

本文提出一種視覺驅(qū)動(dòng)梯度域?yàn)V波重構(gòu)的自適應(yīng)渲染算法.首先通過引導(dǎo)濾波器對含噪特征圖進(jìn)行預(yù)濾波以降低噪聲傳遞,然后利用視覺顯著性驅(qū)動(dòng)融合梯度信息的雙邊濾波器對顯著區(qū)域進(jìn)行高質(zhì)量濾波重構(gòu),對于視覺顯著性較低區(qū)域進(jìn)行快速均值濾波重構(gòu),最后使用SURE無偏估計(jì)作為誤差評價(jià)指標(biāo),引導(dǎo)更多采樣點(diǎn)分布在渲染復(fù)雜區(qū)域.實(shí)驗(yàn)結(jié)果表明,本文算法能夠在短時(shí)間內(nèi)渲染出具有高保真紋理細(xì)節(jié)的低噪聲圖像,本文算法在各項(xiàng)客觀評價(jià)指標(biāo)上均優(yōu)于所對比算法.