馮 潔，李 博，周秉鋒

基于像素聚類的空間變化表面材質(zhì)建模

馮 潔1,2，李 博1，周秉鋒1,2

(1. 北京大學(xué)王選計(jì)算機(jī)研究所，北京 100871； 2.大數(shù)據(jù)分析與應(yīng)用技術(shù)國(guó)家工程實(shí)驗(yàn)室，北京 100871)

針對(duì)空間變化表面材質(zhì)的反射屬性提出了一種基于圖像的輕量化建模方法。僅需利用消費(fèi)級(jí)手機(jī)，在環(huán)境光和點(diǎn)光源下分別對(duì)平面材質(zhì)樣本拍攝一幅圖像，即可計(jì)算重建其表面的雙向反射分布函數(shù)(svBRDFs)參數(shù)圖、法向量圖、切向量圖等材質(zhì)屬性。其中對(duì)BRDF參數(shù)的擬合采用了一種基于像素聚類的策略，即假定具有相似外觀和結(jié)構(gòu)特征的像素屬于同種材質(zhì)、共用一組參數(shù)，從而大幅降低參數(shù)擬合的難度。在此基礎(chǔ)上，通過(guò)一種新的迭代多步優(yōu)化方案對(duì)全局和空間變化的參數(shù)進(jìn)行擬合，產(chǎn)生高分辨率的BRDF參數(shù)紋理圖。該方法不依賴特殊設(shè)備，也無(wú)需采集海量數(shù)據(jù)，就能夠?yàn)榘ń饘俨馁|(zhì)、各向異性材質(zhì)等在內(nèi)的多種類表面材質(zhì)產(chǎn)生高質(zhì)量的BRDF參數(shù)圖，以及高真實(shí)感的基于物理的繪制結(jié)果，因此更易于實(shí)現(xiàn)和應(yīng)用。

表面材質(zhì)建模；空間變化材質(zhì)；基于圖像的繪制；雙向反射分布函數(shù)；像素聚類

計(jì)算機(jī)圖形學(xué)中，基于物理的繪制方面已經(jīng)有了大量的研究，但其反問(wèn)題，即從已繪制或拍攝的圖像中恢復(fù)物體表面的物理屬性，仍然是一個(gè)不適定問(wèn)題。另一方面，真實(shí)物體的表面材質(zhì)往往呈現(xiàn)空間變化的屬性，即在表面不同位置上具有不同的反射屬性，這也增加了材質(zhì)建模的難度。這類材質(zhì)一般采用空間變化的雙向反射分布函數(shù)(spatially varying bidirectional reflectance distribution functions，svBRDFs)進(jìn)行描述。svBRDF常采用參數(shù)紋理圖的形式進(jìn)行存儲(chǔ)，其為緊湊而靈活的存儲(chǔ)方式，便于進(jìn)行繪制和編輯。

現(xiàn)有的基于圖像的雙向反射分布函數(shù)(BRDFs)獲取方法對(duì)硬件設(shè)備都有不同程度的要求，對(duì)表面材質(zhì)的適用范圍也有所不同[1]。因此，表面材質(zhì)建模方法需要在數(shù)據(jù)獲取代價(jià)、方法的通用性及重建結(jié)果質(zhì)量等各方面之間找到平衡。近年來(lái)研究者們提出了一系列輕量化的表面材質(zhì)獲取和建模方案[2-4]。為了簡(jiǎn)化問(wèn)題，許多工作集中于平面上的空間變化材質(zhì)建模，并通過(guò)對(duì)材質(zhì)進(jìn)行分類或線性組合提高建模的效率。現(xiàn)有工作中存在的局限性一方面是對(duì)硬件和拍攝環(huán)境的要求，另一方面是對(duì)某些類型的材質(zhì)無(wú)法有效重建，如非重復(fù)性紋理材質(zhì)、各向異性材質(zhì)等。

本文針對(duì)平面材質(zhì)樣本，提出了一種輕量化的空間變化材質(zhì)建模新方法。其建立在像素聚類的基礎(chǔ)上，即：材質(zhì)樣本圖像中具有相似外觀和結(jié)構(gòu)特征的像素被記為一類，且被假定屬于同種材質(zhì)、共用同一組BRDF參數(shù)。隨后，通過(guò)一種迭代的多步優(yōu)化過(guò)程，可以擬合出各類材質(zhì)的BRDF參數(shù)。

本文方法可廣泛用于捕獲多種類型表面材質(zhì)的反射屬性，包括金屬表面及各向異性表面材質(zhì)，而輸入最少僅需要每種材質(zhì)樣本在不同光照下的2幅圖像。輸入圖像的獲取也不需要專用設(shè)備，可使用普通消費(fèi)型相機(jī)或智能手機(jī)進(jìn)行拍攝。表面材質(zhì)的建模結(jié)果以高分辨率的svBRDF參數(shù)紋理圖的形式存儲(chǔ)，可直接應(yīng)用于表面材質(zhì)的繪制。為保證材質(zhì)建模結(jié)果與真實(shí)世界中的物理反射屬性相符，還利用幾幅校準(zhǔn)圖像對(duì)相機(jī)及光源進(jìn)行校準(zhǔn)，從而減少圖像拍攝環(huán)境帶來(lái)的誤差。本文提出的空間變化材質(zhì)建模流水線簡(jiǎn)便易用，可以產(chǎn)生高真實(shí)感的基于物理繪制的表面紋理。

1 相關(guān)工作

傳統(tǒng)的BRDF測(cè)量方法依賴于特制的設(shè)備，例如角度反射測(cè)量?jī)x(gonioreflectometers)[5-7]，或其他專用測(cè)量系統(tǒng)[8-9]。近年來(lái)，研究者們提出了多種基于圖像的表面材質(zhì)建模的工作，只需要利用通用型相機(jī)即可重建物體的幾何形狀和表面材質(zhì)模型[2,10-11]。文獻(xiàn)[1]對(duì)此進(jìn)行了較為完整的綜述與分類。本文著重研究的是表面材質(zhì)快速建模的輕量化方法，因此將重點(diǎn)關(guān)注采用較少材質(zhì)樣本圖像或簡(jiǎn)化圖像采集設(shè)備(如手機(jī))的相關(guān)工作。

一些方法采用移動(dòng)設(shè)備采集的視頻對(duì)表面材質(zhì)進(jìn)行建模。如文獻(xiàn)[12]中提出了2種啟發(fā)式算法進(jìn)行表面材質(zhì)建模，其輸入為手機(jī)或平板電腦拍攝的表面材質(zhì)視頻(以手機(jī)閃光燈或平板液晶屏作為光源)。HUI等[13]采用了相似的系統(tǒng)配置，實(shí)現(xiàn)了一種基于字典的BRDF建模。但上述方法均無(wú)法重建各向異性表面材質(zhì)。ALBERT等[4]的工作利用了第二條視頻流來(lái)獲得更廣泛的觀察范圍，從而改進(jìn)復(fù)雜表面材質(zhì)的重建質(zhì)量。

基于視頻的表面材質(zhì)重建方法通常需要從記錄的視頻中抽取多達(dá)數(shù)百幅的圖像作為輸入。為了降低圖像采集的復(fù)雜度，AITTALA等[3]提出了一種輕量化的方法，僅需輸入在自然光和閃光燈下拍攝的2幅圖像即可。該方法將圖像分割成正方形小塊，并利用不同塊之間的相似性，計(jì)算出高質(zhì)量的BRDF參數(shù)圖。然而，該方法的相似性策略只能應(yīng)用于具有重復(fù)性紋理的表面材質(zhì)。本文采用了類似的系統(tǒng)設(shè)置。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)也被用于解決表面材質(zhì)建模問(wèn)題。其通常需要一組圖像用于預(yù)測(cè)空間變化的BRDF參數(shù)。如AITTALA等[14]提出了一種基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格化紋理遷移方法。LI等[15]通過(guò)訓(xùn)練一個(gè)CNN實(shí)現(xiàn)了從單幅圖像中重建svBRDF的方法。隨后該工作被擴(kuò)展到可以支持任意分辨率和數(shù)量的輸入圖像[16]。在另一項(xiàng)工作中，LI等[17]將表面材質(zhì)分為幾個(gè)類，并通過(guò)一個(gè)分類器對(duì)各類材質(zhì)分配權(quán)重從而進(jìn)行混合。

2 方法概述

圖1為本文的主要工作流程。給定一個(gè)平面材質(zhì)樣本，可使用通用相機(jī)或智能手機(jī)在固定的位置對(duì)其拍攝2幅圖像：一幅在自然漫反射光照環(huán)境下拍攝，稱為環(huán)境光圖像；另一幅是在點(diǎn)光源下拍攝，稱為點(diǎn)光源圖像。

圖1 本文基于圖像對(duì)及像素聚類的空間變化材質(zhì)建模方法主要流程

環(huán)境光圖像用于檢測(cè)材質(zhì)樣本中的相似部分，并據(jù)此將圖像像素進(jìn)行聚類。同時(shí)可用于提取圖像中由于材質(zhì)表面凹凸造成的局部對(duì)比度等豐富細(xì)節(jié)。點(diǎn)光源圖像直接反映了材質(zhì)的反射屬性，因此，在BRDF建模過(guò)程中被用作參數(shù)優(yōu)化的目標(biāo)。由于數(shù)碼相機(jī)的動(dòng)態(tài)范圍有限，對(duì)于具有強(qiáng)烈鏡面反射的材質(zhì)，可以在不同曝光時(shí)間下拍攝多幅點(diǎn)光源圖像，并進(jìn)行高動(dòng)態(tài)范圍(high dynamic range，HDR)重建。

除此之外，本文方法還引入了數(shù)張校準(zhǔn)圖像，包括一幅標(biāo)準(zhǔn)灰板圖像及一組色板圖像，用于消除與材質(zhì)反射屬性無(wú)關(guān)因素的影響，如相機(jī)響應(yīng)函數(shù)、光照強(qiáng)度等。

于是，上述BRDF擬合問(wèn)題可以通過(guò)最優(yōu)化方法求解。本文方法將產(chǎn)生高分辨率的反射屬性參數(shù)紋理圖，包括一組svBRDF參數(shù)圖像、法向量和切向量圖、以及2個(gè)全局的BRDF參數(shù)。這些參數(shù)紋理圖可以直接用于在新光照和視點(diǎn)下繪制該平面材質(zhì)，也可以映射到3D幾何模型表面以增強(qiáng)其外觀真實(shí)感。

2.1 硬件配置及坐標(biāo)系

本文僅需使用一臺(tái)通用智能手機(jī)作為材質(zhì)樣本圖像采集設(shè)備，并以手機(jī)閃光燈作為點(diǎn)光源進(jìn)行照明。在拍攝環(huán)境光圖像、點(diǎn)光源圖像以及校準(zhǔn)圖像的過(guò)程中，使用了三腳架以保證所有圖像的對(duì)齊(圖2(a))。

在上述硬件配置下建立的系統(tǒng)坐標(biāo)系，如圖2(b)所示。材質(zhì)樣本被假定位于平面上，相機(jī)位置則位于軸上的=[0, 0, 1]。相機(jī)到平面的真實(shí)物理距離⊥通過(guò)手工測(cè)量，用于相機(jī)校準(zhǔn)過(guò)程中。對(duì)于點(diǎn)光源的位置，可取點(diǎn)光源圖像中亮度最高的10%像素，并計(jì)算加權(quán)平均位置作為其取值。另外本文還利用圖像中記錄的35 mm等效焦距35來(lái)計(jì)算像素對(duì)應(yīng)的單位物理長(zhǎng)度。

圖2 圖像拍攝環(huán)境和系統(tǒng)設(shè)定((a)拍攝設(shè)備和環(huán)境； (b)坐標(biāo)系設(shè)定)

2.2 繪制模型

在點(diǎn)光源環(huán)境下，本文采用簡(jiǎn)單的逐點(diǎn)繪制方式，即

其中，為像素的位置；和分別為指向和的單位向量；(?)為BRDF。需要注意的是，雖然場(chǎng)景輻射度(radiance)與到達(dá)相機(jī)傳感器上某個(gè)像素的照度(irradiance)成正比，但在不同像素上該比例因子差異很大，是造成圖像四周暗角的原因[18]。因此，為了簡(jiǎn)便，本文將像素照度看作是入射的場(chǎng)景輻射度，同樣記做。此外，為點(diǎn)光源的強(qiáng)度；()=||-||為到點(diǎn)光源的距離；cosθ=()×。于是，本文的目標(biāo)就是根據(jù)材質(zhì)樣本在環(huán)境光和點(diǎn)光源下的2幅圖像，為每個(gè)像素恢復(fù)出一組BRDF參數(shù)，一個(gè)法向量及一個(gè)切向量。

本文采用了Disney “principled” BRDF模型的一個(gè)簡(jiǎn)化版本[19]，通過(guò)一組直觀的、可理解的參數(shù)進(jìn)行控制，參數(shù)的取值范圍為[0, 1]：

(1)：與材質(zhì)反照率相關(guān)的表面顏色，對(duì)漫反射及鏡面反射波瓣(lobe)都有影響；

(2)：電介質(zhì)模型(dielectric)和金屬模型(metallic)之間的混合參數(shù)；

(3)：鏡面反射強(qiáng)度參數(shù)；

(4)：將鏡面反射的顏色從白色著色為；

(5)：對(duì)漫反射和鏡面反射波瓣的天頂角響應(yīng)都有影響；

(6)：材質(zhì)各向異性反射的程度，取值為0時(shí)退化為各向同性反射。

在BRDF參數(shù)優(yōu)化過(guò)程中，的初始值被設(shè)置為環(huán)境光圖像的顏色，和分別取初始值0.5，其余參數(shù)取0。

2.3 圖像校準(zhǔn)

為了使計(jì)算出的材質(zhì)表面反射屬性與真實(shí)世界中的特性相符，避免如相機(jī)、光源強(qiáng)度等外界因素的干擾，首先需要進(jìn)行圖像校準(zhǔn)。

2.3.1 相機(jī)響應(yīng)曲線的恢復(fù)

由于圖像中的像素顏色值與場(chǎng)景輻射度并非線性關(guān)系，因此需要建立二者之間的映射。為此，本文借鑒了HDR成像算法[20]中的響應(yīng)函數(shù)擬合以及從多幅低動(dòng)態(tài)范圍(low dynamic range, LDR)圖像中融合生成輻射度圖像的方法。生成一幅由20×15個(gè)具有隨機(jī)顏色的正方形色塊組成的色板校準(zhǔn)圖像(圖3(b))，將其顯示在一塊電子屏幕上并代替?zhèn)鹘y(tǒng)的Macbeth圖。在不同的曝光時(shí)間下，拍攝若干張?jiān)搱D像照片(圖3(c))，而后通過(guò)平均濾波器在每個(gè)色塊中產(chǎn)生一個(gè)平均顏色，即獲得300個(gè)相同曝光下的響應(yīng)函數(shù)采樣點(diǎn)(圖3(d))。于是通過(guò)最小二乘法求解出相機(jī)的響應(yīng)逆函數(shù)()，即從像素顏色值到輻射度和曝光時(shí)間的映射函數(shù) (圖3(e))。與原算法中單個(gè)像素的采樣相比，經(jīng)過(guò)濾波的采樣點(diǎn)對(duì)噪聲有更好的抵抗性。利用恢復(fù)出的函數(shù)()，點(diǎn)光源圖像可以映射為一幅輻射度圖。此外，采用多幅點(diǎn)光源圖像可以擴(kuò)展輻射度圖的動(dòng)態(tài)范圍。

圖3 用于相機(jī)校準(zhǔn)的圖像((a)灰板校準(zhǔn)圖像；(b)色板校準(zhǔn)圖像；(c)色板拍攝圖像； (d)色板降采樣圖像；(e)恢復(fù)的響應(yīng)曲線)

2.3.2 點(diǎn)光源強(qiáng)度的校準(zhǔn)

由于入射光和反射光強(qiáng)度同時(shí)乘以一個(gè)相同因子不會(huì)影響最終的繪制結(jié)果，因此要計(jì)算式(1)中的()，需要確定點(diǎn)光源的強(qiáng)度。為此，首先在點(diǎn)光源下對(duì)一塊標(biāo)準(zhǔn)灰板，即在各光譜上具有近似18%反射率的朗伯反射體，拍攝一幅灰板校準(zhǔn)圖像。已知灰板的反射率=0.18/π，與光源、視角及空間位置無(wú)關(guān)，于是可以通過(guò)逐像素除法和平均計(jì)算得到。

在拍攝材質(zhì)樣本的點(diǎn)光源圖像時(shí)，需保持相機(jī)的感光度(ISO)、光圈、白平衡等條件不變。于是目標(biāo)材質(zhì)的反射屬性即以灰板具有的、確定的絕對(duì)反射值為參考，而則成為一個(gè)中間變量。

3 BRDF參數(shù)擬合

空間變化材質(zhì)需要在每個(gè)像素上都計(jì)算出一組相應(yīng)的BRDF參數(shù)，因此若直接進(jìn)行參數(shù)擬合會(huì)面臨變量過(guò)多的情形。為了減少擬合優(yōu)化過(guò)程的變量數(shù)目，首先將圖像中的像素進(jìn)行聚類，同一類中的不同像素可被視為同種材質(zhì)在不同位置的觀察采樣，于是可以共用同一組BRDF參數(shù)。再經(jīng)過(guò)一個(gè)迭代計(jì)算過(guò)程，逐步對(duì)各組BRDF參數(shù)以及法向量圖進(jìn)行優(yōu)化。

基于參數(shù)間的依賴關(guān)系，每次迭代計(jì)算分為3步：①根據(jù)圖計(jì)算高度圖及法向量圖；②擬合全局變量和；③在每類內(nèi)優(yōu)化其余BRDF參數(shù)。每次迭代結(jié)束時(shí)，對(duì)空間變化的參數(shù)圖進(jìn)行高斯模糊，而同一類的參數(shù)平均值作為下一次迭代的優(yōu)化初始值。

3.1 像素聚類

多數(shù)的空間變化表面材質(zhì)是具有自相似屬性的，即：材質(zhì)表面可分解為有限個(gè)子集，每個(gè)子集內(nèi)具有相同的反射屬性。于是，根據(jù)反射屬性將材質(zhì)圖像中的像素聚類為一系列較小數(shù)目的子集{C|=1,···,}，則BRDF參數(shù)擬合可在每個(gè)子集上分別完成，降低了求解svBRDF模型的難度。在本文中，聚類數(shù)目取經(jīng)驗(yàn)值=500，能夠保留足夠的細(xì)節(jié)，且不會(huì)帶來(lái)過(guò)高的計(jì)算代價(jià)。

對(duì)像素進(jìn)行聚類的主要依據(jù)除了像素的顏色之外，還采用了一種BRIEF描述子[21]。該算子計(jì)算一個(gè)比特向量，描述了像素鄰域中的結(jié)構(gòu)信息，因此可以使聚類結(jié)果更好地抵抗不均勻光照帶來(lái)的影響。對(duì)于每個(gè)像素，設(shè)其RGB顏色值為ρ，其BRIEF描述子為ρ，二者共同構(gòu)成一個(gè)特征向量。于是，2個(gè)像素之間的距離可定義為

其中，||?||和||?||分別為歐式距離和漢明距離(Hamming distance)；為調(diào)節(jié)2種特征比重的權(quán)值，其缺省值取數(shù)值屬性的平均標(biāo)準(zhǔn)差除以BRIEF比特向量的長(zhǎng)度。在此基礎(chǔ)上，本文采用了k-prototypes算法[22]來(lái)實(shí)現(xiàn)像素的聚類。該算法是一種在混合類型數(shù)據(jù)上做聚類的k-means模擬算法，與標(biāo)準(zhǔn)k-means算法類似，迭代并將每個(gè)像素分配到具有最鄰近中心點(diǎn)的類中，隨后更新所有類的中心點(diǎn)，能夠同時(shí)處理數(shù)值屬性與非數(shù)值屬性。

像素聚類是在環(huán)境光圖像上完成的。本文先用主成分分析法將RGB顏色轉(zhuǎn)換為3個(gè)獨(dú)立色彩通道，然后在其中一個(gè)通道上計(jì)算聚類。為了考慮圖像中的多尺度結(jié)構(gòu)特征，與文獻(xiàn)[3]中的像素匹配步驟相似，BRIEF描述子的長(zhǎng)度分別取48，80和32，窗口大小分別取33，17和5，高斯模糊的標(biāo)準(zhǔn)偏差分別取4，2和0。注意環(huán)境光圖像與點(diǎn)光源輻射度圖必須在像素級(jí)別上對(duì)齊，為此需采用三腳架固定相機(jī)位置，也可以采用增強(qiáng)相關(guān)系數(shù)(enhanced correlation coefficient, ECC)最大化算法[23]進(jìn)行圖像對(duì)齊。

3.2 計(jì)算高度圖和法向量圖

為了進(jìn)一步減少數(shù)值優(yōu)化的自由度，本文采用高度圖估計(jì)的方法計(jì)算法向量圖，而不是與其他BRDF參數(shù)一起進(jìn)行優(yōu)化。

首先將上一步迭代過(guò)程中估計(jì)出的圖在灰度空間中進(jìn)行歸一化，使其平均灰度為0.5。然后，將環(huán)境光圖像除以歸一化的得到一幅陰影圖，并用解析模型[24]從陰影推導(dǎo)出對(duì)應(yīng)的高度(深度)

為了在不同尺度下恢復(fù)高度圖，需對(duì)陰影圖分別進(jìn)行次高斯濾波，每次采用不同的標(biāo)準(zhǔn)偏差r，按升序排列，得到一系列陰影圖{S}，以及增量陰影圖{l}，其中

對(duì){l}分別計(jì)算(?)，則深度圖可以由下式累加得到

注意l保持了平均灰度0.5，因此這里(l)減去1以保證各級(jí)別的平均深度值為0，從而可以將各級(jí)深度值求和。在計(jì)算中共選取了4級(jí)高斯偏差，分別為1，2，4和8。

隨后，通過(guò)在3D等值面上計(jì)算法向量，就可以從深度圖恢復(fù)出法向量圖。注意在第一次迭代中，環(huán)境光圖像與圖是相同的，因此所有的法向量初值都是垂直向上的。

3.3 全局BRDF參數(shù)優(yōu)化

當(dāng)法向量圖確定之后，就可以對(duì)每個(gè)類的BRDF參數(shù)進(jìn)行優(yōu)化計(jì)算。本文注意到和2個(gè)參數(shù)對(duì)材質(zhì)的反射屬性起到?jīng)Q定性的作用，因此將其設(shè)定為全局參數(shù)。

在計(jì)算中，采用了L-BFGS-B算法[25]對(duì)上述最優(yōu)化問(wèn)題進(jìn)行求解。

通過(guò)觀察可發(fā)現(xiàn)，在實(shí)際應(yīng)用中，參數(shù)的取值極少介于0于1之間。因此將這一參數(shù)簡(jiǎn)化為一個(gè)布爾值，通過(guò)手工標(biāo)注來(lái)設(shè)定，0表示非金屬材質(zhì)，1表示金屬材質(zhì)。

3.4 空間變化BRDF參數(shù)優(yōu)化

因此，切向量可以由參數(shù)決定，并與其他4項(xiàng)參數(shù)一起參與()的計(jì)算。對(duì)于每個(gè)像素分類，可以通過(guò)最小化繪制圖像的平均擬合殘差求解出上述參數(shù)，即

在計(jì)算中，擬合殘差|()?0()|采用偽胡伯損失函數(shù)(Pseudo-Huber loss)進(jìn)行計(jì)算，以保證接近0時(shí)有較好的連續(xù)性。

4 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)使用HUAWEI Honor 9智能手機(jī)對(duì)多種不同材質(zhì)樣本進(jìn)行了拍攝和建模，圖像分辨率為3968×2976。拍攝時(shí)的色溫、ISO和曝光時(shí)間利用手機(jī)的內(nèi)置程序進(jìn)行手動(dòng)設(shè)置。為了進(jìn)行圖像校準(zhǔn)，在拍攝灰板圖像、色板圖像以及點(diǎn)光源圖像時(shí)，ISO和色溫保持不變。

圖4給出了幾組用本文方法計(jì)算得到的表面材質(zhì)建模結(jié)果，其中包括每種材質(zhì)的，，，以及法向量圖、切向量圖等參數(shù)紋理圖。每種材質(zhì)樣本在相同光照下進(jìn)行重繪制的結(jié)果也與輸入的點(diǎn)光照?qǐng)D像進(jìn)行了對(duì)比?？梢钥吹奖疚闹亟ńY(jié)果很好地保留了空間變化材質(zhì)的反射屬性及細(xì)節(jié)特征，重繪制的結(jié)果與真實(shí)圖像吻合。

如圖5所示，可將計(jì)算的表面材質(zhì)模型映射到三維物體上，并在不同光照下進(jìn)行繪制，生成具有照片真實(shí)感的三維場(chǎng)景視圖。場(chǎng)景的繪制使用了開源3D繪制軟件Blender，及其基于物理的渲染器(https://www.blender.org/)。這一場(chǎng)景中包含了多種不同材質(zhì)，如金屬、陶瓷、絲綢、木材等等。場(chǎng)景的光照采用了一幅HDR的環(huán)境圖像以及若干點(diǎn)光源。繪制結(jié)果反映了材質(zhì)的鏡面反射以及各向異性反射等屬性特征。

圖4 利用本文方法對(duì)多種空間變化材質(zhì)進(jìn)行建模計(jì)算獲得的svBRDF參數(shù)圖以及重繪制結(jié)果

圖5 從輸入圖像對(duì)進(jìn)行材質(zhì)建模并重繪制的結(jié)果((a)輸入環(huán)境光圖像；(b)輸入點(diǎn)光源圖像； (c)重繪制點(diǎn)光源圖像；(d)三維場(chǎng)景繪制)

5 結(jié)束語(yǔ)

本文提出了一套對(duì)空間變化表面材質(zhì)進(jìn)行建模的流水線，其輸入僅需智能手機(jī)拍攝的2幅樣本圖像。該方法很好地平衡了算法的復(fù)雜度與結(jié)果的置信度，因此為表面材質(zhì)建模的研究和應(yīng)用給出了一個(gè)新的解決方案。

目前本文方法對(duì)材質(zhì)還存在一些假設(shè)條件，特別是將一些參數(shù)假定為全局變量。在應(yīng)用中，將設(shè)為全局參數(shù)，會(huì)帶來(lái)過(guò)度約束從而損失一些細(xì)節(jié)。因此未來(lái)工作中可考慮更復(fù)雜的像素聚類方法，如多層次細(xì)節(jié)的聚類，從而使一些關(guān)鍵參數(shù)可以在較粗糙的層次上進(jìn)行擬合。

此外，當(dāng)材質(zhì)的環(huán)境光圖像中有明顯的陰影時(shí)，容易對(duì)像素聚類和法向量計(jì)算產(chǎn)生誤導(dǎo)，從而降低材質(zhì)模型重建的準(zhǔn)確度。因此未來(lái)另一個(gè)改進(jìn)方向是消除陰影帶來(lái)的影響。

[1] GUARNERA D, GUARNERA G C, GHOSH A, et al. BRDF representation and acquisition[J]. Computer Graphics Forum, 2016, 35(2): 625-650.

[2] LENSCH H P A, KAUTZ J, GOESELE M, et al. Image-based reconstruction of spatial appearance and geometric detail[J]. ACM Transactions on Graphics, 2003, 22(2): 234-257.

[3] AITTALA M, WEYRICH T, LEHTINEN J, et al. Two-shot SVBRDF capture for stationary materials[J]. ACM Transactions on Graphics (TOG), 2015, 34(4): 1-13, 110.

[4] ALBERT R A, CHEN D Y, GOLDMAN D B, et al. Approximate svBRDF estimation from mobile phone video[C]//Eurographics Symposium on Rendering: Experimental Ideas & Implementations (SR’18). Goslar: Eurographics Association, 2018: 11-22.

[5] LI H, FOO S C, TORRANCE K E, et al. Automated three-axis gonioreflectometer for computer graphics applications[C]// Conference, Advanced Characterization Techniques for Optics, Semiconductors, and Nanotechnologies II (Optics and Photonics 2005). Ithaca: Cornell University. 2005: 58780S, 1-11.

[6] DANA K J, VAN GINNEKEN B, NAYAR S K, et al. Reflectance and texture of real-world surfaces[J]. ACM Transactions on Graphics (TOG), 1999, 18(1): 1-34.

[7] WARD G. Fast, robust image registration for compositing high dynamic range photographs from hand-held exposures[J]. Journal of Graphics Tools, 2003, 8(2): 17-30.

[8] DEBEVEC P, WENGER A, TCHOU C, et al. A lighting reproduction approach to live-action compositing[J]. ACM Transactions on Graphics (TOG), 2002, 21(3): 547-556.

[9] AITTALA M, WEYRICH T, LEHTINEN J. Practical SVBRDF capture in the frequency domain[J]. ACM Transactions on Graphics, 2013, 32: 110: 1-110: 12.

[10] DONG Y, WANG J P, TONG X, et al. Manifold bootstrapping for SVBRDF capture[J]. ACM Transactions on Graphics, 2010, 29(4): 1-10.

[11] DONG Y, TONG X, PELLACINI F, et al. AppGen: interactive material modeling from a single image[J]. ACM Transactions on Graphics, 2011, 30(6): 146: 1-146: 10.

[12] RIVIERE J, PEERS P, GHOSH A. Mobile surface reflectometry[J]. Computer Graphics Forum, 2016, 35(1): 191-202.

[13] HUI Z, SUNKAVALLI K, LEE J Y, et al. Reflectance capture using univariate sampling of BRDFs[C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 5372-5380.

[14] AITTALA M, AILA T M, LEHTINEN J. Reflectance modeling by neural texture synthesis[J]. ACM Transactions on Graphics, 2016, 35(4): 1-13.

[15] LI X, DONG Y, PEERS P, et al. Modeling surface appearance from a single photograph using self-augmented convolutional neural networks[J]. ACM Transactions on Graphics, 2017, 36(4): 1-11.

[16] GAO D, LI X, DONG Y, et al. Deep inverse rendering for high-resolution SVBRDF estimation from an arbitrary number of images[J]. ACM Transactions on Graphics, 2019, 38(4): 1-15.

[17] LI Z Q, SUNKAVALLI K, CHANDRAKER M. Materials for masses: SVBRDF acquisition with a single mobile phone image[C]//Lecture Notes in Computer Science: European Conference on Computer Vision, ECCV 2018. Cham: SpringerInternational Publishing, 2018: 74-90.

[18] KOLB C, MITCHELL D, HANRAHAN P. A realistic camera model for computer graphics[C]//The 22nd Annual Conference on Computer Graphics and Interactive Techniques – SIGGRAPH’95. New York: ACM Press, 1995: 317-324.

[19] BURLEY B. Physically-based shading at Disney[C]//ACM SIGGRAPH 2012 Courses: Practical Physically-Based Shading in Film and Game Production. New York: ACM Press, 2012: 1-7.

[20] DEBEVEC P E, MALIK J. Recovering high dynamic range radiance maps from photographs[C]//The 24th Annual Conference on Computer Graphics and Interactive Techniques – SIGGRAPH’97. New York: ACM Press, 1997: 369-378.

[21] CALONDER M, LEPETIT V, STRECHA C, et al. BRIEF: binary robust independent elementary features[C]//Lecture Notes in Computer Science: European Conference on Computer Vision (ECCV 2010). Cham: SpringerInternational Publishing, 2010: 778-792.

[22] HUANG Z X. Extensions to the k-means algorithm for clustering large data sets with categorical values[J]. Data Mining and Knowledge Discovery, 1998, 2(3): 283-304.

[23] EVANGELIDIS G D, PSARAKIS E Z. Parametric image alignment using enhanced correlation coefficient maximization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(10): 1858-1865.

[24] GLENCROSS M, WARD G J, MELENDEZ F, et al. A perceptually validated model for surface depth hallucination[C]//SIGGRAPH’08: ACM SIGGRAPH 2008 Papers. New York: ACM Press, 2008: 59, 1-8.

[25] ZHU C Y, BYRD R H, LU P H, et al. Algorithm 778: L-BFGS-B: fortran subroutines for large-scale bound-constrained optimization[J]. ACM Transactions on Mathematical Software, 1997, 23(4): 550-560.

A svBRDF modeling pipeline using pixel clustering

FENG Jie1,2, LI Bo1, ZHOU Bing-feng1,2

(1. Wangxuan Institute of Computer Technology, Peking University, Beijing 100871, China;2. National Engineering Laboratory for Big Data Analysis and Applications, Beijing 100871, China)

We presented a lightweight pipeline for modeling spatially varying bidirectional reflectance distribution functions (svBRDFs) of planar materials, which only required a mobile phone for data acquisition. With a minimum of two photos under an ambient and a point light source, the proposed pipeline produced svBRDF parameters, a normal map, and a tangent map for the material sample. The BRDF fitting was achieved via a pixel clustering strategy to reduce the complexity, namely, the pixels with similar appearance and structural characteristics were assumed to be the same material. Then, with a multi-stage optimization scheme, the parameters were fitted and formed a group of high-resolution BRDF texture maps. This method was not reliant on special equipment or massive data collection. The result shows that the proposed method is easy-to-use and capable of producing high-quality BRDF textures for a wide range of materials, including metallic or anisotropic materials.

surface material modeling; spatially varying material; image-based rendering; bidirectional reflectance distribution function; pixel clustering

TP 391

10.11996/JG.j.2095-302X.2021010094

A

2095-302X(2021)01-0094-07

2020-08-05；

5 August，2020；

2020-08-28

28 August，2020

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2018YFB1403900)；國(guó)家自然科學(xué)基金項(xiàng)目(61872014)

：National Key Research and Development Program of China (2018YFB1403900); National Natural Science Foundation of China(61872014)

馮 潔(1977-)，女，四川內(nèi)江人，工程師，博士。主要研究方向?yàn)榛趫D像的建模與繪制、數(shù)字幾何處理、虛擬現(xiàn)實(shí)等。E-mail：feng_jie@pku.edu.cn

FENG Jie (1977–), female, engineer, Ph.D. Her main research interests cover image-based modeling and rendering, digital geometry processing, virtual reality, etc. E-mail：feng_jie@pku.edu.cn