馮 潔，李 博，周秉鋒

基于像素聚類的空間變化表面材質(zhì)建模

馮 潔1,2，李 博1，周秉鋒1,2

(1. 北京大學王選計算機研究所，北京 100871； 2.大數(shù)據(jù)分析與應(yīng)用技術(shù)國家工程實驗室，北京 100871)

針對空間變化表面材質(zhì)的反射屬性提出了一種基于圖像的輕量化建模方法。僅需利用消費級手機，在環(huán)境光和點光源下分別對平面材質(zhì)樣本拍攝一幅圖像，即可計算重建其表面的雙向反射分布函數(shù)(svBRDFs)參數(shù)圖、法向量圖、切向量圖等材質(zhì)屬性。其中對BRDF參數(shù)的擬合采用了一種基于像素聚類的策略，即假定具有相似外觀和結(jié)構(gòu)特征的像素屬于同種材質(zhì)、共用一組參數(shù)，從而大幅降低參數(shù)擬合的難度。在此基礎(chǔ)上，通過一種新的迭代多步優(yōu)化方案對全局和空間變化的參數(shù)進行擬合，產(chǎn)生高分辨率的BRDF參數(shù)紋理圖。該方法不依賴特殊設(shè)備，也無需采集海量數(shù)據(jù)，就能夠為包括金屬材質(zhì)、各向異性材質(zhì)等在內(nèi)的多種類表面材質(zhì)產(chǎn)生高質(zhì)量的BRDF參數(shù)圖，以及高真實感的基于物理的繪制結(jié)果，因此更易于實現(xiàn)和應(yīng)用。

表面材質(zhì)建模；空間變化材質(zhì)；基于圖像的繪制；雙向反射分布函數(shù)；像素聚類

計算機圖形學中，基于物理的繪制方面已經(jīng)有了大量的研究，但其反問題，即從已繪制或拍攝的圖像中恢復(fù)物體表面的物理屬性，仍然是一個不適定問題。另一方面，真實物體的表面材質(zhì)往往呈現(xiàn)空間變化的屬性，即在表面不同位置上具有不同的反射屬性，這也增加了材質(zhì)建模的難度。這類材質(zhì)一般采用空間變化的雙向反射分布函數(shù)(spatially varying bidirectional reflectance distribution functions，svBRDFs)進行描述。svBRDF常采用參數(shù)紋理圖的形式進行存儲，其為緊湊而靈活的存儲方式，便于進行繪制和編輯。

現(xiàn)有的基于圖像的雙向反射分布函數(shù)(BRDFs)獲取方法對硬件設(shè)備都有不同程度的要求，對表面材質(zhì)的適用范圍也有所不同[1]。因此，表面材質(zhì)建模方法需要在數(shù)據(jù)獲取代價、方法的通用性及重建結(jié)果質(zhì)量等各方面之間找到平衡。近年來研究者們提出了一系列輕量化的表面材質(zhì)獲取和建模方案[2-4]。為了簡化問題，許多工作集中于平面上的空間變化材質(zhì)建模，并通過對材質(zhì)進行分類或線性組合提高建模的效率?，F(xiàn)有工作中存在的局限性一方面是對硬件和拍攝環(huán)境的要求，另一方面是對某些類型的材質(zhì)無法有效重建，如非重復(fù)性紋理材質(zhì)、各向異性材質(zhì)等。

本文針對平面材質(zhì)樣本，提出了一種輕量化的空間變化材質(zhì)建模新方法。其建立在像素聚類的基礎(chǔ)上，即：材質(zhì)樣本圖像中具有相似外觀和結(jié)構(gòu)特征的像素被記為一類，且被假定屬于同種材質(zhì)、共用同一組BRDF參數(shù)。隨后，通過一種迭代的多步優(yōu)化過程，可以擬合出各類材質(zhì)的BRDF參數(shù)。

本文方法可廣泛用于捕獲多種類型表面材質(zhì)的反射屬性，包括金屬表面及各向異性表面材質(zhì)，而輸入最少僅需要每種材質(zhì)樣本在不同光照下的2幅圖像。輸入圖像的獲取也不需要專用設(shè)備，可使用普通消費型相機或智能手機進行拍攝。表面材質(zhì)的建模結(jié)果以高分辨率的svBRDF參數(shù)紋理圖的形式存儲，可直接應(yīng)用于表面材質(zhì)的繪制。為保證材質(zhì)建模結(jié)果與真實世界中的物理反射屬性相符，還利用幾幅校準圖像對相機及光源進行校準，從而減少圖像拍攝環(huán)境帶來的誤差。本文提出的空間變化材質(zhì)建模流水線簡便易用，可以產(chǎn)生高真實感的基于物理繪制的表面紋理。

1 相關(guān)工作

傳統(tǒng)的BRDF測量方法依賴于特制的設(shè)備，例如角度反射測量儀(gonioreflectometers)[5-7]，或其他專用測量系統(tǒng)[8-9]。近年來，研究者們提出了多種基于圖像的表面材質(zhì)建模的工作，只需要利用通用型相機即可重建物體的幾何形狀和表面材質(zhì)模型[2,10-11]。文獻[1]對此進行了較為完整的綜述與分類。本文著重研究的是表面材質(zhì)快速建模的輕量化方法，因此將重點關(guān)注采用較少材質(zhì)樣本圖像或簡化圖像采集設(shè)備(如手機)的相關(guān)工作。

一些方法采用移動設(shè)備采集的視頻對表面材質(zhì)進行建模。如文獻[12]中提出了2種啟發(fā)式算法進行表面材質(zhì)建模，其輸入為手機或平板電腦拍攝的表面材質(zhì)視頻(以手機閃光燈或平板液晶屏作為光源)。HUI等[13]采用了相似的系統(tǒng)配置，實現(xiàn)了一種基于字典的BRDF建模。但上述方法均無法重建各向異性表面材質(zhì)。ALBERT等[4]的工作利用了第二條視頻流來獲得更廣泛的觀察范圍，從而改進復(fù)雜表面材質(zhì)的重建質(zhì)量。

基于視頻的表面材質(zhì)重建方法通常需要從記錄的視頻中抽取多達數(shù)百幅的圖像作為輸入。為了降低圖像采集的復(fù)雜度，AITTALA等[3]提出了一種輕量化的方法，僅需輸入在自然光和閃光燈下拍攝的2幅圖像即可。該方法將圖像分割成正方形小塊，并利用不同塊之間的相似性，計算出高質(zhì)量的BRDF參數(shù)圖。然而，該方法的相似性策略只能應(yīng)用于具有重復(fù)性紋理的表面材質(zhì)。本文采用了類似的系統(tǒng)設(shè)置。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)也被用于解決表面材質(zhì)建模問題。其通常需要一組圖像用于預(yù)測空間變化的BRDF參數(shù)。如AITTALA等[14]提出了一種基于神經(jīng)網(wǎng)絡(luò)的風格化紋理遷移方法。LI等[15]通過訓(xùn)練一個CNN實現(xiàn)了從單幅圖像中重建svBRDF的方法。隨后該工作被擴展到可以支持任意分辨率和數(shù)量的輸入圖像[16]。在另一項工作中，LI等[17]將表面材質(zhì)分為幾個類，并通過一個分類器對各類材質(zhì)分配權(quán)重從而進行混合。

2 方法概述

圖1為本文的主要工作流程。給定一個平面材質(zhì)樣本，可使用通用相機或智能手機在固定的位置對其拍攝2幅圖像：一幅在自然漫反射光照環(huán)境下拍攝，稱為環(huán)境光圖像；另一幅是在點光源下拍攝，稱為點光源圖像。

圖1 本文基于圖像對及像素聚類的空間變化材質(zhì)建模方法主要流程

環(huán)境光圖像用于檢測材質(zhì)樣本中的相似部分，并據(jù)此將圖像像素進行聚類。同時可用于提取圖像中由于材質(zhì)表面凹凸造成的局部對比度等豐富細節(jié)。點光源圖像直接反映了材質(zhì)的反射屬性，因此，在BRDF建模過程中被用作參數(shù)優(yōu)化的目標。由于數(shù)碼相機的動態(tài)范圍有限，對于具有強烈鏡面反射的材質(zhì)，可以在不同曝光時間下拍攝多幅點光源圖像，并進行高動態(tài)范圍(high dynamic range，HDR)重建。

除此之外，本文方法還引入了數(shù)張校準圖像，包括一幅標準灰板圖像及一組色板圖像，用于消除與材質(zhì)反射屬性無關(guān)因素的影響，如相機響應(yīng)函數(shù)、光照強度等。

于是，上述BRDF擬合問題可以通過最優(yōu)化方法求解。本文方法將產(chǎn)生高分辨率的反射屬性參數(shù)紋理圖，包括一組svBRDF參數(shù)圖像、法向量和切向量圖、以及2個全局的BRDF參數(shù)。這些參數(shù)紋理圖可以直接用于在新光照和視點下繪制該平面材質(zhì)，也可以映射到3D幾何模型表面以增強其外觀真實感。

2.1 硬件配置及坐標系

本文僅需使用一臺通用智能手機作為材質(zhì)樣本圖像采集設(shè)備，并以手機閃光燈作為點光源進行照明。在拍攝環(huán)境光圖像、點光源圖像以及校準圖像的過程中，使用了三腳架以保證所有圖像的對齊(圖2(a))。

在上述硬件配置下建立的系統(tǒng)坐標系，如圖2(b)所示。材質(zhì)樣本被假定位于平面上，相機位置則位于軸上的=[0, 0, 1]。相機到平面的真實物理距離⊥通過手工測量，用于相機校準過程中。對于點光源的位置，可取點光源圖像中亮度最高的10%像素，并計算加權(quán)平均位置作為其取值。另外本文還利用圖像中記錄的35 mm等效焦距35來計算像素對應(yīng)的單位物理長度。

圖2 圖像拍攝環(huán)境和系統(tǒng)設(shè)定((a)拍攝設(shè)備和環(huán)境； (b)坐標系設(shè)定)

2.2 繪制模型

在點光源環(huán)境下，本文采用簡單的逐點繪制方式，即

其中，為像素的位置；和分別為指向和的單位向量；(?)為BRDF。需要注意的是，雖然場景輻射度(radiance)與到達相機傳感器上某個像素的照度(irradiance)成正比，但在不同像素上該比例因子差異很大，是造成圖像四周暗角的原因[18]。因此，為了簡便，本文將像素照度看作是入射的場景輻射度，同樣記做。此外，為點光源的強度；()=||-||為到點光源的距離；cosθ=()×。于是，本文的目標就是根據(jù)材質(zhì)樣本在環(huán)境光和點光源下的2幅圖像，為每個像素恢復(fù)出一組BRDF參數(shù)，一個法向量及一個切向量。

本文采用了Disney “principled” BRDF模型的一個簡化版本[19]，通過一組直觀的、可理解的參數(shù)進行控制，參數(shù)的取值范圍為[0, 1]：

(1)：與材質(zhì)反照率相關(guān)的表面顏色，對漫反射及鏡面反射波瓣(lobe)都有影響；

(2)：電介質(zhì)模型(dielectric)和金屬模型(metallic)之間的混合參數(shù)；

(3)：鏡面反射強度參數(shù)；

(4)：將鏡面反射的顏色從白色著色為；

(5)：對漫反射和鏡面反射波瓣的天頂角響應(yīng)都有影響；

(6)：材質(zhì)各向異性反射的程度，取值為0時退化為各向同性反射。

在BRDF參數(shù)優(yōu)化過程中，的初始值被設(shè)置為環(huán)境光圖像的顏色，和分別取初始值0.5，其余參數(shù)取0。

2.3 圖像校準

為了使計算出的材質(zhì)表面反射屬性與真實世界中的特性相符，避免如相機、光源強度等外界因素的干擾，首先需要進行圖像校準。

2.3.1 相機響應(yīng)曲線的恢復(fù)

由于圖像中的像素顏色值與場景輻射度并非線性關(guān)系，因此需要建立二者之間的映射。為此，本文借鑒了HDR成像算法[20]中的響應(yīng)函數(shù)擬合以及從多幅低動態(tài)范圍(low dynamic range, LDR)圖像中融合生成輻射度圖像的方法。生成一幅由20×15個具有隨機顏色的正方形色塊組成的色板校準圖像(圖3(b))，將其顯示在一塊電子屏幕上并代替?zhèn)鹘y(tǒng)的Macbeth圖。在不同的曝光時間下，拍攝若干張該圖像照片(圖3(c))，而后通過平均濾波器在每個色塊中產(chǎn)生一個平均顏色，即獲得300個相同曝光下的響應(yīng)函數(shù)采樣點(圖3(d))。于是通過最小二乘法求解出相機的響應(yīng)逆函數(shù)()，即從像素顏色值到輻射度和曝光時間的映射函數(shù) (圖3(e))。與原算法中單個像素的采樣相比，經(jīng)過濾波的采樣點對噪聲有更好的抵抗性。利用恢復(fù)出的函數(shù)()，點光源圖像可以映射為一幅輻射度圖。此外，采用多幅點光源圖像可以擴展輻射度圖的動態(tài)范圍。

圖3 用于相機校準的圖像((a)灰板校準圖像；(b)色板校準圖像；(c)色板拍攝圖像； (d)色板降采樣圖像；(e)恢復(fù)的響應(yīng)曲線)

2.3.2 點光源強度的校準

由于入射光和反射光強度同時乘以一個相同因子不會影響最終的繪制結(jié)果，因此要計算式(1)中的()，需要確定點光源的強度。為此，首先在點光源下對一塊標準灰板，即在各光譜上具有近似18%反射率的朗伯反射體，拍攝一幅灰板校準圖像。已知灰板的反射率=0.18/π，與光源、視角及空間位置無關(guān)，于是可以通過逐像素除法和平均計算得到。

在拍攝材質(zhì)樣本的點光源圖像時，需保持相機的感光度(ISO)、光圈、白平衡等條件不變。于是目標材質(zhì)的反射屬性即以灰板具有的、確定的絕對反射值為參考，而則成為一個中間變量。

3 BRDF參數(shù)擬合

空間變化材質(zhì)需要在每個像素上都計算出一組相應(yīng)的BRDF參數(shù)，因此若直接進行參數(shù)擬合會面臨變量過多的情形。為了減少擬合優(yōu)化過程的變量數(shù)目，首先將圖像中的像素進行聚類，同一類中的不同像素可被視為同種材質(zhì)在不同位置的觀察采樣，于是可以共用同一組BRDF參數(shù)。再經(jīng)過一個迭代計算過程，逐步對各組BRDF參數(shù)以及法向量圖進行優(yōu)化。

基于參數(shù)間的依賴關(guān)系，每次迭代計算分為3步：①根據(jù)圖計算高度圖及法向量圖；②擬合全局變量和；③在每類內(nèi)優(yōu)化其余BRDF參數(shù)。每次迭代結(jié)束時，對空間變化的參數(shù)圖進行高斯模糊，而同一類的參數(shù)平均值作為下一次迭代的優(yōu)化初始值。

3.1 像素聚類

多數(shù)的空間變化表面材質(zhì)是具有自相似屬性的，即：材質(zhì)表面可分解為有限個子集，每個子集內(nèi)具有相同的反射屬性。于是，根據(jù)反射屬性將材質(zhì)圖像中的像素聚類為一系列較小數(shù)目的子集{C|=1,···,}，則BRDF參數(shù)擬合可在每個子集上分別完成，降低了求解svBRDF模型的難度。在本文中，聚類數(shù)目取經(jīng)驗值=500，能夠保留足夠的細節(jié)，且不會帶來過高的計算代價。

對像素進行聚類的主要依據(jù)除了像素的顏色之外，還采用了一種BRIEF描述子[21]。該算子計算一個比特向量，描述了像素鄰域中的結(jié)構(gòu)信息，因此可以使聚類結(jié)果更好地抵抗不均勻光照帶來的影響。對于每個像素，設(shè)其RGB顏色值為ρ，其BRIEF描述子為ρ，二者共同構(gòu)成一個特征向量。于是，2個像素之間的距離可定義為

其中，||?||和||?||分別為歐式距離和漢明距離(Hamming distance)；為調(diào)節(jié)2種特征比重的權(quán)值，其缺省值取數(shù)值屬性的平均標準差除以BRIEF比特向量的長度。在此基礎(chǔ)上，本文采用了k-prototypes算法[22]來實現(xiàn)像素的聚類。該算法是一種在混合類型數(shù)據(jù)上做聚類的k-means模擬算法，與標準k-means算法類似，迭代并將每個像素分配到具有最鄰近中心點的類中，隨后更新所有類的中心點，能夠同時處理數(shù)值屬性與非數(shù)值屬性。

像素聚類是在環(huán)境光圖像上完成的。本文先用主成分分析法將RGB顏色轉(zhuǎn)換為3個獨立色彩通道，然后在其中一個通道上計算聚類。為了考慮圖像中的多尺度結(jié)構(gòu)特征，與文獻[3]中的像素匹配步驟相似，BRIEF描述子的長度分別取48，80和32，窗口大小分別取33，17和5，高斯模糊的標準偏差分別取4，2和0。注意環(huán)境光圖像與點光源輻射度圖必須在像素級別上對齊，為此需采用三腳架固定相機位置，也可以采用增強相關(guān)系數(shù)(enhanced correlation coefficient, ECC)最大化算法[23]進行圖像對齊。

3.2 計算高度圖和法向量圖

為了進一步減少數(shù)值優(yōu)化的自由度，本文采用高度圖估計的方法計算法向量圖，而不是與其他BRDF參數(shù)一起進行優(yōu)化。

首先將上一步迭代過程中估計出的圖在灰度空間中進行歸一化，使其平均灰度為0.5。然后，將環(huán)境光圖像除以歸一化的得到一幅陰影圖，并用解析模型[24]從陰影推導(dǎo)出對應(yīng)的高度(深度)

為了在不同尺度下恢復(fù)高度圖，需對陰影圖分別進行次高斯濾波，每次采用不同的標準偏差r，按升序排列，得到一系列陰影圖{S}，以及增量陰影圖{l}，其中

對{l}分別計算(?)，則深度圖可以由下式累加得到

注意l保持了平均灰度0.5，因此這里(l)減去1以保證各級別的平均深度值為0，從而可以將各級深度值求和。在計算中共選取了4級高斯偏差，分別為1，2，4和8。

隨后，通過在3D等值面上計算法向量，就可以從深度圖恢復(fù)出法向量圖。注意在第一次迭代中，環(huán)境光圖像與圖是相同的，因此所有的法向量初值都是垂直向上的。

3.3 全局BRDF參數(shù)優(yōu)化

當法向量圖確定之后，就可以對每個類的BRDF參數(shù)進行優(yōu)化計算。本文注意到和2個參數(shù)對材質(zhì)的反射屬性起到?jīng)Q定性的作用，因此將其設(shè)定為全局參數(shù)。

在計算中，采用了L-BFGS-B算法[25]對上述最優(yōu)化問題進行求解。

通過觀察可發(fā)現(xiàn)，在實際應(yīng)用中，參數(shù)的取值極少介于0于1之間。因此將這一參數(shù)簡化為一個布爾值，通過手工標注來設(shè)定，0表示非金屬材質(zhì)，1表示金屬材質(zhì)。

3.4 空間變化BRDF參數(shù)優(yōu)化

因此，切向量可以由參數(shù)決定，并與其他4項參數(shù)一起參與()的計算。對于每個像素分類，可以通過最小化繪制圖像的平均擬合殘差求解出上述參數(shù)，即

在計算中，擬合殘差|()?0()|采用偽胡伯損失函數(shù)(Pseudo-Huber loss)進行計算，以保證接近0時有較好的連續(xù)性。

4 實驗結(jié)果

本文實驗使用HUAWEI Honor 9智能手機對多種不同材質(zhì)樣本進行了拍攝和建模，圖像分辨率為3968×2976。拍攝時的色溫、ISO和曝光時間利用手機的內(nèi)置程序進行手動設(shè)置。為了進行圖像校準，在拍攝灰板圖像、色板圖像以及點光源圖像時，ISO和色溫保持不變。

圖4給出了幾組用本文方法計算得到的表面材質(zhì)建模結(jié)果，其中包括每種材質(zhì)的，，，以及法向量圖、切向量圖等參數(shù)紋理圖。每種材質(zhì)樣本在相同光照下進行重繪制的結(jié)果也與輸入的點光照圖像進行了對比?？梢钥吹奖疚闹亟ńY(jié)果很好地保留了空間變化材質(zhì)的反射屬性及細節(jié)特征，重繪制的結(jié)果與真實圖像吻合。

如圖5所示，可將計算的表面材質(zhì)模型映射到三維物體上，并在不同光照下進行繪制，生成具有照片真實感的三維場景視圖。場景的繪制使用了開源3D繪制軟件Blender，及其基于物理的渲染器(https://www.blender.org/)。這一場景中包含了多種不同材質(zhì)，如金屬、陶瓷、絲綢、木材等等。場景的光照采用了一幅HDR的環(huán)境圖像以及若干點光源。繪制結(jié)果反映了材質(zhì)的鏡面反射以及各向異性反射等屬性特征。

圖4 利用本文方法對多種空間變化材質(zhì)進行建模計算獲得的svBRDF參數(shù)圖以及重繪制結(jié)果

圖5 從輸入圖像對進行材質(zhì)建模并重繪制的結(jié)果((a)輸入環(huán)境光圖像；(b)輸入點光源圖像； (c)重繪制點光源圖像；(d)三維場景繪制)

5 結(jié)束語

本文提出了一套對空間變化表面材質(zhì)進行建模的流水線，其輸入僅需智能手機拍攝的2幅樣本圖像。該方法很好地平衡了算法的復(fù)雜度與結(jié)果的置信度，因此為表面材質(zhì)建模的研究和應(yīng)用給出了一個新的解決方案。

目前本文方法對材質(zhì)還存在一些假設(shè)條件，特別是將一些參數(shù)假定為全局變量。在應(yīng)用中，將設(shè)為全局參數(shù)，會帶來過度約束從而損失一些細節(jié)。因此未來工作中可考慮更復(fù)雜的像素聚類方法，如多層次細節(jié)的聚類，從而使一些關(guān)鍵參數(shù)可以在較粗糙的層次上進行擬合。

此外，當材質(zhì)的環(huán)境光圖像中有明顯的陰影時，容易對像素聚類和法向量計算產(chǎn)生誤導(dǎo)，從而降低材質(zhì)模型重建的準確度。因此未來另一個改進方向是消除陰影帶來的影響。

[1] GUARNERA D, GUARNERA G C, GHOSH A, et al. BRDF representation and acquisition[J]. Computer Graphics Forum, 2016, 35(2): 625-650.

[2] LENSCH H P A, KAUTZ J, GOESELE M, et al. Image-based reconstruction of spatial appearance and geometric detail[J]. ACM Transactions on Graphics, 2003, 22(2): 234-257.

[3] AITTALA M, WEYRICH T, LEHTINEN J, et al. Two-shot SVBRDF capture for stationary materials[J]. ACM Transactions on Graphics (TOG), 2015, 34(4): 1-13, 110.

[4] ALBERT R A, CHEN D Y, GOLDMAN D B, et al. Approximate svBRDF estimation from mobile phone video[C]//Eurographics Symposium on Rendering: Experimental Ideas & Implementations (SR’18). Goslar: Eurographics Association, 2018: 11-22.

[5] LI H, FOO S C, TORRANCE K E, et al. Automated three-axis gonioreflectometer for computer graphics applications[C]// Conference, Advanced Characterization Techniques for Optics, Semiconductors, and Nanotechnologies II (Optics and Photonics 2005). Ithaca: Cornell University. 2005: 58780S, 1-11.

[6] DANA K J, VAN GINNEKEN B, NAYAR S K, et al. Reflectance and texture of real-world surfaces[J]. ACM Transactions on Graphics (TOG), 1999, 18(1): 1-34.

[7] WARD G. Fast, robust image registration for compositing high dynamic range photographs from hand-held exposures[J]. Journal of Graphics Tools, 2003, 8(2): 17-30.

[8] DEBEVEC P, WENGER A, TCHOU C, et al. A lighting reproduction approach to live-action compositing[J]. ACM Transactions on Graphics (TOG), 2002, 21(3): 547-556.

[9] AITTALA M, WEYRICH T, LEHTINEN J. Practical SVBRDF capture in the frequency domain[J]. ACM Transactions on Graphics, 2013, 32: 110: 1-110: 12.

[10] DONG Y, WANG J P, TONG X, et al. Manifold bootstrapping for SVBRDF capture[J]. ACM Transactions on Graphics, 2010, 29(4): 1-10.

[11] DONG Y, TONG X, PELLACINI F, et al. AppGen: interactive material modeling from a single image[J]. ACM Transactions on Graphics, 2011, 30(6): 146: 1-146: 10.

[12] RIVIERE J, PEERS P, GHOSH A. Mobile surface reflectometry[J]. Computer Graphics Forum, 2016, 35(1): 191-202.

[13] HUI Z, SUNKAVALLI K, LEE J Y, et al. Reflectance capture using univariate sampling of BRDFs[C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 5372-5380.

[14] AITTALA M, AILA T M, LEHTINEN J. Reflectance modeling by neural texture synthesis[J]. ACM Transactions on Graphics, 2016, 35(4): 1-13.

[15] LI X, DONG Y, PEERS P, et al. Modeling surface appearance from a single photograph using self-augmented convolutional neural networks[J]. ACM Transactions on Graphics, 2017, 36(4): 1-11.

[16] GAO D, LI X, DONG Y, et al. Deep inverse rendering for high-resolution SVBRDF estimation from an arbitrary number of images[J]. ACM Transactions on Graphics, 2019, 38(4): 1-15.

[17] LI Z Q, SUNKAVALLI K, CHANDRAKER M. Materials for masses: SVBRDF acquisition with a single mobile phone image[C]//Lecture Notes in Computer Science: European Conference on Computer Vision, ECCV 2018. Cham: SpringerInternational Publishing, 2018: 74-90.

[18] KOLB C, MITCHELL D, HANRAHAN P. A realistic camera model for computer graphics[C]//The 22nd Annual Conference on Computer Graphics and Interactive Techniques – SIGGRAPH’95. New York: ACM Press, 1995: 317-324.

[19] BURLEY B. Physically-based shading at Disney[C]//ACM SIGGRAPH 2012 Courses: Practical Physically-Based Shading in Film and Game Production. New York: ACM Press, 2012: 1-7.

[20] DEBEVEC P E, MALIK J. Recovering high dynamic range radiance maps from photographs[C]//The 24th Annual Conference on Computer Graphics and Interactive Techniques – SIGGRAPH’97. New York: ACM Press, 1997: 369-378.

[21] CALONDER M, LEPETIT V, STRECHA C, et al. BRIEF: binary robust independent elementary features[C]//Lecture Notes in Computer Science: European Conference on Computer Vision (ECCV 2010). Cham: SpringerInternational Publishing, 2010: 778-792.

[22] HUANG Z X. Extensions to the k-means algorithm for clustering large data sets with categorical values[J]. Data Mining and Knowledge Discovery, 1998, 2(3): 283-304.

[23] EVANGELIDIS G D, PSARAKIS E Z. Parametric image alignment using enhanced correlation coefficient maximization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(10): 1858-1865.

[24] GLENCROSS M, WARD G J, MELENDEZ F, et al. A perceptually validated model for surface depth hallucination[C]//SIGGRAPH’08: ACM SIGGRAPH 2008 Papers. New York: ACM Press, 2008: 59, 1-8.

[25] ZHU C Y, BYRD R H, LU P H, et al. Algorithm 778: L-BFGS-B: fortran subroutines for large-scale bound-constrained optimization[J]. ACM Transactions on Mathematical Software, 1997, 23(4): 550-560.

A svBRDF modeling pipeline using pixel clustering

FENG Jie1,2, LI Bo1, ZHOU Bing-feng1,2

(1. Wangxuan Institute of Computer Technology, Peking University, Beijing 100871, China;2. National Engineering Laboratory for Big Data Analysis and Applications, Beijing 100871, China)

We presented a lightweight pipeline for modeling spatially varying bidirectional reflectance distribution functions (svBRDFs) of planar materials, which only required a mobile phone for data acquisition. With a minimum of two photos under an ambient and a point light source, the proposed pipeline produced svBRDF parameters, a normal map, and a tangent map for the material sample. The BRDF fitting was achieved via a pixel clustering strategy to reduce the complexity, namely, the pixels with similar appearance and structural characteristics were assumed to be the same material. Then, with a multi-stage optimization scheme, the parameters were fitted and formed a group of high-resolution BRDF texture maps. This method was not reliant on special equipment or massive data collection. The result shows that the proposed method is easy-to-use and capable of producing high-quality BRDF textures for a wide range of materials, including metallic or anisotropic materials.

surface material modeling; spatially varying material; image-based rendering; bidirectional reflectance distribution function; pixel clustering

TP 391

10.11996/JG.j.2095-302X.2021010094

A

2095-302X(2021)01-0094-07

2020-08-05；

5 August，2020；

2020-08-28

28 August，2020

國家重點研發(fā)計劃項目(2018YFB1403900)；國家自然科學基金項目(61872014)

：National Key Research and Development Program of China (2018YFB1403900); National Natural Science Foundation of China(61872014)

馮 潔(1977-)，女，四川內(nèi)江人，工程師，博士。主要研究方向為基于圖像的建模與繪制、數(shù)字幾何處理、虛擬現(xiàn)實等。E-mail：feng_jie@pku.edu.cn

FENG Jie (1977–), female, engineer, Ph.D. Her main research interests cover image-based modeling and rendering, digital geometry processing, virtual reality, etc. E-mail：feng_jie@pku.edu.cn