郝婧蕾，趙永強，趙海盟，Peter BREZANY，孫嘉玉

1. 西北工業(yè)大學自動化學院，陜西 西安710071； 2. 西北工業(yè)大學深圳研究院，廣東 深圳 518057； 3. 北京大學空間地球與空間科學學院，北京 100871； 4. 維也納大學，奧地利 維也納 1090

三維重建技術(shù)能夠獲得目標表面的三維形貌[1-3]，在航天工程的空間任務中有著重要應用[4-5]。而空間碎片等空間目標具有表面光滑、紋理單一、易產(chǎn)生耀光的特點，給傳統(tǒng)基于光學原理的目標三維重建技術(shù)帶來了極大的挑戰(zhàn)[6]。對于傳統(tǒng)的基于視覺成像的目標三維重建方法，紋理稀疏甚至缺失會造成難以提取到足夠的特征點，使得恢復結(jié)果只能得到邊緣輪廓等部分信息；大面積的耀光會造成圖像傳感器飽和，丟失耀光處的數(shù)據(jù)信息，造成恢復結(jié)果會出現(xiàn)大面積的數(shù)據(jù)空洞。與傳統(tǒng)方法相比，基于偏振視覺的三維重建技術(shù)無須利用目標表面紋理特征，同時偏振成像能夠有效地抑制耀光。而在許多實際應用中，如非合作目標的相對導航﹑陌生環(huán)境中物體探測等，目標表面材料特性通常是沒有先驗信息的，因此本文提出了基于多光譜偏振的高反光無紋理目標三維重構(gòu)方法，同時獲得目標的折射率和三維形貌。

自然光(無偏光)經(jīng)物體表面反射之后的反射光為無偏光與偏振光的疊加，通過對反射光偏振度的分析可以獲取反射面法向量的天頂角，通過求取反射光的偏振相角可以求得法向量的方位角[7]。由此可見，反射光的偏振態(tài)與法向量有著密切關(guān)系，其偏振態(tài)包含了目標表面的形狀信息[8]。文獻[9]最先將偏振信息引入到目標三維重建中，通過分析絕緣體表面反射的圓偏振光偏振態(tài)的變化來求取目標表面的方向。該方法的缺陷在于入射光必須為圓偏振光。文獻[10]利用圓偏振光作為光源分離了鏡面反射與漫反射，同時完成了對目標材料折射系數(shù)的估計。文獻[11]通過旋轉(zhuǎn)待測目標獲取不同角度的偏振圖像解決了偏振度與法向量天頂角的二義性問題，實現(xiàn)了透明物體的三維重建。文獻[12]提出了從不同視角獲取偏振圖像來解決單視角存在的凹凸二義性的問題，進而完成目標的三維重建，該方法無須進行不同視角下的圖像匹配，提高了應用的靈活性。文獻[13]通過結(jié)合近紅外波段與可見光波段的偏振信息解決了偏振度與法向量天頂角的對應問

題，實現(xiàn)了目標三維信息的恢復。金屬的折射系數(shù)不同于絕緣體材料，文獻[14]推導出了金屬目標的三維重建模型，進行了金屬目標三維信息的恢復。文獻[15]加入了一個多光譜采集系統(tǒng)，利用目標在不同波段下有不同偏振度的特性，解決天頂角模糊問題。文獻[16]通過聯(lián)合光譜和偏振信息，實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡的多波段偏振相機的大視場重構(gòu)。文獻[17]從多視角偏振信息入手，重構(gòu)黑色鏡面目標的三維信息。文獻[18]利用透明物體反射耀光的偏振信息來重構(gòu)其內(nèi)外表面的三維結(jié)構(gòu)。

單純依靠偏振成像進行目標的三維重建存在法線方向的二義性，得到的深度信息是像素坐標系下的相對深度。利用偏振成像獲得的目標表面的幾何信息再結(jié)合其他手段來解決方向二義性或者轉(zhuǎn)化為絕對深度成為近幾年計算機視覺的熱點方向。文獻[19]最先將偏振三維重建方法同光度立體法進行結(jié)合來恢復目標三維形狀，該方法中光源方向與目標材料的折射系數(shù)為已知量。文獻[20]改進了Atkinson的算法，將物體表面看作朗伯表面，通過光度立體法估計目標表面的法線方向，進一步估計出目標材料的折射系數(shù)。文獻[21]將偏振三維重構(gòu)擴展到高光譜圖像，成功恢復了目標表面的三維形狀同時獲得了目標材料的折射系數(shù)。 文獻[22]利用偏振得到的法向量信息為輔助，通過結(jié)合Kinect的粗略深度圖得到了高精度的目標三維重建結(jié)果。文獻[23]通過調(diào)整光源的方向獲取偏振信息，將偏振信息與陰影信息作為目標表面法向量方向的約束條件恢復了目標表面的三維形狀。文獻[24]提出了基于偏振雙目視覺的三維重構(gòu)方法，解決了傳統(tǒng)方法不能處理高反光、紋理單一的目標的問題。

本文提出一種新的方法來解決這個問題，通過分析從單一視角拍攝圖像的光譜和偏振信息來實現(xiàn)目標的精確三維重構(gòu)。相比已有的基于偏振信息進行三維重構(gòu)的文獻，本文的工作重點是使用反射光與偏振片旋轉(zhuǎn)角度的正弦關(guān)系和菲涅爾理論，實現(xiàn)目標天頂角和折射率的同時估計。

1 基于偏振成像的目標三維重建

1.1 偏振成像原理

自然光屬于非偏振光，但當自然光經(jīng)物體表面反射后，反射光會變?yōu)椴糠制窆?。反射偏振成像過程如圖1所示?；谄褚曈X進行三維重建的關(guān)鍵在于通過偏振成像獲取反射光的偏振狀態(tài)，并將其與物體表面的幾何信息聯(lián)系起來。

圖1 反射偏振成像過程[25]Fig.1 Reflection polarization imaging process [25]

由菲涅爾原理可知，反射率會隨著光矢量的振動方向變化而變化，因此將反射光通過偏振片，旋轉(zhuǎn)偏振片，反射光的亮度會發(fā)生變化。將線偏振片置于相機鏡頭前，ν為偏振片透光軸與起始位置(參考位置)之間的夾角。光照強度I可表示為與偏振片旋轉(zhuǎn)角度ν有關(guān)的正弦函數(shù)，如下式

(1)

式中，μ表示多波段偏振圖像中的每一個像素點；λ表示對應的波段；Imax、Imin分別表示連續(xù)旋轉(zhuǎn)偏振片時，CCD相機所觀測到的最大光強與最小光強；φ表示反射光的偏振相角(angle of polarization，AoP)。

在波段λ下，采集N個偏振角度下的多波段偏振圖像，分別記為I(ν1),I(ν2),…,I(νN),I(νi)表示第i次轉(zhuǎn)動偏振片。因此第i次轉(zhuǎn)動偏振片采集到的多波段偏振圖像的每一個像素點處的強度值可以記為I(μ,λ,νi)=Ii(μ,λ)。則式(1)可以改寫為

(2)

當偏振片旋轉(zhuǎn)的次數(shù)N≥3時，式(2)變成一個正定系統(tǒng)，記為I=Ax，其中

(3)

(4)

1.2 基于偏振成像的三維重構(gòu)原理

自然光屬于非偏振光，但當自然光經(jīng)物體表面反射后，反射光會變?yōu)椴糠制窆??；谄褚曈X進行三維重建的關(guān)鍵在于通過偏振成像獲取反射光的偏振狀態(tài)，并將其與物體表面的幾何信息聯(lián)系起來，進而對法向量積分獲得目標的表面三維形狀。

通過分析反射光的偏振態(tài)可以獲得目標表面法向量的方向參數(shù)，法向量主要受兩個參數(shù)約束，即天頂角θd(zenith angle)和方位角αd(azimuth angle)。天頂角是指法線向量方向與z軸的夾角,方位角是指法向量在XoY平面的投影與x軸方向的夾角，如圖2所示。

根據(jù)菲涅爾原理、折射定律及偏振度的定義可得到偏振度ρ與法線天頂角θd的關(guān)系為

(5)

方位角αd與偏振相角φ間有著如下的關(guān)系

(6)

(7)

通過反射光偏振分析可以由偏振度和偏振相角分別求得法向量的天頂角θd和方位角αd(存在二義性)，進而確定物體表面每一點的法向量方向。物體表面的法向量反映的是目標表面的梯度信息，通過積分算法可以將物體表面的梯度信息轉(zhuǎn)化為深度信息。

圖2 法向量示意Fig.2 The normal vector schematic

假設(shè)物體的表面為Cartesian曲面(連續(xù)且閉合的曲面)，則物體表面的關(guān)系式可以用z=f(x,y)表示，表面某一點的法向量可以表示為

(8)

若目標的表面可以表示為函數(shù)z=f(x,y)，在XoY平面上的投影為區(qū)域Ω，則Ω上任一離散點(x，y)的梯度值為

(9)

由梯度值p(x，y)、q(x，y)到深度z的積分技術(shù)大致可以分兩大類：局部積分算法和全局積分算法。其中，全局積分對噪聲具有更好的魯棒性，通過積分得到的表面更為平滑。全局積分算法將表面積分近似看作是一個最優(yōu)化問題來處理，基本的代價函數(shù)為

(10)

2 基于多光譜偏振的天頂角和折射率的聯(lián)合估計

利用偏振成像技術(shù)進行三維重建，關(guān)鍵在于求取目標表面所有點的法向量，即方位角和天頂角兩個參數(shù)的求取。而在利用菲涅爾方程求解天頂角時，由式(5)可知，表面材料的折射系數(shù)n是求天頂角過程中一個極其重要的先驗參數(shù)，而在許多實際應用中，如非合作目標的相對導航﹑陌生環(huán)境中物體探測等，目標表面材料特性通常是沒有先驗信息的。而僅利用菲涅爾方程，天頂角、偏振度和目標表面折射率間的關(guān)系是一個欠定方程，只知道偏振度無法獲得天頂角。為解決這一問題，本文提出了基于多波段偏振成像的三維重建方法，利用柯西色散方程[26]將折射率展開為關(guān)于波長λ的有理函數(shù)f(λ)，待求解的是波長λ的系數(shù)。隨著波長數(shù)量的增多，色散方程的數(shù)量將超過待求解變量的數(shù)量，使天頂角θd和折射率n的求解問題變成一個正定問題。將色散方程n=f(λ)代入表示天頂角θd和偏振度ρ之間關(guān)系的方程中，便轉(zhuǎn)化為非線性最小二乘問題，利用線性搜尋或置信區(qū)間的方法便可以同時估計出天頂角θd和色散方程系數(shù)的最優(yōu)解。得到θd，便可根據(jù)幾何原理直接推導出法向量，可以同時獲得物體的折射系數(shù)n和形狀。

2.1 柯西色散方程

為了約束折射率在波長域的變化，注意到各種不同材質(zhì)的折射率受材料色散方程的約束，本文采用柯西色散方程[26]用于優(yōu)化框架。其描述折射率和波段之間的關(guān)系由式(11)表示。

(11)

式中，μ表示圖像中的每一像素；λ表示波段；M表示系數(shù)總數(shù)。由式(11)可以看出折射率n僅與波段λ和色散方程系數(shù)ck(μ)有關(guān)，將折射率表示成波段的多項式函數(shù)，則折射率的求解問題變成了柯西色散方程系數(shù)的求解問題。

2.2 天頂角與折射率的聯(lián)合優(yōu)化

由式(2)、(3)和(4)可知，對于波段為λ的偏振圖像的每一個像素點處的光強最大值和最小值可以求出，聯(lián)合菲涅爾公式可得下式

(12)

式中，θd(μ)表示三維目標表面在像素μ處法線的天頂角；n(μ,λ)表示對應像素點處的折射率；F⊥(μ,λ)表示菲涅爾方程中垂直反射系數(shù)；F‖(μ,λ)表示菲涅爾方程中平行反射系數(shù)。

(13)

式中，N表示波段數(shù)，在此方程中加入柯西色散方程作為折射率的約束，利用這個約束，則上述損失函數(shù)將變成一個有M+1個變量的方程，待求解系數(shù)為θd(μ)和Ck(μ)，k=1,…,M，當色散方程系數(shù)的個數(shù)M使得M+1≤N時(N為波段數(shù))，上述非線性最小二乘問題,可以利用線性搜尋或置信區(qū)間的方法求解。當天頂角求得后，利用1.2節(jié)中的積分函數(shù)(10)求得目標的三維形貌。并利用求得的柯西色散方程的系數(shù)ck(μ)求得折射率n。

3 試 驗

為驗證算法的有效性，搭建了偏振圖像采集系統(tǒng)。以水平方向為參考方向，將相機鏡頭前的線偏振片分別旋轉(zhuǎn)至0°、45°、90°及135°，獲得 4個角度下的偏振圖像并命名為I0、I45、I90及I135，并從每一幅偏振圖像中分離出R、G、B 3個波段，這樣每一個波段下都有4幅偏振圖像，形成多波段偏振圖像。本文分別以石膏圓柱、蘋果、瓷碗和衛(wèi)星模型為目標進行試驗仿真。

文中的重構(gòu)目標多為表面光滑、紋理信息單一甚至缺失的高反光非金屬目標，這類目標容易受到雜散光的干擾，在目標表面形成耀光，進而影響后續(xù)三維重構(gòu)的準確性。因此，對重構(gòu)目標圖像進行了基于多波段偏振的去耀光預處理。

理論分析與大量試驗統(tǒng)計結(jié)果表明，目標表面的耀光、光斑等雜散光分量具有強偏振效應，可近似為部分線偏振光[27-28]；而漫反射分量起偏效應弱，近似為無偏光；同時，鏡面耀光、光斑等雜散光在不同波段下有著不同的偏振態(tài)。因此，結(jié)合多波段偏振成像，提取有效的偏振光譜特征信息，可準確地判別漫反射分量與雜散光分量，從而高

效地抑制目標表面耀光、光斑等雜散光的不利干擾，進一步提高目標三維重構(gòu)的視覺性能。

基于偏振多光譜的耀光去除預處理方法主要包含以下幾個步驟。

第1步：構(gòu)建聯(lián)合偏振光譜特征向量進行雜散光檢測，結(jié)合線偏振度及強度信息對雜散光區(qū)域進行有效準確的檢測。

第2步：獲取最大-最小偏振光譜差分圖像(單通道無耀光圖像)。經(jīng)過分析，最大-最小偏振光譜差分圖像僅與目標的漫反射分量有關(guān)，而與鏡面雜散光無關(guān)。因此，利用0°、45°、90° 3個偏振方向的光譜差分圖像，進行線性加權(quán)，生成單通道無耀光圖像SSF，避免了耀光、光斑等雜散光的干擾，同時保留目標原有信息，能有效地引導后續(xù)雜散光的分離抑制。

第3步：基于最大-最小偏振光譜差分圖像，實現(xiàn)雜散光分量分離。對于前兩步中檢測到的雜散光區(qū)域像素點，可在單通道無耀光圖像SSF中尋求其強度值最接近的漫反射像素點，將此漫反射像素點原有的色彩強度作為雜散光像素點的漫反射色彩強度?；谝陨喜呗裕岢鲆环N全局處理的最小二乘系數(shù)分解算法。該算法在SSF圖像進行全局遍歷搜尋，對檢測到的雜散光區(qū)域?qū)崿F(xiàn)有效引導反射系數(shù)分離，最終得到準確的雜散光分離結(jié)果。試驗結(jié)果如圖3—圖6所示。

表1 折射率測量結(jié)果

圖3 石膏圓柱Fig.3 Gypsum mold

需要說明的是：由于石膏圓柱表面沒有耀光，因此沒有去耀光試驗結(jié)果。由試驗結(jié)果可以看出，傳統(tǒng)的雙目三維重構(gòu)方法由于需要豐富的紋理信息及對反光特性的依賴，對于高反光、紋理單一甚至缺失這一類特殊目標，如石膏圓柱、沒有花紋的瓷碗、蘋果等，無法提取豐富的特征點，從而導致重構(gòu)結(jié)果出現(xiàn)大面積的數(shù)據(jù)空洞，不能得到目標完整的三維形貌，而基于多波段偏振的三維重構(gòu)方法不需要依賴目標表面的紋理信息，僅需要利用偏振和光譜信息，得到了目標表面完整的三維信息，還同時得到了目標的折射率，實現(xiàn)了目標三維結(jié)構(gòu)和折射率的聯(lián)合估計。

圖4 蘋果Fig.4 Apple

圖5 瓷碗Fig.5 Bowl

4 總 結(jié)

基于多波段偏振的三維重構(gòu)方法同時利用圖像的光譜信息和偏振信息，將攝影測量與機器視覺進行融合，實現(xiàn)了對高反光無紋理這一類特殊目標表面的完整三維重構(gòu)，并成功解決了僅依靠菲涅爾理論無法實現(xiàn)天頂角和折射率的同時估計問題，擴大了三維重構(gòu)的普適性，使得數(shù)字攝影測量具有更廣泛的應用范圍。并且本文利用光譜和偏振信息，對目標進行了去耀光預處理，進一步提高了三維重構(gòu)的精度，并用仿真試驗進行了驗證。

圖6 衛(wèi)星模型Fig.6 Satellite model

參考文獻：

[1] SONG Weitao, WENG Dongdong, LIU Yue, et al. Three-dimensional Reconstruction for Photon Counting Imaging Using a Planar Catadioptric Method[C]∥Proceedings of 2017 Conference on Lasers and Electro-optics Pacific Rim. Singapore: IEEE, 2017: 1-2.

[2] WANG Binquan, KONG Lingcheng, ZHAO Jianghai, et al. Design of Three-dimensional Reconstruction and Robot Path Planning Based on Kinect System[C]∥Proceedings of the 29th Chinese Control and Decision Conference. Chongqing, China: IEEE, 2017: 3829-3834.

[3] ZHANG Junning, PAN Wei, SHI Haobin, et al. Three-Dimensional Reconstruction Method Based on Target Recognition for Binocular Humanoid Robot[C]∥Proceedings of 2016 International Conference on Progress in Informatics and Computing. Shanghai, China: IEEE, 2017: 355-359.

[4] HONDA J, YOKOYAMA H, TAJIMA H, et al. Influences of 3D Aircraft Model to ILS Localizer[C]∥Proceedings of the 2016 10th International Conference on Complex, Intelligent, and Software Intensive Systems. Fukuoka, Japan: IEEE, 2016: 180-185.

[5] SUN Huabo, LUO Boren, YU Liling, et al. Mosaic Research with 3D LiDar Point Cloud of Civil Aircraft[C]∥Proceedings of the 2013 2nd International Symposium on Instrumentation and Measurement, Sensor Network and Automation. Toronto, ON, Canada: IEEE, 2013: 683-686.

[6] GODARD C, HEDMAN P, LI Wenbin, et al. Multi-View Reconstruction of Highly Specular Surfaces in Uncontrolled Environments[C]∥Proceedings of 2015 International Conference on 3D Vision. Lyon, France: IEEE, 2015: 19-27.

[7] ZHAO Yongqiang, YI Chen, KONG S G, et al. Multi-band Polarization Imaging and Applications[M]. Berlin, Heidelberg: Springer, 2016.

[8] RAGHEB H, HANCOCK E R. A Probabilistic Framework for Specular Shape-from-shading[J]. Pattern Recognition, 2003, 36(2): 407-427.

[9] KOSHIKAWA K. A Polarimetric Approach to Shape Understanding of Glossy Objects[C]∥Proceedings of the 6th International Joint Conference on Artificial Intelligence. Tokyo, Japan: Morgan Kaufmann Publishers Inc., 1979.

[10] GHOSH A, CHEN Tongbo, PEERS P, et al. Circularly Polarized Spherical Illumination Reflectometry[J]. ACM Transactions on Graphics, 2010, 29(6): 162.

[11] MIYAZAKI D, KAGESAWA M, IKEUCHI K. Transparent Surface Modeling from a Pair of Polarization Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 73-82.

[12] ATKINSON G A, HANCOCK E R. Multi-view Surface Reconstruction Using Polarization[C]∥Proceedings of the 10th IEEE International Conference on Computer Vision. Beijing, China: IEEE, 2005: 309-316.

[13] MIYAZAKI D, SAITO M, SATO Y, et al. Determining Surface Orientations of Transparent Objects Based on Polarization Degrees in Visible and Infrared Wavelengths[J]. Journal of the Optical Society of America A, 2002, 19(4): 687-694.

[14] MOREL O, GORRIA P. Polarization Imaging for 3D Inspection of Highly Reflective Metallic Objects[J]. Optics and Spectroscopy, 2006, 101(1): 11-17.

[15] STOLZ C, FERRATON M, MéRIAUDEAU F. Shape from Polarization: A Method for Solving Zenithal Angle Ambiguity[J]. Optics Letters, 2012, 37(20): 4218-4220.

[16] ZHAO Yongqiang, WANG Miaomiao, YANG Guang, et al. FOV Expansion of Bioinspired Multiband Polarimetric Imagers with Convolutional Neural Networks[J]. IEEE Photonics Journal, 2018, 10(1): 1-14.

[17] MIYAZAKI D, SHIGETOMI T, BABA M, et al. Polarization-Based Surface Normal Estimation of Black Specular Objects from Multiple Viewpoints[C]∥Proceedings of the 2nd International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission. Zurich, Switzerland: IEEE, 2012: 104-111.

[18] DROUET F, STOLZ C, LALIGANT O, et al. 3D Reconstruction of External and Internal Surfaces of Transparent Objects from Polarization State of Highlights[J]. Optics Letters, 2014, 39(10): 2955-2958.

[19] ATKINSON G A, HANCOCK E R. Surface Reconstruction Using Polarization and Photometric Stereo[C]∥Proceedings of the 12th International Conference on Computer Analysis of Images and Patterns. Vienna, Austria: Springer, 2007: 466-473.

[20] SAMAN G, HANCOCK E. Refractive Index Estimation Using Photometric Stereo[C]∥Proceedings of the 18th IEEE International Conference on Image Processing. Brussels, Belgium: IEEE, 2011: 1925-1928.

[21] HUYNH C P, ROBLES-KELLY A, HANCOCK E R. Shape and Refractive Index from Single-View Spectro-Polarimetric Images[M]. Hingham: Kluwer Academic Publishers, 2013.

[22] KADAMBI A, TAAMAZYAN V, SHI Boxin, et al. Polarized 3D: High-quality Depth Sensing with Polarization Cues[C]∥Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3370-3378.

[23] NGO T T, NAGAHARA H, TANIGUCHI R I. Shape and Light Directions from Shading and Polarization[C]∥Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 2310-2318.

[24] 平茜茜, 劉勇, 董欣明, 等. 基于偏振雙目視覺的無紋理高反光目標三維重構(gòu)[J]. 紅外與毫米波學報, 2017, 36(4): 432-438.

Ping Xixi, LIU Yong, DONG Xinming, et al. 3-D Reconstruction of Textureless and high-Reflective target by Polarization and Binocular Stereo Vision[J]. Journal of Infrared and Millimeter Waves, 2017, 36(4): 432-438.

[25] AHMAD J E, TAKAKURA Y. Stereo-polarimetric Measurement of Pair of Mueller Images for Three Dimensional Partial Reconstruction[C]∥Proceedings of the 2006 14th European Signal Processing Conference. Florence, Italy: IEEE, 2006: 1-4.

[26] BORN M, WOLF E. Principles of Optics: Electromagnetic Theory of Propagation, Interference and Diffraction of Light[M]. 7th ed. Oxford: Cambridge University Press, 1999.

[27] ZHAO Yongqiang, PENG Qunnie, YI Chen, et al. Multiband Polarization Imaging[J/OL]. Journal of Sensors,(2016)[2016-04-15].http:∥dx.doi.org/10.1155/2016/5985673.

[28] ZHAO Yongqiang, PENG Qunnie, XUE Jize, et al. Specular Reflection Removal Using Local Structural Similarity and Chromaticity Consistency[C]∥Proceedings of 2015 IEEE International Conference on Image Processing. Quebec City, QC, Canada: IEEE, 2015: 3397-3401.