周夢園，楊奮林

(吉首大學數(shù)學與統(tǒng)計學院，湖南 吉首 416000)

偏振重建是X光線恢復形狀的重要方法，其因不依賴光照、對目標物材料要求低且有實現(xiàn)高精度重建潛力等，廣泛應用于醫(yī)學和文物數(shù)字化復原等領域.然而，偏振重建過程中存在的方位角歧義，會導致重建的形狀翻轉，使得重建結果的準確性不高[1-2].深度相機問世后，其深度質量的提升成為研究熱點.目前，深度相機所生成的粗糙深度圖的幾何形狀雖較精準，但仍存在一定的噪聲和高頻模糊[3]，致使重建表面粗糙，缺乏細節(jié).因此，偏振或粗糙深度單一模態(tài)下很難滿足高精度重建要求.于是，眾多學者探究了粗糙深度圖與偏振圖像的融合重建[4-7]，開啟了新思路.

不同于文獻[5-7]中的深度相機，本研究選用Realsensed435i深度相機獲取粗糙深度圖，選用尼康相機外加偏振鏡來獲取偏振圖像.由于偏振重建物體部分表面法向量的方位角存在π歧義，因此可利用深度圖在低頻較準確的特點對偏振法線進行校正[5].筆者擬計算粗糙深度圖法線與偏振法線，使用閾值分割法將偏振法線的歧義部分進行分離并校正;為了增強深度質量，采用以深度約束為擬合項、偏振法線約束為光滑項的罰函數(shù)法進行融合重建.

1 法線計算

1.1 深度圖計算法線

選用Realsensed435i深度相機獲取M×N像素大小的粗糙深度圖D∈RM×N.首先，將粗糙深度圖的像素坐標轉換為世界坐標，即在(x，y)坐標處的深度值可寫成一個真實世界坐標的點云:

(1)

Q=(Px，y，Px1，y1，…，Pxk，yk)T.

(2)

1.2 偏振圖像計算法線

根據(jù)偏振成像原理，偏振強度圖像I可以寫成

其中：αp為偏振鏡旋轉的角度，是已知變量;Imax，Imin和φp分別為最大亮度值、最小亮度值及方位角，是未知變量.對圖像I進行正弦波分解時，可用方位角φp、偏振度ρ及天頂角θp對圖像作參數(shù)化，其中

(3)

(4)

這里S0，S1，S2為Stockes向量的分量.求解參數(shù)ρ和φp需要3個或3個以上偏振角度的光強信息，因此筆者選取0°，45°，90°，135°這4個角度的偏振圖[11]進行求解.若只考慮漫反射，則(x，y)位置的偏振度ρx，y、天頂角θpx，y及折射率n有如下關系:

(5)

其中折射率n=1.5，天頂角θp可通過分步式方法[5]計算.由(3)～(5)式最終可得偏振法線Npol=(cosφpsinθp，sinφpsinθp，cosθp)T.需要注意的是，由(4)式求解出的方位角會有π歧義，這會導致部分位置偏振法線的方向發(fā)生旋轉.在產(chǎn)生π歧義的部分，因粗糙深度計算的法線方向更接近準確值，故需要用粗糙深度計算的法線Nd對偏振法線Npol進行校正.

1.3 深度校正偏振法線

眾所周知，偏振獲取的法線方向具模糊性，即方位角有2個取值，從而計算的法線也對應2個值:

其中φp2與φp1對應像素的值相減等于π.為了獲取高質量的偏振法線，需要以深度信息作為先驗來校正偏振法線，校正模型如下:

(6)

(7)

2 融合重建

采用中深度約束作擬合項、偏振法線約束作光滑項的罰函數(shù)方法實現(xiàn)融合重建[12]，該方法的離散模型如下:

(8)

其中：λ>0，為調節(jié)擬合項和光滑項的正則化參數(shù)；u為(x，y)處像素點位置；光滑后的深度Db(u)是P(u)的第3個分量；D(u)為未知深度；Nc(u)為偏振校正后的法線.光滑項是由切向量與修正后的偏振法線的垂直關系而得到的，這些切向量可以根據(jù)深度寫成線性的：

(9)

Dx，Dy∈RM×N分別為D在x和y方向上的導數(shù)的有限差分近似.考慮到獲取的深度圖為均勻離散采樣，在選取差分格式近似時，若6鄰域均存在，則盡可能使用平滑的中心差分近似:

有鄰域不可用的情況下，選用中心差分或向前/后差分近似計算，沒有鄰域的點將會被剔除.由此，差分近似得到的Dx，Dy每行最多有6個非零值，離散后構建成一個非常稀疏的矩陣.由方程組(9)可知，切向量Tx，Ty與D是線性關系，整幅圖像的切向量可以根據(jù)深度寫成

(10)

(11)

(12)

其中I是MN×MN大小的單位矩陣，O是與I相同大小的零矩陣.

(13)

其中D左邊的向量大小為3MN×MN，Db為光滑后的粗糙深度圖.對于大型稀疏線性方程組(13)，可用QR求解器有效地求解D.

3 數(shù)值實驗

本實驗選用Intel的Realsensed435i深度相機獲取原始粗糙深度圖，選用尼康相機外加偏振鏡獲取偏振圖像.使用雙邊濾波對粗糙深度圖進行平滑、雙三次插值放大處理，再與高斯濾波后的偏振圖像配準，得到的預處理后的圖像大小均為256×256(圖1).

圖1 預處理后的圖像

分別用粗糙深度圖、偏振計算法線，再用閾值分割法對偏振法線進行校正，結果如圖2所示.

圖2 法線校正過程

圖2(a)為深度計算出的法線，邊緣部分有部分空洞，這是由深度相機設備的限制造成的；偏振計算出的法線見圖2(b)；圖2(c)為深度校正偏振法線時產(chǎn)生的二值算子，圖中白色位置對應需要校正的像素點位置，校正后的法線見圖2(d).為了對比偏振法線校正前后效果，基于傅里葉變換梯度重建方法[14]對圖2(b)和(d)進行重建，抽取Y=150處重建表面的信號線進行對比，結果如圖3所示.

圖3 法線校正前后對比

由圖3可見，校正前物體的重建形狀發(fā)生了嚴重扭曲，而經(jīng)過深度先驗校正后，物體表面呈弧形走勢，這說明校正后的重建形狀接近實驗目標物，解決了偏振重建形狀翻轉的問題.理想狀態(tài)下，本實驗重建結果信號線應為規(guī)正圓弧，而實際校正后信號線發(fā)生了一定程度的扭曲，其原因是偏振求解法線時僅考慮漫反射分量，未考慮鏡面反射分量，導致小范圍誤差.

通過閾值分割法得到校正后的法線，再將深度與校正后的法線進行融合重建.深度圖重建結果如圖4(a)所示，從中可以看出，目標物重建后整體幾何效果好，但表面粗糙缺乏細節(jié)；融合重建結果如圖4(b)所示，從中可以看出，目標物融合重建后表面光滑，幾何形狀較好.

圖4 融合前后重建對比

為了比較融合效果，分別抽取深度重建、偏振重建及融合重建在Y=150處的信號線，如圖5所示.圖5中：實線表示深度重建，其表面高頻部分波動頻率大且無規(guī)則，恢復的細節(jié)不明顯;點線表示偏振重建，其表面相對于深度重建較光滑，但幾何形狀效果不好;短橫線表示融合重建，其與深度重建相比表面較光滑，與偏振重建相比幾何形狀更接近目標物.

圖5 融合前后信號線對比

由圖4，5可見：深度重建的幾何形狀接近目標形狀，但表面粗糙；偏振重建的幾何形狀扭曲程度大，但表面光滑度高于深度重建；融合重建的幾何形狀更加符合圓弧趨勢，且表面光滑度優(yōu)于深度和偏振重建.本研究通過罰函數(shù)優(yōu)化方法構造大型過約束稀疏線性方程組，并利用最小二乘求解解決了深度重建在高頻細節(jié)上表現(xiàn)不足及偏振重建在幾何上扭曲的問題.

4 結語

多傳感器圖像間融合的難點之一是視場的統(tǒng)一，需要將對應點的像素對齊，這就需要進行插值或放縮操作.針對粗糙深度圖的噪聲，筆者選取的是雙邊濾波器，它既可以保持圖像光滑，又不損壞邊緣信息.針對偏振圖像低頻區(qū)域方位角不準確的問題，利用粗糙深度圖的法線進行校正.在校正法線時，采用圖像分割中的閾值分割法，對每個像素點的偏振法線與深度法線之間的夾角關系設定閾值，并糾正前景對應像素的值.最后構建含深度、偏振約束的能量泛函，用最小二乘法求解，實現(xiàn)偏振與深度信息融合重建，有效地結合了粗糙深度圖的幾何優(yōu)勢與偏振圖像的細節(jié)優(yōu)勢.

本研究是在自然光下而不是特定光源下實現(xiàn)融合重建，雖然只考慮漫反射下的偏振信息，使得校正法線后的偏振重建形狀仍有一定的偏差，但是該偏差對融合結果影響較小.未來將設計鏡面/漫反射混合情況下的融合模型，同時考慮優(yōu)化最小二乘形式，以進一步提高精度.