趙守凱

（湛江幼兒師范?？茖W(xué)校，廣東 湛江 524084）

從三維場(chǎng)景拍攝二維圖像的過(guò)程中，一些有用的信息因?yàn)閺娜S空間向二維空間的投影而丟失，所以無(wú)法通過(guò)測(cè)量的方式來(lái)確定位置信息。但是圖像中仍然包含隱含形式的三維信息，這些信息包含在明暗和紋理等信息中。如圖1所示，人眼將圖1中物體解讀為地面，是因?yàn)榈孛姹砻婕y理形狀變化信息轉(zhuǎn)換成對(duì)應(yīng)的二維圖像上的明暗信息；人的視覺(jué)過(guò)程將圖1中物體解讀為地面，是因?yàn)樵谕队俺上竦倪^(guò)程中，關(guān)于地面形狀變化的信息保留在了對(duì)應(yīng)二維圖像的紋理變化中。根據(jù)二維圖像中隱含的三維信息可以對(duì)物體的形狀進(jìn)行重建，比如利用圖1中的明暗信息可以得到圖2地面表面的高度信息，進(jìn)而重建出地面的三維形狀，或者利用圖1中紋理形變的規(guī)律得到地面的表面朝向信息也可恢復(fù)出地面的三維形狀。

圖1 有紋理的地面圖像

圖2 地面高度圖

在計(jì)算機(jī)視覺(jué)中，根據(jù)二維圖像中的像素值對(duì)物體進(jìn)行三維形貌重建的技術(shù)可稱為Shape From“X”，其中的“X”可代表立體光（Stereo）、明暗（Shading）、輪廓（Contour）、紋理（Texture）、運(yùn)動(dòng)（Motion）等信息。其中根據(jù)光度立體恢復(fù)形狀（Shape From Stereo）技術(shù)、根據(jù)輪廓恢復(fù)形狀（Shape From Contour）技術(shù)，以及根據(jù)運(yùn)動(dòng)信息恢復(fù)形狀（Shape From Motion）技術(shù)都需要利用至少兩幅圖像的信息對(duì)形狀進(jìn)行重建，并且對(duì)圖像采集的要求較高，對(duì)于體積較大不易移動(dòng)的物體不適用，而根據(jù)明暗信息恢復(fù)形狀技術(shù)僅通過(guò)單幅圖像中的明暗線索即可重建物體的三維形狀。

1 根據(jù)明暗信息恢復(fù)形狀概述

早期的藝術(shù)家在繪畫(huà)藝術(shù)中已經(jīng)開(kāi)始探索明暗程度對(duì)物體形狀的表現(xiàn)力，例如在素描繪畫(huà)中，物體的形狀幾乎完全依靠明暗關(guān)系表現(xiàn)。一般通過(guò)明暗關(guān)系即可確定物體的形狀，例如圖1中，根據(jù)地面的明暗信息，人們可以將其解讀為地面。因此要解決SFS問(wèn)題首先要理解圖像是如何形成的。在朗伯反射模型的假設(shè)下，圖像的亮度值完全取決于光源的方向和實(shí)際物體上該點(diǎn)的表面朝向的夾角。理論上，如果給定一個(gè)明暗圖像，根據(jù)朗伯反射模型的假設(shè)和已知的光源方向等參數(shù)就能通過(guò)SFS算法得到物體表面各點(diǎn)的朝向。但是，物體表面各點(diǎn)的朝向至少有兩個(gè)未知量（用來(lái)表示法矢量的空間方向），而圖像上某點(diǎn)的亮度信息只能提供一個(gè)已知量，由此建立的方程是病態(tài)的，沒(méi)有唯一解。另外，實(shí)際圖像并不能總是滿足朗伯反射模型，拍攝的圖像會(huì)有高光、陰影和空中反射光的交叉反射的影響，也會(huì)在很大程度上影響表面朝向的計(jì)算，因此如何確定算法和具體的限制條件是研究重點(diǎn)。

2 基于光學(xué)圖像的三維重建線性化方法

20世紀(jì)70年代，Horn在美國(guó)麻省理工學(xué)院攻讀博士期間發(fā)表論文，他首先提出了根據(jù)明暗信息恢復(fù)形狀問(wèn)題。他指出，如果光源方向和反射率已知，可以根據(jù)圖像的明暗信息得到一階偏微分方程并計(jì)算表面方向，進(jìn)而恢復(fù)物體的表面朝向。Horn的這種方法簡(jiǎn)單且易實(shí)現(xiàn)，不需要復(fù)雜昂貴的光源，甚至一個(gè)手電筒就能滿足對(duì)光源的需求，從而引發(fā)了人們對(duì)于SFS問(wèn)題的研究熱潮，提出了很多經(jīng)典的SFS?；诠鈱W(xué)圖像的三維重建的線性化方法在行業(yè)中得到越來(lái)越廣泛的應(yīng)用。

線性化方法（Linear Approaches）的主要求解思路是，在非線性反射函數(shù)中，低階項(xiàng)占主要部分，因此對(duì)反射函數(shù)做Taylor展開(kāi)后，只保留了線性項(xiàng)。Pentland采用傅里葉變換方法，在頻率域中找出表面梯度和表面高度的傅里葉表示之間的線性關(guān)系，由此可通過(guò)傅里葉反變換求出表面高度，這種方法的優(yōu)點(diǎn)是不需要光滑性約束，適用于復(fù)雜的自然系地表的三維形狀重建。Tsai和Shah的方法采用表面梯度的離散近似，對(duì)反射圖做線性優(yōu)化，圖像中每一點(diǎn)的亮度值由鄰域內(nèi)像素點(diǎn)的線性函數(shù)表示出來(lái)，通過(guò)Jacobi迭代法求解整個(gè)線性系統(tǒng)，最終完成三維形狀重建。如果物體表面所對(duì)應(yīng)的反射函數(shù)的高階分量很小，那么利用線性化方法可以得到與物體表面解析值非常接近的結(jié)果。

由于線性化方法是將非線性問(wèn)題轉(zhuǎn)化為線性問(wèn)題，也即通過(guò)將反射圖線性化，求解反射圖中的低階項(xiàng)。Pentland使用傅里葉變換給出了一個(gè)非迭代、封閉的解決方案。對(duì)反射圖的線性逼近上，缺點(diǎn)是當(dāng)非線性項(xiàng)很大時(shí)重建形狀很難解。當(dāng)反射圖中平方項(xiàng)起主要作用時(shí)，頻率災(zāi)難（frequency doubling）就發(fā)生了。這將導(dǎo)致重建的形狀不連續(xù)。Tsai和Shah用有限差分方法離散逼近p和q，之后用Z（x，y）線性化反射圖，為方便描述，圖像的輻照度方程可寫(xiě)為：

對(duì)于固定點(diǎn)（x，y）和給定的圖像強(qiáng)度E，將方程f進(jìn)行Tayler展開(kāi)，其中包含一個(gè)非常大的逆矩陣，但是可以用Jacobi迭代法簡(jiǎn)化求解過(guò)程，在Jacobi迭代法中，如果給定初始值Z，最終的深度值可通過(guò)持續(xù)的迭代過(guò)程求得，比如第n次迭代的深度值Z，可通過(guò)前面的第n-1次的估計(jì)值Z-（x，y）得到。另外，如果將鄰域值Z1（x-1，y）和Z1（x，y-1）用Z（x-1，y）和Z（x，y-1）代替，可簡(jiǎn)化為：

對(duì)于函數(shù)f（Z（x，y）），用高斯牛頓法可算出一個(gè)修正量h，可得，這樣對(duì)于Z（nx，y）的第n次迭代中，假定對(duì)于圖像中的所有點(diǎn)，初始值為Z0（x，y）=0，根據(jù)式（2）就可以估計(jì)出所有的高度值。

3 根據(jù)明暗信息重建三維形狀方法

首先對(duì)合成的圖像進(jìn)行重建，合成灰度圖像。這里的灰度值對(duì)應(yīng)為亮度值的合成圖像，是按照朗伯反射模型的反射原理，利用假設(shè)的高度反推灰度結(jié)果得到的理想圖像，并不是實(shí)際存在的圖形。然而當(dāng)人眼能夠直觀上解讀為實(shí)際圖形，是因?yàn)槲覀兊拇竽X對(duì)圖像中的明暗信息做出了相應(yīng)的理解，從這個(gè)意義上講，朗伯表面反射模型比較接近真實(shí)的反射情況，也印證了該算法的可行性。圖4是用線性化算法對(duì)圖3的重建結(jié)果，從結(jié)果中可以看出，重建結(jié)果是較為準(zhǔn)確的真實(shí)圖形，重建結(jié)果圖形由可知光源方向的選取對(duì)重建結(jié)果有關(guān)鍵性影響，這也是算法的局限性之一，重建結(jié)果的尖刺噪聲是由于原圖像的背景中存在亮點(diǎn)。對(duì)花瓶照片圖像的形狀重建結(jié)果充分說(shuō)明了本算法的可靠性，可以看到該算法對(duì)形狀的重建結(jié)果與人眼對(duì)圖形形狀的感知基本類(lèi)似。

圖3 合成花瓶圖像

圖4 花瓶高度圖

4 根據(jù)圖像明暗信息的三維重建應(yīng)用領(lǐng)域

基于圖像明暗信息的三維重建可應(yīng)用于三維地形分析，根據(jù)雷達(dá)和SAR圖像，重現(xiàn)山川河流的三維地貌，物體足印形狀測(cè)量及表面缺陷檢測(cè)，獲得被測(cè)物體更加全面的表面形貌信息，有利于分析工件表面的合格性，排除缺陷產(chǎn)品?？蓮V泛應(yīng)用于機(jī)械設(shè)計(jì)的制造，三維產(chǎn)品設(shè)計(jì)及逆向工程中。結(jié)合現(xiàn)在的大數(shù)據(jù)技術(shù)及人工智能技術(shù)，已廣泛應(yīng)用于視覺(jué)導(dǎo)航、自動(dòng)駕駛中。在目標(biāo)識(shí)別、人臉識(shí)別及三維重建，服裝設(shè)計(jì)等方面也有相當(dāng)廣泛的應(yīng)用。