吳鳳和， 王金芬， 王 軍， 王 鑫

（燕山大學(xué)機械工程學(xué)院，河北秦皇島 066004）

基于閾值分割與多邊形掃描求交的明暗恢復(fù)形狀重構(gòu)模型冗余信息去除

吳鳳和， 王金芬， 王 軍， 王 鑫

（燕山大學(xué)機械工程學(xué)院，河北秦皇島 066004）

針對明暗恢復(fù)形狀重構(gòu)模型存在圖像背景信息問題，提出基于閾值分割與多邊形掃描求交的冗余信息去除方法。通過閾值分割將圖像轉(zhuǎn)換為二值圖像，采用形態(tài)學(xué)方法修補二值圖像中的缺陷，并利用微分算子提取圖像的二維輪廓；通過多邊形掃描求交將圖像分割為目標區(qū)域和背景區(qū)域；根據(jù)由陰影恢復(fù)形狀原理重構(gòu)三維模型，并通過二維輪廓與三維形貌的信息匹配去除圖像背景冗余信息。實例表明，該方法能夠有效去除明暗恢復(fù)形狀重構(gòu)模型中的圖像背景冗余信息，保證重構(gòu)模型的形狀精度。

計量學(xué)；背景去除；多邊形求交；輪廓提?。恍螒B(tài)學(xué)

1 引 言

作為計算機視覺中三維數(shù)據(jù)被動獲取的重要手段，由明暗恢復(fù)形狀（Shape from Shading，簡稱SFS）方法只需物體的單幅圖像就能恢復(fù)物體表面的三維形貌，與其它基于圖像信息的三維重建方法相比，具有操作簡單、成本低、效率高等特點。SFS是由Horn［1］于1970年提出的，其基本原理是利用單幅圖像中物體表面的明暗變化恢復(fù)物體表面各點的相對高度或表面法方向等參數(shù)值，從而得到反映物體三維形貌的模型。近年來，國內(nèi)外的許多學(xué)者對其進行了研究［2～4］，并將其應(yīng)用在檢測與測量、醫(yī)學(xué)圖像處理、自然景物模擬、模式識別等領(lǐng)域［5～8］。

SFS方法借助圖像中各像素點的灰度信息重構(gòu)物體表面的三維模型，即圖像像素點與SFS重構(gòu)模型中的數(shù)據(jù)點間存在一一對應(yīng)關(guān)系。由于任何圖像都包含背景，因此，SFS重構(gòu)模型中既包含圖像中物體的信息也包括圖像中背景的信息。對于逆向工程等應(yīng)用來說，其目的是得到圖像中物體的三維模型，而不應(yīng)包含圖像中的背景信息，因此，開展SFS重構(gòu)模型的背景冗余信息去除研究有重要的理論意義和實用價值。本文綜合運用閾值分割［9，10］、形態(tài)學(xué)修補［11］及多邊形掃描求交等方法，提出一種實用的SFS重構(gòu)模型冗余信息去除方法。首先，通過閾值分割將圖像轉(zhuǎn)換為二值圖像，利用數(shù)學(xué)形態(tài)學(xué)方法修補二值圖像中的缺陷，并通過微分算子進行邊緣檢測，從而得到圖像中目標的二維輪廓；再將二維輪廓看做多邊形，通過多邊形掃描求交將圖像分割為目標區(qū)域和背景區(qū)域；最后，通過SFS方法進行三維重構(gòu)，并根據(jù)三維形貌數(shù)據(jù)點與二維圖像像素點間的一一對應(yīng)關(guān)系去除三維模型中的圖像背景信息，得到物體的數(shù)字化模型。

1 三維形貌恢復(fù)

SFS過程是成像的逆過程，即根據(jù)二維圖像恢復(fù)物體的三維形貌。為簡化問題，傳統(tǒng)的SFS模型做了3個假設(shè)：①光源為無限遠處點光源；②反射模型為朗伯體表面反射模型；③成像幾何關(guān)系為正交投影。在此基礎(chǔ)上，根據(jù)光度學(xué)原理得到如下反射方程：

式中：E（x，y）為圖像灰度；R（p，q）為反射函數(shù)；ρ為圖像亮度，（p0，q0，－1）為光源入射方向；（p，q，－1）為物體表面法線方向。

為解決式（1）的病態(tài)特性，分別引入光滑性約束、亮度約束和梯度一致性約束，構(gòu)造全局性最優(yōu)化函數(shù)：式中：第1項為亮度誤差，第2項為光滑性誤差，第3項為梯度一致性誤差；λ和μ分別為表面光滑性誤差和梯度一致性誤差的加權(quán)因子；（x，y）為離散化的像素坐標。

對式（2）求變分后得到優(yōu)化函數(shù)極值存在的必要條件

式中：?2為拉普拉斯算子，Rp，Rq分別為函數(shù)R關(guān)于p和q的偏導(dǎo)數(shù)。

應(yīng)用交錯網(wǎng)格方法將p，q，z，px，qy，zx，zy及?2算子離散化，再通過Gauss-Seidel迭代法，求解得到物體表面梯度p，q和表面高度z的網(wǎng)格值，從而實現(xiàn)包含圖像背景信息的三維重構(gòu)。

2 圖像輪廓提取

2.1 閾值分割

由于常用的邊緣檢測算子［12，13］得到的邊緣通常無法保證單像素寬，往往出現(xiàn)孤立或者分段連續(xù)的邊緣，因而需要細化、連接等后處理，處理過程較復(fù)雜。因此，選擇基于區(qū)域的閾值法進行圖像分割。在逆向工程領(lǐng)域中，圖像通常只包含工件和背景兩類區(qū)域，因此采用單閾值法。其原理如下。

設(shè)圖像的灰度區(qū)間為［Zmin，Zmax］，選取閾值Zt，且Zmin＜Zt＜Zmax，令圖像中灰度大于或等于Zt的像素的灰度值為1，小于Zt的像素的灰度值為0，則輸出的二值圖像為：

2.2 形態(tài)學(xué)修補

由閾值分割得到的邊緣存在斷線、凹洞等缺陷，使提取的輪廓包含多個閉合的小區(qū)域。為了簡化輪廓，便于處理，采用形態(tài)學(xué)法對二值圖像進行缺陷修補。其原理是：利用結(jié)構(gòu)元素對圖像進行膨脹、腐蝕、開啟、閉合等形態(tài)學(xué)變換，通過選取合適的結(jié)構(gòu)元素和運算形式使圖像在一定方向上增厚或減薄，從而達到修補缺陷、去除噪聲的目的。為達到這一目的，形態(tài)學(xué)運算形式的選擇必須遵循以下原則：

（1）在保持圖像基本形狀特征的基礎(chǔ)上，平滑邊界，消除圖像中的細小孔洞和毛刺等缺陷；

（2）為保證輪廓提取精度，應(yīng)保持圖像中目標的尺寸及形狀基本不變。

由形態(tài)學(xué)各種運算的定義及性質(zhì)可知，只有開運算和閉運算在修補缺陷的同時能夠保證不產(chǎn)生全局的幾何失真。因此，只能采用開運算和閉運算的組合形式進行形態(tài)學(xué)缺陷修補處理。

2.3 輪廓提取

由于二值圖像只有黑、白2種灰度值，本文采用Robert微分算子法［14］進行邊界點判斷及輪廓提取。Robert算子采用對角線方向相鄰像素之差近似梯度來進行邊緣點的判斷，對數(shù)字圖像f（x，y）每一像素點，取其梯度值：

由于二值圖像的特殊性，選取閾值G0（i，j）＝0，當G（i，j）＞G0（i，j）＝0時，該像素點為邊界點，取灰度值為1；否則為背景或目標內(nèi)部點，取灰度值為0。

3 多邊形區(qū)域分割

經(jīng)過輪廓提取處理后就得到了連續(xù)的二維輪廓。由于任意復(fù)雜的二維輪廓均可看做多邊形，因此利用多邊形掃描求交方法進行區(qū)域分割，其技術(shù)路線如圖1所示。

3.1 多邊形掃描求交

多邊形掃描求交是指通過掃描線與二維輪廓線求交，得到每行中的邊界點。如圖2所示的掃描線①與多邊形P01P02P03P04P05P06P07交于E、F、G、H四點，則E、F、G、H四個交點即為邊界點。

得到邊界點之后，需根據(jù)邊界點的性質(zhì)，決定邊界點的取舍。交點取舍應(yīng)遵循如下步驟：

圖1 多邊形掃描求交

步驟1：交點的初步判斷：

首先保留多邊形求交中得到的孤立的邊界點和邊界點中小線段的端點。如圖2所示，掃描線②與多邊形P01P02P03P04P05P06P07相交于A、B、C、D四點的同時，還相交于BC線段，這時只保留A、B、C、D四點。

圖2 交點的初步判斷

步驟2：邊界點性質(zhì)的判斷：

邊界點可分為局部最高點、局部最低點、小線段的端點等，在交點性質(zhì)判斷的過程中，首先對每行中經(jīng)初步判斷得到的邊界點進行排序，并按照從左到右的順序依次進行判斷。

（1）局部最高點

對于本行中的一點，若上一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為0，下一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)大于等于2，并且此點為非小線段端點，則該點為局部最高點，算作0個邊界點，并去掉。如圖3所示，掃面線⑥與多邊形P01P02P03P04P05P06P07P08P09P10P11P12P13P14P15P16P17P18P19交于0、1、2、3、4、5、6七點，其中1點為局部最高點，算作0個邊界點。

圖3 交點性質(zhì)判斷

（2）局部最低點

對于本行中的一點，若上一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為2，下一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為0，且該點為非小線段端點，則該點為局部最低點，算作2個邊界點。如圖3所示，掃描線④與多邊形交于0、1、2三點，其中1為局部最低點，算作2個邊界點。

（3）小線段的端點

首先做如下定義：

①若小線段的左端點的縱坐標與上一行（或下一行）中經(jīng)步驟1保留下來的邊界點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為非0，且小線段的右端點的縱坐標與下一行（或上一行）中經(jīng)步驟1保留下來的邊界點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為非0，則定義a＝1；

②若小線段的左、右端點的縱坐標與上一行（或下一行）中經(jīng)步驟1保留下來的邊界點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)均非0，則定義a＝2；

邊界點的個數(shù)根據(jù)上述定義和如下規(guī)則確定：

①若小線段的左端點的序號為奇數(shù)，且a＝1，則左端點算作2個邊界點，右端點算作1個邊界點。如圖3所示，掃描線①與多邊形交于0、1、2三點，小線段左端點算作2個邊界點，右端點算作1個邊界點；

②若小線段的右端點的序號為奇數(shù)，且a＝1，則右端點算作2個邊界點，左端點算作1個邊界點。如圖3所示，掃描線②與多邊形相交于0、1、2三點，則小線段左端點算作1個邊界點，右端點算作2個邊界點；

③若小線段的左端點的序號為奇數(shù)，且a＝2，則去除左、右端點，均算作0個邊界點。如圖3所示，掃描線③與多邊形交于0、1、2、3、4、5六點，其中小線段的左右端點3、4均算作0個端點，掃描線⑤與多邊形交于0、1、2、3四點，其中小線段的左右端點1、2均算作0個端點；

④其余情況，左、右端點均算作一個端點。如圖3所示，掃描線⑦與多邊形交于0、1、2、3四個端點，小線段左右端點均算作1個邊界點。

3.2 冗余信息去除

通過以上多邊形掃描求交算法得到了每行中的邊界點，為了防止邊界區(qū)域的擴大，需保留左邊界點，而去除右邊界點。因此冗余信息去除的步驟如下：

（1）交點配對：將多邊形掃描求交算法保留下來的交點按照第一個與第二個，第三與第四個……依次類推的規(guī)則進行配對，兩兩成對。

（2）背景去除：根據(jù)二維圖像像素點與SFS恢復(fù)的三維形貌數(shù)據(jù)點間的一一對應(yīng)關(guān)系，借助多邊形掃描求交及交點配對結(jié)果去除SFS重構(gòu)模型中的圖像背景冗余信息。去除原則是：只保留SFS重構(gòu)模型中交點配對區(qū)間之內(nèi)的信息，去除配對區(qū)間之外的冗余信息。

4 實 例

為驗證圖像背景冗余信息去除的效果，以駱駝圖像為例進行試驗，結(jié)果如圖4所示。圖4（a）為輸入的原始圖像；圖4（b）為圖4（a）經(jīng)SFS方法得到的三維形貌；圖4（c）為圖4（a）經(jīng)閾值分割得到的二值圖像，由圖可看出經(jīng)閾值分割得到的二值圖像邊緣存在斷線、凹洞等缺陷；圖4（d）為對圖4（c）經(jīng)過形態(tài)學(xué)修補之后的二值圖像，消除了圖4（c）中二值圖像邊緣的斷線、凹洞等缺陷；圖4（e）為圖4（d）經(jīng)輪廓提取后得到的連續(xù)的二維輪廓；圖4（f）為由圖4（b）和圖4（e）經(jīng)信息融合，去除配對區(qū)間之外的冗余信息得到的數(shù)字化模型。由圖可知，圖像的背景去除效果較好，保留了圖像中物體邊緣的細節(jié)信息。

圖4 背景去除

5 結(jié) 論

針對SFS重構(gòu)模型存在圖像背景冗余信息問題，本文提出基于閾值分割與多邊形掃描求交的冗余信息去除方法。將閾值分割、形態(tài)學(xué)修補及多邊形掃描求交等方法相結(jié)合，精確獲取二維輪廓邊界點信息，并通過二維輪廓與三維形貌的信息匹配去除重構(gòu)模型中的圖像背景信息。由實驗結(jié)果可以看出，該方法能有效去除SFS重構(gòu)模型中的圖像背景冗余信息，保證重構(gòu)模型的形狀精度，對拓展SFS方法的應(yīng)用領(lǐng)域具有重要意義。

［1］ Horn B K P.Shape from Shading：method for obtaining the shape of a smooth opaque object from one view［R］. MIT ProjectMAC TR-79，1970.

［2］ Hisashi S.A Shape-from-Shading Method of Polyhedral Objects Using Prior Information［J］.IEEETransactions onPatternAnalysisandMachineIntelligence，2006，28（4）：612－624.

［3］ Takayuki O，Koichiro D.Shape Reconstruction from an Endoscope Image by Shape from Shading Technique for a Point Light Source at the Projection Center［J］.Computer VisionandImageUnderstanding，1997，66（2）：119－131.

［4］ Dimitris S，Dim itris M.Incorporating Illum ination Constraints in Deformable Models for Shape from Shading and Light Direction Estimation［J］.IEEETransactionson PatternAnalysisandMachineIntelligence，2003，25（2）：247－264.

［5］ Wu Fenghe，Sun Lei.Single image based reverse engineering method［J］.JournalofComputational InformationSystems，2009，5（1）：193－199.

［6］ 王國琿，韓九強，張新曼，等.一種新的基于從明暗恢復(fù)形狀的月球表面三維形狀恢復(fù)算法［J］.宇航學(xué)報，2009，30（6）：2265－2269.

［7］ 宋麗梅，周興林，徐可欣，等.基于單幅測量圖像的三維缺陷檢測技術(shù)［J］.光學(xué)學(xué)報，2005，25（9）：1195－1200.

［8］ 嚴濤，陳彥云，吳恩華.一種基于單幅圖像的樹木深度估計與造型方法［J］.計算機學(xué)報，2000，23（4）：386－392.

［9］ 吳鳳和，張曉峰，施法中.基于單幅圖像數(shù)據(jù)的三維重構(gòu)方法研究.中國機械工程，2007，18（17）：2071－2075.

［10］ 程琦，趙軍，劉宇.指針式儀表示值識別系統(tǒng)研究［J］.計量學(xué)報，2009，30（5A）：192－195.

［11］ 吳鳳和.基于計算機視覺測量技術(shù)的圖像輪廓提取方法研究［J］.計量學(xué)報，2007，18（1）：18－22.

［12］ 呂哲，王福利，常玉清，等.機器視覺測量中一種新的邊緣檢測算法［J］.計量學(xué)報，2009，30（3）：193－196.

［13］ 張洪濤，段發(fā)階，丁克勤，等.帶鋼表面缺陷視覺檢測系統(tǒng)關(guān)鍵技術(shù)研究［J］.計量學(xué)報，2007，28（3）：216－219.

［14］ 章毓晉.圖象理解與計算機視覺［M］.北京：清華大學(xué)出版社，2000.

Redundant Information Removing of SFS Reconstructed Model Based on Threshold Segmentation and Polygons Intersecting

WU Feng-he， WANG Jin-fen， WANG Jun， WANG Xin
（College of Mechanical Engineering，Yanshan University，Qinhuangdao，Hebei066004，China）

To remove the redundant points of shape from shading reconstructed model，a practical methods based on threshold segmentation and polygons intersecting is proposed.The image is converted into binary image through threshold segmentation technique，the defects contained in image are remedied by morphological method，and the 2D contour is extracted by using the differential operator，the binary image is divided intoobjective region and background region by using the polygons intersectingmethod；the 3D model is reconstructed by using shape from shading method，and the redundant points of shape from shading reconstructed model are removed through fusing the information of 3D profile and 2D contour.Experiment results showed that themethod proposed can effectively remove redundant points of shape from shading reconstructed model，and it is helpful for improving the shape precision of shape from shading reconstructed model.

Metrology；Background removing；Polygons intersecting；Contour extraction；Morphology

TB96

A

1000-1158（2014）01-0044-05

10．3969／j．issn．1000-1158．2014．01．10

2012-10-08；

2013-03-06

國家科技重大專項（2011ZX04002-111）；河北省自然科學(xué)基金（E2011203091）；教育部博士學(xué)科點專項基金（20121333110011）作者簡介：吳鳳和（1968－），男，內(nèi)蒙古扎蘭屯人，燕山大學(xué)教授，博士生導(dǎo)師，主要研究方向為數(shù)字化測量與建模、數(shù)字化制造。risingwu＠ysu.edu.cn