章秀華，白浩玉，李 毅

（武漢工程大學(xué)圖像處理與智能控制研究室 湖北 武漢 430205）

0 引 言

隨著現(xiàn)代工業(yè)生產(chǎn)制造加工工藝的不斷進步，產(chǎn)品加工過程的智能化和自動化程度進一步提高.自動化生產(chǎn)線上的產(chǎn)品加工時，待加工完成進入下一個工序，都需要對產(chǎn)品進行基于視覺圖像的檢測.目前在一些工業(yè)生產(chǎn)領(lǐng)域，基于圖像二維視覺檢測技術(shù)已初步應(yīng)用在生產(chǎn)線上產(chǎn)品的視覺檢測和自動監(jiān)控過程中，但二維視覺檢測只能對產(chǎn)品的相對位置、形態(tài)、產(chǎn)品標記等二維投影特征進行判別和檢測，是有限的局部的單視點投影視覺檢測，無法對產(chǎn)品的三維特征和表面參數(shù)進行高精度的測量和三維形態(tài)識別，因此二維視覺檢測技術(shù)還遠遠不能滿足現(xiàn)代工業(yè)生產(chǎn)發(fā)展過程中數(shù)字制造與智能制造和檢測的需要［1］.研究基于三維重建的非接觸測量技術(shù)是產(chǎn)品數(shù)值化制造及自動化加工過程的迫切需要.基于計算機視覺的三維重建技術(shù)［2］，是指由兩幅或多幅二維圖像來恢復(fù)出空間物體的幾何信息.于是基于雙目立體視覺的三維重建系統(tǒng)的研究得以發(fā)展，但是雙目僅是用兩個相機從不同角度進行采圖，在成像過程中，一些有用的三維信息由于投影而丟失了，使重建結(jié)果不夠完整.

針對上述問題，筆者設(shè)計了一套基于多目的立體視覺三維重建系統(tǒng)，以八個相機為例從不同的角度采圖，采用Harris角點及高斯差分檢測算法實現(xiàn)特征點提取和立體匹配，結(jié)合泊松表面重建方法對物體進行三維重建.研究結(jié)果表明，本文方法有著較好的穩(wěn)定性和準確性.

1 三維表面重建原理

1.1 圖像獲取

三維重建的基礎(chǔ)是平面圖像的獲取，通過獲取圖像來得到圖像的基本數(shù)據(jù)，如深度、物體相對位置等.獲取圖像的途徑有很多，主要根據(jù)實驗的場合和目的、光照條件、相機性能等因素來進行選擇.

1.2 圖像預(yù)處理

計算機視覺方法很少考慮基于成像物理過程的預(yù)處理，一般假定成像條件是理想的［3］.然而采集的原始圖像中通常含有多余的圖像信號，所以對圖像進行預(yù)處理是必要的.通過預(yù)處理，使得圖像數(shù)據(jù)的信噪比得以提高、背景得到抑制，后續(xù)處理的壓力也將減小.根據(jù)處理圖像像素的方法，圖像預(yù)處理可以分為以下幾種形式：點運算、鄰域運算、并行運算、串行運算和迭代運算等.圖像預(yù)處理的主要過程是：灰度化及平滑化.

1.3 相機標定

通過相機的圖像坐標系與空間物體的三維坐標系之間的關(guān)系，得到相機的參數(shù)的過程就是相機標定.根據(jù)標定過程是否需要控制場將相機標定分為傳統(tǒng)標定方法和自標定方法［4］.傳統(tǒng)標定方法成本低，穩(wěn)定性好，精度較高，但在某些情況下難以實現(xiàn)，如高危地區(qū)監(jiān)測等，而自標定方法雖然解決了這個問題，但是存在著計算量大、穩(wěn)定性差的缺點.

1.4 特征提取與立體匹配

通過選擇合適的圖像特征并進行匹配，來確定場景中同一物點在不同圖像中的對應(yīng)關(guān)系，從而實現(xiàn)多視點視差確定信息.特征點主要是指圖像中特征較為明顯的點，如角點、圓點等.通過運用不同算法從圖像中提取感興趣的或有利于某種目的的點.常用的特征點提取算法有三類，即基于輪廓的算法、基于亮度的算法和基于參數(shù)模型的算法［5］.

在提取特征點之后，進行特征匹配，將不同圖像中的同一個空間點對應(yīng)起來，建立多幅圖像之間特征的對應(yīng)關(guān)系.通常情況下，一幅圖像中的某個特征點在另一幅圖像中可能會有許多的匹配對象，另外場景中還存在諸如光照條件、景物形狀、干擾噪聲和畸變等不利因素，也會引起歧義匹配［6］.因此，準確地對圖像進行無歧義匹配是十分重要的.

1.5 三維重建

物體在空間上是以三維形式存在的，而多視點圖像采集系統(tǒng)獲取的圖像都是二維的，這就需要運用三維重建技術(shù)從多視點二維圖像中恢復(fù)出空間物體的幾何信息.根據(jù)空間一點在多幅圖像中的對應(yīng)坐標，結(jié)合相機參數(shù)矩陣，就可以對空間點進行重建.當(dāng)確定物體表面的所有點三維坐標時，該物體的三維形狀和位置也就唯一確定了.因此，三維重建的基礎(chǔ)是空間點的重建.

2 系統(tǒng)設(shè)計與實現(xiàn)

2.1 圖像采集模塊

基于實驗的需要，采用加拿大Point Grey公司提供的FL2－20S4C－C工業(yè)相機，Sony公司電荷耦合元件（Charge－coupled Device，以下簡稱CCD）和IEEE1394b接口標準，將八個相機按直線排列，從八個不同角度采集圖像.采用IEEE1394b接口標準，使得數(shù)據(jù)速率高速，避免了其他標準數(shù)據(jù)傳輸速率低.圖像采集系統(tǒng)由Flea系列1／1.8英寸 Sony CCD IEEE1394b相機、FWB－PCIE－02圖像采集卡和計算機組成，將CCD傳來的模擬圖像信號，通過圖像采集卡轉(zhuǎn)換為數(shù)字圖像信號并傳送給計算機處理.

2.2 圖像的預(yù)處理

要把目標物體從圖像場景中提取出來，需要將復(fù)雜背景除掉.首先采用多級濾波對背景進行逐級抑制，把不相關(guān)的背景圖像內(nèi)容剔除掉，同時將一些背景區(qū)域進行合并.然后，再根據(jù)圖像特征建立合適的加權(quán)值計算模型以及找到合適的最優(yōu)化算法來得到能量函數(shù)的最小值.最后在完成最小化后，即得到了圖像的最優(yōu)化分割.

2.3 相機標定模塊

實驗采用張正友標定方法，用模板標定板取代了三維標定物.張正友標定算法［7］的基本原理可用式（1）表示.

式（1）中：假定在世界坐標系中，模板平面在Z＝0上，K為相機的內(nèi)部參數(shù)，＝［X Y1］T為模板上點的齊次坐標，＝［u v 1］T為模板上點投影到圖像平面上對應(yīng)點的齊次坐標，［r1，r2，r3］和t分別是相機坐標系對應(yīng)于世界坐標系的旋轉(zhuǎn)矩陣和平移向量．具體實現(xiàn)步驟如下［8］：

①打印一張10×10棋盤方格圖（模板）貼在一個平板上；

②從八個不同角度對模板平面進行拍攝；

③檢測出八幅圖像中的特征點；

④計算出相機的內(nèi)外參數(shù).

2.4 特征提取與立體匹配

采用兩種特征檢測濾波類型，即Harris角點檢測及高斯差分檢測對各視點的圖像進行特征提取.Harris算子［9］是一種基于信號的點特征提取算子，通過計算所在位置的梯度來檢測角點.當(dāng)像素所在位置沿任意方向的曲率都比較大時，則判定該像素點為角點.

Harris算子只涉及圖像的一階導(dǎo)數(shù)，其具體步驟如下［10］：

①計算各像元的興趣值IV：

其中g(shù)x為x方向的梯度，gy為y方向的梯度，G（）為高斯模版，Det M 和tr M 分別表示矩陣M的行列式和跡，k為默認常數(shù)；

②選取局部極值點：根據(jù)計算完的興趣值，提取原始圖像中所有局部興趣值最大的點；

③根據(jù)需要提取一定數(shù)目的特征點.

再利用高斯差分［11］確定最終特征點，具體算法如下：

①利用高斯卷積構(gòu)建金字塔結(jié)構(gòu)的尺度空間；

②對金字塔中間各層圖像求Harris角點；

③對所提取的Harris角點與其上下層圖像對應(yīng)的像素點計算高斯差分，高斯差分取得極值并大于閾值的Harris角點被選為特征點［12］.

兩兩取圖像對的特征點（f，f′），運用三角形法則重建出空間點的三維坐標.經(jīng)過該空間點作指向相機光心的射線，從而得出物體表面的小長方形塊及其經(jīng)過該表面中心點的單位法向量.

2.5 三維重建

在特征點的匹配和相機標定的基礎(chǔ)上進行三維重建，利用泊松表面重建方法［13］，可以較準確地獲取和優(yōu)化角點，并找到角點特征的匹配點，從而能夠獲得被重建物體的精確表面.

泊松表面重建的步驟如下：（a）將模型表面采樣的有向樣點轉(zhuǎn)換為模型指示函數(shù)梯度的樣點；（b）使用隱函數(shù)框架的方法進行表面重建，計算指示函數(shù)；（c）通過指示函數(shù)提取對應(yīng)的等值面，從而獲得重建表面；（d）采用八叉樹法，將細節(jié)點所在面的等值線段投影到粗節(jié)點所在面上，從而避免產(chǎn)生裂紋.

3 實驗結(jié)果與分析

本文所采用的方法在計算機（3.09GHz，3.16GB）通過編程實現(xiàn)，對毛絨汽車抱枕從八個不同角度進行拍攝.圖1是本實驗平臺，包括可在計算機控制下獲取圖像的CCD相機、水平平臺、移動機器人、標定板；圖2和圖3是經(jīng)過預(yù)處理所得到的圖片；圖4是特征點提取與匹配示意圖；圖5是三維表面重建結(jié)果，其中汽車車身（紅色），汽車車窗（白色），車身上數(shù)字（95），汽車輪轂（咖啡色）都很好的重建出來.

圖1 用于重建的實驗平臺Fig.1 Experimental platform for reconstruction

圖2 圖像背景抑制Fig.2 Suppression of image back ground

圖3 目標物體分割Fig.3 Target object segmentation

圖4 特征點提取與匹配示意圖Fig.4 Feature points extraction and matching schematic diagram

圖5 基于多視點圖像的重建結(jié)果（三維圖像數(shù)據(jù)）Fig.5 Result of multi－view images reconstruction （3Dimage data）

由圖5可知，在上述系統(tǒng)的基礎(chǔ)上進行實驗，結(jié)果顯示該系統(tǒng)能對目標物體進行較好的三維重建.但由于采用基于特征點的重建方法，因此對特征點的依賴較明顯，如果某個區(qū)域表面獲取信息較少，反光比較明顯或者與背景顏色比較接近，則提出的特征點很少或者提不出有效的特征點.

4 結(jié) 語

本文討論了基于多目立體視覺的三維重建方法，將Harris角點及高斯差分檢測算法運用到特征點提取和立體匹配中，結(jié)合泊松表面重建方法設(shè)計了一套穩(wěn)定可靠的系統(tǒng)，以八個鏡頭為例，通過多視點圖像恢復(fù)出物體的三維表面，為后續(xù)改進和完善系統(tǒng)做好準備.本系統(tǒng)可以用于對工業(yè)領(lǐng)域生產(chǎn)線上產(chǎn)品的三維表面重建，能夠?qū)Ξa(chǎn)品表面特征質(zhì)量參數(shù)進行自動化檢測，從而提高產(chǎn)品的生產(chǎn)效率.

［1］洪漢玉.現(xiàn)代圖像圖形處理與分析［M］.武漢：中國地質(zhì)大學(xué)出版社，2011.

［2］王新字.基于計算機立體視覺的三維重建［D］.長沙：中南大學(xué)，2004.

［3］張?zhí)煨?成像自動目標識別［M］.武漢：湖北科學(xué)技術(shù)出版社，2005.

［4］邱茂林，馬頌德，李毅.計算機視覺中攝像機定標綜述［J］.自動化學(xué)報，2000，26（1）：43－55.

［5］蘇小紅，李東，唐好選，等.計算機圖形學(xué)實用教程［M］.北京：人民郵電出版社，2010.

［6］于勇，張暉，林茂松.基于雙目立體視覺三位重建系統(tǒng)的研究與設(shè)計［J］.計算機技術(shù)與發(fā)展，2009，19（6）：127－130.

［7］Zhang Z Y.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330－1334.

［8］Zhang Z Y.Flexible Camera Calibration By Viewing a Plane From Unknown Orientations ［C］／／ Proceedings of the 7th IEEE International Conference on Computer Vision，20－27September，1999，Kerkyra，Greece.［S.l.］：IEEE Computer Society，1999，1：666－673.

［9］Harris C，Stephens M.A Combined Comer and Edge Detector［C］／／Proceedings of the 4th Alvey Vision Conference，University of Manchester，31August－2 September，1988Manchester：［s.n.］，1988：147－151.

［10］張永軍.基于序列圖像的視覺檢測理論與方法［M］.武漢：武漢大學(xué)出版社，2008.

［11］Lowe D G.Distinctive image features from scale invariant key－points［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［12］高健，黃心漢，彭剛，等.基于Harris角點和高斯差分的特征點提取算法［J］.模式識別與人工智能，2008，21（2）：171－176.

［13］Kazhdan M，Bolitho M，Hoppe H.Poisson Surface Reconstruction［C］／／ Dieter Fellner，Spencer S.Proceedings of the Fourth Eurographics Symposium on Geometry Processing，June 26－28，2006，Cagliari，Sardinia，Italy.Ariela－Ville，Switzerland：the Eurographics Association，2006，61－70.