黃文濤， 閆紀紅， 陳 芳

(哈爾濱工業(yè)大學(xué) a.機電工程學(xué)院；b. 實驗室管理與教學(xué)條件保障處，哈爾濱 150001)

0 引 言

在傳感技術(shù)的課程實驗教學(xué)中，利用電荷耦合器件(CCD)進行視覺測量無論在學(xué)生實踐能力培養(yǎng)還是工程實際應(yīng)用中都是重要的內(nèi)容，非接觸式測量可以根據(jù)采用的技術(shù)手段不同分為聲學(xué)測量技術(shù)、光學(xué)測量技術(shù)和電磁學(xué)檢測技術(shù)三大類，其中視覺測量應(yīng)用最為廣泛[1-2]。機器視覺是使用光學(xué)器件進行非接觸感知，自動獲取和解釋一個真實場景的圖像，以獲取信息或控制機器或過程[3-4]。機器視覺檢測技術(shù)是以現(xiàn)代光學(xué)為基礎(chǔ)，融合電子學(xué)、計算機圖像學(xué)、信息處理、計算機視覺等科學(xué)技術(shù)為一體的現(xiàn)代檢測技術(shù)，機器視覺系統(tǒng)可以快速獲取大量信息，而且易于與設(shè)計信息及加工控制信息集成，基于視覺檢測技術(shù)的儀器設(shè)備能夠?qū)崿F(xiàn)智能化、數(shù)字化、小型化、網(wǎng)絡(luò)化和多功能化，具備在線檢測、實時分析、實時控制的能力[5-6]。三維重建是利用二維投影恢復(fù)物體三維信息(形狀等)的數(shù)學(xué)過程和計算機技術(shù)，它根據(jù)真實場景的數(shù)據(jù)重建出具有準確幾何信息和照片真實感的三維模型，可以滿足數(shù)據(jù)的存檔、測量和分析等更高層次的需求[7-8]。CCD是一種用電荷量表示信號大小的微型圖像傳感器，具有光電轉(zhuǎn)換和信號電荷存儲、轉(zhuǎn)移及讀出的功能，可直接將光學(xué)信號轉(zhuǎn)換為模擬電流信號，電流信號經(jīng)過放大和模數(shù)轉(zhuǎn)換，實現(xiàn)圖像的獲取、存儲、傳輸、處理和復(fù)現(xiàn)。CCD檢測技術(shù)與圖像處理技術(shù)相結(jié)合，具有檢測精度高、處理速度快、抗干擾能力強、運行穩(wěn)定、非接觸測量等優(yōu)點，其測量精度與效率都不受外界影響的干擾，因而在圖像采集、非接觸測量和實時監(jiān)控方面得到了廣泛應(yīng)用[9-11]。

本文針對增材制造領(lǐng)域中目標物體三維形貌檢測的需求，研制了一套基于雙目CCD視覺感知的非接觸式三維形貌檢測裝置，該裝置通過電動缸搭載CCD相機，聯(lián)動轉(zhuǎn)臺拍攝被測目標，對應(yīng)的圖像處理系統(tǒng)對所拍攝圖像處理后進行自動三維重構(gòu)，實現(xiàn)全自動的視覺檢測、一鍵掃描和自動三維重構(gòu)。解決了非接觸形貌檢測中的實際問題，彌補了傳統(tǒng)檢測系統(tǒng)需要手動改變被測目標工位位置的缺點，解決了傳感技術(shù)課程中利用CCD進行非接觸測量缺少相應(yīng)儀器設(shè)備的問題。

1 圖像的三維形貌重建原理

要從二維圖像重建出物體的三維形貌，首先要理清相機的成像過程，這涉及到視覺系統(tǒng)坐標系及其轉(zhuǎn)換關(guān)系。視覺系統(tǒng)的三大坐標系包括世界坐標系、相機坐標系和圖像坐標系[12-13]。

(1) 世界坐標系OwXwYwZw。目標物體位置的參考系。

(2) 相機坐標系OcXcYcZc。以相機光心為原點Oc，光軸為Zc軸的坐標系。

(3) 圖像坐標系xOy/uO′v。以相機拍攝的二維照片為基準建立的坐標系，用于指定物體在照片中的位置，分為圖像物理坐標系xOy和像素坐標系uO′v。

轉(zhuǎn)換關(guān)系為：世界坐標系通過剛體變換到達攝像機坐標系；然后攝像機坐標系通過透視投影變換到達圖像坐標系；最后再將成像平面上的數(shù)據(jù)轉(zhuǎn)換到圖像像素坐標系[13-14]。

(1) 世界坐標與相機坐標之間的變換(剛體變換)。兩坐標系位置關(guān)系如圖1所示。

圖1 世界坐標系與相機坐標系位置關(guān)系

兩臺相機在同一時刻拍攝空間物體的同一特征點P，選擇左相機坐標系為世界坐標系，空間點P在世界坐標系OwXwYwZw中坐標為Pw(xw,yw,zw)，在攝像機坐標系OcXcYcZc中坐標為Pc(xc,yc,zc)，世界坐標系下的坐標通過剛體變換的方式轉(zhuǎn)換到相機坐標下的坐標，用矩陣表示為：

(1)

Xc=RXw+T

(2)

式中：Xc代表相機坐標系；Xw代表世界坐標系；R3×3代表旋轉(zhuǎn)；T3×1代表平移；R和T與相機無關(guān)，所以稱這兩個參數(shù)為相機的外參數(shù)。轉(zhuǎn)換為齊次坐標表示為：

(3)

(4)

(2) 相機坐標系與圖像坐標系之間的變換(透視投影)。系統(tǒng)的參考坐標系定在左攝像機，空間任意點P的三維坐標為Pw(xw,yw,zw)，對應(yīng)的圖像坐標為(xl,yl)，焦距大小是fl；右攝像機坐標系中，點P的坐標為Pcr(xcr,ycr,zcr),對應(yīng)的圖像坐標值為(xr,yr),焦距大小為fr，由于左右攝像機完全相同，有f=fl=fr。由于成像過程與內(nèi)參相同，這里坐標不區(qū)分左右[15]。

根據(jù)攝像機的理想透視成像模型(見圖2)，攝像機坐標通過透視投影變換可得：

(5)

轉(zhuǎn)換為齊次坐標

(6)

圖2 透視投影成像模型

(3) 圖像物理坐標系與圖像像素坐標系的變換(離散化)。圖像物理坐標系經(jīng)過平移和單位轉(zhuǎn)換變化到圖像像素坐標系，兩者位置關(guān)系如圖3所示。表示為：

(7)

式中：dx代表x軸方向一個像素的寬度；dy代表y軸方向上一個像素的寬度；dx、dy為攝像機的內(nèi)參數(shù)；u0和v0稱為圖像平面的主點，也是攝像機的內(nèi)參數(shù)[16]，相當于對x軸和y軸的離散化。運用齊次坐標，將上式寫成矩陣形式：

(8)

圖3 圖像物理坐標系與像素坐標系的關(guān)系

(4) 世界坐標系與圖像像素坐標系之間的整體轉(zhuǎn)換。整體傳換如下所示：

(9)

2 三維形貌檢測裝置總體設(shè)計

系統(tǒng)總體從硬件與軟件兩方面進行設(shè)計，其中硬件包括圖像采集、機械機構(gòu)兩部分，軟件主要由：圖像獲取、圖像特征點提取、立體匹配、相機標定與投影矩陣估計、三維坐標解算構(gòu)成。系統(tǒng)方案如圖4所示。

圖4 三維形貌檢測裝置系統(tǒng)總體方案圖

系統(tǒng)設(shè)置水平和豎直方向兩種CCD視覺測量方法。水平方向通過多圖像序列來進行三維重建；豎直方向通過被測物不同高度截面圖像進行三維重建。

3 三維形貌檢測裝置硬件設(shè)計

3.1 圖像采集模塊

圖像采集模塊工作流程如圖5所示。根據(jù)流程，圖像采集模塊所需硬件包括工業(yè)相機和配套鏡頭。相機和鏡頭是計算機視覺中重要的組成部分，合適的相機和鏡頭決定了系統(tǒng)的性能[14]。

圖5 圖像采集模塊流程圖

3.2 運動模塊

運動模塊包括直線導(dǎo)軌、轉(zhuǎn)盤和支架，工件放置在轉(zhuǎn)盤上，相機通過支架與直線導(dǎo)軌連接，導(dǎo)軌帶動相機實現(xiàn)直線運動，最后整個支架支撐硬件設(shè)備。首先根據(jù)使用要求選擇直線導(dǎo)軌的類型，然后根據(jù)產(chǎn)品手冊中的速度和負載質(zhì)量圖表選擇具體類別，完成最終型號選擇后與該型號參數(shù)表進行對比校核。根據(jù)拍攝要求，轉(zhuǎn)盤直徑20 mm，質(zhì)量0.5 kg，支持連續(xù)拍攝和間歇拍攝，間歇拍攝時間、角度可設(shè)置。由于總體工作量較大，因此選擇電動遙控轉(zhuǎn)盤，兩種拍攝模式，一是轉(zhuǎn)盤連續(xù)旋轉(zhuǎn)，控制相機一定間隔拍攝；二是控制轉(zhuǎn)盤間歇轉(zhuǎn)動，每停止1次相機拍攝1次。支架主體由工業(yè)鋁型材拼接完成，支架上固定400 mm×500 mm的鋼板用于承載轉(zhuǎn)臺和水平電動機，系統(tǒng)整體的硬件裝配如圖6所示。

圖6 總裝示意圖

4 三維形貌檢測裝置軟件設(shè)計

系統(tǒng)軟件部分構(gòu)成如圖7所示。在C++環(huán)境下開發(fā)一個對兩臺相機同時進行圖像信號獲取、處理和顯示的程序GxMultiCam，其具體流程如圖8所示。

圖7 軟件處理平臺模塊構(gòu)成

圖8 GxMultiCam流程

軟件的流程如圖9所示，具體過程為：

(1) 載入采集圖像。載入采集圖像并對其進行篩選、去噪、校正等預(yù)處理。

(2) SIFT特征點提取與匹配。因照片可能存在旋轉(zhuǎn)、縮放或亮度變化，此過程利用SIFT算法提取、描述特征，用RANSAC算法過濾掉誤匹配。

(3) SFM稀疏點云重建。在檢測出每張圖片所有的特征點后，需要對對應(yīng)的特征點進行匹配，在該匹配過程中，需要完成相機的標定，通過圖像中的二維數(shù)據(jù)點反推出其空間位置，由此將所有的二維特征點反推至三維空間，形成稀疏點云。該過程主要通過SFM(Structure From Motion)技術(shù)實現(xiàn)。

(4) PMVS稠密點云重建。稠密點云的生成主要由基于面片的三維立體重建算法(Patch-Based Multi-View Stereo Software, PMVS)技術(shù)實現(xiàn)。形成稠密點云后，被測目標的輪廓和特征都有了明顯的改善。

(5) 刪除冗余的錯誤點。

(6) 表面重建。根據(jù)稠密點云雖然能夠更加形象地還原出被測目標的形貌，但是其仍只是大量孤立的三維空間點的集合，必須要對其進行表面重建。表面重建可以使用泊松表面重建算法，也可以使用Delaunay三角化。

圖9 多圖像三維形貌重建軟件流程

在Windows環(huán)境下進行軟件設(shè)計。流程(1)～(3)通過VisualSFM軟件實現(xiàn)；流程(4)通過加載到VisualSFM中的CMVS/PMVS實現(xiàn)；流程(5)、(6)在Meshlab中實現(xiàn)，處理點云，生成三維模型并可360°觀察。

本文基于MC算法進行豎直方向圖像三維重建及可視化，首先對圖像進行預(yù)處理，通過提取邊緣得到二值化的圖像，并以此作為輸入進行三維形貌重建。圖像預(yù)處理程序集成在一個Matlab GUI中，如圖10所示。在理論分析的基礎(chǔ)上進行軟件設(shè)計(Windows環(huán)境下)，通過Visual Studio2013編寫基于MC算法的程序進行三維重建。由一系列二維斷層圖像構(gòu)成的數(shù)據(jù)集形成三維空間采用數(shù)據(jù)集，采用OpenGL對三維空間數(shù)據(jù)集進行渲染，以還原出被測目標的三維形貌。

圖10 常見圖像處理算法GUI界面

5 實驗測試分析

5.1 實驗過程

在打開設(shè)備前將相機調(diào)節(jié)光圈到最大，檢查線路是否連接好。啟動RC/RE聯(lián)機程序，連接導(dǎo)軌，打開相機控制程序，通過微動調(diào)節(jié)水平方向相機位置，使被測物體位于圖像中央，調(diào)節(jié)焦距環(huán)直到采集到的圖像清晰且被測物體為止。

豎直方向：首先運行MyDIP.m對圖像進行預(yù)處理，得到二值化圖像，然后將包含二維斷層圖像的文件夾放在工程Debug(可執(zhí)行文件.exe所在的)路徑下，編譯運行程序，在彈出的MFC窗口中單擊M按鈕即可出現(xiàn)三維重建之后的形貌。

水平方向：

第1步運行VisualSFM，步驟如圖11所示。

圖11 載入圖像

(1) 載入圖像。VisualSFM無照片數(shù)量限制，照片越多，重建細節(jié)越豐富，重建過程消耗時間也越長。

(2) SIFT特征點提取與匹配。由于照片可能存在旋轉(zhuǎn)、縮放或亮度變化，因此需要利用SIFT算法提取、描述其特征，并通過RANSAC算法過濾掉誤匹配，該過程可以利用GPU進行加速處理。

(3) 利用SFM進行稀疏3D重建。利用SFM方法，通過迭代求解出相機參數(shù)和三維點的坐標，即重建出3D模型的稀疏點云。若有“bad”相機(位置錯誤或朝向錯誤)，結(jié)合工具欄上的“3+”按鈕和手型按鈕即可刪除之，使結(jié)果更為準確。

(4) 稠密點云重建。通過CMVS對照片進行聚類，以減少稠密重建數(shù)據(jù)量，利用PMVS從3D模型的稀疏點云開始，在局部光度一致性和全局可見性地約束下，經(jīng)過匹配、擴散、過濾生成帶有實際顏色的稠密點云，如圖12所示。

第2步運行Meshlab。

(1) 輸入VisualSFM的生成文件。打開由VisualSFM生成的文件。檢測相機載入是否正確，由于可視化相機的尺寸比網(wǎng)格尺寸大得多，所以需調(diào)整相機的縮放因子(Scale Factor)，直到相機位置清晰可見，如圖13所示。

圖12 稠密點云重建

圖13 查看相機

(2) 稠密點云代替稀疏點云。由路徑File -> Import Mesh加載稠密點云；通過VisualSFM生成多個.ply文件時，需要將其合并成一個mesh文件。

(3) 網(wǎng)格化。利用泊松表面重建(Poisson Surface Reconstruction)算法由稠密點云生成多邊形網(wǎng)格表面。參數(shù)中的Octree Depth控制網(wǎng)格的細節(jié)，該值越大生成的細節(jié)越豐富，占用的內(nèi)存也越大，影響計算速度，需要進行合理地選擇。泊松表面重建算法會生成一個“不漏水”氣泡，把所有場景對象包裹在其中，形成封閉的模型，如圖14所示。

(4) 修復(fù)流形邊緣。后續(xù)的紋理處理要求網(wǎng)格化的模型必須是流形的，因此需刪除非流形邊(由多面共享的邊)。

(5) 參數(shù)化(Parameterization)、投影紋理。根據(jù)相機投影關(guān)系創(chuàng)建UV映射，保存整個project和mesh。可設(shè)置任意分辨率(512的2的2次方倍:512/1 024/2 048/4 096/8 192)的紋理圖，如圖15所示。

圖14 泊松表面重建結(jié)果圖15 紋理投影結(jié)果圖

5.2 結(jié)果及分析

基于多圖像的三維重建系統(tǒng)成像速度快，成像結(jié)果清晰，安裝過程簡單，可在Windows環(huán)境下使用，操

作簡單，但生成的點云雜點較多，需要在Meshlab下手動刪除處理。

6 結(jié) 語

本文針對非接觸式形貌檢測的需求，設(shè)計了一種基于雙目CCD的三維形貌檢測裝置，在此過程中進行了目標分析、硬件設(shè)計、軟件開發(fā)和測試分析，對所要研制的三維形貌檢測裝置進行了功能分析，給出了總體方案，初步確定兩種雙目CCD視覺檢測方法：通過多圖像序列來進行三維重建和通過被測物不同高度截面圖像進行三維重建。在總體方案的基礎(chǔ)上進行了硬件設(shè)計，包括圖像采集、機械運動并對機械結(jié)構(gòu)進行了可靠性分析，在安全范圍內(nèi)，然后完成了裝置硬件的搭建。根據(jù)所要進行的三維形貌檢測方法進行了理論研究，包括計算機視覺理論和相機模型，闡述了對極幾何、基礎(chǔ)矩陣和本質(zhì)矩陣等立體視覺理論，SIFT特征檢測和SFM算法，簡單介紹了體繪制和面繪制并解釋了MC算法的原理，為后續(xù)的工作做理論準備。基于多圖像的三維重建方法采用SFM方法，通過被測物不同高度截面圖像進行三維重建采用MC算法實現(xiàn)。在理論分析的基礎(chǔ)上在Windows環(huán)境下進行軟件設(shè)計，多圖像三維重建整合了VisualSFM、PMSV與Meshlab進行三維重建，斷層圖像三維重建通過Visual Studio 2013編寫基于MC算法的程序進行三維重建。同時根據(jù)重建需求設(shè)計了相應(yīng)的圖像采集程序GxMultiCam。介紹了軟件流程操作流程以及軟件實現(xiàn)，并對圖像處理軟件進行了測試以及對其測試結(jié)果進行分析。最后在總體三維形貌檢測系統(tǒng)設(shè)計完成的情況下，進行了實驗測試，給出了實驗流程、結(jié)果及分析，實驗證明所設(shè)計裝置能夠?qū)崿F(xiàn)水平方向三維形貌檢測的任務(wù)，豎直方向由于拍攝圖像數(shù)量限制沒有完成實際目標任務(wù)，在傳感技術(shù)課程實驗教學(xué)的具體應(yīng)用中對培養(yǎng)學(xué)生的創(chuàng)造性思維和工程實踐能力都發(fā)揮了重要的作用。