侯宏錄,王 敏
(西安工業(yè)大學 光電工程學院,陜西 西安 710021)
硅棒的實際尺寸參數(shù)與硅棒本身的特征點提取密切相關(guān),獲取硅棒特征點的三維坐標信息可有效反映硅棒尺寸參數(shù)和產(chǎn)品質(zhì)量,為產(chǎn)品的質(zhì)量監(jiān)控提供依據(jù)[1]。然而針對硅棒,無論是整體尺寸還是局部特征的檢測,國內(nèi)目前尚無相關(guān)儀器,在我國這些參數(shù)的檢測還主要是依靠人工完成[2]。人工檢測是一種非在線、接觸式的傳統(tǒng)檢測方式,采用直角尺、游標卡尺、鋼板尺等工具進行檢驗,檢測精確度和重復性受到檢測人員工作狀態(tài)干擾,很難保證統(tǒng)一標準,總體上來說檢測速度和檢測精度不高;同時接觸式檢測過程中需反復搬動樣品不可避免地造成對樣品的二次傷害,效率低,儀器損耗大[2]。結(jié)合視覺成像技術(shù)和圖像處理技術(shù)出現(xiàn)的機器視覺檢測技術(shù),不僅摒棄了傳統(tǒng)檢測方法的不足,滿足了實時檢測要求,同時還具有非接觸、精度高等優(yōu)點,是現(xiàn)場實時三維坐標測量的首選方法之一[3-5]。
國內(nèi)外關(guān)于三維坐標的相關(guān)測量方法主要有:電子經(jīng)緯儀法和三坐標測量機法[3]。坐標測量機的測量精度可達微米級,但是龐大的機身、厚重的底座、復雜的操作以及昂貴的成本限制了其現(xiàn)場的應用[4];經(jīng)緯儀、激光跟蹤儀便攜性好,但采用多點對準,效率低,不適合于現(xiàn)場在線檢測[5]。機器視覺檢測系統(tǒng)組建非常靈活,既可由單目視覺測量系統(tǒng)構(gòu)成,亦可選擇雙目甚至多目視覺測量系統(tǒng)搭建而成。因為單目視覺測量三維空間坐標測量不確定度偏差較大[4],所以選擇由四CCD構(gòu)成的多目視覺系統(tǒng),該多目視覺檢測系統(tǒng)中,相鄰的兩CCD構(gòu)成正交雙目交匯視覺測量子模塊系統(tǒng),基于雙目視覺原理的子模塊克服了單目視覺檢測的缺陷,精度更高。該多目機器視覺系統(tǒng)在保證較高精度的前提下,作為機器視覺前端采集系統(tǒng),實現(xiàn)了硅棒全范圍大尺寸輪廓檢測,檢測效率和速度較高。
典型的基于機器視覺的硅棒坐標檢測系統(tǒng)組成如圖1所示:
圖1 機器視覺的坐標檢測系統(tǒng)組成Fig.1 The design of machine vision for coordinate detection system
硅棒坐標測量系統(tǒng)主要包括上位機界面、數(shù)據(jù)采集模塊、圖像處理模塊、輸入輸出接口以及機械搭建平臺組成。上位機作為人機交互平臺負責數(shù)據(jù)顯示和存儲,總體管理數(shù)據(jù)采集模塊和圖像處理模塊。數(shù)據(jù)采集系統(tǒng)作為機器視覺檢測的核心之一完成硅棒輪廓信息圖像采集,涉及光源、鏡頭、CCD相機以及圖像采集卡,采集系統(tǒng)工作流程為:光源照射待測硅棒,CCD相機采集圖像信息經(jīng)過圖像采集卡將圖像信息轉(zhuǎn)換為數(shù)字信息送入上位機并實時保存起來。數(shù)據(jù)采集完成之后,圖像處理模塊讀取圖像通過相應算法提取特征點最終計算特征點空間三維坐標。圖1還可以看出整個數(shù)據(jù)采集模塊搭建在機械平臺上由執(zhí)行機構(gòu)驅(qū)動,不僅可以實現(xiàn)待測目標的小范圍檢測,同時還可以配合機械平臺運動,驅(qū)動數(shù)據(jù)采集系統(tǒng)實現(xiàn)待測物體的大范圍全尺寸檢測。
硅棒特征點坐標視覺檢測技術(shù)基于四目視覺原理,整個四目視覺系統(tǒng)作為機器視覺檢測系統(tǒng)的數(shù)據(jù)采集模塊負責為后續(xù)圖像處理模塊提供硅棒圖像信息,采集的圖像質(zhì)量直接影響到后續(xù)圖像處理的難易程度和結(jié)果的計算精度。四目視覺原理如圖2所示:數(shù)據(jù)采集模塊由四臺CCD相機組成,分別在待測硅棒每個側(cè)面安裝一臺CCD面陣相機,保持相機與硅棒待測面垂直放置,在自然光源照射下硅棒表面成像于與之垂直的CCD相機上,則相機分別獲得每個硅棒表面特征的圖像。該圖像可以通過一個四路camelink接口圖像采集卡或者2個雙路camelink接口圖像采集卡送入上位機進行后續(xù)圖像處理。整個數(shù)據(jù)采集系統(tǒng)要實現(xiàn)的功能就是確保不降低系統(tǒng)檢測精度的前提下,維持盡量大的有效視場范圍,實時采集獲取清晰的硅棒圖像。
為了實現(xiàn)最優(yōu)檢測目的,必須保證待測硅棒在檢測過程中始終處于四目視覺系統(tǒng)的有效視場范圍內(nèi),若硅棒對應于相機上像點的坐標為(xi,yi),通過針孔模型透視變換公式就能得出某個特征點在有效視場內(nèi)的世界坐標為OXWiYWiZWi。圖3為四目視覺系統(tǒng)有效視場示意圖,以四臺CCD交匯中心建立世界坐標系。
圖2 四目視覺系統(tǒng)組成Fig.2 The composition of the 4CCDs vision system
圖3 四目全范圍檢測原理及有效視場分析Fig.3 The principle and the analysis of effective vision field for 4CCDs′full range detection
由式(1)可知:CCD相機間基線長度B、視場角β以及相機夾角α這三個參數(shù)不僅直接限制有效視場的大小,還會嚴重影響四目視覺系統(tǒng)的測量精度。引起測量精度的誤差包括相機本身參數(shù)(Tx、Ty)以及相機分布結(jié)構(gòu)參數(shù)、參數(shù)本身的測量誤差(B、f)[6],它們共同決定了機器視覺采集系統(tǒng)的精度。
如圖2可知:四目視覺系統(tǒng)中的任意相鄰的兩個CCD構(gòu)成雙目交匯視覺測量系統(tǒng),所以整個四目視覺系統(tǒng)可以看作四個雙目交匯視覺子系統(tǒng)組成,其中CCD-1和CCD-2構(gòu)成子系統(tǒng)1,CCD-2和CCD-3構(gòu)成子系統(tǒng)2,CCD-3和CCD-4構(gòu)成子系統(tǒng)3,CCD-4和CCD-1構(gòu)成子系統(tǒng)4。因為每個子系統(tǒng)光軸互相垂直,所以子系統(tǒng)基于正交雙目交匯視覺原理。正交雙目交匯測量比單目測量準確度高,它的相機夾角2α=90°有效降低安裝誤差[7],保證基線長度,形成相對較大的有效視場利于實現(xiàn)大尺寸檢測,同時α=45°滿足α∈(40°-70°)放置時測量誤差最小要求[4]。
以雙目交匯視覺子系統(tǒng)1為例:CCD-1和CCD-2分別滿足針孔成像模型:
其中矩陣M是由相機內(nèi)部參數(shù)(r1~r9)和相機外部參數(shù)(T1~T3)構(gòu)成的一個3×4的綜合矩陣。聯(lián)立式(2)和式(3)求解則可得到CCD-1和CCD-2的采集圖像上的公共特征點的三維坐標,即硅棒第1對棱邊上的特征點坐標,同理對于雙目交匯視覺子系統(tǒng)2、雙目交匯視覺子系統(tǒng)3、雙目交匯視覺子系統(tǒng)4可依次求得第2對、第3對、第4對棱邊上的特征點坐標,從而在保證精度前提下實現(xiàn)硅棒全范圍檢測目的。
為了驗證硅棒特征點三維坐標視覺檢測系統(tǒng)的可行性,在實驗室搭建了機器視覺檢測試驗樣機進行試驗,完成四目視覺采集系統(tǒng)的相機標定實驗,同時以CCD-1和CCD-2構(gòu)成的正交雙目子系統(tǒng)為例進行一對硅棒表面圖像的數(shù)據(jù)采集實驗,基于Visual Studio 2008平臺編寫核心圖像處理算法。
相機標定是視覺測量過程中不可缺少的關(guān)鍵技術(shù),標定通過針孔成像原理求取相機內(nèi)部屬性參數(shù)和外部位置參數(shù)從而確定空間坐標系中物點和像點的對應關(guān)系[8]。針對本文的多目視覺系統(tǒng)首先對每個相機進行單目標定。單目標定選擇一種介于傳統(tǒng)標定技術(shù)和自標定技術(shù)之間的方法:張氏平面標定法。標定流程為:首先將自制一個大小為11×11標準棋盤格模板,每個棋盤格大小為10mm×10mm。該模板置于視覺系統(tǒng)有效視場內(nèi),改變模板位置多角度(不小于3個)分別拍攝,拍攝完成后進行角點檢測,單應性矩陣求解和參數(shù)優(yōu)化,每個CCD獲得一個相應的相機標定文件calib_CCD_1.mat、calib_CCD_2.mat、calib_CCD_3.mat、calib_CCD_4.mat。這種標定方法比傳統(tǒng)標定簡單,算法計算量減少且精度高于自標定方法。通過單目標定得到X方向和Y方向有效焦距(ax,ay)、CCD靶面中心坐標(u0,v0)以及徑向或者切向畸變等相機內(nèi)部參數(shù),由于切向畸變較小,此處忽略不計,主要考慮徑向畸變參數(shù)(k1,k2),單目標定結(jié)果見表1。
單目標定完成之后進行立體標定,分別獲得相機坐標系O1Xc1Yc1Zc1、O2Xc2Yc2Zc2、O3Xc3Yc3Zc3、O4Xc4Yc4Zc4相對于世界坐標系的旋轉(zhuǎn)矩陣R和平移矩陣T。立體標定結(jié)果見表2。
表1 單目相機標定結(jié)果Tab.1 The result of monocular camera calibration
表2 多目相機標定結(jié)果Tab.2 The result of multi-camera calibration
實驗采用四個IMPERX面陣CCD相機、相機配接15mm的標準鏡頭,兩個X64-CL Prio圖像采集卡,兩個鏡頭基線距離為1408.6mm搭建實驗樣機,有效線視場為236.544mm,將待測硅棒置于CCD交匯的有效視場范圍內(nèi),配置圖像采集卡輸出格式為Cameralink Base Mono#1,導入IPX_VGA210相機.cfg配置文件,通過X64-CL Prio圖像采集卡將一對像素為640×480黑白硅棒圖像實時送入上位機。其中正交雙目視覺子模塊1采集到的一對圖像如圖4所示。
圖4 硅棒圖像Fig.4 Images of silicon rods
特征點坐標檢測視覺系統(tǒng)第二個核心組成是圖像處理模塊,該模塊通過完成對采集數(shù)據(jù)的后續(xù)圖像處理獲得目標特征點的三維空間坐標,技術(shù)難點在于機器視覺數(shù)據(jù)采集模塊中CCD相機得到的是二維圖像信息,而系統(tǒng)最終要求是得到目標特征點的空間三維坐標。針對問題論文提出一種二維圖像上恢復特征興趣點三維坐標的解決方法:首先提取待處理圖像上的特征興趣點,建立特征興趣點對應關(guān)系即同名點識別,接著通過同名點立體匹配獲取對應點視差從而得到特征興趣點3D坐標。
3.3.1 Harris角點檢測
論文以硅棒角點作為研究的特征興趣點,采用一種基于灰度值相關(guān)的角點檢測算子:Harris算子進行硅棒角點檢測。Harris角點檢測的目的是提取待測目標的特征點,依靠特征點來傳遞圖像所表征的參數(shù)信息,算法不受相機姿態(tài)及光照影響,檢測精度達到像素級別[9]。Harris算子數(shù)學表達形式為:
M為自相關(guān)聯(lián)系矩陣、Det(M)為自相關(guān)矩陣行列式的值,Trace為矩陣的跡,k為默認常數(shù),取0.04。式(5)稱為Harris算法響應函數(shù),該函數(shù)給出局部范圍內(nèi)的興趣值大小。Harris算法采用局部范圍內(nèi)的極大興趣值對應的像素點作為特征點,因此通過對算法中的門限閾值、局部鄰域大小、高斯窗口大小和高斯方差多次調(diào)整,保證在局部鄰域內(nèi)只留下最大極值點作為興趣點,實現(xiàn)特征最優(yōu)角點的提取。
3.3.2 特征點立體匹配
特征點立體匹配就是在待匹配圖像上尋找標準圖像上每個特征點的同名點,從而將不同圖像中原本獨立的特征興趣點聯(lián)系起來[10-11],特征點匹配不是盲目進行,它遵循一定約束條件,本文同名點匹配基于極線約束。極線約束規(guī)定了一幅圖像上任意一點在另一幅圖像上的對應點只可能位于一條特定的極線上,通過該約束特征點匹配搜索空間從二維降為一維,減少計算量[10]。匹配流程為:
首先在現(xiàn)有圖像中設定一個標準圖像,對于標準圖像中的特征點Pl,找出待匹配圖像中與其有最近歐氏距離的前兩個特征點Pr1和Pr2,計算兩個特征點中最近的距離Dmin與次近的距離Pcmin的比值,如果該比值小于匹配閾值,則表示待匹配圖像上歐氏距離最近的點是標準圖像中Pl特征最優(yōu)匹配點。
其次以待匹配圖像中Pr1為特征點,重復步驟1的過程,求取標準圖像中Pr1的候選匹配點P′l。
最后如果Pl和P′l是相同點,則Pl和Pr1匹配成功,否則棄之。重復這個流程,直到匹配完成。
同名點匹配完成之后,由雙目視覺視差公式即可得出特征點3D坐標。最后對采集系統(tǒng)拍攝的兩幅硅棒圖像進行角點檢測及匹配算法驗證,獲得了圖像中的4對公共角點3D點坐標值,結(jié)果見表3。
表3 特征點3D坐標計算結(jié)果Tab.3 The calculation result of characteristic points′3Dcoordinate mm
通過表3可以看出:理論計算結(jié)果和實際測量結(jié)果基本吻合,且實際測量精度明顯高于理論計算精度。
論文提出一種基于機器視覺的非接觸、實時硅棒特征點檢測技術(shù),搭建了多目視覺硅棒采集系統(tǒng)進行圖像采集實驗,重點研究了多目視覺有效視場確定和正交雙目交匯視覺測量原理,基于Visual Studio 2008平臺完成了硅棒角點特征提取以及同名角點立體匹配等后續(xù)圖像處理算法,整個檢測過程時間不超過0.5min。實驗結(jié)果表明,該技術(shù)可準確快速獲取待檢測硅棒的特征點三維坐標,檢測精度可以達到像素級別,適合于硅棒參數(shù)的非接觸式高精度檢測。為下一步開展硅棒面形檢測研究奠定了基礎。
[1]郭海霞,解 凱.焦點檢測技術(shù)研究[J].哈爾濱師范大學自然科學學報,2007,23(2):73-75.
[2]徐岳生,劉彩池,王海云,等.直拉硅的現(xiàn)狀與發(fā)展[C]∥中國有色金屬學會第六屆學術(shù)年會論文集.長沙:中南大學出版社,2005:62-69.
[3]彭 凱,劉麗冰.雙攝像機光學三坐標測量系統(tǒng)的研究[J].工藝與檢測,2008,10(9):115-117.
[4]彭 凱,劉麗冰,劉書桂.基于雙相機的計算機視覺坐標測量系統(tǒng)[J].光電工程,2008,35(7):95-98.
[5]管業(yè)鵬,童林夙.雙目立體視覺測量方法研究[J].儀器儀表學報,2003,24(6):581-588.
[6]劉佳音,王忠立,賈云得.一種雙目立體視覺系統(tǒng)的誤差分析方法[J].光學技術(shù),2003,29(3):354-360.
[7]郭玉波,姚 郁.雙目視覺測量系統(tǒng)結(jié)構(gòu)參數(shù)優(yōu)化問題研究[J].紅外與激光工程,2006,35(增刊):506-509.
[8]羅世民,李茂西.雙目視覺測量中三維坐標的求取方法研究[J].計算機工程與設計,2006,27(19):3622-3624.
[9]張春生.基于點特征匹配的SUSAN-Harris算子比較[J].西安科技大學學報,2007,27(4):608-616.
[10]陳凌峰,楊銀才,沈邦心,等.機器視覺測量系統(tǒng)中的特征匹配方法[J].湖北工業(yè)學院學報,2000,15(4):26-29.
[11]張少輝,沈曉蓉.一種基于圖像特征點提取及匹配的方法[J].北京航空航天大學學報,2002,34(5):516-519.