史耀群,鄧林嘉,王朝旭,伏燕軍,鐘可君,管炳良
(1.南昌航空大學 無損檢測技術(shù)教育部重點實驗室,江西 南昌 330063;2.九江如洋精密科技有限公司,江西 九江 332000)
目前,微小物體表面三維形貌測量因其獨特的工程價值在眾多領(lǐng)域具有廣泛的應(yīng)用前景,例如缺陷檢測、三維測量、虛擬現(xiàn)實、機器視覺、醫(yī)療檢測等[1-4]。常見的微小物體表面三維測量技術(shù)包括傅里葉變換輪廓術(shù)[1]、干涉測量輪廓術(shù)[2]、條紋投影輪廓術(shù)[3]、調(diào)制度測量輪廓術(shù)[4]等。隨著機械加工、微電子、材料分析等新技術(shù)的快速發(fā)展,越來越多與制造業(yè)相關(guān)的行業(yè)對微小物體表面的三維輪廓信息產(chǎn)生了需求。
近年來,國內(nèi)外眾多學者針對微小物體表面三維形貌的測量方法和測量系統(tǒng)展開了研究。Vargas J等人[5]為了解決具有高動態(tài)成像范圍的微小芯片測量的問題,調(diào)整相機的曝光時間并利用格雷碼加相移完成微小芯片的三維測量,但是該方法由于需要調(diào)整曝光時間且投影的條紋圖較多導致測量速度無法滿足工業(yè)檢測。Anand A等人[6]提出了一種基于深紫外高分辨率的定量相位顯微成像方法,也提出了相應(yīng)的相位恢復方法。李阿蒙等人[7]提出了一種基于立體顯微鏡和條紋投影輪廓術(shù)的定量三維顯微系統(tǒng),分辨率達到1 μm,但由于視場限制,每次只能測量一部分,需要多次測量。Van der Jeught.S等人[8]提出了一種實時顯微相移輪廓術(shù),將投影儀和相機集成到體式顯微鏡的2個獨立的光學通道中,顯微鏡的放大功能會減小相機的視場,同時需要超高速幀率的相機用于實時測量,目前相機采集幀率大多無法滿足要求。於燕琴等人[9]搭建了一套基于數(shù)字條紋投影和立體顯微鏡的三維小視場測量系統(tǒng),系統(tǒng)的集成度不高無法滿足實時測量。艾佳等人[10]研發(fā)了一種基于遠心鏡頭和三頻外差的小視場三維測量系統(tǒng),系統(tǒng)精度為10 μm,但由于采用了三頻外差的方法導致測量速度較慢。胡巖等人[11]提出了一種基于Greenough體視顯微鏡的三維顯微表面測量系統(tǒng),在消除透鏡畸變的情況下,實現(xiàn)測量系統(tǒng)的高精度標定??赚|琦等人[12]提出了一種基于遠心鏡頭的標定技術(shù),并利用相機的多重曝光進行高動態(tài)范圍測量,但是還無法實現(xiàn)實時測量。
根據(jù)上述國內(nèi)外研究現(xiàn)狀可知,大部分針對微小物體表面三維形貌的測量方法因受限于測量范圍、測量速度、測量精度等因素,都不能很好地滿足工業(yè)測量需求。條紋投影輪廓術(shù)因其測量無損傷、測量范圍大、測量精度高、測量速度快等優(yōu)點,備受國內(nèi)外研究學者關(guān)注和研究。
本文采用基于數(shù)字條紋投影的三步相移法[13],在相位展開時采用可靠路徑跟蹤相位展開算法,僅需3幅相移條紋圖,即可實現(xiàn)截斷相位的提取和連續(xù)相位的恢復,能夠在保證較高測量精度和較大測量范圍的條件下,提升測量速度。本文設(shè)計實現(xiàn)的微小物體三維形貌測量系統(tǒng),結(jié)構(gòu)簡單,利用立體顯微鏡將Light Crafter 4500投影組件投影的正弦條紋進行縮小,然后投射到微小物體表面,因立體顯微鏡光學成像畸變小、能連續(xù)變倍,保證了縮小后投影到微小物體表面的正弦條紋質(zhì)量,搭配與CCD相機共同采集變形條紋圖的遠心鏡頭,因其大景深、低畸變、無透視誤差,確保了采集的變形條紋圖質(zhì)量,經(jīng)過三步相移算法和可靠路徑跟蹤相位展開算法處理可以獲取相應(yīng)的連續(xù)相位,再由相位-高度轉(zhuǎn)換關(guān)系,即可實現(xiàn)對靜態(tài)微小物體表面輪廓的三維測量與重建。
三步相移法因其所需要的帶條紋的圖像幅數(shù)少,算法實現(xiàn)簡單[13],因此本文采用三步相移法,進行相應(yīng)的相位提取,其基本原理如下。
通過精確地移動投影的光柵條紋,獲得3幅條紋圖像,每個條紋圖像可以表示為
(1)
式中:a(x,y)為條紋圖背景光強;b(x,y)為調(diào)制強度函數(shù);φ(x,y)表示光柵條紋上的相位(即連續(xù)相位);α是相移長度。在本文中,采用α=120°,此時求解方程(1),可得到截斷相位φ(x,y),即:
(2)
獲取截斷相位后,通過一定的相位解包裹方法,就能恢復連續(xù)相位φ(x,y)。
本文采用基于可靠路徑跟蹤的空間相位展開算法,其實質(zhì)是一種質(zhì)量圖引導的相位展開算法。算法表達式如下[14]:
(3)
基于可靠路徑跟蹤的空間相位展開算法的具體實現(xiàn)過程如下:
1) 首先,進行簡單的相位展開,對獲取的截斷相位剔除其中相位差值大于2π的分量;
2) 然后,對步驟1)中獲取的結(jié)果進行二階差分求取,以便獲取用于引導相位展開的質(zhì)量圖;
3) 根據(jù)步驟2)中獲取的質(zhì)量圖進行引導,對截斷相位進行解相位。
由(3)式可知相位展開本質(zhì)上可看作一個積分過程,因此,若根據(jù)連續(xù)路徑的積分求解,前面任意一點出現(xiàn)誤差,誤差將會按照相位展開路徑進行傳播。若根據(jù)獲得的質(zhì)量引導圖進行導向求解,在進行相位展開時,是從高質(zhì)量點到低質(zhì)量點進行相位計算,將會從根本上限制誤差傳遞。
在本文系統(tǒng)中,要實現(xiàn)微小物體三維形貌測量,需要將條紋圖投射到被測物體表面,并將被投影的條紋圖縮放。圖案縮放單元基于一臺立體顯微鏡,其工作原理[15]如圖1所示。
立體顯微鏡還兼具普通光學顯微鏡不具備的優(yōu)點。首先,大景深、大視場以及工作距離大,方便全局觀察被測物體。其次,正立成像,便于生物解剖和操作。最后,光線經(jīng)過兩組中間透鏡組構(gòu)成一定的體視角,能形成立體圖像,滿足光學三角測量法的要求。
遠心鏡頭因其具有以下特點:1) 低畸變(通常<1%);2) 大景深;3) 有效景深內(nèi),物像倍率固定;4) 豎立成像時,無虛影現(xiàn)象(無透視誤差);5) 主光線平行于光軸而成像。
因此,遠心鏡頭能很好地解決透視投影誤差問題,這也使得在精密測量領(lǐng)域中越來越廣泛地采用遠心鏡頭替代傳統(tǒng)鏡頭,如圖2所示為雙遠心鏡頭成像原理圖。
圖2 雙遠心鏡頭成像原理Fig.2 Imaging principle of dual telecentric lens
如圖3所示為微小物體三維形貌測量系統(tǒng)原理圖,從圖3可以發(fā)現(xiàn),該測量系統(tǒng)基本構(gòu)成包括:投影儀、縮放單元、CCD攝像機、遠心鏡頭、計算機、圖像采集卡。
圖3 微小物體三維形貌測量系統(tǒng)工作原理Fig.3 Working principle of three-dimensional morphology measurement system for micro-objects
首先,使用計算機自動生成相應(yīng)的相移光柵條紋圖。然后,根據(jù)被測對象的材料和表面特征(如顏色、紋理等),使用投影儀通過體視顯微鏡將相移光柵條紋圖依次投影到參考面與被測物體表面,因被測物體表面凹凸不平,被投影的相移光柵條紋圖經(jīng)過物體表面調(diào)制、反射后,被帶至雙遠心鏡頭的CCD相機所拍攝并保存,此時的相移光柵條紋圖包含被測物體表面的高度信息。然后,通過三步相移方法求解截斷相位,并通過可靠路徑跟蹤相位展開算法獲取連續(xù)相位。最終,通過相位-高度映射關(guān)系,求取被測物體高度,即可重建物體的三維形狀。
基于上述原理,本文搭建了一套適用于測量微小物體三維形貌的測量系統(tǒng),其測量裝置如圖4所示。微小物體三維形貌測量系統(tǒng)采用型號為SMZ-168-TL的體視顯微鏡,投影裝置為一款基于DLP4500芯片開發(fā)的高速數(shù)字投影套件DLP?Light Crafter 4500TM,分辨率為912 pixel ×1 140 pixel,CCD相機為德國Basler AG公司生產(chǎn)的一款acA1600-20gm型相機,分辨率為1 626 pixel×1 236 pixel,遠心鏡頭放大倍率為0.4,景深為5.2 mm。在LightCrafter和體視顯微鏡中間加裝一個偏振片用來調(diào)節(jié)條紋的亮度,然后依次將相移正弦條紋投影到小視場(1.8 cm×1.6 cm)的物體表面,并使用CCD相機配合遠心鏡頭進行采集,利用三步相移和可靠路徑跟蹤算法對微小物體的表面三維形貌進行測量與重建。
圖4 微小物體三維形貌測量系統(tǒng)裝置圖Fig.4 Micro-objects 3D morphology measurement system
本文測量的微小物體均為日常生活中常見的銀行卡、五角硬幣、金屬條紋板以及BGA芯片上的微小局部區(qū)域,如圖5所示為銀行卡實物圖。投影3幅相同頻率的相移條紋圖到物體表面,三步相移條紋的投影條紋頻率為1/128,相應(yīng)的三步相移條紋的投影條紋周期數(shù)為128。因本文采用橫條紋,LightCrafter分辨率為912 pixel×1 140 pixel,單條條紋對應(yīng)的像素數(shù)為912/128 pixel。
圖5 銀行卡實物圖Fig.5 Photo of bank card
采集得到銀行卡卡號數(shù)字“6000”表面投影條紋頻率為1/128的一組變形條紋圖,如圖6 所示,圖像分辨率大小為912 pixels×1 140 pixels。
圖6 銀行卡卡號數(shù)字“6000”的3幀變形相移條紋圖Fig.6 3-Frame deformed phase-shifted fringe diagrams of bank card number "6000"
然后利用三步相移法計算獲得對應(yīng)的截斷相位圖,如圖7所示。
圖7 銀行卡卡號數(shù)字“6000”的截斷相位圖Fig.7 Truncation phase diagram of bank card number “6000”
根據(jù)可靠路徑跟蹤相位展開算法的原理,針對得到的截斷相位進行相位展開計算,可獲得連續(xù)相位。此時需要將相位轉(zhuǎn)換為高度信息,根據(jù)相位高度公式(4),可以得到變化相位和高度之間的關(guān)系。
(4)
式中:Δφ是物體和參考平面之間的相位差;高度為h;L為相機和參考平面之間的距離;d為投影儀和相機光心之間的距離;f為投影條紋的頻率。將4個精確高度的標準塊放在參考平面上,測量每一個標準塊的相位差,由于標準塊高度和投影條紋頻率已知,通過4組數(shù)據(jù)可以反求出L、d的數(shù)據(jù),從而得到相位與高度之間的對應(yīng)關(guān)系,可以對展開相位進行高度映射。最終得到圖8所示的銀行卡卡號數(shù)字“6000”的三維面形重建結(jié)果。
圖8 銀行卡卡號數(shù)字“6000”的三維面形重建結(jié)果Fig.8 3D morphology reconstruction result of bank card number “6000”
針對金屬條紋板局部區(qū)域、BGA芯片引腳部分進行測量,實物圖如圖9(a)所示,投影的正弦條紋頻率不變,采用相同的方法,成功對其進行了三維重建。
用標準塊對系統(tǒng)的測量精度進行評估,分別對3個標準塊進行測量,并對測量所得的數(shù)據(jù)求取平均高度,計算所得標準偏差為11 μm,結(jié)果如表1所示。
圖9 BGA芯片三維面形測量與重建結(jié)果Fig.9 3D morphology measurement and reconstruction results of BAG chip
表1 高度誤差表Table 1 Chart of height error
評估結(jié)果表明,系統(tǒng)精度為11 μm(標準偏差),在保證較高測量精度和較大測量范圍的條件下,如果本系統(tǒng)采用更高采集速率的相機和投影速度更快的投影儀可以進一步提高測量速度;若對本文的標定方法做進一步改進可以提高系統(tǒng)的測量精度。
微小物體表面三維形貌測量在工業(yè)檢測、醫(yī)療檢測、機器人視覺等領(lǐng)域均有著非常重要的作用,未來在其他領(lǐng)域的應(yīng)用也將得到進一步拓展,而基于結(jié)構(gòu)光的非接觸式三維表面測量技術(shù),因其非接觸測量、高精度、高速測量等優(yōu)勢,已成為實現(xiàn)三維表面測量的一個重要手段,未來擁有廣闊的應(yīng)用前景。本文基于三步相移結(jié)合可靠路徑跟蹤相位展開算法的原理,利用體視顯微鏡、遠心鏡頭、數(shù)字投影模塊和CCD相機,設(shè)計并搭建了一套微小物體三維形貌測量系統(tǒng),視場范圍為1.8 cm×1.6 cm。實驗結(jié)果表明,本文所搭建的測量系統(tǒng)投影相同頻率的3幅相移條紋圖,根據(jù)三步相移結(jié)合可靠路徑跟蹤相位展開算法,僅需3幅條紋圖即可實現(xiàn)對微小物體的表面形貌進行重建,測量深度范圍為700 μm,系統(tǒng)精度為11 μm,在保證較高測量精度和較大測量范圍的條件下,提升系統(tǒng)測量速度。