屈玉福 章平

摘要：為獲得微小器件的三維形貌，該文利用單視旋轉(zhuǎn)顯微鏡通過旋轉(zhuǎn)被測物體或成像系統(tǒng)采集被測物體的多角度圖像序列，應用多視三維重建算法處理序列圖像。通過改進宏觀視覺領域基于面片的立體視覺方法，實現(xiàn)單目旋轉(zhuǎn)視頻顯微鏡的被測工件三維重建技術：并根據(jù)物體相對于相機傾斜角度的范圍來細化擴展半徑，增加原算法中的擴展方向，針對擴展面片法向量相對于相機角度的不同，設置不同擴展半徑和擴展次數(shù)，解決重建過程中物體90°垂直側(cè)面重建面片成條狀和稀疏的問題。實驗結(jié)果表明：通過改進算法，相同的顯微鏡圖像序列進行三維重建的點個數(shù)增加2.2倍；同時對于物體側(cè)面等垂直表面處，重建表面的漏洞和分層問題有明顯的改善，最小相對測量誤差達0.44%。

關鍵詞：顯微鏡；多視角；PMVS；三維重建；三維檢測

0引言

操作簡單、成本低、效率高的微小器件三維檢測技術是當前高精度制造領域的迫切所需。明場光學顯微鏡具有光通量大、檢測效率高、可以在位甚至在線檢測的優(yōu)點，是微小器件高精度檢測的理想手段。但顯微鏡較小的視場范圍和較淺的景深，只能對物體成二維圖像。為了能更加直觀準確地觀察物體的三維結(jié)構和表面形貌信息，使光學顯微鏡具有三維觀察和檢測能力一直是領域內(nèi)的研究熱點。目前所提出的光學顯微鏡三維重建的方法可歸納為3類：1）散焦或聚焦顯微鏡三維重建，該方法通過顯微物鏡或被測工件在垂直方向上的移動采集多幅圖像，然后通過離焦深度法或聚焦深度法獲得被測工件的三維圖像：但該方法不能測量大傾角表面工件和表面起伏較大的工件。2）基于立體體視顯微鏡三維成像技術，該方法用光電成像器件代替體視顯微鏡兩臂上的目鏡，采集雙目立體圖像對，然后通過系統(tǒng)標定和立體匹配算法獲得被測工件的三維圖像；這種方法實現(xiàn)簡單，但只適用于低放大倍率的被測工件三維成像。3）基于明場光學顯微鏡的旋轉(zhuǎn)多視圖三維重建技術，這種方法利用一臺固定位置的攝像機，通過旋轉(zhuǎn)被測物體或成像系統(tǒng)實現(xiàn)對被測物體的多角度圖像序列采集，然后應用多角度三維重建算法處理序列圖像獲得被測工件的三維圖像：但由于顯微鏡具有視場小、擺放角度有限等缺點，如果用傳統(tǒng)的基于面片的三維重建方法，往往達不到理想的效果。

針對以上問題，本文將面片的多視立體重建（patch-based multi-view stereo，PMVS）算法用于顯微鏡拍攝物體的三維重建，針對利用PMVS算法進行重建時尤其是在傾角過大的側(cè)面位置，容易造成點云分層和漏洞多的狀況，導致三維重建精度下降甚至無法測量工件尺寸，本文改進了PMVS算法中的面片擴展的部分。通過增加原算法中的擴展方向，并根據(jù)物體相對于相機傾斜角度的范圍來設置不同擴展半徑和擴展次數(shù)，從而達到理想的效果。

1系統(tǒng)結(jié)構及三維重建方法

1.1旋轉(zhuǎn)顯微視覺系統(tǒng)

單目旋轉(zhuǎn)顯微視覺系統(tǒng)如圖1所示。旋轉(zhuǎn)視頻顯微鏡使用兩片旋轉(zhuǎn)反射鏡，第一反射鏡與水平面成一定夾角，通過第一反射鏡與第二反射鏡將觀察對象的圖像反射到顯微鏡主機，能夠?qū)Ρ粶y物體的側(cè)面進行360°的旋轉(zhuǎn)采集圖像。這樣不需要將成像系統(tǒng)和被測物體傾斜，也不需要進行復雜的調(diào)整，就能完全自由地對被測物體的三維形貌進行觀察。旋轉(zhuǎn)拍攝時，CCD位置保持不變。本文采用東莞市普密斯精密儀器有限公司的旋轉(zhuǎn)視頻顯微鏡。鏡頭可360°旋轉(zhuǎn)，對觀測物體進行全方位立體觀察：連續(xù)變倍，放大倍率范圍為0.7x-4x；視野范圍為30mm；安裝有45°旋轉(zhuǎn)組件，其由旋轉(zhuǎn)連接座與旋轉(zhuǎn)觀察模組組成，觀察模組中安裝有兩片反射鏡和LED環(huán)形燈，可確保三維成像清晰。

本文選用了加拿大Point Grey Reseach公司的FL2G-13S2C-C相機，該相機體積小，適用于高端監(jiān)控、檢測和高速裝配等要求較高的應用領域。電機驅(qū)動器選用的是日本安川公司產(chǎn)品SGMMJ-A282BJC61。電機控制卡選用深圳市雷塞公司生產(chǎn)的DMC2210運動控制卡，可輕松控制電機的扭矩、速度、位置等信息。

1.2單目旋轉(zhuǎn)顯微多視三維重建方法

本文采用運動恢復結(jié)構（struct from motion，SFM）算法和PMVS算法相結(jié)合的方法進行三維重建，重建算法流程如圖2所示。首先對顯微視覺系統(tǒng)進行標定，然后控制伺服電機轉(zhuǎn)動，每隔12°采集一次圖像。將標定的顯微鏡內(nèi)部參數(shù)和多視角圖像序列作為SFM算法的輸入，PMVS算法利用圖像序列和SFM算法輸出的攝像機矩陣進行三維重建。

PMVS算法主要分為匹配、擴展和過濾3部分：

1）通過Harris和DOG算子提取特征點，在每幅圖像中分別取βxβ大小的網(wǎng)格，然后在每個網(wǎng)格中檢測出8個角點和特征點，在圖像序列之間進行匹配，利用三角測量原理重建出稀疏的面片空間。

2）將上述稀疏面片作為擴展的種子點，根據(jù)相鄰面片與其有近似法向量的特性進行擴展。為了避免物體側(cè)面等垂直表面的區(qū)域出現(xiàn)重建結(jié)果中空洞過多的現(xiàn)象，擴展時根據(jù)擴展面片的法向量與法向量到相機連線所在向量的夾角來確定擴展半徑。

3）根據(jù)可見一致性約束和光照一致性約束對錯誤面片進行剔除。

2改進三維重建方法

根據(jù)第1節(jié)的介紹，基于PMVS算法的關鍵步驟是面片擴展，其方式?jīng)Q定了最終重建結(jié)果的精度和稠密度。在擴展面片所在的平面上進行擴展，面片擴展的方向會影響重建結(jié)果的稠密度。本文將擴展方向由6個方向改為8個方向，以增加擴展結(jié)果中側(cè)面的稠密度。同時，由于顯微鏡的視場小，旋轉(zhuǎn)視頻顯微鏡拍攝角度一定，90°垂直側(cè)面的表面區(qū)域成像小，所以根據(jù)圖像上相同的像素寬度所對應的半徑進行擴展，但會導致重建結(jié)果中側(cè)面區(qū)域孔洞過多。如圖3所示，所有圖像中該側(cè)面部分相對于相機夾角都比較大，如果按照傳統(tǒng)的擴展半徑進行重建，會造成側(cè)面區(qū)域重建結(jié)果稀疏的問題。

如圖4所示，a1和a2分別代表法向量為n1和法向量為n2時，法向量與C到相機連線所在向量的夾角，GH在圖像平面上表示像素長度，線段CB在平面XOY上，線段CD在平面YOZ上。當對點C進行擴展時，如果擴展半徑對應于二維圖像的相同像素長度GH，在YOZ面上的擴展半徑CD將明顯大于點C在面XOY上擴展時的半徑CB。如果兩個平面的擴展半徑相同，那么在平面YOZ上的擴展效果將會出現(xiàn)漏洞，三維點之間的間隔過大。所以位于側(cè)面區(qū)域面片的法向量相對于其他區(qū)域面片的夾角a會過大。為了防止面片擴展后位于物體側(cè)面的點云結(jié)果呈現(xiàn)條狀和缺失，需要根據(jù)面片的法向量與面片到相機連線所在向量的夾角a來適當減小擴展半徑并進行多次擴展。經(jīng)過多次實驗，給出擴展半徑的計算公式：

3實驗結(jié)果與分析

3.1三維重建結(jié)果

本文首先通過旋轉(zhuǎn)反射鏡每隔12°拍攝一幅被測物體的圖像，共采集30幅圖像從而獲得被測物體360°方位角的圖像，采集的圖像如圖5所示。然后用第2節(jié)介紹的內(nèi)容重建出被測工件的三維點云，重建結(jié)果如圖6所示。再用軟件Geomagic Studio 2015對重建后的三維點云進行插值。本文首先選中物體的一側(cè)外表面，利用Geomagic Studio 2015軟件的填充孔功能進行點云插值，之后按同樣的方法選取其他側(cè)的外表面進行點云插值。

由圖6可知，原始PMVS算法有分層現(xiàn)象，尤其在深度變化明顯的側(cè)面區(qū)域孔洞很多。本文通過增加擴展方向、優(yōu)化擴展半徑，很大程度上改善了三維重建效果。原始PMVS算法得到的三維模型點云的頂點數(shù)為13810，本文算法得到的三維模型點云的頂點數(shù)為44511，是原算法的3.2倍。

3.2三維檢測結(jié)果與分析

本文使用Geomagic Studio 2015軟件對被測工件的三維點云進行剖切測量，如圖7所示。為獲得工件的實際參考尺寸，本文利用精度為0.02mm的游標卡尺對工件不同位置進行測量，測量結(jié)果如圖8所示。在利用點云數(shù)據(jù)測量尺寸時，為盡可能地減少人為因素的干擾，本文對工件的各個位置分別測量5次，測量結(jié)果如表1所示。

由表中測量數(shù)據(jù)可知，貼片LED測量尺寸的最大偏差為0.21mm，最小偏差為0.01mm，平均偏差為0.099 mm，測量位置L處的相對誤差為0.44%，測量位置W處的相對誤差為0.76%，測量位置H處的相對誤差為5.20%，測量位置D處的相對誤差為3.05%。

4結(jié)束語

本文在顯微視覺的光學成像系統(tǒng)中添加旋轉(zhuǎn)反射鏡，獲得微小工件表面微細結(jié)構大尺度、90°傾角、大軸向范圍的大量中間多視圖像，通過增加面片的擴展方向提高點云稠密度：同時，根據(jù)面片的法向量與面片到相機連線所在向量的夾角a優(yōu)化擴展半徑并進行多次擴展，改進了PMVS算法。結(jié)果表明，本文改進的算法在較大程度上改善了90°垂直側(cè)面的漏洞問題。改進的算法通用性增強，可用于單目旋轉(zhuǎn)視頻顯微鏡下多視圖三維重建。