易 杰， 麻紹君， 鐘 凱， 李中偉， 劉 苗， 曾 鵬

(1.湖南工業(yè)職業(yè)技術學院，湖南 長沙 410208；2.華中科技大學 材料成形與模具技術國家重點實驗室，湖北 武漢 430074)

0 引 言

在過去的幾年里，微納米領域里的科學技術不斷取得突破,因此微納米尺度下的測試測量技術得到不斷的發(fā)展，至今涌現(xiàn)出了多種微觀尺度三維形貌測量方法[1]。其中多視測量方法[2]最受關注，即一種利用取自至少2個視角下的SEM圖像集來對樣品進行三維形貌恢復的三維測量方法。而如何通過盡可能少量的SEM圖像(例如：2幅圖像，即Stereo SEM)，來獲取某一視角下三維形面信息也是3D SEM研究領域的一個熱點問題。

3D SEM方法具有相當多優(yōu)勢，包括不需要變換光照條件，應用性較好，能夠對樣品進行整體的三維樣貌重建。但也存在局限性，例如精度問題。由于缺少對圖像的極線校正環(huán)節(jié)，因此求解的視差較差可能造成后續(xù)三維數(shù)據(jù)失真，且對應點匹配性能過低，無法實現(xiàn)較好的稠密匹配，導致最終數(shù)據(jù)量過于稀疏[3]。

針對上述問題，為了開發(fā)一種局部高效的3D SEM下三維測量方法，本文提出基于視差—深度映射的微納尺度三維測量方法。首先，建立了視差與樣品表面深度信息的映射模型；通過引入了極線校正算法用以保證視差求解準確性；基于光流估計來進行對應點的匹配，獲得稠密準確的視差圖，保證了三維數(shù)據(jù)質量與精度；最后為了證明D2D—SEM微納尺度三維形面測量方法的有效性，與微納測試領域較為常用的超景深三維顯微鏡(VHX—6000，KEYENCE)對比，對樣品進行了三維測量與表征。

1 三維重建算法

在可傾斜樣品臺上獲得2個相反傾斜角度視角下的SEM圖像；對圖像進行特征匹配以及極線矯正；進行稠密視差計算；將視差與深度進行映射，得到深度圖，最后獲得點云數(shù)據(jù)；點云數(shù)據(jù)處理，獲取最后的三維模型。本方法是一種可靠的微觀尺度三維重建手段。

1.1 極線矯正

應用Hartley算法[4]成圖像對極線矯正，其原理建立在對極幾何的基礎之上，如圖1所示，P為三維空間內(nèi)觀測點，pl和pr為P在左右圖像上的投影點，ol和or為左圖像和右圖像投影中心，對極點el和er則為投影中心在各自圖像上的像點。由觀測點P與兩個投影中心ol,or確定極面,由各自圖像上兩投影點(例如pl與el)確定極線。其中有對極約束如下：給定圖像上某特征，其在另一圖像上的匹配點定在其對應極線上。由此，對圖像對進行稠密匹配時在目標圖像上的二維搜索轉化為沿極線一維搜索，大大減少計算量與誤差率。

圖1 對極幾何原理

Hratley算法旨在使圖像對的對應點僅存在水平位移(視差水平)，具體方式為尋求能將圖像對極點映射到無窮遠點的單應矩陣,且單應矩陣需再加以約束，保證投影過程中圖像形變保持在可控范圍。由符合條件的單應矩陣對圖像進行極線校準使極線水平對準，矯正后圖像對僅存在水平視差。

1.2 光流—視差計算

光流(Optical flow)的概念由Gibson于1950年首次提出，用以表示圖像序列中像素的運動[5]。光流擁有計算速度快、數(shù)據(jù)稠密的優(yōu)點[6]。其中，Horn-Schunck 算法(簡稱H-S算法)是一種經(jīng)典光流算法，由Horn B K P和Schunck B G[7]首次提出。算法基于2個基本假設：1) 灰度不變假設;2) 光流場平滑假設。

根據(jù)假設一，得到

I(x+u,y+v,t+1)=I(x,y,t)

(1)

式中I(x,y,t)為圖像上位于(x,y)的像素點在t時刻的灰度值,u,v為該像素點在t時刻x方向與y方向上的位移量。將上式子后部分泰勒展開

I(x+u,y+v,t+1)=

(2)

根據(jù)假設二，光流場平滑，那么前后兩幀的時間間隔應當十分小，于是將式(1)代入式(2)，忽略泰勒展開后的高階項，得到

(3)

式中 (u,v)為所求的光流運動矢量，由于該矢量包括2個部分，只有一個方程是無法求解出確定值的，需要構造另一個對(u,v)產(chǎn)生約束的方程，如此才能獲取一組確定的光流運動矢量。

根據(jù)假設二，光流場平滑，則圖像上所有點的運動都相互依賴，不存在獨立運動的點?；诖?，假設相鄰兩像素點間的光流變化率為0，即

(4)

定義能量函數(shù)如下

E(u,v)=?[((I(x+u,y+v,t+1)-I(x,y,t))2+

=?[(Ixu+Iyv+It)2+

(5)

視差為現(xiàn)實坐標系中同一點在2張不同成像圖片的像素坐標系上的水平坐標差異。稠密光流估計能計算獲取像素點的位移，將其得到的位移矢量場剝離出X方向(水平方向)位移圖即為所求視差圖。

1.3 視差—深度映射

使用的視差—深度原理[8,9]如圖2所示。核心是通過樣品臺旋轉，獲取2張在不同拍攝視角下的SEM圖像來求解視差。樣品臺旋轉為中心對稱旋轉，旋轉角度為α，則樣品上任意點p，其深度信息h與視差d以及樣品臺旋轉角度α之間的算術關系

(6)

圖2 視差—深度映射原理

在得到稠密的深度數(shù)據(jù)之后，再經(jīng)由點云數(shù)據(jù)處理便可獲得原樣品完整的三維模型。同時需要指出的是，此深度建立在像素坐標系尺度上，倘若要得到現(xiàn)實深度值，還需加以尺度矯正。

2 試驗驗證

為評估本文所述方法的重建效果與測量精度，引入了一種現(xiàn)階段成熟的微觀尺度三維表征手段，超景深三維顯微鏡(VHX—6000，KEYENCE)與本文基于圖像稠密視差的掃描電鏡下三維重建方法進行對比：首先應用本文算法獲取稠密視差，對1 000倍率下3D打印金屬粉末樣品表面(圖3(a))進行三維重建，結果如圖3(b)和圖3(c)所示。圖4給出了超景深顯微鏡的測量結果。

圖3 基于圖像稠密視差的掃描電鏡下三維重建方法對3D打印金屬樣品的測量結果

圖4 超景深顯微鏡對3D打印金屬樣品的測量結果的測量結果

對比兩者的深度圖，其尺度大致相同。在形貌方面，超景深顯微鏡未對樣品形貌準確表征，其數(shù)據(jù)連接部分過于平滑，這原因可能是原金屬粉末表面過于光滑導致測量過程中反光。而SEM成像系統(tǒng)基于電子成像，不受高反光物體的限制，重建效果較好。由此對比試驗可見，在可靠的稠密視差算法支持下本文所述方法有著與超景深相當?shù)臏y量精度與可信度。且在形貌表征方面具有優(yōu)勢。

3 結 論

本文在微納尺度三維形貌測量應用廣泛的形勢下，對基于掃描電子顯微鏡測量(3D SEM)方法進行深入研究，在雙目視覺(stereo disparity)模型支持下，提出了一套完整的基于掃描電鏡下三維重建方法，該方法有以下若干基本步驟：不同傾斜視角下SEM圖像對獲取、特征匹配、圖像極線矯正、稠密視差獲取、深度映射、三維模型建立。最后，將本文方法與成熟的微納尺度三維形貌測量方法—超景深顯微鏡進行粉末樣品的三維重建效果與測量精度對比，結果表明：本文方法是一種可靠的微觀尺度三維重建方法。