吳福培，余冠霖，樂聰，葉瑋琳，朱樹鍇

（1 汕頭大學(xué) 工學(xué)院 機械工程系，廣東 汕頭 515063）

（2 廣東奧普特科技股份有限公司，廣東 東莞 523860）

0 引言

作為一種便攜式視頻圖像輸入器件，微型相機模組已被廣泛應(yīng)用于視頻會議、實時監(jiān)控、遠程醫(yī)療、智能手機等領(lǐng)域。微型相機模組的生產(chǎn)工藝包括洗板、烘板、畫膠、貼晶、邦定、烘膠、檢測等。其中，畫膠質(zhì)量對微型相機模組的貼裝性能具有重要影響。當前常采用自動畫膠機進行畫膠。然而，受畫膠機工藝水平限制和畫膠質(zhì)量影響，易產(chǎn)生溢膠、少膠、刮膠、斷膠、偏移等畫膠缺陷，從而導(dǎo)致相機模組功能的缺失。雖然當前已發(fā)展的二維視覺檢測方法可區(qū)分良品和缺陷品，但無法給出畫膠的用量信息，且難以準確辨識相似缺陷的細微差異，易導(dǎo)致誤判［1］。因此，如何發(fā)展針對畫膠表面的三維檢測方法是當前畫膠工藝亟需解決的關(guān)鍵問題。

三維檢測法可分為接觸式檢測和非接觸式檢測［2-4］。接觸式檢測法，如三坐標測量機，其穩(wěn)定性強，測量精度可達納米級，但測量速度慢，測量范圍有限，并且測量時其探頭直接接觸物體表面而對物體產(chǎn)生擠壓，不適用于畫膠等柔軟物體的表面三維測量［5-8］。非接觸檢測法又可分為主動檢測法和被動檢測法［8-9］。主動檢測法通過向待測物體表面投射光信息，并經(jīng)物體表面反射、調(diào)制與解調(diào)后可得待測物體三維信息。主動檢測法為非接觸式測量，其測量精度高，但光學(xué)成像過程復(fù)雜，易受外部環(huán)境影響，難以滿足畫膠的連續(xù)測量需求［10-13］。被動檢測法主要包括雙目立體視覺法、單目視覺法。雙目立體視覺法通過兩幅圖像間像素點的對應(yīng)關(guān)系，獲得待測物體的深度信息［14］，其特征匹配過程復(fù)雜，難以精確匹配特征點是其面臨的主要問題［15］。而單目視覺法因其測量速度快和非接觸性，成為畫膠表面三維測量的最佳選擇［16］。

針對畫膠表面三維測量需求，基于單幅圖像提出一種畫膠表面三維測量方法。首先，建立單目視覺系統(tǒng)下的畫膠表面光照反射模型。其次，通過分析與揭示反射模型中圖像灰度值與光照強度、畫膠表面傾角、漫反射系數(shù)、畫膠表面反射光偏角之間的關(guān)系，建立高度信息映射模型。然后，給出高度映射模型中畫膠表面高度值的求解方法以恢復(fù)待測畫膠表面三維形貌。最后，通過實驗驗證所提方法的有效性。

1 單目視覺系統(tǒng)的三維信息表征

圖1 為用于采集畫膠樣品圖像的單目視覺系統(tǒng)示意圖。其中，三色CCD 圖像傳感器通過光電效應(yīng)映像畫膠的真實顏色，紅、綠、藍色LED 光源組成三色環(huán)形結(jié)構(gòu)光源。該光源的三色光以不同角度、不同高度照射被測對象，因而所獲圖像將包含畫膠樣品的表面三維信息［17］。

圖1 單目視覺系統(tǒng)Fig.1 The monocular vision system

相機采集的畫膠圖像包含豐富的背景信息，為減少背景信息的干擾及提高三維檢測的速度，需要對圖2（a）中的畫膠圖像進行分割處理。根據(jù)圖像中畫膠區(qū)域的分布規(guī)律，結(jié)合模板匹配方法分割出圖2（b）中的芯片特征。在圖2（b）中，畫膠表面在環(huán)形結(jié)構(gòu)光源照射下具有豐富的紅、綠、藍三種顏色信息。因此，采用基于顏色閾值的圖像分割方法可分割出如圖2（c）所示的畫膠特征。

圖2 微型相機模組Fig.2 Miniature camera module

照射在畫膠表面的三色光經(jīng)反射后進入相機，聚焦于CCD 圖像傳感器成像面。由于畫膠表面各點所處的高度和表面形狀差異、以及其對紅、綠、藍三色光照強度及入射角不同，畫膠圖像上的各像素點將響應(yīng)相應(yīng)的灰度值。系統(tǒng)分析該圖像灰度值的分布規(guī)律將有助于重建畫膠表面三維形貌［18］。因此，擬通過系統(tǒng)地分析單目成像系統(tǒng)的成像規(guī)律建立圖像灰度與物體高度的映射模型，從而求解待測畫膠表面各點的高度信息，實現(xiàn)表面三維測量。

2 基于單幅圖像的三維重建模型

2.1 可見光聚焦成像的影響因素分析

入射光線經(jīng)被測表面反射后，部分反射光通過鏡頭聚焦于相機成像面。理想條件下，入射光照射到介質(zhì)均勻分布的表面時，由于待測物體表面各向輻射均勻，可視其為入射光的輻射源。假設(shè)視場中待測物體表面面積為dB0，圖像中其對應(yīng)的像素面積為dBp。設(shè)dB0的光輻射度為Lr，dBp的光輻射度為Li，其關(guān)系可表示為

式中，d表示透鏡直徑，f為相機光心至圖像傳感器成像面中心的距離，α與攝像機視角相關(guān)，且一般情況下cosα可近似為1。實際條件下，入射光照射至介質(zhì)不均勻分布的被測表面時，受待測表面材料性質(zhì)和幾何形狀的影響［19］，一部分光被待測物體吸收，另一部分光經(jīng)物體內(nèi)部不均勻介質(zhì)多次反射和折射后反射出曲面，成為新的輻射源。被測表面區(qū)域dB0上的光輻射度和漫反射光輻射度Ld的關(guān)系為

式中，fd為漫反射系數(shù)，與物體的材料性質(zhì)相關(guān)，一般情況下fd<1。圖像感光像元將接收到的光能強弱轉(zhuǎn)換為電荷量的大小，并最終將電荷量按其量化準則以圖像灰度值顯示，即相機接收到的光輻射強度越大，其圖像灰度值越大。待測物體表面凹凸不平的形狀引起的漫反射光向各個方向均勻輻射，該輻射是相機成像時光量的主要來源。由此分析可知，圖像灰度值G與漫反射光輻射度Ld成正比。環(huán)形結(jié)構(gòu)光源可視作由若干個點光源匯合而成，其輻射效應(yīng)等同于若干個點光源輻射之和。單個點光源的輻射特性分析同樣適用于環(huán)形結(jié)構(gòu)光源，而對單個點光源而言，可將其視作以S為圓心的光輻射球，其輻射模型如圖3。

圖3 點光源輻射模型Fig.3 The point source radiation model

如圖3 所示，來自光輻射球S的光輻射于面積為dS的物體表面區(qū)域，由S發(fā)出的入射光線和輻射區(qū)域dS組成的密閉錐面內(nèi)的空間為光立體角dw0，則來自輻射球的輻射強度，即點光源的光強I可表示為

式中，dΦ表示點光源S發(fā)出的能量流，光立體角dw0可表示為

式中，r表示輻射球球心距輻射區(qū)域中心的距離，θ為平面法線與輻射方向的夾角。由式（3）和（4）可得

在圖像成像面上，單位面積接收到的待測物體表面輻射的能量流d?對輻射區(qū)域dS求導(dǎo)可得輻照度Li

因此，被測表面區(qū)域的光輻射度Li與點光源光強I為線性關(guān)系，圖像灰度值G與被測表面區(qū)域的光輻射度Li成正比。因此，圖像灰度值G與點光源光強I和物體表面傾角余弦值cosθ均為線性關(guān)系。由圖3 可知，理論上鏡面反射光線與實際的鏡面反射光線之間存在夾角γ。將該夾角定義為反射光偏角，由物體表面粗糙度引起。物體表面粗糙度可視為微尺度上的物體表面傾角。因此，圖像灰度值G與反射光偏角γ成正比。

2.2 單色光照模型

在光學(xué)成像系統(tǒng)中，圖像中每一個像素點均對應(yīng)圖像傳感器上一個微小的感光元，像素點的灰度值反映進入相機光線的強度信息。因此，采用單個光源可建立被測表面的單色光照模型（如圖4）。

圖4 中，直線L1L2表示透鏡，f表示透鏡焦距，直線M1M2表示圖像傳感器成像面，d表示透鏡光心OL至圖像傳感器成像面M1M2的距離，曲線AWB表示待測物體表面。來自光源S的光線經(jīng)表面傾角為θ的待測點W反射后，其理論反射光線為WR，而實際反射光線為WOL，且反射光偏角為γ，圖像中像素點M對應(yīng)的圖像灰度值為G。光源光照強度為I。光源入射光線與X軸的夾角為β，可表示為

圖4 單色光照模型Fig.4 The monochrome lighting model

反射光偏角γ可表示為

在單目視覺成像系統(tǒng)中，待測物體表面傾角θ的大小固定，且相機的透鏡光心位置固定，則φ的大小也固定。因此，反射光偏角γ與β成線性關(guān)系。由于圖像灰度值G與反射光偏角γ成線性關(guān)系，進而可分析出圖像灰度值G與cosβ亦成線性關(guān)系。又已知圖像灰度值G與體表面傾角余弦值cosθ、點光源光強I均為線性關(guān)系，由此可建立其表面高度信息的映射模型

式（9）中包含兩個未知量，分別為θ和zW。該式中的其它參數(shù)可通過系統(tǒng)標定或?qū)嶒灅硕ǐ@得。若要求解θ和zW，仍需建立新的約束方程，以完善所提的表面高度信息映射模型。

2.3 三色光照模型

采用的環(huán)形結(jié)構(gòu)光源由紅色、綠色和藍色LED 共同組成，并由此建立如圖5 所示的三色光照模型。

圖5 三色光照模型Fig.5 The trichrome lighting model

圖5 中，環(huán)形結(jié)構(gòu)光源中的紅色、綠色和藍色光源分別被簡化為紅色、綠色和藍色發(fā)光點：Sr(xr，zr)、Sg(xg，zg)、Sb(xb，zb)，且其光照強度分別為Ir、Ig、Ib。三色光入射光線與X軸的夾角分別為βr、βg、βb。其大小可表示為

將式（9）拓展至三色光照的表面高度信息映射模型，并結(jié)合式（10）可得

式中，Gr、Gg和Gb分別表示彩色圖像中紅色灰度值、綠色灰度值和藍色灰度值，Ir、Ig和Ib分別表示紅、綠、藍色光源的光照強度。fr、fg和fb分別表示待測物體表面對紅、綠、藍光的漫反射系數(shù)。

2.4 三維重建算法

在已標定光源位置的單目視覺系統(tǒng)中，已知發(fā)光點Sr、Sg和Sb在世界坐標系下的坐標(xr，zr)、(xg，zg)和(xb，zb)，其圖像坐標系下的坐標值可通過坐標系轉(zhuǎn)換獲得，且光照強度Ir、Ig和Ib可通過照度計標定。待測點W坐標(xW，zW)中的xW可通過其像點M的位置確定，zW為待測點W的高度。點W對光的漫反射系數(shù)fr、fg和fb可通過標定實驗求解。此外，像素點M的圖像灰度值Gr、Gg和Gb可從圖像中獲取。因此，式（11）中僅包含θ和zW兩個未知量，任意選取其中兩組等式建立方程組即可求解出未知量θ和zW。由于單目視覺系統(tǒng)的對稱性，圖像中待測物體所有檢測區(qū)域均可采用相同的方法求取相應(yīng)的高度信息，從而完成被測表面的三維重建。

3 實驗結(jié)果與分析

為檢驗所提方法的有效性，使用圖6 所示的單目視覺系統(tǒng)對現(xiàn)有的畫膠樣品進行三維測量實驗。實驗所用芯片的尺寸為8.5 mm×8.5 mm，相機成像視場為15 mm×11.25 mm（可對現(xiàn)有的畫膠樣本進行檢測），相機分辨率為640 pixel×480 pixel。檢測前，標定環(huán)形結(jié)構(gòu)光源焦點處的光強，分別為Ir=950 cd，Ig=1 262 cd，Ib=197.5 cd。為獲取漫反射系數(shù)，采用與畫膠相似材質(zhì)且已知高度及表面傾角的標定物進行實驗，結(jié)合式（11）可得漫反射系數(shù)。實驗結(jié)果分別為fr=0.784 9，fb=0.898 5。

圖6 單目視覺系統(tǒng)Fig.6 The monocular vision system

畫膠尺寸小且易產(chǎn)生形變，普通接觸測量難以準確獲得膠水的三維形貌，因此采用激光三角法所得的測量結(jié)果作為實際高度進行誤差分析。采用所提方法對圖2 所示的畫膠進行三維測量，結(jié)果如圖7（a）。為檢驗實驗結(jié)果的有效性，采用基于單目視覺的灰度迭加法［20］和基于單目視覺的方程計算法［21］對同一畫膠進行三維測量和結(jié)果對比。相應(yīng)的重建結(jié)果分別如圖7（b）、圖7（c）。

圖7 畫膠重建結(jié)果對比Fig.7 Comparison of reconstruction results of glue

如圖7（a）、圖7（c）所示，畫膠表面的較高位置位于畫膠輪廓骨架處，與實際畫膠形狀相符。圖7（b）中，畫膠表面的較高位置亦位于畫膠輪廓骨架處，且具有明顯的高度轉(zhuǎn)折處，不符合畫膠時膠水的實際流動情況。以所提方法與其它兩種方法進行實驗，檢驗各方法的測量精度，分別取圖7 中y軸總高度1/4、1/2、3/4的截面（畫膠截面如圖8）為截面1、截面2、截面3，將其所測的畫膠三維重建結(jié)果與畫膠樣品的實際高度進行對比。

圖8 畫膠截面圖Fig.8 The cross-section of the glue

在所選畫膠截面中，分別對每個截面的所有點與相對應(yīng)的點的實際高度進行對比。其結(jié)果如表1（表中數(shù)據(jù)的單位均為mm）。

表1 三種重建方法的檢測結(jié)果比較Table 1 Comparison of measurement results based on three reconstruction methods

從表1 可知，論文方法的平均誤差、最大誤差在三種方法中均最小。論文方法的重建誤差比文獻［21］方法小，主要原因在于文獻［21］所建立的高度信息映射模型中存在冗余未知量，而論文對其模型進行優(yōu)化并減少該冗余量，導(dǎo)致此兩種方法的重建誤差區(qū)別明顯；文獻［20］方法利用像素間的關(guān)聯(lián)性，采用梯度迭加的方式，從已知高度的起點處迭加高度分量獲得下一點的高度。在高度分量存在誤差時，隨著迭加的進行，誤差逐漸增加，從而導(dǎo)致該方法的誤差范圍較大；而論文所提方法基于建立的高度信息映射模型直接求解被測表面高度，無需迭加，因而誤差較小，進一步驗證了所提方法的有效性。

為檢測所提方法的實時性，選取相同尺寸的10 張畫膠樣品圖像進行連續(xù)檢測，并與文獻［20］和文獻［21］方法的檢測時長進行對比。其檢測結(jié)果如圖9。實驗結(jié)果表明，所提方法、文獻［20］方法和文獻［21］方法對單張圖像的平均檢測時長分別為0.130 s、0.105 s 和0.168 s。與文獻［20］方法相比，本文方法的檢測時間略長，主要原因在于論文方法比文獻［20］方法具有更高的算法復(fù)雜度；與文獻［21］方法相比，本文方法的檢測時間略短，主要原因在于該方法比文獻［21］方法少一個未知量，在物體表面區(qū)域所有像素點高度計算中明顯減少了計算量，說明所提方法的實時性有較明顯的提升；且本文所提方法的檢測時長在0.2 s 內(nèi)，可用于高速生產(chǎn)過程的畫膠表面三維測量。

圖9 三種重建方法的檢測時長對比Fig.9 Comparison of detection time based on three reconstruction methods

4 結(jié)論

基于單目視覺系統(tǒng)建立物體表面的高度信息映射模型，提出了恢復(fù)待測物體表面形貌的三維測量方法。在建立物體表面光照模型中揭示了模型參數(shù)對圖像灰度值的映射規(guī)律：在小范圍內(nèi)，圖像灰度值與光源光強、物體表面傾角、漫反射系數(shù)及反射光偏角可分別近似為線性關(guān)系。基于建立的高度信息映射模型給出了被測表面高度信息的求解方法，該方法可準確恢復(fù)微型相機模組芯片上的畫膠表面三維形貌。實驗結(jié)果表明：本文方法的測量結(jié)果與實際高度的平均誤差小于10 μm，且單張圖像的檢測時間小于0.2 s，驗證了該方法的有效性和實時性。在該模型中，當實際測量中物體表面傾角過大時對光線會產(chǎn)生遮擋，某傾斜表面可能會出現(xiàn)不同待測點投影至相同像素點，從而影響灰度值的大小，因此該方法適合于較為平緩的被測表面。