梁東魁

(燕山大學 信息科學與工程學院，河北 秦皇島 066004)

在基于結構光的三維測量中，點云數(shù)據(jù)的精度和檢測效率受到以下幾方面的影響：攝像機觀測條紋與投影儀模式之間的匹配算法的魯棒性、邊界點檢測的準確性、三維坐標轉換模型的精度等。解決匹配問題最有效的方法是對結構光進行編碼，利用各種編碼策略使像素本身帶有先驗編碼信息，通過解碼，實現(xiàn)光條或點的精確定位。因此，編碼策略選擇合適與否對匹配算法的復雜性和三維重建的準確性都有影響。目前，編碼策略主要分為時間編碼和空間鄰域編碼[1]。時間編碼易于實現(xiàn)、空間分辨率高，但需要投射多幅結構光模式，不適用于運動物體的檢測。空間鄰域編碼可以實現(xiàn)對動態(tài)物體的檢測，但由于使用單一模式，空間分辨率較低，要求解碼算法有較強的魯棒性。兩種編碼策略各有特點，其中空間鄰域編碼策略更符合三維重建向并行化和動態(tài)實時發(fā)展的需求，在這一領域的研究也取得了一定成果。

[2]采用單幀等間距光柵投影，向被測物體投射等間距垂直黑白條紋。其優(yōu)點在于投影光結構簡單，數(shù)學模型明確，分析與誤差檢測方法成熟。但該方法的檢測前提是圖像條紋是連通的無寬度線，必須對原有的灰度圖像進行閾值分割。而閾值分割方法會產生大量的條紋斷裂現(xiàn)象，由于條紋標定基于條紋與基準條紋之間位置關系，如果其中線段有斷裂，或者標定錯誤，都會擴散給所有條紋，對整體標定和計算檢測都將產生很大的影響。參考文獻[3]利用彩色空間紅、綠、藍三基色相互獨立的特性，用彩色條紋對光柵進行編碼。彩色編碼條紋光柵采用4個條紋為一組，最少要有3個條紋才能確定其所在位置，如果被測物體的空間寬度容納不下3個條紋，則無法進行測量，這是該方法對被測物體限制條件之一。

本文采用空間鄰域編碼思想，利用迪布魯英序列(De Bruijn)對水平條紋進行編碼?？臻g鄰域編碼只需要一種投射模式，利用局部鄰域信息來生成碼字，克服了等間距黑白條紋編碼存在的不足。然而，空間鄰域編碼在某些情況下會丟失鄰域信息，而使解碼變得比較困難，影響到重建的精度。針對這一問題，本文提出了一種最優(yōu)鄰域匹配算法(BN-Matching)，對條紋邊界進行全局最優(yōu)解碼，利用帶有約束的動態(tài)編程(DP)技術[4]實現(xiàn)匹配過程。該算法在缺失部分鄰域信息的情況下仍能有效進行解碼。在檢測條紋邊界之前，對圖像進行離線的顏色標定和預處理，進一步提高了檢測的精度。

1結構光編碼

本文采用4元3級De Bruijn序列對結構光進行水平等寬條紋編碼。De Bruijn序列是一類最長的非線性反饋移位寄存器序列，可通過遍歷De Bruijn圖的歐拉回路或哈密爾頓回路獲得[1]。n元m級序列的長度為nm，可表示為 d0，d1，…，dnm-1，其中 dj值取自 n 個基元，基元可以為任意數(shù)字或符號。序列中任意連續(xù)的m位組合在整個序列中都是唯一的，稱為De Bruijn序列的窗口特性。在應用該序列進行結構光編碼時，預先指定n種顏色，使其分別與 0，1，…，n-1 對應，將 0，1，…，n-1作為生成序列的基元，選擇窗口大小為m，按照某一生成算法生成序列。例如，4元3級的De Bruijn序列如式1所示。若使 0、1、2、3分別對應一種特定的顏色，就可以生成一列寬為43=64的平行條紋結構光模式。

本方法通過升元算法[5]獲得該序列，選擇色調均勻分布的三原色及白色作為顏色元，所生成的結構光模式灰度圖如圖1所示。

圖1 利用4元3級De Bruijn序列生成的結構光模式灰度圖

本編碼方案不要求序列中連續(xù)基元不同，為了降低檢測條紋邊界算法的復雜度，同時不增加顏色數(shù)，在生成光模式時，連續(xù)相同基元對應的條紋采用全照度與半照度相間的結構，例如，規(guī)定序列基元1對應顏色為紅色，則子串 111 將采用(255，0，0)和(128，0，0)(色調值相同，但亮度值減半)間隔的結構，但在標識邊界顏色碼時仍按照4元模式處理，因此需要采集4元模式和相間模式兩幅圖。本編碼方案要求物體表面在一個條紋寬度內變化平緩，不需要限制物體在全表面的單調性和連續(xù)性，因此本假定很易于實現(xiàn)。

2畸變條紋圖像預處理

利用數(shù)字投影儀向物體表面投射圖1所示的模式結構光，通過攝像機采集到經(jīng)物體面形調制過的畸變條紋圖像，由于受到物體表面反射特性、環(huán)境光以及投影儀和攝像機自身的色度亮度干擾等因素的影響，采集到的條紋圖像顏色存在較大的偏差，影響到條紋邊界顏色碼的檢測，有必要進行恰當?shù)念伾ＵＡ硗?，可以通過圖像處理進一步去除噪聲。

2.1顏色標定

根據(jù)Caspi等[6]人提出的結構光系統(tǒng)照度模型，如式(1)所示，攝像機觀測到的圖像像素點的顏色向量S由以下幾個因素決定：投影儀投射的結構光顏色P、被測物體表面點的反射矩陣K和攝像機所觀測到物體環(huán)境光C0以及攝像機和投影儀本身色度亮度干擾矩陣A。

若要依次計算出 A、K、P、C0，需要額外的輔助設備和大量的處理時間，降低了實際操作的效率。另外，按照后續(xù)算法的要求，只需要實現(xiàn)近似的顏色校正。因此，實驗選擇在無外界光源的黑室中進行，忽略物體表面的反射性質(此時，造成顏色偏差的主要因素來自攝像機和投影儀本身色度亮度的干擾)，可以通過一個線性程序獲得A。

首先，在采集畸變條紋圖像之前，分別向一塊白色平板上投射紅、綠、藍三種光，采集到三幅圖像；在每幅圖上采集一定數(shù)量的點，分別計算其紅綠藍三顏色通道的平均值，構成矩陣如下：

然后求出A-1，在對采集圖像進行灰度化處理之前，使A-1左乘圖像像素點顏色向量S，對顏色進行校正。

2.2灰度級處理

首先將經(jīng)過校正的圖像由位真彩色圖轉換為位灰度圖，利用Robert算子進行條紋邊界檢測；然后采用高斯模板進行平滑去噪。為避免遺失某些邊界信息，應設定一個較小的閾值，對圖像進行區(qū)域分割，剔除背景；最后對二值圖像進行形態(tài)學細化操作，得到單像素的條紋邊界。此時，圖像邊界中包含物體的真實外輪廓邊界，設定條件，去除真實外輪廓邊界。圖像預處理過程如圖2所示。

圖2 圖像預處理過程

2.3生成邊界集

3邊界匹配

獲得畸變條紋邊界點的圖像坐標數(shù)據(jù)和檢測碼后，必須對檢測碼進行解碼。解碼過程，即是解決攝像機觀測條紋與投影儀投射模式條紋之間的匹配問題的過程。本文提出的BN-Matching算法，基于全局優(yōu)化的思想，利用空間鄰域信息對條紋邊界進行最優(yōu)匹配，并采用增加一定約束的動態(tài)編程的處理方法實現(xiàn)該算法。

3.1最優(yōu)鄰域匹配算法(BN-Matching)

假設源邊界Q與檢測邊界E之間的全局最優(yōu)匹配為：Optm={(j0，i0)，(j1，i1)，…，(jK-1，iK-1)}，其中 j0? j1?…?jK-1，而 i0?i1?…?iK-1。定義函數(shù) agree(qj，ei)來評價 qj和 ei的匹配相似程度，則全局優(yōu)化函數(shù)就可以表示為：

最優(yōu)解為：

其中：

應用全局最優(yōu)的思想進行解碼，具有較強的抗噪能力，適用于所有采用De Bruijn序列對單一軸編碼的結構光模式的解碼?？梢岳脛討B(tài)編程[4，6]思想進行最優(yōu)匹配路徑搜索。

3.2基于動態(tài)編程(DP)實現(xiàn)BN-Matching匹配

動態(tài)編程處理方法在雙目立體視覺匹配研究中有廣泛應用[5]，其思想是：首先迭代生成匹配代價矩陣Cost=[cji]，其元素如方程(5)所示；然后通過逆遍歷代價矩陣得到最優(yōu)匹配碼。

在邊界檢測過程生成的邊界集E中，各條紋邊界不要求鄰接，但是按照順序得到。根據(jù)此特點，在DP處理過程中增加適當?shù)募s束，計算生成最優(yōu)匹配路徑網(wǎng)格(BMPGrid)如圖 3所示。

圖3 最優(yōu)匹配路徑網(wǎng)格BMPGrid

成功完成邊界匹配之后，同一邊界像素點就帶有了唯一的碼字。根據(jù)光學三角測量原理，建立起系統(tǒng)空間數(shù)學模型，在點的碼字與三維坐標之間建立直接對應關系，通過矩陣計算得到點的三維坐標，為進一步的三維表面重建和拼接提供點云數(shù)據(jù)。

4仿真實驗

以VC++6.0作為編程工具，完成算法實現(xiàn)，以多種物體為模型進行了仿真實驗。為了減少環(huán)境光干擾，實驗選擇在無外界光源的黑室中進行，預先計算出攝像機和投影儀的色度亮度干擾矩陣A：

利用A對圖像進行顏色校正，通過后續(xù)的處理檢驗該校正是否能夠滿足實驗要求。

圖2為得到二維邊界點數(shù)據(jù)的圖像預處理過程，從圖2(c)中可以看出，采用傳統(tǒng)處理方法所得到的數(shù)據(jù)有一定的邊界點缺失，條紋多處發(fā)生斷裂和交疊。圖4(a)、圖4(b)為利用等間距黑白條紋結構光模式得到的三維點云分布，從圖中可以看出，由于圖像處理過程中條紋發(fā)生斷裂，使得無法得到點所在的正確條紋號，造成數(shù)據(jù)缺失，必然會影響到后續(xù)的三維網(wǎng)格化及表面重構。

但從圖 4(c)、圖 4(d)中可以看到，經(jīng)過坐標變換后的三維點云數(shù)據(jù)完整，能夠呈現(xiàn)出物體的原始面形，說明匹配算法具有較強的魯棒性，能夠實現(xiàn)對畸變條紋邊界的正確解碼。

圖4 仿真實驗模型及獲取的點云數(shù)據(jù)分布

本文提出的結構光編碼方案，利用De Bruijn序列的窗口特性，充分利用局部鄰域信息，采用基于全局優(yōu)化思想的BN-Matching算法進行解碼，不需要假定物體全表面單調。當鄰域信息缺失或誤檢時，仍能進行正確匹配。對噪聲有很強的魯棒性，DP處理方法保證了算法的有效實現(xiàn)，通過坐標變換獲得的點云數(shù)據(jù)能夠滿足三維表面重建的要求。

參考文獻

[1]SALVI J， PAGES J， BATLLE J.Pattern codification strategies in structured light systems[J].Pattern Recgonition，2004，37(4)：827-849.

[2]周德芳.基于面結構光投影法的三維物體形狀檢測與重構系統(tǒng)[D].南京：東南大學，2004.

[3]劉維一，王肇圻.彩色組合編碼條紋光柵輪廓術[J].光學學報，2000，20(9)：1218-1222.

[4]ZHANG L， CURLESS B， SEITZ S M.Rapid shape acquisition using color structured light and multi-pass dynamic programming[C].Int.Symposium on 3D Data Processing Visualization and Transmission， Padova， Italy， 2002.

[5]朱士信.DeBruijn序列的升元算法 [J].電子科學學刊，2000，22(1)：68-72.

[6]CASPI D，KIRYATI N， SHAMIR J.Range imaging with adaptive color structured light[J].Pattern Analysis and Machine Intelligence， 1998，20(5)：470-480.