吳 昊, 沈建新, 戴家隆,2, 殷 飛, 劉文良,2

(1.南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016; 2.江蘇航鼎智能裝備有限公司，江蘇 南京 211100;3.中航飛機(jī)股份有限公司漢中飛機(jī)分公司，陜西 漢中 723213)

0 引 言

基于相移輪廓術(shù)的三維重建系統(tǒng)由于其非接觸性、高精度、高速度等特點(diǎn)，已經(jīng)被廣泛應(yīng)用于點(diǎn)云獲取、逆向工程等多個領(lǐng)域[1～4]。該系統(tǒng)主要通過多頻外差求解相位主值，根據(jù)相位信息進(jìn)行立體匹配和三維重建[5]。在相位立體匹配前，有效地分割出待測物體,可以避免背景噪聲、物體陰影區(qū)等無效區(qū)域相位的誤匹配，從而提高單視角三維重建的精度和效率。

目前，針對多頻外差法的三維重建系統(tǒng)有效測量區(qū)域的分割方法，主要分為條紋調(diào)制度研究和相位校正研究兩類。從相位校正出發(fā)，通過對異常相位的校正，可以避免陰影區(qū)等無效區(qū)域的匹配和重建。文獻(xiàn)[6,7]中，利用相鄰相位對絕對誤差進(jìn)行分析和校正，陶四杰等人[8～10]通過改進(jìn)單調(diào)法對陰影區(qū)的相位噪聲進(jìn)行了校正，但此類方法只能校正少量的隨機(jī)噪聲，并且還需對所有條紋圖的陰影區(qū)等無效區(qū)域進(jìn)行多頻外差解相。從條紋調(diào)制度方向研究，通過條紋的調(diào)制度初步分割有效區(qū)域，可以避免背景區(qū)和陰影區(qū)等無效區(qū)域的相位計算及展開和誤匹配等問題。李小晗等人[11]通過條紋調(diào)制度閾值分析法去除了陰影區(qū)域的噪聲，但在調(diào)制度閾值選取上是憑借人工經(jīng)驗(yàn)，無法實(shí)現(xiàn)自動化分割；何海濤等人[12]提出了一種基于迭代法的調(diào)制度閾值計算方法，可以簡單分割測量區(qū)域，但計算出的閾值過大，導(dǎo)致部分有效區(qū)域被誤分割，使單視角重建模型出現(xiàn)點(diǎn)云局部空洞的問題。

針對上述問題，與現(xiàn)有的方式不同，本文利用調(diào)制度直方圖代替灰度直方圖，同時，將Otsu算法和Sauvola自適應(yīng)算法引入調(diào)制度進(jìn)行分析，并結(jié)合分析結(jié)果提出了一種結(jié)合頻率矩陣的最大熵分割算法，實(shí)現(xiàn)了待測物體的自動精確分割，避免了因調(diào)制度產(chǎn)生的局部點(diǎn)云空洞、點(diǎn)云邊界受損等情況，提高了單視角三維重建的質(zhì)量和效率。此外，針對反光背景下，單一調(diào)制度閾值無法進(jìn)行分割的情況，本文綜合利用Canny算法和形態(tài)學(xué)算法，成功分割出了待測區(qū)域的掩模。

1 相移輪廓術(shù)與調(diào)制度分析

1.1 四步相移與多頻外差

在基于相移輪廓術(shù)的三維測量系統(tǒng)中，需要對投影儀投射多頻標(biāo)準(zhǔn)N步正弦條紋圖進(jìn)行相位包裹的求解；接著，利用連續(xù)的相位值來匹配左右圖像的對應(yīng)點(diǎn)，從而進(jìn)行坐標(biāo)計算和三維重建[13]。

設(shè)定投射的條紋圖像光強(qiáng)為標(biāo)準(zhǔn)正弦分布，則分布函數(shù)如下

Ii(x,y)=I′(x,y)+I″(x,y)cos[φ(x,y)+δi]

(1)

式中I′(x,y)為條紋圖像的平均灰度值，I″(x,y)為調(diào)制灰度值，δi為設(shè)定的相移值。

由式(1)可知，計算出φ(x,y)相對相位值至少需要三張條紋圖像。標(biāo)準(zhǔn)N步相移法能夠有效抑制隨機(jī)噪聲，因此，本文使用標(biāo)準(zhǔn)四步相移法計算。即δi分別為0,π/2,π,3π/2。在灰度值為0～255區(qū)間內(nèi)，I′(x,y)取128，I″(x,y)取127。根據(jù)式(2)，計算相位主值，記為φ(x,y)

(2)

式中 相位主值φ(x,y)的值域?yàn)閇-π,π]，稱為包裹相位，但其只在周期內(nèi)唯一。因此，需要進(jìn)行包裹相位展開，得到全局范圍內(nèi)無歧義的相位值。現(xiàn)階段主流的解包裹方法包括有格雷碼和多頻外差算法。本文采用多頻外差算法。多頻外差法原理是將兩個高頻率的包裹相位值疊加得到低頻率的函數(shù)，如下所示

(3)

式中f1,f2為兩種高頻率，f12為合成后的低頻率。合理選擇不同的頻率條紋，能夠得到全局頻率為1的連續(xù)相位值。根據(jù)式(4)，計算出全局范圍類無歧義的連續(xù)相位值

Φ1(x,y)=φ(x,y)+2πk

(4)

(5)

式中Φ1(x,y)為展開相位函數(shù)，φ1(x,y)為1頻率包裹相位，Round為四舍五入函數(shù)，φ12(x,y)為外差后的相位函數(shù)，tanα和tanγ為兩個頻率相位函數(shù)的斜率。由于單次外差要求精度太高，因此，選擇三種頻率進(jìn)行三次外差計算出高頻連續(xù)相位。本文選擇光柵頻率為f1=1/70,f2=1/64,f3=1/59進(jìn)行外差計算。

1.2 光柵條紋調(diào)制度分析

在多頻外差解包裹前對采集的條紋圖進(jìn)行調(diào)制度分析，可以較好地去除背景等噪聲區(qū)域，從而分割出待測物體有效測量區(qū)域。尤其是對于大視場的面結(jié)構(gòu)光雙目測量系統(tǒng)，可以避免無效像素的相位計算和匹配。因此，對條紋的調(diào)制度進(jìn)行分析是相移輪廓術(shù)三維測量系統(tǒng)中的重要環(huán)節(jié)。

條紋的調(diào)制度由投射光柵實(shí)部和虛部所決定，對于同種頻率的N步相移正弦條紋，其調(diào)制度函數(shù)B(i,j)，如式(6)所示

(6)

式中B(i,j)為對應(yīng)圖像像素坐標(biāo)為(i,j)的調(diào)制度，In(i,j)為對應(yīng)圖像像素坐標(biāo)為(i,j)的灰度值。利用式(6)計算完圖像的調(diào)制度后，根據(jù)式(7)篩選出有效的像素點(diǎn)，生成有效待測區(qū)域的調(diào)制度掩模Q(i,j)

(7)

由上述公式可知，調(diào)制度閾值T的選擇是分割圖像的關(guān)鍵。合理的閾值可以篩出背景、雜點(diǎn)以及由光照產(chǎn)生的遮擋陰影等無效區(qū)域，將待測物體有效的分割。

2 條紋調(diào)制度閾值的自動選擇

一般情況下，條紋調(diào)制度的閾值由人工經(jīng)驗(yàn)選擇或者極小值搜索的方式來確定，此類方法無法保證閾值選擇的合理性。尤其是對于高分辨率的圖像，過大的閾值會導(dǎo)致較多相位信息的缺失，影響三維重建的精度。為了實(shí)現(xiàn)調(diào)制度閾值的自動化選擇，與現(xiàn)有的自動分割方法不同，本文采用圖像的調(diào)制級直方圖代替灰度直方圖進(jìn)行處理，將Otsu算法、Sauvola(自適應(yīng)閾值處理)算法等分割算法引入圖像的調(diào)制度進(jìn)行分析，并提出了一種結(jié)合頻率矩陣優(yōu)化的最大熵閾值分割算法以實(shí)現(xiàn)待測區(qū)域的有效分割。

2.1 條紋調(diào)制度預(yù)處理

根據(jù)式(6)，計算得到整幅圖的調(diào)制度。采用圖像的調(diào)制級直方圖代替灰度直方圖對調(diào)制度進(jìn)行預(yù)處理。為了減少閾值分割算法的迭代次數(shù)，利用線性歸一化函數(shù)式(8)將調(diào)制度進(jìn)行處理，將調(diào)制度分成255個等級。即

(8)

式中L(i,j)∈[0,255],INT()為取整函數(shù)。

2.2 傳統(tǒng)的閾值分割算法

2.2.1 Otsu算法

Otsu算法又稱最大類間法，其采用聚類的思想將圖片中所有的像素值分為C0和C1兩類，通過不同閾值的迭代，求出類間方差最大時的閾值T，即為最佳閾值。本文將Otsu算法應(yīng)用到調(diào)制度的分析，具體步驟如下:

1)取調(diào)制度等級L(i,j)的最小值作為初始閾值T0,即T0=1，將條紋的調(diào)制度分為C0和C1兩類。

2)分別計算C0和C1兩類像素個數(shù)的所占整個圖片比例，記為w0和w1；C0和C1兩類的調(diào)制度均值，記為μ0和μ1。

3)根據(jù)式(9)，計算當(dāng)前閾值T下的調(diào)制度的類間方差，記作σ2(T)。式中，μ為整幅圖的調(diào)制度均值

σ2(T)=w0(μ0-μ)2+w1(μ1-μ)2

(9)

4)更新迭代閾值T，取σ2(T)為最大值下的閾值Tn，作為最佳閾值。

2.2.2 Sauvola算法

Sauvola算法是一種自適應(yīng)閾值算法，與Otsu等全局閾值算法不同，它是通過移動窗口的方式求解窗口內(nèi)所有像素點(diǎn)的灰度均值與灰度標(biāo)準(zhǔn)差作為閾值T的計算依據(jù)。該算法可以彌補(bǔ)光照不均的缺陷，具有很好的魯棒性。同樣，本文將Otsu算法應(yīng)用到調(diào)制度的分析中，步驟如下：

(10)

(11)

2)利用式(12)，計算當(dāng)前像素點(diǎn)的動態(tài)閾值T(i,j);根據(jù)式(7)進(jìn)行判斷并生成分割掩模

(12)

式中R為標(biāo)準(zhǔn)差的動態(tài)范圍,條紋的調(diào)制度采用的8位圖像,本文R=128；k為自定義修正系數(shù),對動態(tài)閾值影響不大,本文取k=0.5。

根據(jù)上述步驟，利用Otsu算法和Sauvola自適應(yīng)算法進(jìn)行條紋圖像的調(diào)制度進(jìn)行分割，如圖1所示。

圖1 Otsu算法和Sauvola算法分割結(jié)果

由圖1(a)可知，當(dāng)隨機(jī)選取閾值T=10時，由于調(diào)制度閾值偏小，導(dǎo)致背景部分出現(xiàn)較多雜點(diǎn);由圖1(c)可知，Otsu閾值算法可以將有效區(qū)域進(jìn)行初步分割，但其計算出的調(diào)制度閾值不夠精確，較大的調(diào)制度閾值導(dǎo)致部分有效區(qū)域(如區(qū)域A等)被誤刪除，此類情況將會導(dǎo)致重建后的模型出現(xiàn)局部空洞的問題;由圖1(d)可知，由于結(jié)構(gòu)光三維重建系統(tǒng)對光照環(huán)境比較敏感，通常情況下不會出現(xiàn)亮度不均的情況，所以，Sauvola等動態(tài)閾值算法不適用于結(jié)構(gòu)光測量系統(tǒng)，無法將其有效測量區(qū)域進(jìn)行分割。

2.3 結(jié)合頻率矩陣優(yōu)化的最大熵分割算法

針對上述分析結(jié)果，為了保證分割出的有效測量區(qū)域的完整性，本文提出了一種結(jié)合頻率矩陣優(yōu)化的最大熵調(diào)制度分割算法。首先，利用式(6)計算得到條紋的調(diào)制度后，利用最大熵算法對調(diào)制度進(jìn)行初步分割；由于最大熵閾值得到的最佳閾值T往往偏小，會存在如圖1(b)的離散噪聲，為了去除此類噪聲又保留掩模的邊緣信息，本文利用頻率矩陣對調(diào)制度掩模進(jìn)行進(jìn)一步的優(yōu)化處理。

2.3.1 最大熵閾值求解

最大熵閾值分割算法通過搜索聚類后的最大信息熵來確定最佳閾值，算法可以使分割出的背景以及前景保留最大的信息量，彌補(bǔ)Otsu算法的缺陷，本文利用最大熵算法求解條紋調(diào)制度的最佳閾值，具體步驟如下：

1)取調(diào)制度等級L(i,j)的最小值作為初始閾值,即T0=1，將條紋的調(diào)制度分為前景C0和C1背景兩類。

2)逐個分別計算C0和C1兩類包含的調(diào)制度Bi在該類出現(xiàn)的概率,記為Pi,對于C0類,i=0,1,…T;對于C0類，i=T,1,…,255。

3)根據(jù)式(13)和式(14)，分別計算前景類和背景類對應(yīng)的信息熵，記為HC0和HC1

(13)

(14)

4)根據(jù)式(15)計算條紋調(diào)制度的信息熵，記為HB。更新迭代閾值T，取為HB最大值下的閾值Tn，作為最佳閾值

HB=HC0+HC1

(15)

2.3.2 結(jié)合頻率矩陣的調(diào)制度優(yōu)化

利用最大熵分割算法初步分割了有效測量區(qū)域的掩模后，需要對調(diào)制度掩模進(jìn)行進(jìn)一步的去噪處理，從而完整分割出有效的測量區(qū)域。傳統(tǒng)的去噪算法，如高斯濾波、均值濾波等算法，會使有效區(qū)域輪廓邊緣發(fā)生改變。這種情況會引起解相位后物體輪廓邊界的相位信息丟失或錯亂，影響匹配及重建精度。為了保留物體邊緣的同時又去除離散噪聲，本文提出了一種結(jié)合調(diào)制度頻率矩陣的去噪方法。

首先，根據(jù)式(16)，計算出調(diào)制度的頻率矩陣QB如下所示

(16)

式中Bij為坐標(biāo)為(i,j)的像素點(diǎn)所對應(yīng)的調(diào)制度;T為最大熵分割算法求解出的最佳閾值。

接著，通過移動窗口的方式，計算以aij為中心(3,3)鄰域內(nèi)的調(diào)制度頻率的均值，記為S。通過式(17)，優(yōu)化更新調(diào)制度頻率矩陣，并以此作為掩模分割條紋圖像

(17)

2.4 反光背景下的自動分割技術(shù)

針對某些反光背景下的三維重建，對相移條紋進(jìn)行解調(diào)后，待測物體有效測量區(qū)域的制度和部分反光背景的調(diào)制度為同一個等級，這種情況下無法通過單一閾值或多個閾值進(jìn)行條紋調(diào)制度分割。針對上述反光背景，本文提出了一種基于改進(jìn)的Canny算法的有效區(qū)域自動分割技術(shù)，算法流程如圖2所示。

圖2 反光背景下的自動分割方法的流程框圖

首先，利用式(6)對所采集的光柵條紋進(jìn)行解調(diào)，利用式(8)將計算出調(diào)制度進(jìn)行歸一化處理。接著，為了保持平滑圖像濾除噪音的同時，保持圖像輪廓不變，本文采用雙邊濾波算法對解調(diào)后的圖像進(jìn)行平滑處理；然后，對解調(diào)后的條紋圖進(jìn)行Canny檢測：用Sobel算子計算每一個像素點(diǎn)梯度和方向,用非極大值抑制來消除雜散效應(yīng)，用雙閾值來檢測真正的邊緣。

由于雙閾值的Canny檢測會使物體輪廓出現(xiàn)小的缺失,本文采取形態(tài)學(xué)閉運(yùn)算即先膨脹后腐蝕能夠很好地填補(bǔ)上物體輪廓處細(xì)小缺失；最后，為了避免出現(xiàn)物體處于投影邊緣處的情況導(dǎo)致檢測出的輪廓非封閉，本文對閉運(yùn)算后的圖形進(jìn)行線性插補(bǔ)將邊緣處輪廓補(bǔ)全成完整封閉輪廓，通過得出的完整物體輪廓建立掩模矩陣，分離出有效的測量區(qū)域。

3 實(shí)驗(yàn)驗(yàn)證分析

3.1 實(shí)驗(yàn)平臺

本文搭建了雙目結(jié)構(gòu)光三維重建系統(tǒng)來驗(yàn)證算法的正確性，如圖3所示。系統(tǒng)所用的投影儀為DLP4500,其分辨率為1 140像素×912像素。左右相機(jī)采用的是大華工業(yè)相機(jī),其分別率為4 096像素×3 000像素。投影儀投射圖案為三頻四步的正弦光柵條紋(頻率分別為1/59，1/64，1/70，步長間隔為1/2π;實(shí)驗(yàn)采用的計算機(jī)控制條紋的投射以及整個三維重建工作，計算機(jī)的配置為Intel?CoreTMi5—9400F CPU,2.90 GHz,8 G內(nèi)存。本文采用C++作為算法的編程語言，編譯環(huán)境為VS2017，并配置了OpenCV4.5.1開源庫。

圖3 雙目結(jié)構(gòu)光測量系統(tǒng)

3.2 實(shí)驗(yàn)結(jié)果

利用本文的算法對所采集的航空零件、動物面具等條紋圖進(jìn)行解調(diào)和自動分割，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 吸光背景下的調(diào)制度自動分割結(jié)果

由實(shí)驗(yàn)結(jié)果可知，改進(jìn)后的最大熵調(diào)制度自動分割算法能夠確定更準(zhǔn)確的調(diào)制度閾值，有效地分割出待測區(qū)域。對比Otsu算法以及閾值迭代算法，該算法可以彌補(bǔ)上述算法計算出的閾值過大導(dǎo)致如區(qū)域A和區(qū)域B等區(qū)域被誤剔除的問題，最大程度地保留了有效測量區(qū)域的完整性。如表1所示，改進(jìn)后的最大熵法得到的優(yōu)化閾值更加準(zhǔn)確，其生成的掩模能更完整地保留像素相位信息，重建后的三維模型避免了局部區(qū)域的點(diǎn)云缺失和空洞等情況。以獅子面具為例，改進(jìn)的最大熵法生成的調(diào)制度掩模能夠保留811 808個像素點(diǎn)，比迭代閾值法多保留了100 462個像素的有效相位信息，在其原有的分割基礎(chǔ)上保證了14.12 %像素面積的相位值不被誤刪除，順利進(jìn)行相位匹配。

表1 三種算法的數(shù)據(jù)對比結(jié)果

以待測物體獅子面具為例，用上述算法得到的掩模對有效區(qū)域進(jìn)行分割，并進(jìn)行相位立體匹配與三維重建。利用GeomagicWrap2017對重建的點(diǎn)云進(jìn)行可視化與分析，如圖5和圖6所示。

圖5 立體匹配后的獅子面具視差

圖6 重建后獅子面具的點(diǎn)云圖

對比迭代閾值法，通過本文的算法分割出的掩模進(jìn)行相位匹配與重建，如表2所示，最終得到模型的有效點(diǎn)云為429 265個，比閾值迭代法多出33 083個有效點(diǎn)云，在原有算法基礎(chǔ)上彌補(bǔ)了8.35 %面積的點(diǎn)云缺失；模型三角片數(shù)為915 462，比閾值迭代法多出58 041片，在原有算法基礎(chǔ)上彌補(bǔ)6.77 %面積的三角片缺失。本文對重建后點(diǎn)云圖進(jìn)行三角化重構(gòu)，如圖7所示。實(shí)驗(yàn)證明，本文的分割算法不僅可以去除雜點(diǎn)和背景，避免無效區(qū)域的相位計算，而且有效地解決了點(diǎn)云局部空洞等問題，提高了單視角三維重建模型的質(zhì)量。

表2 三維重建后點(diǎn)云的數(shù)據(jù)對比

圖7 三角化重構(gòu)后的模型

為了驗(yàn)證反光背景下的分割算法的正確性，對反光背景下的航空零件的條紋圖進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖8所示。實(shí)驗(yàn)結(jié)果表明：針對反光背景下，本文的基于改進(jìn)的Canny算法的有效區(qū)域自動分割技術(shù)，彌補(bǔ)了反光背景下無法利用調(diào)制度閾值進(jìn)行分割的不足，實(shí)現(xiàn)了有效區(qū)域的初步分割。

圖8 反光背景下的分割結(jié)果

4 結(jié)束語

本文提出了一種基于條紋調(diào)制度的分割算法，實(shí)現(xiàn)了待測區(qū)域的自動分割，有效地剔除了背景雜點(diǎn)等噪聲，同時避免了無效區(qū)域的解相位以及匹配等流程，提高了三維重建的效率。與現(xiàn)有的方法相比，本文提出的結(jié)合頻率矩陣優(yōu)化的最大熵分割算法保留了更多的有效相位信息，避免了重建后的點(diǎn)云出現(xiàn)局部空洞等問題，提高了單視角下重建點(diǎn)云的質(zhì)量。另外，針對高反光背景下無法利用調(diào)制度閾值進(jìn)行分割的情況，本文利用改進(jìn)的Canny算法實(shí)現(xiàn)了測量區(qū)域的初步分割。在利用調(diào)制度分割出有效測量區(qū)域后，如何利用已有相位信息填補(bǔ)相位缺失以及提高匹配精度將是下一步研究的重點(diǎn)工作。