何 群,薛 林,張德健,王 豪,王云森

(大連理工大學機械工程學院,遼寧大連 116024)

0 引言

結構光相位測量輪廓術是一種高精度、高速度的非接觸式光學三維形貌測量技術,其廣泛應用在機械工程、工業(yè)檢測、計算機視覺、虛擬現(xiàn)實、生物醫(yī)學等領域[1-2]。最簡單的相位測量輪廓系統(tǒng)由工業(yè)相機、投影儀(光機)和計算機組成,在計算機的控制下,光機向被測對象投射光柵條紋,由工業(yè)相機同步采集被測對象調(diào)制后的光柵條紋,最終由相位解析算法從工業(yè)相機捕獲的變形條紋中提取相位信息,并通過三角測量法將其映射為物體的真實三維坐標[3]。

通過相位移法計算得到的包裹相位值在一個光柵條紋周期內(nèi)是唯一的,但是在整個測量視場內(nèi)具有多個周期的光柵條紋,由此產(chǎn)生相位值二義性。為了避免產(chǎn)生有歧義的相位,需要進行相位展開獲得絕對相位。相位解包裹算法是結構光相位測量輪廓術的熱點研究問題,經(jīng)過多年研究和發(fā)展,目前主要有兩大類主流方法:時間相位展開與空間相位展開[4]?？臻g相位展開算法僅采用一幀包裹相位圖,其基本原理是:根據(jù)相位的連續(xù)性分析鄰近點相位值求解絕對相位。空間相位展開在復雜形貌以及信噪比較低情況下,由于相位突變易產(chǎn)生累積誤差,相位展開結果不完全可靠。時間相位展開是將各像素的絕對相位值在時序包裹相位上獨立計算,不依賴鄰近像素點的包裹相位值,從原理上避免了誤差累積。與空間相位展開相比,時間相位展開需要投影的條紋幀數(shù)較多,但相位展開的性能更優(yōu)越[5]。

針對傳統(tǒng)時間相位展開算法由于噪聲或其他誤差源所導致的條紋階次錯誤,影響三維測量精度的問題,本文在時間相位展開多頻外差算法的基礎上提出一種基于深度學習的多頻相位展開算法,其基本原理是將時域中絕對相位展開問題抽象為求解包裹相位圖中像素條紋階次(條紋周期),從而轉(zhuǎn)化為語義分割問題。首先使用相移法得到不同頻率光柵對應的包裹相位,然后以包裹相位作為輸入,以多頻外差算法求解的包裹相位條紋階次作為輸出,利用語義分割模型Deeplabv3+ 網(wǎng)絡訓練,經(jīng)過訓練后的網(wǎng)絡模型可輸出某一種特定頻率的包裹相位對應的條紋階次,最后結合該頻率的包裹相位,進行相位展開,進而獲得被測對象的三維點云數(shù)據(jù)。通過三維重建實驗驗證了本文提出的相位展開算法的可行性以及與傳統(tǒng)多頻外差相比,在高斯噪聲干擾的情況下,該方法具備更高的測量精度。

1 相位移原理與多頻外差算法

1.1 相位移原理

相位移計算包裹相位的基本流程是:制作多幀具有一定相移的光柵條紋,采集由被測對象調(diào)制后的多幀光柵條紋并由此計算包裹相位[6]。理論上,條紋光強服從標準正弦分布,其分布函數(shù)如下:

Ii(x,y)=A+Bcos[φ(x,y)+δi]

(1)

式中:Ii(x,y)為第i幀條紋投影圖像的光強;A為圖像的平均灰度;B為圖像的灰度調(diào)制;δi為相位移;φ(x,y)為包裹相位。

本文采用標準N幀相移算法計算光柵相位圖像的包裹相位,其光強表達式如下:

(2)

式中:k= 0,1,2,…,N-1 表示第k+1幀相位移。

將k帶入式(2)可計算出光柵圖像的包裹相位:

3.牢固樹立生產(chǎn)效率的理念。中石化集團公司、勝利石油管理局先后出臺了《關于嚴格控制用工總量、不斷提高勞動生產(chǎn)率實施意見》。用工總量要控制，工作總量還要增加，在這對矛盾的背后就是要講效率，提高資源使用效率和勞動生產(chǎn)率。公司實行的“儀器承包到個人”“服務承包到井隊”，就是提高勞動生產(chǎn)率行之有效的措施。要繼續(xù)堅持“人無我有、人有我優(yōu)、人優(yōu)我精、人精我變”的原則，不斷擴大差異化競爭的優(yōu)勢。要進一步優(yōu)化科技、人才管理，營造有利于技術創(chuàng)新的環(huán)境。把握科技發(fā)展趨勢，加快關鍵技術自主創(chuàng)新以及引進技術消化吸收再創(chuàng)新，提升自主研發(fā)水平，加大新技術的推廣應用，加快成熟技術規(guī)?；瘧?，提高科技成果轉(zhuǎn)化率。

(3)

由式(3)以及反正切函數(shù)性質(zhì)可知:包裹相位值在區(qū)間[-π,π]上呈周期分布。包裹相位無法直接使用,需要配合相位展開算法展開成絕對相位。

1.2 多頻外差算法

多頻外差算法的基本原理[7]:將2種或2種以上的不同頻率的正弦條紋通過相位作差的方式疊加生成一種頻率更低的正弦條紋,從而使整個視場內(nèi)的相位值具有唯一性。以雙頻外差為例,其原理圖如圖1所示。

圖1中光柵周期為λ1、λ2的條紋分別對應包裹相位為φ1和φ2,其中包裹相位的值歸一化為[0,1]之間,且λ2>λ1。φ1和φ2經(jīng)過外差,得到了周期為λ12的條紋,其對應的相位為φ12,為了前后對應,φ12的值同樣歸一化到[0,1]之間。經(jīng)過外差之后的相位φ12以及周期λ12計算如下:

(4)

(5)

(a)合成前

(b)合成后圖1 雙頻外差原理圖

對于光柵圖像上某一像素點,設周期為λ1、λ2的條紋對應的條紋階次分別為n1、n2,這四者之間有:

λ1n1=λ2n2

(6)

又由不同周期光柵同一像素對應的整數(shù)條紋階次相差不超過一階,可得:

φ12=n1-n2

(7)

聯(lián)立式(4)～式(7),得:

n1=λ12φ12/λ1

(8)

n2=λ12φ12/λ2

(9)

所以周期為λ1、λ2的條紋對應的整數(shù)條紋階次N1、N2為:

(10)

(11)

2 語義分割模型Deeplabv3+

圖像語義分割任務是將目標圖像中不同類別的像素通過計算機的預訓練與遷移學習能力識別出來并將其按照各個特征像素標簽進行分類。近年來,由于深度學習技術的發(fā)展和進步,使用卷積神經(jīng)網(wǎng)絡進行訓練的語義分割研究達到了新的高度。這其中具有代表性的成果有谷歌團隊提出的DeepLab系列網(wǎng)絡模型。本文采用的網(wǎng)絡模型為DeepLabv3+[10],其基本原理是通過把原模型當作編碼結構并設計相對應的解碼結構來實現(xiàn)對目標圖像的像素特征的提取,網(wǎng)絡結構如圖2所示。

圖2 DeepLabv3+網(wǎng)絡結構

DeepLabv3+網(wǎng)絡模型主要分為編碼和解碼2部分。首先將圖像送入深度卷積神經(jīng)網(wǎng)絡即主干網(wǎng)絡,主干網(wǎng)絡采用的是殘差神經(jīng)網(wǎng)絡(ResNet-50),經(jīng)過主干網(wǎng)絡的提取生成淺層特征和深層特征。深層特征輸入ASPP結構以提升小區(qū)域目標的分割精度,然后經(jīng)過調(diào)整通道與上采樣與淺層特征融合,最終經(jīng)卷積運算與上采樣調(diào)整為原圖像尺寸輸出分割結果。

對于時間相位展開而言,其最終的目的是要獲得絕對相位以完成后續(xù)的三維坐標計算,但實際應用過程中不需要將絕對相位值設置成網(wǎng)絡模型的標簽,本文采用的策略是將包裹相位對應的整數(shù)條紋階次作為訓練神經(jīng)網(wǎng)絡的真值,這樣可以極大地簡化網(wǎng)絡的復雜程度。由條紋階次和包裹相位計算絕對相位公式如下:

Φ(x,y)=2πk+φ(x,y)

(12)

式中:Φ(x,y)為絕對相位;φ(x,y)為包裹相位,其取值歸一化在[0,2π];k為條紋的整數(shù)階次。

3 實驗與討論

3.1 光柵投影三維測量系統(tǒng)

光柵投影三維測量系統(tǒng)由光柵條紋投影裝置(光機)、圖像采集裝置(工業(yè)相機)、控制與數(shù)據(jù)處理裝置(計算機)構成,由光機投射條紋至被測對象同時觸發(fā)工業(yè)相機同步采集,其結構示意圖如圖3 所示。

圖3 光柵投影測量系統(tǒng)結構示意圖

實驗投影光柵條紋裝置的光機采用的是DLP VisionFLY4500(物理分辨率:1 140 pixel×920 pixel),工業(yè)相機的型號為MER-051-120GM/C-P(物理分辨率:808 pixel×608 pixel),采用光機外觸發(fā)相機的圖像采集模式。

3.2 包裹相位展開三維重建實驗

在制作用于訓練DeepLabv3+網(wǎng)絡模型的數(shù)據(jù)集中,使用的3種正弦條紋周期分別為48、60、75 pixel,為了更好地分析和比較相位展開結果的精度,采用12步相移法獲得包裹相位作為輸入,通過多頻外差算法計算周期為48 pixel的包裹相位各像素的條紋階次作為輸出(采用12步相移加三頻外差算法求解絕對相位作為絕對相位真值的參考)[11]。數(shù)據(jù)集共包含400組數(shù)據(jù),每組數(shù)據(jù)采集于隨機平移和旋轉(zhuǎn)的大衛(wèi)雕像(復雜曲面三維模型),分辨率為512 pixel×512 pixel,其中320組作為訓練集,剩余80組作為測試集,每組數(shù)據(jù)包含3種頻率的包裹相位。

在三維重建實驗中,使用的3種正弦條紋周期與數(shù)據(jù)集中使用的正弦條紋周期保持一致,相移步數(shù)設置為4步,首先通過相移法獲得3種頻率條紋的包裹相位,然后分別由訓練后的DeepLabv3+ 模型與多頻外差算法進行相位展開獲得絕對相位。獲得經(jīng)過被測物體調(diào)制后的變形光柵條紋的絕對相位后,可通過預先標定的系統(tǒng)參數(shù)計算被測物體表面點的三維坐標,本文采用三角立體模型求解空間點三維坐標[12]。

被測對象采用具有復雜曲面的大衛(wèi)雕像,利用12步相移加多頻外差算法計算大衛(wèi)雕像的點云作為參考(真值),設置公差 ±0.5 mm,當測量點偏離公差帶即認為是錯誤點。取100組測量結果的平均錯誤率,多頻外差算法與DeepLabv3+模型相位展開后的三維重建的實驗結果對比如圖4所示。

(a)DeepLabv3+(b)多頻外差圖4 三維重建結果對比

為了驗證本文提出相位展開算法在噪聲干擾的環(huán)境下的性能,設計高斯噪聲干擾仿真實驗:向采集的原始條紋投影圖像中添加5組高斯噪聲,方差分別為:0.000 2,0.000 4,0.000 6,0.000 8,0.001(像素值歸一化后);均值取0。此時將無噪聲重建的三維點云作為參考值,添加噪聲后,將多頻外差算法與DeepLabv3+模型相位展開后的三維重建結果分別與無噪聲重建結果對比,如圖5所示。

圖5 噪聲條件下三維重建結果對比

3.3 實驗結果分析

在驗證本文提出的基于語義分割模型DeepLabv3+的相位展開算法的可行性實驗中,采用大衛(wèi)雕像作為測量對象,以12步相移加多頻外差算法的策略計算絕對相位,再進行三維坐標計算,其計算結果作為參考,對比多頻外差算法與DeepLabv3+模型相位展開后的三維重建的結果如圖4所示:傳統(tǒng)的多頻外差算法相位展開后的三維坐標計算錯誤率為6.173%,而DeepLabv3+模型相位展開后計算錯誤率為4.705%,其測量精度優(yōu)于傳統(tǒng)多頻外差算法,證明了本文提出算法的可行性。

在噪聲模擬仿真實驗中,分別向采集的原始條紋投影圖像中添加不同程度的高斯噪聲,實驗數(shù)據(jù)如圖5所示。不同噪聲強度下,本文提出的算法計算錯誤率明顯低于傳統(tǒng)的多頻外差算法;并且隨著噪聲強度的增加,錯誤率的增長率相較于傳統(tǒng)的多頻外差算法精度更高,魯棒性更好。

4 結束語

本文提出了一種基于深度學習的結構光相位解包裹算法,實驗證明經(jīng)過訓練后的深度神經(jīng)網(wǎng)絡可提升結構光相位測量中包裹相位展開性能,相較于傳統(tǒng)多頻外差算法,相位展開精度更高且在噪聲的干擾下魯棒性更好?；谏疃葘W習的相位展開算法可以綜合利用時間和空間的信息,有效地從多種頻率的包裹性相位中提取出條紋階次從而恢復絕對相位,提高了相位展開的可靠性以實現(xiàn)復雜曲面物體表面的高精度三維測量。