張勇停 李 鋒

（江蘇科技大學(xué) 鎮(zhèn)江 212003）

1 引言

線結(jié)構(gòu)光掃描技術(shù)是一種基于光學(xué)三角法的非接觸式測量技術(shù)，主要由相機(jī)和投射線光條的激光器組成，被廣泛應(yīng)用于三維測量、三維圖像重建、焊縫檢測與跟蹤、質(zhì)量檢測等領(lǐng)域［1～2］。測量時，先將線激光器發(fā)射的激光束投射到被測物體，激光平面勻速掃描物體表面的同時使用相機(jī)連續(xù)拍照，根據(jù)相機(jī)拍攝的光條圖像計算二維圖像的中心坐標(biāo)，再根據(jù)標(biāo)定得到的系統(tǒng)參數(shù)就可以計算二維坐標(biāo)對應(yīng)在世界坐標(biāo)系中的三維坐標(biāo)。線光條圖像具有一定的像素寬度，通常為幾到幾十個像素，能否精確地提取光條中心是線結(jié)構(gòu)光視覺系統(tǒng)的關(guān)鍵，其提取精度直接影響到整個線結(jié)構(gòu)光視覺系統(tǒng)的精度［3］。

傳統(tǒng)的光條中心提取算法主要有極值法［4］、灰度重心法［5］、方向模板法［6］、曲線擬合法［7］、基于Hessian 的Steger 算法［8］。極值法是從光條局部截面上尋找灰度分布的極大值點作為中心，對于灰度分布滿足符合理想高斯分布的光條具有非常好的提取效果，計算速度快，但易受噪聲影響，精度較低，適用性低。灰度重心法的算法簡單，計算效率高，但精度低，對噪聲敏感。方向模板法雖然降低了噪聲對中心提取結(jié)果影響，但是計算效率大大下降。曲線擬合法的核心在于采用多項式曲線來擬合已有光條，從而用擬合的多項式代替原光條。基于Hessian 的Steger 算法計算精度高，但需要進(jìn)行大量的高斯卷積運(yùn)算，運(yùn)行速度較慢。Wu［9］等提出了一種均方灰度梯度法和灰度重心法結(jié)合的算法，速度快且精度高。蔡懷宇［10］等提出了一種基于PCA 的中心線提取方法，用PCA 法代替Hessian 矩陣獲取光條的法線方向，明顯提高了計算速度。

近年來，深度學(xué)習(xí)在圖像分類、目標(biāo)檢測、圖像語義分割等［11～13］領(lǐng)域取得了一系列突破性的研究成果，但是深度學(xué)習(xí)在光條中心提取方面還沒有太多的研究。王勝春［14］等提出基于ENet 網(wǎng)絡(luò)對光條進(jìn)行分割，再利用模板法計算光條中心，增加了算法復(fù)雜度。郭雁蓉［15］等提出一種兩段式的卷積神經(jīng)網(wǎng)絡(luò)，第一個網(wǎng)絡(luò)用于目標(biāo)檢測，第二個網(wǎng)絡(luò)進(jìn)行中心提取，在復(fù)雜環(huán)境中的提取結(jié)果比Hessian 矩陣法、灰度重心法表現(xiàn)好，但是增加了傳播錯誤。

2 UNet網(wǎng)絡(luò)結(jié)構(gòu)

UNet 網(wǎng)絡(luò)是Ronnerberger 等［16］在FCN［17］網(wǎng)絡(luò)的基礎(chǔ)上開發(fā)的。如圖1所示，UNet網(wǎng)絡(luò)具有對稱的U型編解碼結(jié)構(gòu)，編碼器對應(yīng)的是圖像下采樣過程，解碼器對應(yīng)的是特征圖上采樣過程。在編碼器部分中采用最大池化操作來縮小特征圖，提取更高層次的特征，用來獲取場景信息；在解碼器部分使用上采樣操作來恢復(fù)到原始圖像大小，上采樣的過程是結(jié)合了下采樣各層信息和上采樣的輸入信息來還原細(xì)節(jié)信息。相應(yīng)的編碼器和解碼器之間通過跳躍連接恢復(fù)上采樣圖像的細(xì)節(jié)信息。編碼器通過CNN 單元來獲取圖像的特征信息，包括卷積層，BN層和ReLU層，如圖1所示。

圖1 UNet特征提取模塊

3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

3.1 RCNN

RCNN［18］是基于CNN的模型優(yōu)化，在CNN單元上加兩個求和運(yùn)算就得到了RCNN，如圖2所示。

圖2 改進(jìn)的特征提取模塊

輸入圖像后，RCNN 首先通過第一個3×3 的卷積層生成初步特征圖，經(jīng)過BN 層ReLU 層之后，再用第二個3×3 的卷積層生成新的特征圖，將兩次的特征圖相加生成輸出特征X（t-1）。再通過同樣的操作，并與初步特征圖相加就得到了RCNN 單元的輸出特征圖X（t）。

每個RCNN 單元中都有5 個卷積，并在每個卷積后還有一次加法運(yùn)算，因此RCNN 單元的圖像有效感受場將逐漸擴(kuò)大。通過這些成功的卷積操作和加法運(yùn)算后，RCNN 單元可以提取比只有固定有效感受場的普通CNN 單元更深和更復(fù)雜的特征數(shù)據(jù)。同時這5 個卷積層共享權(quán)重參數(shù)，需要學(xué)習(xí)的參數(shù)數(shù)量不變，減少了網(wǎng)絡(luò)模型的復(fù)雜度。

3.2 基于RCNN的UNet網(wǎng)絡(luò)

本文提出的基于RCNN 的UNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，將UNet 網(wǎng)絡(luò)中的CNN 單元替換為改進(jìn)后的RCNN 單元。該網(wǎng)絡(luò)共7層架構(gòu)，即3層編碼器、橋接器和3 層解碼器，共36 層網(wǎng)絡(luò)，最后一層是每個像素的sigmoid激活函數(shù)。sigmoid激活函數(shù)將對應(yīng)的特征映射轉(zhuǎn)換為概率值pi，表示該像素是光條中心的概率。假設(shè)yi表示像素點(i)的標(biāo)簽，則yi=1，否則，為yi=0。該算法采用二元交叉熵函數(shù)作為損失函數(shù)，其計算公式如下：

圖3 改進(jìn)的UNet網(wǎng)絡(luò)結(jié)構(gòu)

其中N是輸入圖像的像素數(shù)量。

4 實驗及結(jié)果分析

4.1 數(shù)據(jù)集

實驗采用FU650L200-BD22 一字線激光器和Manta G-125B 工業(yè)相機(jī)采集圖像，數(shù)據(jù)集的圖片大小均為512pixel×512pixel，數(shù)據(jù)集共1500 張圖片，訓(xùn)練集和測試集分別為1150和350張圖片。

4.2 實驗環(huán)境

本文的實驗使用的深度學(xué)習(xí)框架是Pytorch，顯卡是GeForce GTX 1080GPU（顯存大小為8GB），操作環(huán)境是基于i7-7820 的64 位Windows 10，編程語言是Python3.7。

4.3 實驗步驟

在數(shù)據(jù)預(yù)處理階段，將數(shù)據(jù)集圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理，包括翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、縮放等操作。在參數(shù)優(yōu)化階段使用Adam優(yōu)化器，Adam算法的作用是可以在訓(xùn)練時自適應(yīng)地調(diào)整學(xué)習(xí)率，初始學(xué)習(xí)率為0.0001，batch size為6，epoch為200次。

通過對比如圖4 所示的loss 曲線，可以看出迭代次數(shù)在達(dá)到25左右時loss曲線趨于平緩，隨著迭代次數(shù)的增加，模型逐漸收斂。

圖4 訓(xùn)練loss曲線

4.4 實驗結(jié)果與分析

為了驗證本文所提算法的性能，分別采用傳統(tǒng)的灰度重心法，Steger 算法和本文算法對線結(jié)構(gòu)光的光條進(jìn)行中心提取，分別對比三種算法的精度和計算效率。圖5（a）～圖5（c）分別為連續(xù)型光條、間斷型光條和曲線型光條三種不同形狀的光條。

圖5 三種不同形狀的光條

不同方法提取不同形狀光條中心的實驗結(jié)果如圖6 所示。圖6（a）～圖6（c）分別為灰度重心法、Steger算法和本文改進(jìn)方法的提取結(jié)果。

圖6 不同算法的提取結(jié)果

由上述實驗結(jié)果可知，灰度重心法在光條灰度不均勻時的提取效果較差，Steger 算法和本文算法受光條灰度分布影響較小，性能更穩(wěn)定。

對上述實驗的實驗結(jié)果做精度分析，可以通過改進(jìn)算法提取到的光條中心點到光條中心真值距離的標(biāo)準(zhǔn)差來表示該提取算法的精度。標(biāo)準(zhǔn)差可表示為

式中，n為中心點個數(shù)，xi為第i個中心點到真值的距離，為中心點到真值的平均值。表1 為通過三種算法計算后得到光條中心坐標(biāo)的標(biāo)準(zhǔn)差。

表1 各算法的標(biāo)準(zhǔn)差

表2 為上述三組不同形狀的圖片分別在三種算法下的程序運(yùn)行時間。

表2 各算法的運(yùn)行時間

為了進(jìn)一步體現(xiàn)本文算法的優(yōu)勢，對比灰度重心法、Steger算法和本文算法的綜合性能，分別取三種算法的程序運(yùn)行時間和標(biāo)準(zhǔn)差的乘積作為衡量算法綜合性能的評判標(biāo)準(zhǔn)，如表3 所示，可以看出，本文所提算法的綜合性能與灰度重心法和Steger法相比較具有一定的優(yōu)勢。

表3 各算法的綜合性能

為了驗證本文算法的在噪聲下的提取效果，在光條圖像中添加由高斯噪聲和椒鹽噪聲組成的單像素噪聲點。圖7 為原圖提取的光條中心，圖8 為噪聲處理后提取的光條中心。

圖7 原圖的提取結(jié)果

圖8 噪聲處理后的提取結(jié)果

通過對比圖可以看出，噪聲處理前后光條的提取結(jié)果相差很小，幾乎不受噪聲影響。

綜上所述，本文提出的基于改進(jìn)UNet 網(wǎng)絡(luò)的線結(jié)構(gòu)光光條中心提取算法相比Steger 算法和灰度重心法對光條中心的提取效果更好、性能更穩(wěn)定、計算效率更高。

5 結(jié)語

通過對傳統(tǒng)的UNet 網(wǎng)絡(luò)進(jìn)行改進(jìn)，將普通的CNN單元替換為改進(jìn)的RCNN單元，在特征變換過程中保留了更多的細(xì)節(jié)信息，利用端到端的深度學(xué)習(xí)方式，減少了先分割光條后提取中心的傳播錯誤。通過對不同形狀的光條，采用傳統(tǒng)的灰度重心法和Steger 算法進(jìn)行對比實驗，本文算法的精度要比傳統(tǒng)灰度重心法要高，運(yùn)行時間要比Steger 算法更少，滿足實時性的要求，且有一定的抗噪性，綜合性能較好。