王成軍，李璐璐，朱小松

(1.安徽理工大學(xué)人工智能學(xué)院，安徽淮南 232001；2.安徽理工大學(xué)機(jī)械工程學(xué)院，安徽淮南 232001)

0 前言

冷凝器是由殼體、換熱管和蓋板等組成的一種換熱裝置，廣泛應(yīng)用于石化及電廠行業(yè)[1]。因冷卻水中含無(wú)機(jī)鹽和懸浮固體等，換熱管內(nèi)壁易產(chǎn)生污垢，降低換熱效率，減少設(shè)備工作壽命[2]。

目前冷凝器清洗機(jī)器人逐步代替?zhèn)鹘y(tǒng)的人工清洗，機(jī)器視覺(jué)在冷凝器清洗過(guò)程中起重要作用[3]。清洗機(jī)器人通過(guò)視覺(jué)傳感器拍攝冷凝器二維圖像，對(duì)管口進(jìn)行識(shí)別定位[4]。使用改進(jìn)的Zernike矩可對(duì)管口實(shí)現(xiàn)高精度定位[5]，但噴槍對(duì)準(zhǔn)管口中心無(wú)需達(dá)到亞像素級(jí)別精度，通過(guò)輪廓識(shí)別和雙目立體匹配可對(duì)管口中心進(jìn)行像素級(jí)精度定位[6]。為實(shí)現(xiàn)可視化監(jiān)控冷凝器清洗需求，需對(duì)冷凝器表面進(jìn)行三維重建。采用雙目視覺(jué)技術(shù)，并對(duì)目標(biāo)物體表面投射隨機(jī)斑點(diǎn)，可實(shí)現(xiàn)弱紋理元件的三維表面重建[7]。目標(biāo)物體表面三維重建后可計(jì)算物體整體表面積和體積[8-9]，滿足無(wú)接觸測(cè)量需求。

針對(duì)清洗冷凝器換熱管束的需求，設(shè)計(jì)了冷凝器清洗雙目視覺(jué)系統(tǒng)，通過(guò)雙目標(biāo)定、立體匹配、平滑并簡(jiǎn)化三維點(diǎn)云模型等方式實(shí)現(xiàn)對(duì)冷凝器管口的識(shí)別和三維重建。

1 冷凝器管口視覺(jué)識(shí)別系統(tǒng)方案設(shè)計(jì)

冷凝器管口視覺(jué)識(shí)別系統(tǒng)硬件結(jié)構(gòu)如圖1所示，主要由左右工業(yè)攝像機(jī)、采集卡、計(jì)算機(jī)和冷凝器組成。相機(jī)選用深圳云玥科技公司U300的CK工業(yè)相機(jī)，幅面尺寸為1.27 cm(1/2 inch)，300萬(wàn)像素，像素大小3.2 μm，采用配套型號(hào)GY-FV0612定焦鏡頭，焦距為6 mm。

冷凝器管口識(shí)別與重建過(guò)程可分為圖像處理、計(jì)算管口世界坐標(biāo)、管板表面三維重建3個(gè)部分，重建流程如圖2所示。

具體重建過(guò)程為：

(1)圖像處理部分為雙目標(biāo)定及立體校正，隨后采集冷凝器管板圖像，對(duì)圖像進(jìn)行灰度化和直方圖均衡化處理，增強(qiáng)對(duì)比度，并利用OTSU算子分離管板圖像與背景。

(2)計(jì)算管口世界坐標(biāo)部分,首先獲得各個(gè)管口中心像素坐標(biāo)，計(jì)算視差圖，根據(jù)雙目立體視覺(jué)原理將像素坐標(biāo)轉(zhuǎn)換為三維世界坐標(biāo)。

(3)管板表面重建部分是對(duì)管板點(diǎn)云模型進(jìn)行平滑簡(jiǎn)化處理后再進(jìn)行三角剖分，從而顯示重建表面。

2 雙目標(biāo)定與立體校正及圖像預(yù)處理

2.1 雙目標(biāo)定

攝像機(jī)標(biāo)定是求解攝像機(jī)成像幾何模型，計(jì)算目標(biāo)點(diǎn)空間位置與圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，文中通過(guò)張正友標(biāo)定法[10]，利用針孔成像模型可得到圖像像素坐標(biāo)系和世界坐標(biāo)系之間轉(zhuǎn)換關(guān)系，其投影原理如圖3所示。

圖3中，(OW,XW,YW,ZW)為世界坐標(biāo)系，(OC,XC,YC,ZC)為相機(jī)坐標(biāo)系，(O,X,Y)為圖像坐標(biāo)系，(u,v)為像素坐標(biāo)系。圖像像素坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系為

(1)

式中：f為攝像機(jī)焦距；dx、dy為像元尺寸；u0、v0為圖像中心；fx、fy分別為u、v軸上的歸一化焦距。

2.2 雙目立體視覺(jué)三維重建原理

雙目立體視覺(jué)三維重建原理為左右兩攝像機(jī)同時(shí)對(duì)目標(biāo)物體拍攝圖像獲取其深度信息，進(jìn)而重建其三維模型[11]，理想的光軸平行雙目視覺(jué)模型如圖4所示。

設(shè)目標(biāo)管口中心坐標(biāo)為P(xW,yW,zW)，其在左右攝像機(jī)坐標(biāo)系下坐標(biāo)為pl(x1,y1,z1)和pr(x2,y2,z2)，在左右攝像機(jī)像平面上坐標(biāo)為Pl(ul,vl)和Pr(ur,vr)。立體校正后，點(diǎn)P投影點(diǎn)在兩攝像機(jī)像平面上的行坐標(biāo)相同，則有：vl=vr?；€b=x1-x2，以左攝像機(jī)坐標(biāo)系為參考世界坐標(biāo)系，由相似三角形原理可得：

(2)

左右圖像上點(diǎn)的列坐標(biāo)之差，為對(duì)應(yīng)點(diǎn)視差值D=ul-ur，故點(diǎn)P的三維坐標(biāo)為

(3)

2.3 立體校正與圖像預(yù)處理

由于搭建視覺(jué)平臺(tái)過(guò)程中會(huì)產(chǎn)生誤差，故使用極線約束[12]對(duì)圖像進(jìn)行立體校正，使左右圖像中匹配點(diǎn)位于同一條極線，減小立體匹配搜索范圍，立體校正前后圖像對(duì)比如圖5所示。

立體校正后，對(duì)圖像進(jìn)行灰度化和直方圖均衡化處理，增強(qiáng)圖像對(duì)比度。利用OTSU算法進(jìn)行圖像分割，獲取各管口輪廓，對(duì)其進(jìn)行編號(hào)并求得各管口對(duì)應(yīng)的像素坐標(biāo)，處理結(jié)果如圖6所示。

3 基于全多重網(wǎng)格算法的立體匹配

提出一種利用全多重網(wǎng)格算法進(jìn)行立體匹配的方法，建立關(guān)于視差的能量函數(shù)，并對(duì)其進(jìn)行優(yōu)化得到像素間視差值。該方法能夠有效減小像素灰度值的影響，魯棒性較強(qiáng)，所獲視差圖平滑連續(xù)。

(1)能量函數(shù)的構(gòu)造

以下列條件為前提，構(gòu)造該能量函數(shù)：

①對(duì)應(yīng)點(diǎn)灰度值的差為

f(x,y)=I2[x+u(x,y),y]-I1(x,y)

式中：I1(x,y)、I2(x,y)分別是左、右圖像坐標(biāo)(x,y)處的灰度值，u(x,y)為點(diǎn)(x,y)處的視差值；

②對(duì)應(yīng)點(diǎn)灰度梯度的差為

g(x,y)=?I2[x+u(x,y),y]-?I1(x,y)

式中：?I1(x,y)、?I2(x,y)分別是左、右圖像坐標(biāo)(x,y)處的灰度值梯度；

④假設(shè)視場(chǎng)差平滑；

⑤在平滑項(xiàng)中應(yīng)用全變分。

能量函數(shù)為

(4)

式中：λ1、λ2為影響梯度的權(quán)重系數(shù)；λ3為平滑項(xiàng)權(quán)重。

(2)能量函數(shù)的優(yōu)化

采用全多重網(wǎng)格算法對(duì)視差能量函數(shù)實(shí)現(xiàn)迭代優(yōu)化，該算法包括細(xì)網(wǎng)格松弛、粗網(wǎng)格校正和反復(fù)迭代。細(xì)網(wǎng)格過(guò)濾高頻成分，粗網(wǎng)格消除低頻成分，反復(fù)迭代通過(guò)限定算子和延拓算子連接各層網(wǎng)格，將能量函數(shù)解的殘差限制到粗層網(wǎng)格，再將解延拓到細(xì)層網(wǎng)格[13]。文中選用的全多重網(wǎng)格算法迭代路徑如圖7所示。

圖7為一個(gè)完整的全多重網(wǎng)格算法迭代路徑，在每個(gè)分辨率級(jí)別使用2個(gè)w校正周期，i表示從一個(gè)網(wǎng)格到下一個(gè)網(wǎng)格上解的插值[14]。文中方法與傳統(tǒng)區(qū)域立體匹配處理后所獲得的視差圖對(duì)比效果如圖8所示。

由圖8可知：相比于傳統(tǒng)區(qū)域立體匹配方法，文中方法所獲視差圖更加稠密、平滑且連續(xù)。

4 冷凝器管口定位與管板重建實(shí)驗(yàn)

4.1 冷凝器管口三維空間定位實(shí)驗(yàn)

在實(shí)驗(yàn)室環(huán)境下開(kāi)展冷凝器管口定位實(shí)驗(yàn)，將圖像上像素點(diǎn)p(u,v)還原為該點(diǎn)的世界坐標(biāo)P(xW,yW,zW)。記索引號(hào)13的點(diǎn)為點(diǎn)P1，索引號(hào)29的點(diǎn)為點(diǎn)P2，得到點(diǎn)P1、P2的攝像機(jī)坐標(biāo)、世界坐標(biāo)的計(jì)算結(jié)果如圖9所示。其余管口中心坐標(biāo)求解方式與上述方法一致，部分管口的世界坐標(biāo)如表1所示。

表1 部分管口的世界坐標(biāo)

為驗(yàn)證該視覺(jué)系統(tǒng)定位精度，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)一步處理，得到各管口距冷凝器中心的距離誤差曲線如圖10所示。

由圖10可知:誤差主要集中在-1.2～1.5 mm內(nèi)，最大誤差為1.99 mm，平均誤差為0.53 mm，滿足該視覺(jué)系統(tǒng)定位要求。

4.2 冷凝器管板表面重建實(shí)驗(yàn)

因設(shè)備或環(huán)境干擾，冷凝器管板點(diǎn)云模型中會(huì)摻雜噪聲，故運(yùn)用移動(dòng)最小二乘法對(duì)管板點(diǎn)云信息模型進(jìn)行平滑處理，其關(guān)鍵是確定擬合函數(shù)和具有緊支性的權(quán)函數(shù)[15]。

(1)確定擬合函數(shù)

在局部擬合區(qū)域上，擬合函數(shù)f(x)表示為

(5)

式中：α(x)=[α1(x),α2(x),…,αm(x)]T為待求系數(shù);p(x)=[p1(x),p2(x),…,pm(x)]T為基函數(shù)，其為k階完備的多項(xiàng)式;m為基函數(shù)的項(xiàng)數(shù)。

(2)確定具有緊支性的權(quán)函數(shù)

緊支性是指點(diǎn)x取值只與其附近子域內(nèi)節(jié)點(diǎn)有關(guān)，文中選用具緊支性的立方樣條函數(shù)為權(quán)函數(shù)，其表示為

(6)

點(diǎn)云模型平滑前后的效果對(duì)比如圖11所示，可知:經(jīng)過(guò)上述處理后，點(diǎn)云圖邊緣明顯光滑。

對(duì)上述平滑后的點(diǎn)云圖進(jìn)行采樣簡(jiǎn)化，簡(jiǎn)化后的點(diǎn)云圖如圖12所示。

由圖12可知：簡(jiǎn)化處理后的點(diǎn)云分布稀疏且較為均勻，可大幅降低后續(xù)計(jì)算量。

使用貪婪三角投影算法對(duì)簡(jiǎn)化后的點(diǎn)云進(jìn)行三角剖分[16]，實(shí)現(xiàn)對(duì)冷凝器蓋板表面三維重建。文中立體匹配方法和傳統(tǒng)區(qū)域立體匹配方法得到的表面重建效果如圖13所示?？芍合噍^于傳統(tǒng)區(qū)域立體匹配后重建效果，文中算法所獲得的管板三維表面較為完整，管板各個(gè)特征明顯，整體表面重建效果良好。

5 結(jié)論

為解決冷凝器清洗機(jī)器人識(shí)別管口問(wèn)題，文中研究了基于雙目視覺(jué)的冷凝器管口識(shí)別與重建方法。研究成果包括：

(1)提出了基于全多重網(wǎng)格算法的立體匹配方法，所獲視差圖平滑連續(xù)，有效提高了立體匹配準(zhǔn)確率。

(2)實(shí)驗(yàn)表明：冷凝器管口識(shí)別與重建視覺(jué)系統(tǒng)定位平均誤差為0.53 mm，實(shí)現(xiàn)了冷凝器管口中心三維坐標(biāo)的有效定位，且冷凝器管板表面重建效果良好，滿足可視化需求，為堵塞管束識(shí)別以及清洗路徑規(guī)劃提供了依據(jù)，可為冷凝器清洗機(jī)器人視覺(jué)系統(tǒng)開(kāi)發(fā)與設(shè)計(jì)提供參考。