李 健, 趙麗華, 何 斌

(1.陜西科技大學(xué)電子信息與人工智能學(xué)院,西安 710021；2.同濟大學(xué)電子與信息工程學(xué)院,上海 201804)

機器人對于環(huán)境的感知最重要的是對于物體的感知,物體幾何形狀及位姿信息已成為機器人抓取和操縱的必要先驗信息。準確的模型形狀恢復(fù)與位姿估計是十分重要的。隨著RGBD 傳感器設(shè)備的快速發(fā)展,使用深度相機進行三維重建變得簡單,然而由于硬件限制或物體表面屬性(透明度,反射等),重建結(jié)果中可能包含噪聲、空洞等缺陷。

回轉(zhuǎn)曲面或回轉(zhuǎn)體表示任意曲線繞一個固定回轉(zhuǎn)軸旋轉(zhuǎn)一周形成的曲面。由于其對稱性,經(jīng)相機成像后輪廓線及橫截面之間存在著確定的幾何關(guān)系,使得基于單張照片的比例模型重建,基于兩張照片下的實際尺度模型恢復(fù)與位置姿態(tài)估計成為可能。Colombo等[1-2]、Fioravanti等[3]根據(jù)回轉(zhuǎn)體橫截面成像后為橢圓,且橫截面之間存在平行關(guān)系,在已知回轉(zhuǎn)體成像后輪廓線的條件下,對單張照片的回轉(zhuǎn)體進行了相差一個比例尺度的模型構(gòu)建。Utcke等[4]得到了矯正后的回轉(zhuǎn)體圖像。清華大學(xué)的研究人員提出一種從單幅圖像中抽出可編輯物體的“3-Sweep”技術(shù)[5],該方法需要大量的用戶交互來提供隱含的信息。近年來,隨著機器人技術(shù)的發(fā)展,回轉(zhuǎn)體建模再次引起了關(guān)注。Maghoumi等[6]提出一種交互式幾何提取系統(tǒng),處理噪聲和不可靠的3D點云數(shù)據(jù),通過用戶交互從點云中提取物體。Proen?a等[7]提出了一種從有組織的點云中提取平面和圓柱段的方法。盧韶芳等[8]提出了一種基于單幅圖像實現(xiàn)旋轉(zhuǎn)體母線和對稱軸的提取方法,用于重建出旋轉(zhuǎn)體的三維形態(tài)。

基于單張照片的回轉(zhuǎn)體重建需要對圖像中的回轉(zhuǎn)結(jié)構(gòu)進行檢測,得到回轉(zhuǎn)體輪廓線。傳統(tǒng)的邊緣檢測算法，如Sobel、Prewitt、Canny、高斯拉普拉斯(Laplacian of Gaussian,LoG)函數(shù)等根據(jù)顏色、亮度等變化檢測邊緣,在圖像存在背景干擾時檢測效果較差。近年來,學(xué)者們利用深度學(xué)習(xí)網(wǎng)絡(luò)對邊緣進行檢測。趙新亞[9]提出了基于深度卷積網(wǎng)絡(luò)的圖像邊緣檢測方法, 有效抑制非目標物體的邊緣, 能較好地提取目標輪廓。研究者們提出了CASENet[10]、HED[11]、更豐富的卷積特征(richer convolutional features,RCF)[12]等算法,融合了高層語義信息,實現(xiàn)了更加準確的邊緣檢測。

目前的回轉(zhuǎn)體重建方法,往往通過純手動選定或是半手動的方式給出輪廓線,難以用于機器人系統(tǒng)中。近幾年提出的方法依賴點云信息,數(shù)據(jù)量較大,處理效率低。

筆者通過先對圖像進行預(yù)處理,得到輪廓信息,進行回轉(zhuǎn)體建模,無須人工交互；通過兩張同一回轉(zhuǎn)體的照片,估計回轉(zhuǎn)體的真實尺度與空間位姿,不需要借助點云信息。

1 算法概述

在現(xiàn)有的基于單視圖回轉(zhuǎn)體建模方法的基礎(chǔ)上,將位姿估計和重建過程結(jié)合,提出了回轉(zhuǎn)體形狀恢復(fù)與位姿估計的方法, 算法總體流程如圖1所示。

首先利用攝像頭, 對機器人抓取環(huán)境中回轉(zhuǎn)體的不同角度進行圖像采集, 得到包含回轉(zhuǎn)體的一組圖像。其次, 對圖像進行預(yù)處理,通過融合HED和Canny的邊緣提取算法檢測得到較為準確回轉(zhuǎn)體邊緣輪廓。 然后, 利用檢測到的邊緣輪廓, 通過回轉(zhuǎn)結(jié)構(gòu)單張圖像建模方法, 建立圖像中回轉(zhuǎn)體的比例結(jié)構(gòu)模型。最后, 通過同一回轉(zhuǎn)體在兩張不同圖像的對稱軸和端點,求解初始位姿, 估計真實尺度,根據(jù)回轉(zhuǎn)體生成曲線的成像, 對回轉(zhuǎn)體初始尺度與位姿進行優(yōu)化。

圖1 算法流程Fig.1 Proposed algorithm flow

2 算法描述

2.1 邊緣檢測

傳統(tǒng)邊緣檢測方法已應(yīng)用廣泛,在很多領(lǐng)域發(fā)揮著重要作用,然而傳統(tǒng)方法不能區(qū)別前景和背景,得到的結(jié)果包含所有邊界。而利用深度學(xué)習(xí)網(wǎng)絡(luò)HED則能夠提取出特定目標的輪廓。深度學(xué)習(xí)網(wǎng)絡(luò)低層特征具有更豐富更準確的位置信息,高層特征對位置信息漸漸不敏感。然而隨著網(wǎng)絡(luò)的加深,高層網(wǎng)絡(luò)對特征進行更多次的抽象,具有更豐富的語義信息。綜合傳統(tǒng)方法和基于深度學(xué)習(xí)方法的特點,設(shè)計了融合HED和Canny的邊緣提取算法,結(jié)合了Canny邊緣檢測不易受噪聲干擾、高精度的優(yōu)點和基于HED 網(wǎng)絡(luò)的邊緣提取方法抑制背景、突出目標的優(yōu)點。

HED網(wǎng)絡(luò)得到的結(jié)果是抽象化邊緣,反映圖像中高層語義信息,輸出的是圖像中邊緣位置的概率圖,為了得到單像素的邊緣,通常使用非極大值抑制方法對概率圖進行處理。然而,由于邊緣的概率分布與實際位置存在偏差,通過非極大值抑制得到的單像素邊緣會出現(xiàn)一定的斷裂和毛刺。為了避免這種現(xiàn)象的出現(xiàn),提出了一種邊緣融合算法,通過對HED 網(wǎng)絡(luò)得到的結(jié)果進行二值化和細化處理,得到基于HED 網(wǎng)絡(luò)的邊緣提取結(jié)果,然后將其與傳統(tǒng)基于Canny算子檢測的邊緣進行融合,得到單像素、定位準確、目標邊緣突出的邊緣檢測結(jié)果。

Canny算法不容易受噪聲干擾,能夠檢測到真正的弱邊緣,得到比較精確的邊緣檢測結(jié)果,將其與HED得到的結(jié)果融合,所得結(jié)果更加精準。在此基礎(chǔ)上,提出了以下邊緣融合算法。算法流程如圖2所示。首先,利用Canny算法提取圖像的邊緣ICanny,提取邊緣之前先進行雙邊濾波,以抑制圖像的噪聲干擾；接著,采用HED 網(wǎng)絡(luò)提取包含高層語義信息的顯著性邊緣并細化得到IHED；然后將Canny算法提取的邊緣與采用HED 網(wǎng)絡(luò)提取的顯著性邊緣IHED進行“與”運算,得到邊緣圖像Ip。最后根據(jù)連通性在ICanny中搜索與Ip中邊緣相連接的邊緣并連接,得到融合之后的邊緣圖像。

圖2 邊緣檢測的算法流程Fig.2 Algorithm flow of edge detection

該算法既結(jié)合了Canny邊緣檢測不易受噪聲干擾、高精度的優(yōu)點,又結(jié)合了基于HED 網(wǎng)絡(luò)的邊緣提取方法抑制背景、突出目標的優(yōu)點,實現(xiàn)了對回轉(zhuǎn)體邊緣輪廓精確的檢測。

2.2 回轉(zhuǎn)體比例建模

2.2.1 射影幾何中回轉(zhuǎn)體相關(guān)理論

一條平面曲線繞其所在平面內(nèi)的一條定直線旋轉(zhuǎn)所形成的曲面稱為回轉(zhuǎn)曲面,該定直線稱為旋轉(zhuǎn)軸,也是旋轉(zhuǎn)曲面的對稱軸,平面曲線一般稱為生成曲線。數(shù)學(xué)上,設(shè)生成旋轉(zhuǎn)曲面的平面曲線為ρ(z),旋轉(zhuǎn)軸為直線z(對稱軸),其生成的旋轉(zhuǎn)曲面的參數(shù)方程為

P(θ,z)=[ρ(z)cosθ,ρ(z)sinθ,z],其中θ∈[0,2π],z∈[0,1]。

本文中的回轉(zhuǎn)體特指由生成曲線繞旋轉(zhuǎn)軸生成的旋轉(zhuǎn)曲面?；剞D(zhuǎn)體廣泛應(yīng)用于人們生活的方方面面。

在三維空間,以對稱軸為法向的平面與旋轉(zhuǎn)曲面的交線為橢圓,且這些橢圓相互平行,本文中的橫截面,根據(jù)上下文也表示該橢圓交線；任意過對稱軸的平面與旋轉(zhuǎn)曲面的交線具有相同的形狀,且與生成曲線相同,三維空間的生成曲線與橫截面橢圓正交；旋轉(zhuǎn)曲面成像后在成像平面形成兩種類型曲線:外輪廓和邊緣。外輪廓點對應(yīng)于旋轉(zhuǎn)曲面上平滑且與成像光線正切的點,這些點在成像平面所形成的曲線稱為外輪廓線,如圖3所示,其中γ為成像平面上的外輪廓線,Γ為與外輪廓線上點對應(yīng)的旋轉(zhuǎn)曲面上的三維空間點,Γ一般不為平面曲線；X是與回轉(zhuǎn)體平面生成曲線具有相同的形狀的三維曲線,其在二維成像平面的成像為χ,一般拍攝角度下,生成曲線的成像與外輪廓線不相等。邊緣是指成像平面上的點,其對應(yīng)的空間點處不平滑,其表面法向量不連續(xù),邊緣點形成的曲線為橢圓,或為完整橢圓曲線的一部分,這是旋轉(zhuǎn)曲面成像時的自遮擋造成的。圖3中橢圓C表示的邊緣對應(yīng)的空間曲線為圓C0,圓C0所在平面平行于旋轉(zhuǎn)曲面的橫截面。

圖3 旋轉(zhuǎn)曲面成像幾何Fig.3 Rotating surface imaging geometry

成像后的旋轉(zhuǎn)曲面滿足以下兩個基本屬性。

(1)回轉(zhuǎn)體成像后的任意兩個橫截面橢圓之間具有平面透射關(guān)系W。其軸l∞為正交于回轉(zhuǎn)體對稱軸平面的消失線,其頂點vw位于旋轉(zhuǎn)曲面對稱軸的成像ls上,μ為特征不變量,I為3×3單位矩陣。

(1)

(2)旋轉(zhuǎn)曲面在成像平面上的兩部分輪廓線之間滿足平面調(diào)和透射關(guān)系H,其軸為旋轉(zhuǎn)曲面對稱軸的成像ls,頂點v∞位于正交于回轉(zhuǎn)體對稱軸平面的消失線上。

(2)

2.2.2 回轉(zhuǎn)體建模

回轉(zhuǎn)體建模流程如圖4所示。首先,運用融合HED和Canny的邊緣提取方法提取回轉(zhuǎn)體外輪廓線; 接著, 根據(jù)外輪廓線擬合回轉(zhuǎn)體上下橢圓方程, 求解回轉(zhuǎn)體對稱軸的成像、消失線以及兩橢圓交點, 依據(jù)橢圓交點在絕對圓錐曲線上, 以及回轉(zhuǎn)體與單軸旋轉(zhuǎn)運動的類比, 建立關(guān)于絕對圓錐曲線的超定方程組, 求解該方程組, 分解絕對圓錐曲線矩陣, 得到相機內(nèi)參數(shù)。回轉(zhuǎn)體在成像過程中存在以下兩個幾何約束: ①回轉(zhuǎn)體任意兩平行橫截面成像之后, 存在平面透射變換約束; ②回轉(zhuǎn)體側(cè)輪廓線上一點的切線也是該點所在橫截面上橢圓曲線的切線。利用這兩個約束求得回轉(zhuǎn)體生成曲線的成像。然后, 根據(jù)平面矯正原理, 以及平面的正交方向同該平面與無窮遠平面的交線滿足配極約束, 對生成曲線與對稱軸的成像執(zhí)行平面矯正以消除仿射失真并恢復(fù)相似性質(zhì)。最后, 將矯正后的生成曲線繞矯正后對稱軸旋轉(zhuǎn)一周, 得到回轉(zhuǎn)體比例建模結(jié)果。

圖4 回轉(zhuǎn)體建模流程Fig.4 Algorithm flow of revolving body modeling

2.3 位姿估計

前文已經(jīng)說明如何根據(jù)單張照片提取圖像中回轉(zhuǎn)體的輪廓, 并建立回轉(zhuǎn)體的比例模型。在此基礎(chǔ)上,通過同一回轉(zhuǎn)體在不同圖像的對稱軸和對稱軸端點,求解初始位姿及實際尺度, 根據(jù)回轉(zhuǎn)體生成曲線的成像, 對回轉(zhuǎn)體初始尺度與位姿進行優(yōu)化。

2.3.1 回轉(zhuǎn)體尺度與位姿初始化

通過同一回轉(zhuǎn)體在兩張圖片的對稱軸及對稱軸端點進行位姿及尺度初始化。具體來說,假設(shè)投影矩陣已知,回轉(zhuǎn)體在兩張圖片的對稱軸端點為兩組對應(yīng)匹配點,據(jù)此可以使用三角形法來恢復(fù)點在三維空間的坐標。如果已知回轉(zhuǎn)體上下底面中心點在三維空間中的坐標,那么中心軸長度可由兩點間的歐式距離求得,即得到回轉(zhuǎn)體的高度H,同時,已知兩端點坐標可以求解回轉(zhuǎn)軸方向n。因此, 如果能求得回轉(zhuǎn)體在中心軸端點的三維坐標, 則回轉(zhuǎn)體的實際尺度以及位姿可以確定。

根據(jù)匹配點計算得到回轉(zhuǎn)體對稱軸上、下端點三維空間坐標, 設(shè)為Xtop=[xtop,ytop,ztop],Xbottom=[xbottom,ybottom,zbottom]。則回轉(zhuǎn)體的實際高度為

(3)

回轉(zhuǎn)體的位姿可用回轉(zhuǎn)體對稱軸下底面端點的位姿表示, 其位置坐標為X=[xbottom,ybottom,zbottom], 回轉(zhuǎn)體對稱軸方向為

n=[(xtop-xbottom)/H,(ytop-ybottom)/H,(ztop-zbottom)/H]

(4)

2.3.2 回轉(zhuǎn)體位姿優(yōu)化

將回轉(zhuǎn)體上下橢圓中心點作為匹配點的位姿初始化方法, 與實際位姿存在誤差,需對其優(yōu)化,以得到更加精確位姿。

由于重建過程的非線性本質(zhì),通過形狀殘差的非線性最小二乘最小化來估計回轉(zhuǎn)體位姿?；剞D(zhuǎn)體軸上的高度h在0～hmax進行量化,最小化的和為

(5)

式(5)中,

f(X,n,h)=ρ1(X,n,h)-ρ2(X,n,h)

(6)

更新位姿時,計算位姿參數(shù)X、n的增量δ,使S逼近最小化:

(7)

式(7)為非線性無約束平方和最小二乘優(yōu)化問題, 可通過Levenberg-Marquardt方法求解。

3 實驗結(jié)果與分析

從邊緣檢測和回轉(zhuǎn)體重建兩部分實驗來論證本文算法的魯棒性。實驗環(huán)境如下。

電腦配置:Windows10操作系統(tǒng)/Intel Core i7-7700 CPU/8G RAM/Intel(R) HD Graphics 630 /NVDIA GeForce GTX 1050。

數(shù)據(jù)集來源:伯克利大學(xué)實例識別數(shù)據(jù)集[(Big)Berkeley instance recognition dataset,BigBIRD][13]。

算法實現(xiàn):PCL點云庫/C++語言/matlab。

3.1 邊緣檢測結(jié)果

采用融合HED和Canny的邊緣提取方法進行回轉(zhuǎn)體邊緣提取,圖5所示為BigBIRD數(shù)據(jù)集中為3m_high_tack_spray_adhesive數(shù)據(jù)的邊緣檢測結(jié)果。圖5(a)為原始圖像,圖5(b)采用HED 網(wǎng)絡(luò)提取包含高層語義信息的顯著性邊緣,圖5(c)為細化后的結(jié)果,圖5(d)為利用Canny算法提取圖像的邊緣,圖5(e)為本文算法融合HED和Canny方法后得到的結(jié)果。

圖5 邊緣檢測結(jié)果Fig.5 Result of edge detection

從圖5中看出,本文算法所得結(jié)果得到為單像素、定位準確、顯著邊緣突出的邊緣檢測結(jié)果。既結(jié)合了canny邊緣檢測不易受噪聲干擾、高精度的優(yōu)點,又結(jié)合了基于HED 網(wǎng)絡(luò)的邊緣提取方法抑制背景、突出目標的優(yōu)點,實現(xiàn)了對回轉(zhuǎn)體邊緣輪廓精確的檢測。

3.2 重建結(jié)果誤差對比

為了說明本文所述回轉(zhuǎn)體重建算法的有效性與精度,從數(shù)據(jù)集中選取了回轉(zhuǎn)結(jié)構(gòu)的對象進行實驗,并將本文方法結(jié)果與GemSketch方法結(jié)果進行對比。圖6～圖10所示為從數(shù)據(jù)集中選擇的5種對象用本文方法重建得到的結(jié)果與數(shù)據(jù)集提供的真實數(shù)據(jù)的對比。

為驗證本文方法的魯棒性,選取了 5 種各具特色的模型進行實驗。BigBIRD數(shù)據(jù)集中的red_cup和3m_high_tack_spray_adhesive細節(jié)豐富,expo_marker_red細節(jié)豐富且物體較小,bai5_sumatra_dragonfruit包含透明部分,coca_cola_glass_bottle包含透明部分且細節(jié)豐富。

圖6和圖7數(shù)據(jù)來源分別為BigBIRD數(shù)據(jù)集的3m_high_tack_spray_adhesive和red_cup,從圖中可以看出,本文方法結(jié)果在細節(jié)上較之于BigBIRD數(shù)據(jù)更為豐富,驗證了本文方法的魯棒性。

圖6 3m_high_tack_spray_adhesive數(shù)據(jù)結(jié)果對比Fig.6 Result comparison of 3m_high_tack_spray_adhesive

圖7 red_cup數(shù)據(jù)結(jié)果對比Fig.7 Result comparison of red_cup

圖8數(shù)據(jù)來源為BigBIRD數(shù)據(jù)集的expo_marker_red,從圖中可以看出,本文方法在細節(jié)上表現(xiàn)出明顯優(yōu)勢,同時,該對象體積較小,這組實驗也說明了本文方法對于較小物體依然有效。

圖8 expo_marker_red數(shù)據(jù)結(jié)果對比Fig.8 Result comparison of expo_marker_red

圖9數(shù)據(jù)來源為BigBIRD數(shù)據(jù)集的coca_cola_glass_bottle,圖10數(shù)據(jù)來源為bai5_sumatra_dragonfruit,從圖中可以看出,由于深度相機自身固有的不能感知高光和的限制,對于透明物體,BigBIRD數(shù)據(jù)存在較大面積的信息缺失,而本文方法基于圖像重建模型,不受高光約束,能夠恢復(fù)完整信息,并且在細節(jié)上表現(xiàn)良好。

圖9 coca_cola_glass_bottle數(shù)據(jù)結(jié)果對比Fig.9 Result comparison of coca_cola_glass_bottle

圖10 bai5_sumatra_dragonfruit數(shù)據(jù)結(jié)果對比Fig.10 Result comparison of bai5_sumatra_dragonfruit

為了進一步驗證本文方法的魯棒性,對實驗結(jié)果和GemSketch方法的結(jié)果做了定量的誤差分析。將相對于真實數(shù)據(jù)的Hausdorff距離誤差和ICP誤差進行誤差對比,結(jié)果如表1和表2所示。

表1 Hausdorff距離誤差對比

表2 ICP誤差對比

從表1的對比結(jié)果可以看出,對于大小不同的、細節(jié)豐富程度不一的,以及包含透明部分的物體,本文方法Hausdorff距離均小于GemSketch算法,說明本文方法得到的模型與真實數(shù)據(jù)相似度更高。本文方法較GemSketch方法效果明顯提升,Hausdorff距離誤差大致減小12.9%～31.9%。從表2的對比結(jié)果可以看出,本文方法ICP誤差與GemSketch算法相差不大,ICP誤差總體來說較小,說明本文方法和GemSketch算法均能較好地估計回轉(zhuǎn)體的空間位姿。coca_cola_glass_bottle和bai5_sumatra_dragonfruit兩組數(shù)據(jù)ICP誤差較大,主要是由于BigBIRD數(shù)據(jù)存在較大面積的信息缺失。

通過實驗表明,本文方法較之于傳統(tǒng)回轉(zhuǎn)體建模方法,利用邊緣檢測得到的輪廓信息進行建模,無須人工交互。通過兩張同一回轉(zhuǎn)體的照片,估計回轉(zhuǎn)體的真實尺度與空間位姿,與GemSketch方法相比,不需要點云信息,魯棒性較好。

4 結(jié)論

在傳統(tǒng)基于單視圖回轉(zhuǎn)體建模方法的基礎(chǔ)上,將位姿估計和重建過程結(jié)合,提出了回轉(zhuǎn)體形狀恢復(fù)與位姿估計的方法。

(1)通過對圖像進行預(yù)處理,融合傳統(tǒng)邊緣檢測算法和基于深度學(xué)習(xí)的邊緣檢測算法,得到較為準確的回轉(zhuǎn)體外輪廓信息,為后續(xù)工作創(chuàng)造了條件,在此基礎(chǔ)上進行回轉(zhuǎn)體比例建模,無須人工交互。

(2)通過兩張同一回轉(zhuǎn)體的照片,得到回轉(zhuǎn)體的真實尺度與空間位姿,與GemSketch方法相比,不需要借助點云信息。

(3)通過實驗驗證了本文方法的魯棒性。對于大小不同的、細節(jié)豐富程度不一的,以及包含透明部分的回轉(zhuǎn)物體,本文方法均適用。