劉 毅，魏東辰，李子豪，嚴(yán)小軍

(1.北京航天控制儀器研究所 工藝技術(shù)研究室，北京 100854；2.北京易航遠(yuǎn)智科技有限公司 感知部，北京 100015；3.北京航天控制儀器研究所 測(cè)試技術(shù)研究室，北京 100854)

0 引 言

物體六自由度位姿估計(jì)技術(shù)主要提供物體在某個(gè)參考系中定位定姿的功能。單目相機(jī)下物體的六自由度位姿一般指的是物體在相機(jī)坐標(biāo)系中的平移(x，y，z)與物體相對(duì)于相機(jī)坐標(biāo)系的旋轉(zhuǎn)(roll，yaw，pitch)。隨著深度學(xué)習(xí)與機(jī)器視覺(jué)的融合交叉，傳統(tǒng)物體六自由度位姿估計(jì)方法有被基于深度學(xué)習(xí)的方法取代的趨勢(shì)[1]。深度學(xué)習(xí)算法作為以數(shù)據(jù)為驅(qū)動(dòng)的方法，高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì)于訓(xùn)練結(jié)果有著積極作用[2]。

目前業(yè)界比較常見(jiàn)的六自由度估計(jì)數(shù)據(jù)集[3]有LineMOD、Occlusion、T-LESS、YCB-Video等，其中以LineMOD數(shù)據(jù)集形式為主，包含15種物體，每一種物體有1200張圖像左右，數(shù)據(jù)形式分別為：原始圖像、物體三維模型及尺寸信息、物體位姿可視化圖像、物體掩碼mask圖像、物體相對(duì)于相機(jī)的旋轉(zhuǎn)矩陣文本信息和圖像對(duì)應(yīng)相機(jī)內(nèi)參。數(shù)據(jù)集的標(biāo)注并不是一件容易的事，由于二維圖像缺乏深度信息，造成6個(gè)自由度中深度、旋轉(zhuǎn)量的人工標(biāo)注差異性大，精度不高。LineMOD數(shù)據(jù)集制作借助RGB-D相機(jī)，使用基于三維模型模板的方法，在空間中離散選取視點(diǎn)，通過(guò)物體顏色梯度和表面法線特征進(jìn)行匹配求解位姿，但深度信息中法線不穩(wěn)定，需要復(fù)雜的算法保證。物體六自由度位姿標(biāo)注方法常?；谏疃认鄼C(jī)或者雙目相機(jī)[4]，在工業(yè)界或高校等硬件受限的場(chǎng)景中，這些帶有特殊傳感器或者需要精確安裝的成像方式并不容易實(shí)現(xiàn)。另外也有通過(guò)渲染，將三維模型按照特定的位姿渲染到任意圖像中制作合成數(shù)據(jù)集[3，5]，這樣的方法忽略真實(shí)場(chǎng)景中的光影信息，缺乏真實(shí)感，而且無(wú)法生成具有遮擋現(xiàn)象的數(shù)據(jù)集。其次，三維模型往往顏色并不與真實(shí)相符，使得合成的數(shù)據(jù)集僅有幾何信息被正確保留。

1 數(shù)據(jù)集制作流程及SfM算法分析

1.1 數(shù)據(jù)集制作流程

本文中，指定采集數(shù)據(jù)集的工作場(chǎng)景為室內(nèi)小場(chǎng)景。數(shù)據(jù)集制作流程如圖1所示，位姿關(guān)系解算過(guò)程如圖2所示。首先根據(jù)CAD模型加工實(shí)物，同時(shí)采用均勻下采樣算法處理物體CAD模型表面，得到模型點(diǎn)云；使用單目RGB相機(jī)在實(shí)驗(yàn)場(chǎng)景中獲取物體多視角圖像集；然后使用SfM[6]算法獲取拍攝場(chǎng)景恢復(fù)尺度的點(diǎn)云信息，并獲取每張圖像的相機(jī)參數(shù)；將已獲得的模型點(diǎn)云并放置在SfM獲取的點(diǎn)云空間中，使用ICP(iterative closet point)算法獲得物體點(diǎn)云相對(duì)于世界坐標(biāo)系的位姿關(guān)系；最后，通過(guò)坐標(biāo)變換獲得每一張圖像中物體相對(duì)于相機(jī)的位姿，從而獲得物體六自由度位姿估計(jì)訓(xùn)練所需的數(shù)據(jù)集。

圖1 數(shù)據(jù)集制作流程

圖2 位姿解算過(guò)程

制作六自由度位姿估計(jì)數(shù)據(jù)集的輸入是二維圖像，但由于二維圖像缺失深度信息，通過(guò)人工標(biāo)注的方法并不可靠。SfM可以通過(guò)對(duì)輸入圖像集的處理，得到場(chǎng)景點(diǎn)云模型和圖像集中每一張圖像對(duì)應(yīng)的相機(jī)參數(shù)，相機(jī)參數(shù)中包含了相機(jī)相對(duì)于點(diǎn)云空間坐標(biāo)系的位姿。SfM算法的性能對(duì)于位姿解算結(jié)果的精度具有重要影響。

1.2 SfM

SfM算法目前主要分為3種形式：增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(incremental structure from motion，Incremental SfM)、全局式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(global structure from motion，Global SfM)、分層式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)[7](hierarchical structure from motion，Hierarchical SfM)。在一般情況下，數(shù)據(jù)采集過(guò)程通過(guò)采用同一相機(jī)進(jìn)行連續(xù)拍攝得到連續(xù)的圖像幀完成。另外，增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)在重建過(guò)程中不斷使用捆綁調(diào)整進(jìn)行優(yōu)化場(chǎng)景結(jié)構(gòu)，所以選擇精度更高的增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)更為合適。增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法在每輸入一定數(shù)量圖像后會(huì)進(jìn)行一次捆綁調(diào)整(bundle adjustment，BA)優(yōu)化場(chǎng)景結(jié)構(gòu)，該方法已經(jīng)在各主流三維重建平臺(tái)使用，例如VisualSfM、Bundle、Colmap等。

增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)流程如圖3所示，首先利用特征提取、特征匹配和幾何驗(yàn)證的方法，確定輸入數(shù)據(jù)集中各圖片之間的匹配關(guān)系，并將多個(gè)視角具有相同描述子的特征點(diǎn)進(jìn)行連接；按照幾何關(guān)系準(zhǔn)則選取初始相機(jī)對(duì)，以第一個(gè)相機(jī)坐標(biāo)系的原點(diǎn)為坐標(biāo)系原點(diǎn)，通過(guò)三角測(cè)量方法建立初始三維點(diǎn)云場(chǎng)景；然后輸入新的圖像，進(jìn)行增量式重建，對(duì)于后續(xù)加入的圖像利用多點(diǎn)透視方法(perspective-n-point，PnP)求解圖像對(duì)應(yīng)相機(jī)的外參，利用三角測(cè)量確定點(diǎn)云信息，并根據(jù)已加入場(chǎng)景的視圖，決定是否將當(dāng)前場(chǎng)景不存在的新點(diǎn)云添加到場(chǎng)景信息中。在增量式重建中，相機(jī)位姿求解和三角測(cè)量是兩個(gè)單獨(dú)的過(guò)程，由于算法具有不確定性，將會(huì)帶來(lái)不同的誤差，甚至相互影響。為此引入捆綁調(diào)整，通過(guò)使重投影誤差最小實(shí)現(xiàn)優(yōu)化，從而提高點(diǎn)云信息和相機(jī)參數(shù)信息的精度。

圖3 SfM流程

增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)最后的輸出是場(chǎng)景點(diǎn)云模型和圖像對(duì)應(yīng)的相機(jī)參數(shù)，點(diǎn)云模型通過(guò)多張圖像中匹配的特征點(diǎn)三角測(cè)量得到，相機(jī)參數(shù)通過(guò)相機(jī)標(biāo)定與攝影幾何求得，在這個(gè)過(guò)程中由于錯(cuò)誤匹配、優(yōu)化算法的不穩(wěn)定性等使得輸出結(jié)果并不理想。為了提高求解的穩(wěn)定性，可以通過(guò)兩方面解決：約束的正確性和約束的充分性。約束的正確性表現(xiàn)在特征提取與匹配的高效正確性，SfM算法的假設(shè)條件是物體表面為純漫反射，而在實(shí)際數(shù)據(jù)集采集過(guò)程中，無(wú)法確保物體表面的材質(zhì)，當(dāng)物體表面為鏡面反射時(shí)，光線照射在鏡面反射區(qū)域會(huì)直接反射到相機(jī)中，導(dǎo)致出現(xiàn)高光區(qū)域，丟失了物體原本的表面紋理信息，造成特征提取不準(zhǔn)確；對(duì)于約束的充分性，可以通過(guò)先驗(yàn)約束、多傳感器融合等方法提高求解的穩(wěn)定性，本文將通過(guò)具有先驗(yàn)信息的標(biāo)定板來(lái)提高約束的充分性，實(shí)現(xiàn)尺度的恢復(fù)以及更加準(zhǔn)確的位姿估計(jì)。

2 數(shù)據(jù)集自動(dòng)標(biāo)注方法

SfM算法首先利用SIFT算法獲取圖像集每一張圖像的特征點(diǎn)和對(duì)應(yīng)的描述子，對(duì)圖像集中不同圖片的描述子使用L2范數(shù)進(jìn)行特征匹配，構(gòu)建匹配圖像對(duì)，同時(shí)設(shè)置圖像對(duì)中第一幀圖像的相機(jī)坐標(biāo)系原點(diǎn)作為原點(diǎn)建立點(diǎn)云坐標(biāo)系和初始化點(diǎn)云空間。通過(guò)增量輸入圖像的匹配以及使用PnP算法解算，獲得不同圖像在該點(diǎn)云坐標(biāo)系下的相機(jī)外參。對(duì)于新的特征點(diǎn)，使用三角測(cè)量進(jìn)一步擴(kuò)充點(diǎn)云空間，此時(shí)，便可獲得拍攝數(shù)據(jù)集的點(diǎn)云場(chǎng)景模型以及每張圖像對(duì)相應(yīng)的相機(jī)內(nèi)外參數(shù)。由于三維點(diǎn)云由不具備深度信息的二維圖像恢復(fù)而成，在不采用任何額外處理時(shí)，SfM生成的三維點(diǎn)云存在尺度不準(zhǔn)確的問(wèn)題。此外，相機(jī)外參僅能反應(yīng)三維點(diǎn)云所在坐標(biāo)系相對(duì)于相機(jī)的位姿變換，而不是目標(biāo)物體相對(duì)于相機(jī)的位姿變換，因此需要在點(diǎn)云中對(duì)目標(biāo)物體的位姿信息進(jìn)行提取，得到目標(biāo)物體相對(duì)于點(diǎn)云坐標(biāo)系的坐標(biāo)變換。為了提高數(shù)據(jù)集的標(biāo)注精度，并與LineMOD、YCBVideo的數(shù)據(jù)標(biāo)注格式保持一致，需要對(duì)SfM算法進(jìn)行改進(jìn)，并對(duì)結(jié)果做進(jìn)一步處理。

2.1 特征提取與特征匹配

在三維重建過(guò)程中，由于場(chǎng)景中存在高光現(xiàn)象、動(dòng)態(tài)物體等，使得圖像特征提取不準(zhǔn)確，并產(chǎn)生錯(cuò)誤的特征匹配，不利于后續(xù)三角測(cè)量、BA優(yōu)化等過(guò)程，所以需要額外的措施來(lái)增加算法的魯棒性。對(duì)于工業(yè)室內(nèi)可控場(chǎng)景，可以避免動(dòng)態(tài)物體的存在，但由于光照影響，高光邊緣處會(huì)產(chǎn)生錯(cuò)誤的特征匹配和錯(cuò)誤的顏色信息，使得重建結(jié)果周圍存在白色噪點(diǎn)。

為了獲得計(jì)算復(fù)雜度低、泛化能力強(qiáng)、魯棒性好的高光檢測(cè)閾值算法，采用無(wú)高光(Specular-free，SF)模型[8]對(duì)朗伯體金屬表面建立表面反射模型進(jìn)行高光區(qū)域檢測(cè)。

假設(shè)RGB相機(jī)像素值與光強(qiáng)成正比，物體表面光反射由漫反射與鏡面反射線性組合而成，將物體表面在RGB圖像中的色彩分解成漫反射和鏡面反射兩部分，對(duì)于每一個(gè)獨(dú)立反射部分，都可分解為光譜分量與幾何分量，利用圖像RGB三通道值信息，建立SF模型

Vi(p)=α(p)Vb，i+β(p)Vs，i

(1)

VSF，i(p)=Vi(p)-Vmin(p)=α(p)(Vb，i-Vb，min)

(2)

其中，Vi(p) 表示像素p的i通道響應(yīng)值；α(p)、β(p) 分別是漫反射因子、鏡面反射因子；Vb，i(p)、Vs，i(p) 分別是材料本身顏色與光源顏色；這里假設(shè)光源為白色光板，即響應(yīng)值為255常量，那么得到VSF，i(p) 不再包含鏡像反射因子。此時(shí)在SF圖像與原始圖像漫反射分量SF圖像的p像素處，獲得的相差一個(gè)偏差值τ(p)=Vmin(p)-β(p)Vs，i。 為了使閾值在圖像中具有泛化能力，設(shè)定閾值為

(3)

其中，μv和σv是所有像素Vmin(p)的均值和方差，η與背景圖像對(duì)比度、圖像的反射程度相關(guān)。

SFM算法中經(jīng)常采用尺度不變特征(scale-invariant feature transform，SIFT)，該特征提取方法是目前最復(fù)雜的特征檢測(cè)和描述方法之一，具有很強(qiáng)的探索性，例如colmap采用的DSP-SIFT。采用SIFT特征點(diǎn)檢測(cè)的圖像輸入是單張圖像灰度圖，然后進(jìn)行下采樣得到尺度縮放后的若干灰度圖構(gòu)成尺度空間。由于在圖像尺度縮放過(guò)程中，高光區(qū)域的像素值發(fā)生變化，所以對(duì)不同尺度空間的圖像進(jìn)行高光區(qū)域檢測(cè)。

采樣后的灰度圖通過(guò)不同標(biāo)準(zhǔn)差的高斯核函數(shù)對(duì)其進(jìn)行采樣獲得圖像金字塔，并在每個(gè)尺度空間的相鄰圖像層做差得到高斯差圖像，最后利用相鄰高斯差圖像進(jìn)行極值求解獲得初始關(guān)鍵點(diǎn)。對(duì)于單張獲得的初始關(guān)鍵點(diǎn)，將特征點(diǎn)中高斯函數(shù)差值具有低對(duì)比度特征點(diǎn)進(jìn)行篩除。由于高亮處像素處對(duì)比度較高，所以很容易被識(shí)別為特征點(diǎn)并保留。

對(duì)于圖像中的高光區(qū)域，a鏡面反射使得物體表面的顏色信息、紋理信息丟失，甚至改變物體表面信息。對(duì)于圖像信息丟失處，Criminisi算法可以利用周圍近似像素進(jìn)行近似補(bǔ)償，但這樣產(chǎn)生的特征信息并不具有參考意義，甚至導(dǎo)致錯(cuò)誤匹配，所以對(duì)于高光區(qū)域檢測(cè)到的特征采取直接過(guò)濾處理。

2.2 后端處理

通過(guò)對(duì)圖像進(jìn)行特征提取，獲得SIFT特征點(diǎn)進(jìn)行圖像匹配，將具有相同描述子的特征點(diǎn)歸納到統(tǒng)一的集合中。為了獲得場(chǎng)景的點(diǎn)云模型，與每一張圖像對(duì)應(yīng)相機(jī)的參數(shù)，需要對(duì)前端獲得的特征信息進(jìn)行后端處理。

在六自由度位姿估計(jì)數(shù)據(jù)集中，為了使用物體位姿信息將三維標(biāo)定框正確錨住物體，則必須知道物體的原尺度以及在圖像中的尺度信息，對(duì)三維重建點(diǎn)云空間恢復(fù)尺度[9]。對(duì)于小場(chǎng)景的尺度恢復(fù)，采用在場(chǎng)景中布置先驗(yàn)尺度信息標(biāo)定板的方法，首先對(duì)圖像中出現(xiàn)的特定標(biāo)志點(diǎn)提取像點(diǎn)信息，利用三角測(cè)量得到像點(diǎn)對(duì)應(yīng)的物點(diǎn)信息，然后使用先驗(yàn)的尺度信息來(lái)標(biāo)定物點(diǎn)之間的距離

xi×TiX=0i=1，2，…，n

(4)

(5)

(6)

式中：T為相機(jī)外參組成的旋轉(zhuǎn)矩陣；i為參與三角測(cè)量的圖像編號(hào)；j為標(biāo)定板上標(biāo)志點(diǎn)對(duì)應(yīng)的三維點(diǎn)；c為標(biāo)志點(diǎn)之間的先驗(yàn)尺度信息。

在增量重建過(guò)程中，添加的圖像會(huì)進(jìn)行PnP和隨機(jī)抽樣一致性處理，將得到的新特征信息進(jìn)行匹配與重建。為了使得位姿數(shù)據(jù)精度提高，則在BA過(guò)程加入先驗(yàn)物點(diǎn)與像點(diǎn)對(duì)應(yīng)關(guān)系的約束，如式(7)所示

(7)

在SfM算法中，除特殊規(guī)定外，世界坐標(biāo)系的原點(diǎn)與選定初始化點(diǎn)云的第一幀圖像相機(jī)光心重合，得到的世界坐標(biāo)系位置過(guò)于隨機(jī)。為了方便后面對(duì)點(diǎn)云進(jìn)行旋轉(zhuǎn)、移動(dòng)，利用sim(3)變換將在初始化點(diǎn)云過(guò)程中將世界坐標(biāo)系轉(zhuǎn)化到標(biāo)定板特定位置處，并在之后添加圖像進(jìn)行增量重建過(guò)程中，基于此坐標(biāo)系進(jìn)行三角測(cè)量與BA優(yōu)化。

2.3 點(diǎn)云配準(zhǔn)

經(jīng)過(guò)三維重建之后，可以得到數(shù)據(jù)集采集場(chǎng)景的點(diǎn)云信息和每一張圖像對(duì)應(yīng)的相機(jī)參數(shù)。然而SfM得到求解信息為每個(gè)圖像的相機(jī)內(nèi)外參數(shù)和點(diǎn)云空間模型，無(wú)法直接獲得目標(biāo)物體點(diǎn)云在點(diǎn)云空間中的位姿信息。為了獲得該信息，需要將物體點(diǎn)云與三維模型下采樣得到的模型點(diǎn)云進(jìn)行配準(zhǔn)。

目前已經(jīng)獲得固定坐標(biāo)系的點(diǎn)云空間，根據(jù)目標(biāo)物體CAD模型的尺寸信息，可以很容易地設(shè)定PCL的PassThrough濾波器數(shù)值，將xyz軸固定距離范圍之外的點(diǎn)直接過(guò)濾，為了降低噪點(diǎn)，根據(jù)點(diǎn)云歐式距離計(jì)算將鄰近點(diǎn)數(shù)目較少的點(diǎn)過(guò)濾，從而將目標(biāo)物體在點(diǎn)云空間中分割出來(lái)。將預(yù)先準(zhǔn)備的三維模型均勻下采樣得到模型點(diǎn)云，導(dǎo)入到處理后的點(diǎn)云空間坐標(biāo)系中，使得模型點(diǎn)云的中心與點(diǎn)云空間坐標(biāo)系原點(diǎn)重合，其標(biāo)定姿態(tài)的xyz軸與點(diǎn)云空間坐標(biāo)系xyz軸平行。利用ICP點(diǎn)云配準(zhǔn)算法將三維重建的場(chǎng)景模型配準(zhǔn)到三維點(diǎn)云模型中，獲得三維重建模型與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣。

小場(chǎng)景下點(diǎn)云數(shù)量較少，使用ICP點(diǎn)云配準(zhǔn)算法[10]進(jìn)行三維重建點(diǎn)云與三維模型點(diǎn)云之間的配準(zhǔn)。其算法思想與SfM類似，首先對(duì)點(diǎn)云進(jìn)行特征點(diǎn)提取與特征描述，然后找到相似特征確定數(shù)據(jù)的重疊部分。得到一組配準(zhǔn)后的3D點(diǎn)后，利用以下等式估算變換矩陣

X={x1，x2，…，xn}，X′={x′1，x′2，…，x′n}

(8)

?i∈[1，n]，xi=Tx′i

(9)

(10)

對(duì)于點(diǎn)云提取特征，ICP算法解決的是一個(gè)高維的非線性優(yōu)化問(wèn)題，容易陷入局部最優(yōu)解，所以需要讓配準(zhǔn)的兩個(gè)點(diǎn)云盡可能過(guò)濾噪點(diǎn)，并具有良好初始位置關(guān)系。

2.4 坐標(biāo)變換

對(duì)于物體位姿，一般使用SE(3)來(lái)表示，對(duì)于目標(biāo)物體在相機(jī)坐標(biāo)系中的位置使用 {x，y，z} 表示，而對(duì)于目標(biāo)物體的旋轉(zhuǎn)表達(dá)有兩種形式，第一種是物體相對(duì)于自身坐標(biāo)系的旋轉(zhuǎn)，第二種是物體相對(duì)于相機(jī)坐標(biāo)系的旋轉(zhuǎn)。前者經(jīng)常使用在自動(dòng)駕駛3D目標(biāo)檢測(cè)，后者用在機(jī)械臂抓取、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。另外，深度學(xué)習(xí)參數(shù)量龐大，為減小不必要的運(yùn)算，會(huì)采用感興趣區(qū)域處理機(jī)制。在對(duì)物體位姿估計(jì)之前采用平面檢測(cè)，提取物體二維標(biāo)定框區(qū)域，這就導(dǎo)致物體以相同輪廓出現(xiàn)在圖像不同位置時(shí)，對(duì)應(yīng)的旋轉(zhuǎn)量不同，這對(duì)于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)算法是不能接受的，所以使用目標(biāo)物體相對(duì)于物體自身坐標(biāo)系的表達(dá)方式更適合基于檢測(cè)后的深度學(xué)習(xí)算法[11]；而基于全圖信息的深度學(xué)習(xí)算法，可以直接采用物體相對(duì)于相機(jī)坐標(biāo)系的旋轉(zhuǎn)表達(dá)。在六自由度位姿估計(jì)中，最后獲得的數(shù)據(jù)應(yīng)是目標(biāo)物體相對(duì)于相機(jī)的位姿，所以第一種表達(dá)方式需要在神經(jīng)網(wǎng)絡(luò)解算之后，添加攝影幾何進(jìn)行求解最終位姿[12]。

為了獲得物體的三維標(biāo)定框，需要計(jì)算物體相對(duì)于相機(jī)的位姿。目前，通過(guò)點(diǎn)云配準(zhǔn)獲得物體相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣、通過(guò)SfM獲得每一張圖像相機(jī)相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣，那么通過(guò)坐標(biāo)變換就很容易得到物體相對(duì)于每一張圖像相機(jī)的旋轉(zhuǎn)矩陣，即物體相對(duì)于相機(jī)的位姿

(11)

對(duì)于物體的三維標(biāo)定框，可以在模型點(diǎn)云初始位置處，確定點(diǎn)云匹配前模型三維標(biāo)定框的8個(gè)頂點(diǎn)；然后利用Rco和tco將頂點(diǎn)在圖像中的位置求出，按順序連接便得到可視化三維標(biāo)定框。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 數(shù)據(jù)集制作及分析

在正常光照的室內(nèi)場(chǎng)景中對(duì)奶盒進(jìn)行拍攝，采用Realsense D455相機(jī)單目模式，采集圖像大小為1280*800像素，相機(jī)參數(shù)為自動(dòng)，選擇實(shí)驗(yàn)數(shù)據(jù)集對(duì)象為奶盒；采用大小為5×4、棋盤格邊長(zhǎng)為50 mm的ChArUco圖案作為棋盤格標(biāo)定板，以在恢復(fù)三維點(diǎn)云尺度信息時(shí)作為先驗(yàn)信息；數(shù)據(jù)采集過(guò)程中相機(jī)與物體距離保持在0.5 m左右，進(jìn)行環(huán)繞拍攝，分別制作無(wú)遮擋、有遮擋的數(shù)據(jù)集。在有遮擋的數(shù)據(jù)集中的實(shí)例級(jí)語(yǔ)義圖，需使用Label Studio等工具手工標(biāo)注，位姿數(shù)據(jù)仍可以快速自動(dòng)獲得。

算法改進(jìn)基于colmap框架，設(shè)置相機(jī)模型為已知相機(jī)內(nèi)參模型，輸入拍攝的圖像集進(jìn)行三維重建；利用本文提出改進(jìn)方法前后對(duì)比如圖4所示，經(jīng)過(guò)改進(jìn)后所得到的點(diǎn)云噪點(diǎn)減少，同時(shí)點(diǎn)云空間坐標(biāo)系固定在標(biāo)定板上；將物體三維模型下采樣為點(diǎn)云模型，由于點(diǎn)云空間坐標(biāo)系與物體點(diǎn)云具有較好的初始位置關(guān)系，則可以通過(guò)手動(dòng)調(diào)節(jié)為ICP算法提供一個(gè)優(yōu)秀的初始值；使用ICP算法，便獲得物體點(diǎn)云在點(diǎn)云空間中的精確位姿。已知每一張圖像在點(diǎn)云空間的相機(jī)外參和物體相對(duì)于空間的位姿，利用坐標(biāo)變換就得到物體相對(duì)于相機(jī)的位姿關(guān)系。

圖4 改進(jìn)前后的點(diǎn)云模型

Blender是一款開(kāi)源的三維圖形圖像軟件，提供建模、渲染等功能，支持python控制臺(tái)輸入與腳本運(yùn)行，結(jié)合后臺(tái)終端可以激活python虛擬環(huán)境，從而使用更多的擴(kuò)展包。為了檢驗(yàn)位姿的正確性和獲得mask數(shù)據(jù)，使用Blen-der[13]軟件的python控制端口，利用Blender中的bpy庫(kù)Opencv仿射變換將模型渲染到圖像上。將圖像集和圖像對(duì)應(yīng)的相機(jī)參數(shù)導(dǎo)入Blender中，設(shè)定內(nèi)置相機(jī)參數(shù)，可以獲得圖像拍攝虛擬場(chǎng)景。由于不同的數(shù)據(jù)集或者計(jì)算機(jī)視覺(jué)算法庫(kù)對(duì)坐標(biāo)系的定義不同，所以需要注意blender空間坐標(biāo)系以及位姿參數(shù)設(shè)置與SfM得到結(jié)果之間的轉(zhuǎn)換關(guān)系。三維模型導(dǎo)入放置在世界坐標(biāo)系原點(diǎn)處，將先前ICP得到的旋轉(zhuǎn)矩陣轉(zhuǎn)化成Blender參數(shù)的表示方式并輸入，使三維模型在點(diǎn)云空間中與物體點(diǎn)云重合如圖5所示。使用之前求得的相機(jī)模型將模型點(diǎn)云渲染到空白圖片中，通過(guò)設(shè)定像素閾值獲得mask文件，利用python控制臺(tái)擴(kuò)展獲得其它文件。

圖5 blender渲染

利用本文提出方法獲得的無(wú)遮擋可視化數(shù)據(jù)集如圖6所示、有遮擋可視化數(shù)據(jù)集如圖7所示。

圖6 數(shù)據(jù)集可視化，從上往下分別為原圖、三維標(biāo)定框、mask

圖7 遮擋數(shù)據(jù)集可視化，從上往下分別為原圖、三維標(biāo)定框、mask

3.2 訓(xùn)練模型與評(píng)估標(biāo)準(zhǔn)

本文采用EfficientPose[14]作為檢測(cè)算法，EfficientPose屬于直接回歸六自由度位姿估計(jì)算法，使用平面圖像為輸入，通過(guò)神經(jīng)網(wǎng)絡(luò)直接回歸得到物體六維姿態(tài)。EfficientPose位姿估計(jì)算法是在EfficientDet[15]二維檢測(cè)算法基礎(chǔ)上添加平移頭回歸網(wǎng)絡(luò)和旋轉(zhuǎn)頭回歸網(wǎng)絡(luò)，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中可以基于EfficientDet已訓(xùn)練好的二維檢測(cè)模型進(jìn)行訓(xùn)練，其網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。選擇phi=0的EfficientNet[16]神經(jīng)網(wǎng)絡(luò)框架，訓(xùn)練過(guò)程中采用tensorflow的Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為1e-4，訓(xùn)練500個(gè)迭代周期。為加速訓(xùn)練，模型訓(xùn)練使用兩塊NVIDIA RTX2080Ti GPU。

圖8 神經(jīng)網(wǎng)絡(luò)框架

重投影誤差指將目標(biāo)物體的三維模型點(diǎn)云作為輸入，利用物體相對(duì)于相機(jī)的位姿信息將模型頂點(diǎn)投影到圖像平面上，真值與估計(jì)值之間誤差利用下式確定

(12)

式中：M為點(diǎn)云的集合，K為相機(jī)參數(shù)。由于尺寸縮放，齊次坐標(biāo)在計(jì)算L2范數(shù)之前先歸一化處理。

平均距離[17](3D average distance，ADD)是指目標(biāo)物體的三維模型點(diǎn)云作為輸入，通過(guò)位姿變換預(yù)測(cè)值與位姿變換真值分別求得變換后的點(diǎn)云坐標(biāo)，計(jì)算所有點(diǎn)的平均距離，如下所示

(13)

式中：R′為估計(jì)得到的旋轉(zhuǎn)量，t′為估計(jì)得到的平移量。當(dāng)ΔADD小于模型直徑的10%時(shí)，判定估計(jì)的姿態(tài)是正確的。對(duì)于對(duì)稱性物體，如果表面紋理相同，則在特定角度下會(huì)有對(duì)稱解存在，而平均距離考慮的是唯一解。為了能夠處理對(duì)稱解的情況，引入ADD(-s)準(zhǔn)則[18]，其計(jì)算式為

(14)

3.3 結(jié)果分析

基于Colmap框架對(duì)特征提取與后端處理進(jìn)行改進(jìn)，改進(jìn)前后得到點(diǎn)云的均方誤差見(jiàn)表1。

表1 改進(jìn)前后點(diǎn)云重投影誤差

通過(guò)實(shí)驗(yàn)結(jié)果可知，對(duì)高光處錯(cuò)誤特征點(diǎn)處理，可以提高約束的正確性；通過(guò)添加充分的先驗(yàn)約束，提高約束的精度。

與經(jīng)典機(jī)器視覺(jué)基于特征點(diǎn)幾何關(guān)系算法有較大區(qū)別，EfficientPose網(wǎng)絡(luò)采用基于神經(jīng)網(wǎng)絡(luò)的直接回歸算法，從圖像像素中學(xué)習(xí)到位姿估計(jì)的規(guī)律，這就造成位姿估計(jì)過(guò)度依賴于圖像像素信息，造成泛化能力低，當(dāng)場(chǎng)景發(fā)生較大變化時(shí)，算法失效。本實(shí)驗(yàn)背景為小場(chǎng)景中物體的位姿估計(jì)，場(chǎng)景變化不明顯。分別在有標(biāo)定板、無(wú)標(biāo)定板的圖像中測(cè)試?yán)帽疚挠?xùn)練得到EfficientPose網(wǎng)絡(luò)，其結(jié)果如圖9所示。

圖9 有無(wú)標(biāo)定板位姿估計(jì)對(duì)比

在相同的參數(shù)設(shè)置下，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，與LineMOD標(biāo)準(zhǔn)數(shù)據(jù)集相比，我們通過(guò)單目RGB相機(jī)獲得的數(shù)據(jù)集，同樣可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并獲得較好的位姿估計(jì)效果，結(jié)果見(jiàn)表2；另外，數(shù)據(jù)集的大小與數(shù)據(jù)集采集時(shí)間相關(guān)，后續(xù)處理工作量與數(shù)據(jù)集采集時(shí)間無(wú)關(guān)，所以可以以更簡(jiǎn)單的方法獲取大量數(shù)據(jù)集。

表2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練在相同環(huán)境下的結(jié)果

本數(shù)據(jù)集是用于六自由度位姿估計(jì)的訓(xùn)練的數(shù)據(jù)集，如表3所示與現(xiàn)在的數(shù)據(jù)集制作方法相比有以下區(qū)別：首先，在真實(shí)場(chǎng)景中采集數(shù)據(jù)，僅通過(guò)單目RGB相機(jī)，利用SfM、ICP等算法，以更簡(jiǎn)單的方法實(shí)現(xiàn)對(duì)大數(shù)量的圖像集進(jìn)行六自由度位姿快速標(biāo)注；獲取到的數(shù)據(jù)集反映了目標(biāo)在場(chǎng)景中真實(shí)的位姿、光影效果、表面顏色紋理、物體遮擋等信息；其次，使用具有先驗(yàn)信息、特征信息魯棒性強(qiáng)的標(biāo)定板輔助定位，在有遮擋場(chǎng)景、弱紋理物體、對(duì)稱物體，也可以建立數(shù)據(jù)集。

表3 真實(shí)場(chǎng)景中物體位姿估計(jì)數(shù)據(jù)集對(duì)比

4 結(jié)束語(yǔ)

本文詳細(xì)敘述了基于SfM的單目RGB六自由姿態(tài)估計(jì)數(shù)據(jù)集的創(chuàng)建過(guò)程、SfM的前端針對(duì)高光區(qū)域特征點(diǎn)的設(shè)計(jì)、后端增加先驗(yàn)約束處理和數(shù)據(jù)集數(shù)據(jù)的獲得方式，最后使用數(shù)據(jù)集訓(xùn)練EfficientPose來(lái)驗(yàn)證方法的有效性和可行性。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有制作方法相比，本文方法在相同有效性下，降低對(duì)設(shè)備和場(chǎng)景布置的要求，且針對(duì)有遮擋的情況具有很強(qiáng)的魯棒性。

由于場(chǎng)景中布置標(biāo)定板，使得神經(jīng)網(wǎng)絡(luò)學(xué)到的特征中包含標(biāo)定板顯著特征，從而降低模型的泛化能力，因此未來(lái)需對(duì)不存在顯著特征的先驗(yàn)信息進(jìn)行研究。