亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種基于輪廓匹配的倉(cāng)儲(chǔ)機(jī)器人托盤檢測(cè)方法

        2019-03-06 02:27:28武文漢王春香
        關(guān)鍵詞:特征檢測(cè)

        武文漢, 楊 明, 王 冰, 王春香

        (上海交通大學(xué) a. 自動(dòng)化系; b. 上海市北斗導(dǎo)航與位置服務(wù)重點(diǎn)實(shí)驗(yàn)室;c. 機(jī)器人研究所, 上海 200240)

        隨著現(xiàn)代物流的不斷發(fā)展,倉(cāng)儲(chǔ)機(jī)器人在智能倉(cāng)儲(chǔ)系統(tǒng)中發(fā)揮著越來越重要的作用,而對(duì)貨物托盤的檢測(cè)是倉(cāng)儲(chǔ)機(jī)器人的核心技術(shù)之一.由于倉(cāng)儲(chǔ)環(huán)境具有背景復(fù)雜、光線不均勻、托盤位姿難以確定等特點(diǎn),所以精準(zhǔn)高效的托盤檢測(cè)是目前亟待解決的問題.

        近年來,針對(duì)托盤的檢測(cè)研究主要采用基于視覺、激光雷達(dá)以及兩者結(jié)合的檢測(cè)方法.其中,基于視覺的檢測(cè)方法主要通過從圖像背景中分割出托盤, 利用特定的特征進(jìn)行檢測(cè).文獻(xiàn)[1-2]中分別提出基于顏色和幾何特征的視覺檢測(cè)方法,通過顏色、邊緣和角點(diǎn)等信息生成特征,但易受光照和復(fù)雜背景的干擾.文獻(xiàn)[3]中提出了基于視覺標(biāo)簽的檢測(cè)方法,但易受標(biāo)簽污損影響,且對(duì)光照魯棒性不強(qiáng).文獻(xiàn)[4]中提出基于Harr-like特征的魯棒檢測(cè)方法,但需要攝像機(jī)與托盤立柱平面保持平行.文獻(xiàn)[5-7]中均采用立體視覺的檢測(cè)方法.但是文獻(xiàn)[5-6]中的方法容易受光照影響,文獻(xiàn)[7]中的基于LBP特征的檢測(cè)算法雖然具備光照魯棒性,但是依賴攝像機(jī)與托盤立柱立面平行且需指定托盤數(shù)量.基于激光雷達(dá)的檢測(cè)方法雖然對(duì)于光照有較強(qiáng)的魯棒性,但價(jià)格普遍昂貴.文獻(xiàn)[8]中通過單線激光雷達(dá)投射在托盤立柱表面的點(diǎn)云分布情況進(jìn)行檢測(cè),但采用單線激光雷達(dá)導(dǎo)致檢測(cè)范圍受限.另外,文獻(xiàn)[9]中同時(shí)采用攝像機(jī)與單線激光雷達(dá)2種傳感器進(jìn)行檢測(cè),傳感器間的聯(lián)合標(biāo)定和配準(zhǔn)比較復(fù)雜.

        綜上所述,基于視覺的檢測(cè)方法易受光線及托盤與傳感器之間相對(duì)位姿關(guān)系的影響,基于激光雷達(dá)的檢測(cè)方法雖然對(duì)光照變化具備魯棒性,但檢測(cè)范圍有限、價(jià)格昂貴.因此,本文提出一種適用于不同光照、不同相對(duì)位姿場(chǎng)景的檢測(cè)方法,該方法使用ToF相機(jī)采集點(diǎn)云并進(jìn)行預(yù)處理,然后通過以法線為約束的區(qū)域生長(zhǎng)算法對(duì)點(diǎn)云進(jìn)行平面分割,對(duì)分割出的點(diǎn)云平面沿主法線方向投影生成柵格圖,結(jié)合托盤Hu不變矩[10]和尺度比例特征建立輪廓特征,進(jìn)行目標(biāo)輪廓與托盤模板輪廓之間的匹配,實(shí)現(xiàn)對(duì)托盤的檢測(cè).

        1 托盤點(diǎn)云分割與處理

        ToF相機(jī)采集的點(diǎn)云包含顏色信息和深度信息,適用于在環(huán)境光線復(fù)雜的倉(cāng)儲(chǔ)環(huán)境進(jìn)行托盤的檢測(cè).通過對(duì)點(diǎn)云的處理,可以分割出包含托盤立柱平面的點(diǎn)云.

        1.1 點(diǎn)云預(yù)處理

        一般ToF相機(jī)的測(cè)量距離有限,超出有效測(cè)距范圍的數(shù)據(jù)噪聲較大,需要進(jìn)行濾除.使用直通濾波器(沿?cái)z像機(jī)光軸方向)可以有效去除數(shù)據(jù)無效區(qū)域和大量的背景信息,有效降低計(jì)算量.

        由于ToF相機(jī)采集的點(diǎn)云包含顏色信息,通過顏色分量可以對(duì)包含藍(lán)色托盤的區(qū)域進(jìn)行粗分割.本文將點(diǎn)云的顏色信息從RGB空間轉(zhuǎn)到HSV空間,并選取較大的閾值范圍進(jìn)行顏色濾波.

        另外,ToF相機(jī)采集的點(diǎn)云分布并不均勻,往往需要剔除分布稀疏的離群點(diǎn).點(diǎn)云中一般點(diǎn)到其鄰域中其他點(diǎn)的距離近似服從高斯分布,鄰域平均距離的概率密度函數(shù)為

        (1)

        式中:xi為任意點(diǎn)的鄰域平均距離;μ為任意點(diǎn)鄰域平均距離的均值;σ為任意點(diǎn)鄰域平均距離的標(biāo)準(zhǔn)差.由于離群點(diǎn)的鄰域中點(diǎn)數(shù)量較少,所以鄰域平均距離較大.本文計(jì)算每個(gè)點(diǎn)到其鄰域K個(gè)臨近點(diǎn)的平均距離x,并給定鄰域平均距離的均值μ和標(biāo)準(zhǔn)差σ,若x超出鄰域平均距離均值3σ以上,則認(rèn)為該點(diǎn)為離群點(diǎn)并剔除.

        點(diǎn)云進(jìn)行預(yù)處理的結(jié)果如圖1所示.

        圖1 點(diǎn)云預(yù)處理Fig.1 Point cloud preprocessing

        1.2 法線估計(jì)與平面分割

        托盤的立柱平面結(jié)構(gòu)具備特殊性,能夠?qū)⑼斜P與背景中的其他物體分離出來.本文通過對(duì)三維點(diǎn)云進(jìn)行法線估計(jì),采用基于法向量約束的區(qū)域生長(zhǎng)算法對(duì)點(diǎn)云進(jìn)行平面分割,以生成候選的興趣點(diǎn)云平面.

        表面法線是幾何體表面的重要特征,在局部表面使用基于PCA(Principal Component Analysis)的法線估計(jì)方法具備抗噪性強(qiáng)和性能開銷低等優(yōu)點(diǎn)[11].對(duì)點(diǎn)云中一點(diǎn)P進(jìn)行法線估計(jì)方法如下:

        (1) 得到P點(diǎn)的K個(gè)最近鄰元素;

        (2) 基于PCA計(jì)算P點(diǎn)表面法線n;

        (3) 檢測(cè)n的方向是否指向視點(diǎn),如果不是,則翻轉(zhuǎn).

        區(qū)域生長(zhǎng)算法可以將幾何屬性相近的臨近點(diǎn)云歸為同一類.本文通過判斷種子點(diǎn)與臨近點(diǎn)法向量的方向接近程度(夾角小于5°視為接近)進(jìn)行區(qū)域生長(zhǎng),并限定生長(zhǎng)區(qū)域的點(diǎn)集數(shù)量上限和下限,以剔除過大或過小的平面,如圖2所示.

        圖2 點(diǎn)云平面分割Fig.2 Point cloud plane segmentation

        再次使用PCA算法對(duì)分割出的點(diǎn)云平面P進(jìn)行法線估計(jì),可以獲得點(diǎn)云平面指向視點(diǎn)O(0,0,0)的、歸一化的近似法向量n=[abc]T.

        對(duì)于數(shù)量為s、法向量為n=[abc]T的點(diǎn)云平面P,點(diǎn)云平面與傳感器之間的相對(duì)位姿包括平面質(zhì)心O′與視點(diǎn)O之間的相對(duì)位移和相對(duì)姿態(tài),如圖3所示.相對(duì)位移(dx,dy,dz)可以用點(diǎn)云平面質(zhì)心O′(xc,yc,zc)在傳感器坐標(biāo)系下的坐標(biāo)表示:

        相對(duì)姿態(tài)(俯仰角θ、旋轉(zhuǎn)偏角φ、滾轉(zhuǎn)角φ)可用點(diǎn)云平面與傳感器坐標(biāo)系之間的歐拉角分別表示為

        (5)

        (6)

        (7)

        圖3 傳感器坐標(biāo)系下的點(diǎn)云平面Fig.3 Point cloud plane in the sensor coordinate system

        結(jié)合實(shí)際倉(cāng)儲(chǔ)場(chǎng)景需求,托盤與傳感器之間的相對(duì)位姿僅考慮水平方向的橫向位移dy、縱向位移dz及旋轉(zhuǎn)偏角φ.

        1.3 點(diǎn)云柵格化與輪廓提取

        柵格化是點(diǎn)云常用的空間劃分策略.本文采用沿點(diǎn)云平面法向量方向投影的方法生成柵格圖,其方法如下:

        (1) 取視點(diǎn)O(0,0,0)作為原點(diǎn),平面法向量n作為z軸單位向量z=[001]T,建立托盤坐標(biāo)系.托盤坐標(biāo)系與傳感器坐標(biāo)系之間存在旋轉(zhuǎn)關(guān)系:

        z=R3×3n

        (8)

        式中:R3×3為旋轉(zhuǎn)矩陣.

        (2) 設(shè)置單通道柵格圖長(zhǎng)寬分別為W、H,每個(gè)柵格的物理尺度長(zhǎng)寬分別為grid_W和grid_H,柵格圖對(duì)應(yīng)托盤坐標(biāo)系中區(qū)域R沿z軸方向在xOy平面的投影.

        (3) 將所有數(shù)據(jù)點(diǎn)歸入對(duì)應(yīng)的柵格,并將歸一化的投影高度設(shè)置為柵格灰度值.

        將上述柵格圖二值化,并使用Canny算子進(jìn)行輪廓的提取,如圖4所示.

        圖4 點(diǎn)云柵格化及輪廓提取Fig.4 Point cloud rasterization and contour extraction

        2 托盤輪廓特征及匹配

        輪廓特征可以用來區(qū)分目標(biāo)與背景.輪廓邊界具備良好的旋轉(zhuǎn)、平移、縮放不變性,其像素相較于完整目標(biāo)區(qū)域也要少很多,因此既能完整描述物體,也能減少計(jì)算量.本文采用融合輪廓Hu不變矩和尺度比例特征為托盤輪廓特征向量,用于托盤的檢測(cè)和識(shí)別,其輪廓模板如圖5所示.

        圖5 托盤立柱平面輪廓模板Fig.5 Contour template of pallet

        矩特征主要用來描述圖像的幾何特征,具有旋轉(zhuǎn)、平移和縮放不變性.對(duì)于任意非負(fù)整數(shù)p和q,離散的數(shù)字圖像f(x,y),對(duì)應(yīng)的p+q階矩以及中心矩的表達(dá)式分別為

        (9)

        (10)

        (11)

        式中:ρ=(p+q+2)/2.

        Hu利用二階和三階中心矩構(gòu)造了7個(gè)不變矩M1~M7.然而在對(duì)圖像進(jìn)行目標(biāo)匹配過程中,只有前2個(gè)矩不變性保持比較好,即

        對(duì)于輪廓C,以像素為基本單位,定義其輪廓外接矩形的長(zhǎng)和寬分別為w和h,輪廓周長(zhǎng)為l,輪廓面積(區(qū)域內(nèi)像素個(gè)數(shù))為s.以此構(gòu)建目標(biāo)輪廓的長(zhǎng)寬比S1和占空比S2的尺度比例特征:

        融合前2個(gè)Hu不變矩及2個(gè)尺度比例特征,構(gòu)建新的托盤輪廓特征向量

        F=[M1M2S1S2]T

        (16)

        對(duì)于待檢測(cè)輪廓A和模板輪廓B,采用歐式距離建立輪廓匹配相似度d(A,B),即

        (17)

        由相似度d(A,B)的定義可知,相似度d(A,B)越小,表明待檢測(cè)輪廓與模板輪廓越接近;反之表明待檢測(cè)輪廓與模板輪廓偏離程度越大.

        3 實(shí)驗(yàn)結(jié)果與分析

        本文安裝了開源點(diǎn)云庫PCL1.8.0和開源計(jì)算機(jī)視覺庫OpenCV2.4.11,使用ToF相機(jī)在倉(cāng)儲(chǔ)環(huán)境中進(jìn)行實(shí)驗(yàn),拍攝速率為5幀/s,單幀點(diǎn)云的數(shù)量為 537 600 個(gè),設(shè)定柵格大小為 0.01 m×0.01 m,柵格圖像素分辨率為400像素×400像素.

        實(shí)驗(yàn)中將輪廓匹配相似度d(A,B)閾值設(shè)為 0.5,若d(A,B)小于或等于閾值,則認(rèn)為該輪廓區(qū)域?yàn)橥斜P立面,并使用紅色在原始點(diǎn)云中進(jìn)行標(biāo)注;反之若d(A,B)大于閾值,則認(rèn)為該輪廓區(qū)域不是托盤立面. 實(shí)驗(yàn)共采集300幀點(diǎn)云進(jìn)行檢測(cè)實(shí)驗(yàn),檢測(cè)正確率為 93.67%,誤檢率為 4.67%,漏檢率為 1.67%.

        3.1 不同光照?qǐng)鼍跋卖敯粜约熬仍u(píng)估

        為驗(yàn)證本文算法對(duì)不同光照的魯棒性,在不同光照?qǐng)鼍跋路謩e選取10幀數(shù)據(jù)進(jìn)行檢測(cè),提取每幀數(shù)據(jù)中與模板最接近的輪廓作為目標(biāo)輪廓.計(jì)算各組目標(biāo)輪廓特征向量均值、相似度均值和相對(duì)位姿,得到如表1所示的數(shù)據(jù),檢測(cè)結(jié)果如圖6所示.

        表1 不同光照條件下的檢測(cè)數(shù)據(jù)Tab.1 Detection results under different lighting conditions

        圖6 不同光照下的托盤檢測(cè)結(jié)果(托盤用框標(biāo)注)Fig.6 Detection results under different lighting conditions (pallet marked in red)

        由表1和圖6可見,雖然在不同光照強(qiáng)度下,點(diǎn)云的顏色信息損失較為嚴(yán)重,但是提取的平面輪廓特征各分量與模板均比較接近,匹配相似度小于閾值,均可以檢測(cè)出托盤(見圖中用框標(biāo)注),顯示出該方法對(duì)光照變化的魯棒性.對(duì)比測(cè)量位姿與實(shí)際位姿,可以看出橫向和縱向的定位誤差小于15 mm,旋轉(zhuǎn)偏角誤差小于3°,滿足實(shí)際檢測(cè)需要.

        3.2 不同距離場(chǎng)景下魯棒性及精度評(píng)估

        為驗(yàn)證本文算法對(duì)目標(biāo)與傳感器之間相對(duì)距離的魯棒性,分別在不同縱向距離場(chǎng)景下各選取10幀數(shù)據(jù)進(jìn)行檢測(cè),提取每幀數(shù)據(jù)中與模板最接近的輪廓作為目標(biāo)輪廓. 計(jì)算各組目標(biāo)輪廓特征向量均值、相似度均值及相對(duì)位姿,得到如表2所示的數(shù)據(jù),檢測(cè)結(jié)果如圖7所示.

        表2 不同距離場(chǎng)景下的檢測(cè)數(shù)據(jù)Tab.2 Detection results under different distance conditions

        圖7 不同距離場(chǎng)景下的托盤檢測(cè)結(jié)果(托盤用框標(biāo)注)Fig.7 Detection results under different distance conditions (pallet marked in red)

        由表2和圖7可見,在托盤(見圖中用框標(biāo)注)與傳感器相距1~4 m場(chǎng)景下,輪廓特征各分量及匹配相似度與模板均比較接近,匹配相似度小于閾值,能夠檢測(cè)出托盤;而在相距5 m時(shí)分割出平面的輪廓特征各分量與模板相差較大,匹配相似度大于閾值,無法檢測(cè)出托盤.這是由于隨著距離增加,托盤表面點(diǎn)云會(huì)變稀疏,點(diǎn)云數(shù)據(jù)質(zhì)量下降,影響柵格圖生成及輪廓特征,導(dǎo)致與模板無法匹配. 對(duì)比測(cè)量位姿與實(shí)際位姿,可以看出橫向和縱向的定位誤差小于15 mm,旋轉(zhuǎn)偏角誤差小于3°,滿足實(shí)際檢測(cè)需要.

        3.3 不同旋轉(zhuǎn)偏角場(chǎng)景下魯棒性及精度評(píng)估

        為了驗(yàn)證本文算法對(duì)目標(biāo)與傳感器之間相對(duì)旋轉(zhuǎn)偏角的魯棒性,分別在不同旋轉(zhuǎn)偏角場(chǎng)景下各選取10幀數(shù)據(jù)進(jìn)行檢測(cè),提取每幀數(shù)據(jù)中與模板最接近的輪廓作為目標(biāo)輪廓. 計(jì)算各組目標(biāo)輪廓特征向量均值、相似度均值及相對(duì)位姿,得到如表3所示的數(shù)據(jù),檢測(cè)結(jié)果如圖8所示.

        圖8 不同旋轉(zhuǎn)偏角度下的托盤檢測(cè)結(jié)果(托盤用框標(biāo)注)Fig.8 Detection results under different pose conditions (pallet marked in red)

        表3不同旋轉(zhuǎn)偏角度下的檢測(cè)數(shù)據(jù)
        Tab.3Detectionresultsunderdifferentposeconditions

        旋轉(zhuǎn)偏角/(°)輪廓特征 M1 M2 S1 S2d(A,B)實(shí)際位姿橫向位移/mm縱向位移/mm旋轉(zhuǎn)偏角/(°)測(cè)量位姿橫向位移/mm縱向位移/mm旋轉(zhuǎn)偏角/(°)測(cè)量誤差橫向誤差/mm縱向誤差/mm角度誤差/(°)模板1.071.190.325.97001.101.210.336.160.19030000-229970.24230.24151.131.180.316.310.360300015-13299113.871391.13301.091.000.325.960.1803000303299528.66351.34400.920.810.325.780.440300040-12298742.3112132.31

        由表3和圖8可見,在托盤(見圖中用框標(biāo)注)相對(duì)傳感器偏轉(zhuǎn)0~40° 場(chǎng)景下,輪廓特征各分量及匹配相似度均比較接近,匹配相似度小于閾值,能夠正常檢測(cè)出托盤,顯示出該方法對(duì)托盤偏轉(zhuǎn)的魯棒性. 對(duì)比測(cè)量位姿與實(shí)際位姿,可以看出橫向和縱向的定位誤差小于15 mm,旋轉(zhuǎn)偏角誤差小于3°,滿足實(shí)際檢測(cè)需要.

        4 結(jié)語

        本文針對(duì)目前托盤檢測(cè)算法中存在的光照魯棒性不強(qiáng)、依賴托盤與傳感器之間相對(duì)位姿等問題,提出一種基于輪廓匹配的魯棒檢測(cè)算法,通過對(duì)ToF相機(jī)采集的點(diǎn)云進(jìn)行濾波和分割,提取包含托盤立柱平面的點(diǎn)云并投影成柵格圖,提取輪廓與模板進(jìn)行匹配,實(shí)現(xiàn)對(duì)托盤的檢測(cè).實(shí)驗(yàn)結(jié)果表明,本文提出的算法在不同光照、不同距離和不同角度等場(chǎng)景下均能檢測(cè)出托盤,具有高識(shí)別率和較強(qiáng)的魯棒性,測(cè)量精度滿足實(shí)際需求.

        猜你喜歡
        特征檢測(cè)
        抓住特征巧觀察
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        “幾何圖形”檢測(cè)題
        “角”檢測(cè)題
        新型冠狀病毒及其流行病學(xué)特征認(rèn)識(shí)
        如何表達(dá)“特征”
        不忠誠(chéng)的四個(gè)特征
        抓住特征巧觀察
        如何看色黄视频中文字幕| 久久精品国产亚洲av麻豆长发 | 亚洲国产精品美女久久| 中国妇女做爰视频| 中日韩精品视频在线观看 | 日本精品久久久久中文字幕1| 免费人妻精品区一区二区三 | 亚洲一区二区欧美色妞影院| 国产一区二区精品网站看黄| 北岛玲亚洲一区二区三区| 护士人妻hd中文字幕| 国产无套内射又大又猛又粗又爽 | av 日韩 人妻 黑人 综合 无码| 国产精品嫩草影院av| 国产成人免费a在线视频| 欧美亚洲国产人妖系列视 | 少女韩国电视剧在线观看完整| 性生交大全免费看| 国产精品久久久久久久成人午夜| 国产在线观看黄| 日本中文字幕官网亚洲| 国产成年人毛片在线99| 乱码av麻豆丝袜熟女系列| 美女视频黄的全免费视频网站| 精品推荐国产精品店| 国产成人精品自在线无码| 久久婷婷国产综合精品| 亚洲国产日韩综合天堂| 亚洲最大中文字幕熟女| 亚洲日韩国产欧美一区二区三区| 三级4级全黄60分钟| 欧美成人在线A免费观看| 日韩精品一区二区三区在线观看的| 日本女同性恋一区二区三区网站| 国产精品一区二区三区卡| 亚洲熟妇少妇任你躁在线观看无码 | 精品国产一区二区av麻豆不卡| 日韩人妻中文字幕高清在线| 国产又爽又大又黄a片| a级毛片毛片免费观看久潮喷| 无码久久流水呻吟|