王雙雙,顧涓涓,張文武
(合肥學(xué)院 生物食品與環(huán)境學(xué)院,安徽 合肥 230000)
近年來,我國環(huán)衛(wèi)產(chǎn)業(yè)發(fā)展迅速,尤其是城市生活垃圾的清運(yùn)和城市餐廚廢棄物的綜合利用走到了一個新的轉(zhuǎn)折點(diǎn)[1]。根據(jù)國務(wù)院《關(guān)于建立健全國家“十三五”規(guī)劃綱要實(shí)施機(jī)制的意見》和《關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動的指導(dǎo)意見》,在“互聯(lián)網(wǎng)+”和“創(chuàng)新驅(qū)動”的時代背景下,中國環(huán)衛(wèi)工作也將進(jìn)入智慧化發(fā)展新時期,智慧環(huán)衛(wèi)是智慧城市的重要組成部分,也是產(chǎn)業(yè)創(chuàng)新轉(zhuǎn)型的重要載體[2]。未來智慧產(chǎn)業(yè)必將呈現(xiàn)出自動化、集成化、信息化、綠色化的發(fā)展趨勢。智慧園區(qū)成為為智慧產(chǎn)業(yè)的持續(xù)發(fā)展提供人性化、立體式高效服務(wù)的載體。環(huán)衛(wèi)管理借助云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、AI 等技術(shù)實(shí)現(xiàn)精確、高效、智能管理,環(huán)衛(wèi)作業(yè)更加及時、精準(zhǔn)和人性化[3]。隨著各種智能垃圾車的普及使用,全自動無人駕駛垃圾車的設(shè)想越來越頻繁進(jìn)入人們的視野。其中難以攻克的一點(diǎn)就是需要駕駛員手動調(diào)節(jié)垃圾車與垃圾箱的相對位姿,這就浪費(fèi)了一定的人力物力。環(huán)衛(wèi)人員的每天無數(shù)次的上下車,不僅浪費(fèi)大量的時間而且存在很大的安全隱患,并且長久地從事此項(xiàng)工作,也會對環(huán)衛(wèi)人員的身體健康造成影響。此外,收集垃圾的作業(yè)包含人工環(huán)節(jié),為原始作業(yè)狀態(tài),完全可以用簡單的機(jī)械行為代替[4],所以目前的垃圾車工作模式,不能滿足全自動智能化的大發(fā)展趨勢,不利于實(shí)現(xiàn)工業(yè)4.0的大飛越。
對此,本文提出了一種基于Apriltag的智能垃圾車對城市道路兩旁的垃圾桶進(jìn)行自動精準(zhǔn)定位的方法研究,此研究可以解決回收垃圾必須要環(huán)衛(wèi)工人操作而導(dǎo)致的效率不高和人力資源的浪費(fèi),還有助于促進(jìn)整個城市的環(huán)衛(wèi)事業(yè)的發(fā)展。
AprilTag是一個視覺基準(zhǔn)系統(tǒng),可用于各種任務(wù),包括AR,機(jī)器人和相機(jī)校準(zhǔn)。這個tag可以直接用打印機(jī)打印出來,而AprilTag檢測程序可以計(jì)算相對于相機(jī)的精確3D位置,方向和id[5]?;鶞?zhǔn)點(diǎn)是為自動檢測而設(shè)計(jì)的人工視覺特征,通常攜帶一個獨(dú)特的有效載荷以使它們彼此區(qū)分開來。雖然這些類型的基準(zhǔn)點(diǎn)最早是由增強(qiáng)現(xiàn)實(shí)應(yīng)用程序開發(fā)和普及的,但它們后來被機(jī)器人界廣泛采用。其應(yīng)用范圍從地面真相到目標(biāo)檢測和跟蹤,在這些領(lǐng)域,可以作為一種簡化的假設(shè),而不是更復(fù)雜的感知。
基準(zhǔn)點(diǎn)的一些關(guān)鍵特性使其在機(jī)器人應(yīng)用中的姿態(tài)估計(jì)或目標(biāo)跟蹤方面非常有用。它們的唯一性和高檢測率是測試SLAM系統(tǒng)的理想選擇。固定基準(zhǔn)標(biāo)記可以用于視覺定位或作為機(jī)器人運(yùn)動的地面真實(shí)性估計(jì)。安裝在對象上的基準(zhǔn)點(diǎn)可用于識別和定位感興趣的對象。AprilTag和其他被動基準(zhǔn)標(biāo)記,需要專門的算法來檢測自然場景中的標(biāo)記和其他特征。視覺處理步驟通常會控制標(biāo)簽檢測流水線的計(jì)算時間,因此,即使標(biāo)記檢測的微小改進(jìn)也可以轉(zhuǎn)化為更快的標(biāo)簽檢測系統(tǒng),此項(xiàng)特性正適合于城市道路兩旁的垃圾桶,將基準(zhǔn)標(biāo)簽貼于垃圾桶側(cè)面,通過垃圾車上的攝像頭來捕捉進(jìn)行快速檢測,完成垃圾桶的定位。
本研究用到的標(biāo)簽系統(tǒng)是Apriltag的改進(jìn)版Dtag,增加了標(biāo)簽的個數(shù)和空間布局,從前后左右4個平面來識別tag碼的空間位置,更能實(shí)現(xiàn)完整的6自由度定位。排除噪聲較大的編碼,定位更精準(zhǔn)。當(dāng)行駛在城市道路中間的垃圾清運(yùn)車,通過攝像頭捕捉到路邊的垃圾桶壁貼著的標(biāo)簽碼時,由于城市環(huán)境的復(fù)雜性,垃圾桶往往會發(fā)生相對于原位置的旋轉(zhuǎn)、偏移等位置變動,如果只在原本應(yīng)該在垃圾桶靠路邊一側(cè)的一面貼碼,就會產(chǎn)生識別不到的結(jié)果。所以,為了更加精準(zhǔn)的識別,排除漏掉的可能性,本研究決定將垃圾桶的四面都貼上標(biāo)簽碼,以更好地適應(yīng)城市復(fù)雜的環(huán)境,達(dá)到更準(zhǔn)確的識別效果。
系統(tǒng)采用到的編碼是apriltag的36h11,這個編碼的漢明距離最長,編碼的內(nèi)容更廣,適合樣本個數(shù)多的垃圾桶來使用,滿足現(xiàn)實(shí)使用情況,有利于以后環(huán)衛(wèi)系統(tǒng)的更新,發(fā)展智慧城市智慧環(huán)衛(wèi)。
為了對使用RGB攝像機(jī)的Tags獲得可靠的位姿估計(jì),本研究設(shè)計(jì)了一種簡單而強(qiáng)大的方法,稱為DTags,該方法將兩個或多個標(biāo)簽與不在同一平面上的約束相結(jié)合,見圖1。相反,標(biāo)簽相互旋轉(zhuǎn),因此,在高反射環(huán)境中,至少有一個標(biāo)簽仍然可以被檢測到,并且可以計(jì)算出適當(dāng)?shù)淖藨B(tài)估計(jì)。DTags可以被描述為一個標(biāo)簽束,其中每個標(biāo)簽都被設(shè)置在自己獨(dú)特的平面上。
圖1 兩面標(biāo)簽
雖然基準(zhǔn)標(biāo)記在實(shí)驗(yàn)室條件下能給出精確的姿態(tài)估計(jì),但將其應(yīng)用于智能垃圾車領(lǐng)域仍然是一個挑戰(zhàn)。這僅限于基準(zhǔn)符號標(biāo)簽系統(tǒng),因?yàn)樗鼈冎辉赗GB圖像中工作空間。因此,圖像中的噪聲會產(chǎn)生較大的姿態(tài)估計(jì)誤差。在垃圾車應(yīng)用中,基準(zhǔn)標(biāo)記主要以其原始和簡單的形式使用,如垃圾桶的側(cè)面。這種設(shè)置對于基本視覺伺服和增強(qiáng)現(xiàn)實(shí)應(yīng)用來說是足夠的[6],但不適用于在復(fù)雜的社會環(huán)境下應(yīng)用,包括惡劣天氣及變形垃圾桶。
本研究通過先在智能垃圾車運(yùn)行的過程中拍攝圖像并識別出圖像中的Dtag碼,再對Dtag碼進(jìn)行編碼并確定點(diǎn)陣坐標(biāo),然后重新遍歷點(diǎn)陣并進(jìn)行匹配,而后計(jì)算出編碼ID和其他參數(shù),并求出4個角點(diǎn)的坐標(biāo),再然后計(jì)算出單應(yīng)性矩陣并獲得Dtag碼的相關(guān)姿勢信息,最后分解矩陣旋轉(zhuǎn)和平移變換向量,確定Dtag碼的正確姿勢,即確定智能垃圾車與垃圾桶的精確相對位姿,實(shí)現(xiàn)對垃圾桶的準(zhǔn)確定位[7],解決了現(xiàn)有的垃圾桶定位精度不高,定位困難的技術(shù)問題,得到了準(zhǔn)確度高、魯棒性好、易定位的技術(shù)效果。
圖2 四面標(biāo)簽?zāi)P?/p>
本研究采用以下技術(shù)方案實(shí)現(xiàn):一種基于Dtag的智能垃圾車相對位姿定位方法,智能垃圾車用于定位至少一個垃圾桶,垃圾桶上的每一面上貼有組合tag編碼的Dtag碼,如圖2四面標(biāo)簽?zāi)P汀V悄芾囅鄬ξ蛔硕ㄎ环椒òㄒ韵虏襟E,如圖3基于Dtag的智能垃圾車相對位姿定位方法的流程圖。
圖3 基于Dtag的智能垃圾車相對位姿定位方法的流程
首先,使智能垃圾車自動巡航并捕捉運(yùn)行視野中的圖像,識別原始圖像中的Dtag碼;對所拍攝的圖像進(jìn)行識別定位,并將識別出的Dtag碼進(jìn)行編碼,在確定四邊形中明確點(diǎn)陣坐標(biāo)并確定閾值;重新遍歷整個點(diǎn)陣,得到一串二進(jìn)制碼,并將二進(jìn)制碼與已知的編碼庫進(jìn)行匹配以確定編碼是否可靠;計(jì)算確定可靠的編碼ID與旋轉(zhuǎn)的Dtag碼的其他參數(shù),求出Dtag碼中四個角點(diǎn)的坐標(biāo);先根據(jù)打印的棋盤標(biāo)定圖和拍攝的照片,計(jì)算出單應(yīng)性變換矩陣,再根據(jù)單應(yīng)性變換矩陣結(jié)合相機(jī)信息,獲得Dtag碼的相關(guān)姿勢信息;先分解單應(yīng)性變換矩陣以求出旋轉(zhuǎn)變換向量和平移變換向量,再根據(jù)旋轉(zhuǎn)變換向量獲取Dtag碼的正確姿勢,且正確姿勢為智能垃圾車與垃圾桶的精確相對位姿[8]。
其中,智能垃圾車的攝像機(jī)的標(biāo)定方法包括以下步驟,如圖4基于Dtag的智能垃圾車相對位姿定位方法中攝像機(jī)的標(biāo)定方法的流程圖。
圖4 攝像機(jī)的標(biāo)定方法的流程
首先打印一張棋盤格作為標(biāo)定物;調(diào)整標(biāo)定物或攝像機(jī)的方向;拍攝不同方向的照片;從照片中提取棋盤格角點(diǎn);估算理想無畸變情況下五個內(nèi)參和六個外參;應(yīng)用最小二乘法估算實(shí)際存在徑向畸變下的畸變系數(shù);通過極大似然法優(yōu)化估計(jì)以提升精度[9];結(jié)束標(biāo)定,獲得棋盤標(biāo)定圖。
相較于現(xiàn)有的垃圾桶定位方法,本研究基于Dtag的智能垃圾車相對位姿定位方法及其裝置具有以下有益效果:該基于Dtag的智能垃圾車相對位姿定位方法,其先在智能垃圾車運(yùn)行的過程中拍攝圖像并識別出圖像中的Dtag碼,再對Dtag碼進(jìn)行編碼并確定點(diǎn)陣坐標(biāo)[10],然后重新遍歷點(diǎn)陣并進(jìn)行匹配,而后計(jì)算出編碼ID和其他參數(shù),并求出四個角點(diǎn)的坐標(biāo),計(jì)算出單應(yīng)性矩陣并獲得Dtag碼的相關(guān)姿勢信息,最后分解矩陣旋轉(zhuǎn)和平移變換向量,確定Dtag碼的正確姿勢,即確定智能垃圾車與垃圾桶的精確相對位姿,實(shí)現(xiàn)對垃圾桶的準(zhǔn)確定位,達(dá)到定位準(zhǔn)確度高、魯棒性好,并且易定位的技術(shù)效果。該方法能夠?qū)Ω鞣N區(qū)域的垃圾桶進(jìn)行定位,尤其是一些現(xiàn)有的定位信息無法覆蓋或者覆蓋重復(fù)的位置,這樣可以擴(kuò)充垃圾桶的定位廣度,方便垃圾桶的投放,使垃圾桶可以使用在各種場景中。該方法只需要在垃圾桶上設(shè)置Dtag碼即可,這樣可以省去定位器件的材料成本,節(jié)省垃圾處理系統(tǒng)成本,便于垃圾桶的推廣使用。而且,Dtag碼還可以作為其他信息載體,便于對垃圾桶進(jìn)行管理,提高垃圾處理效率和管理效率。
本文介紹了基于Dtag的智能垃圾車相對位姿定位方法的研究,經(jīng)過實(shí)驗(yàn),結(jié)果證明,該研究方法可以使垃圾車對路邊垃圾桶進(jìn)行相對位姿的精準(zhǔn)定位,對實(shí)現(xiàn)智能垃圾收運(yùn)車自動收取城市道路兩旁垃圾桶垃圾的要求有促進(jìn)作用,對建設(shè)未來智慧環(huán)衛(wèi)有推動作用。