翟敬梅，黃樂

（華南理工大學(xué) 機(jī)械與汽車工程學(xué)院, 廣州 510641）

隨著科學(xué)技術(shù)的發(fā)展和工業(yè)技術(shù)的進(jìn)步，現(xiàn)代社會(huì)的生產(chǎn)模式逐漸由傳統(tǒng)的以人類勞動(dòng)力為主導(dǎo)轉(zhuǎn)變?yōu)橐灾悄軝C(jī)器人為主導(dǎo)。目前機(jī)器人分揀已經(jīng)廣泛應(yīng)用于生產(chǎn)制造、零件裝配、搬運(yùn)碼垛與智能物流等領(lǐng)域中，尤其在電商物流行業(yè)，機(jī)器人分揀技術(shù)存在非常廣闊的市場(chǎng)。2020 年中國(guó)社會(huì)物流總額達(dá)300.1萬億元，總收入為10.5 萬億元。物流倉(cāng)儲(chǔ)中貨物依靠人工完成這些重復(fù)性高、強(qiáng)度大的任務(wù)不僅生產(chǎn)效率低下，而且給勞動(dòng)人員身心帶來危害。許多大型物流企業(yè)引進(jìn)機(jī)器人、物聯(lián)網(wǎng)技術(shù)并研究智能分揀技術(shù)。亞馬遜等大型電商公司舉辦了機(jī)器人無序分揀大賽，尋求機(jī)器人代替人工分揀的解決方案。圖1 分別展示了2015 年—2017 年無序分揀挑戰(zhàn)大賽獲得冠軍的團(tuán)隊(duì)。第一屆來自德國(guó)柏林工業(yè)大學(xué)的RBO 團(tuán)隊(duì)在硬件上采用Barrett 機(jī)械臂、XR4000 移動(dòng)平臺(tái)和深度相機(jī)組成移動(dòng)分揀平臺(tái)，在軟件上基于直方圖反向投影法實(shí)現(xiàn)目標(biāo)識(shí)別算法[1]；第二屆的Delft 團(tuán)隊(duì)在視覺算法上引入了先進(jìn)的目標(biāo)檢測(cè)算法 Faster RCNN 對(duì)目標(biāo)邊界框提取，大大提高目標(biāo)檢測(cè)識(shí)別效率，并在安川SIA20F 機(jī)械臂末端安裝具有旋轉(zhuǎn)自由度的吸盤進(jìn)行抓取[2-4]；第三屆的MIT 隊(duì)伍在機(jī)械結(jié)構(gòu)和視覺算法上均做了較大改進(jìn)，機(jī)器人末端執(zhí)行器采用多功能二指夾爪，由平行性夾爪和定制吸盤組成，視覺方案采用FCN 全卷積神經(jīng)網(wǎng)絡(luò)輸出4 個(gè)不同方向的置信度評(píng)分作為抓取依據(jù)，在手眼操作上表現(xiàn)得更為協(xié)調(diào)[5-6]。

圖1 亞馬遜無序分揀大賽Fig.1 Amazon Picking Challenge

機(jī)器人分揀應(yīng)用場(chǎng)景主要有3 種：結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，非結(jié)構(gòu)化環(huán)境下的目標(biāo)分揀稱為無序分揀。在非結(jié)構(gòu)化環(huán)境下，物料擺放的位置通常是無序且雜亂的，復(fù)雜的分揀場(chǎng)景對(duì)于機(jī)器人實(shí)現(xiàn)自動(dòng)化極具挑戰(zhàn)性，因此無序分揀問題也稱為機(jī)器人操作中的“圣杯問題”?；镜臒o序分揀系統(tǒng)框架見圖2。由硬件平臺(tái)和軟件平臺(tái)2 部分組成，硬件平臺(tái)包含機(jī)器人、相機(jī)、計(jì)算機(jī)等設(shè)備，軟件平臺(tái)包含目標(biāo)識(shí)別、位姿估計(jì)、抓取規(guī)劃等算法。為了實(shí)現(xiàn)機(jī)器人的無序分揀任務(wù)，機(jī)器人首先需要感知物體的位置和方向，常用的視覺傳感器有RGB 相機(jī)和深度相機(jī)，其中深度相機(jī)能夠提取場(chǎng)景中的深度信息，在無序分揀平臺(tái)中更為使用廣泛。機(jī)器人的無序分揀過程大致分為目標(biāo)識(shí)別、位姿估計(jì)、抓取規(guī)劃3 個(gè)部分。目標(biāo)檢測(cè)是檢測(cè)圖像中某一類目標(biāo)的實(shí)例，當(dāng)場(chǎng)景中存在多類目標(biāo)需要分揀時(shí)，需判斷抓取目標(biāo)的類別。目前基于視覺的目標(biāo)檢測(cè)與識(shí)別技術(shù)逐漸趨于完善，由于目標(biāo)之間堆疊、遮擋和背景雜亂等環(huán)境因素，均可能影響目標(biāo)檢測(cè)和識(shí)別的準(zhǔn)確度。大多數(shù)生產(chǎn)流水線上的目標(biāo)分揀場(chǎng)景較為簡(jiǎn)單，只需確定分揀對(duì)象在二維平面下的位姿即可抓取，而對(duì)無序雜亂的目標(biāo)而言，實(shí)施分揀變得更加困難，確定目標(biāo)在三維空間下的位姿是機(jī)器人抓取成功的關(guān)鍵，也是無序分揀區(qū)別于普通情況下機(jī)器人分揀的重要體現(xiàn)。視具體分揀場(chǎng)景，根據(jù)分揀目標(biāo)的位姿進(jìn)行機(jī)器人抓取的過程中，機(jī)器人與料框及其他目標(biāo)之間均有可能發(fā)生干涉和碰撞，因此合理的抓取規(guī)劃有利于避免一些異常情況的發(fā)生，提高無序分揀的成功率。

圖2 無序分揀系統(tǒng)框架圖[7]Fig.2 Unordered picking system framework diagram[7]

機(jī)器人視覺在無序分揀技術(shù)中發(fā)揮著更加重要的作用，國(guó)外的一些公司也在逐漸將自主研發(fā)的視覺系統(tǒng)嵌入機(jī)器人中，實(shí)現(xiàn)無序分揀過程的自動(dòng)化。日本的FANUC 公司推出了iRVision 視覺系統(tǒng)以識(shí)別和定位零件，并將其緊密耦合在機(jī)器人控制器中，以確保視覺伺服過程中的手眼協(xié)調(diào)[8]。德國(guó)的ISRA VISION公司也推出了Shape Scan 3D 系統(tǒng)與IntelliPICK3D 系統(tǒng)，該視覺傳感器系統(tǒng)對(duì)復(fù)雜零部件采用CAD 文件讀取，可以不受零件的角度限制，同時(shí)集成多種監(jiān)測(cè)手段，對(duì)比較細(xì)小或者表面比較骯臟的零部件都可以識(shí)別，加快了生產(chǎn)線的運(yùn)轉(zhuǎn)，實(shí)現(xiàn)更高的生產(chǎn)節(jié)拍[9]。國(guó)內(nèi)的一些企業(yè)一直致力于無序分揀系統(tǒng)的研發(fā)，各種人機(jī)協(xié)作機(jī)器人的出現(xiàn)也為此帶來契機(jī)，利用協(xié)作機(jī)器人代替人類，提高了企業(yè)的勞動(dòng)力水平，同時(shí)提高自身競(jìng)爭(zhēng)力。愛爾森智能科技有限公司（Alsontech）是國(guó)內(nèi)首家自主研發(fā)機(jī)器人3D 視覺引導(dǎo)系統(tǒng)的公司。針對(duì)散亂無序工件的分揀，該系統(tǒng)通過3D 快速成像技術(shù)對(duì)工件表面輪廓數(shù)據(jù)進(jìn)行掃描，獲取工件點(diǎn)云數(shù)據(jù)，輔以機(jī)器人路徑規(guī)劃和防碰撞技術(shù)，計(jì)算出當(dāng)前工件的實(shí)時(shí)坐標(biāo)，并發(fā)送指令給機(jī)器人實(shí)現(xiàn)自動(dòng)分揀[10]；阿丘科技（Aqrose）基于團(tuán)隊(duì)核心的3D 視覺技術(shù)和機(jī)器學(xué)習(xí)，通過對(duì)目標(biāo)物體的識(shí)別和定位，實(shí)現(xiàn)工業(yè)機(jī)器人對(duì)復(fù)雜分揀環(huán)境處理能力，自動(dòng)完成識(shí)別分揀的相關(guān)任務(wù)[11]。無序分揀技術(shù)是未來智能機(jī)器人研究的一個(gè)重要方向，在現(xiàn)代化社會(huì)生產(chǎn)中逐步實(shí)現(xiàn)機(jī)器換人的大趨勢(shì)下，具有廣闊的應(yīng)用前景和巨大的經(jīng)濟(jì)價(jià)值。

1 散亂目標(biāo)的檢測(cè)與識(shí)別

目標(biāo)的檢測(cè)識(shí)別是機(jī)器人抓取領(lǐng)域中常見的技術(shù)手段，快速準(zhǔn)確地對(duì)目標(biāo)進(jìn)行識(shí)別，對(duì)機(jī)器人無序分揀速度和精度的提高起到重要作用。然而在目標(biāo)散亂堆疊的環(huán)境下，除了環(huán)境因素的干擾外，還需考慮目標(biāo)之間遮擋帶來的特征檢測(cè)難題，目標(biāo)檢測(cè)識(shí)別的成功率將直接影響后續(xù)抓取的成功率。目前目標(biāo)的檢測(cè)與識(shí)別方法總體可以歸納為以下幾類：基于模板匹配的方法、基于特征匹配的方法、基于霍夫森林的方法和基于深度學(xué)習(xí)的方法，見圖3。

基于模板匹配的方法是從已有的數(shù)據(jù)中制作模板，通過測(cè)量待匹配圖像與模板之間的相似性來確定目標(biāo)所屬類別。此類方法由于不需預(yù)先訓(xùn)練，魯棒性強(qiáng)，常用于散亂堆疊目標(biāo)的識(shí)別中。文獻(xiàn)[12]制作了兩個(gè)抓取位置檢測(cè)的模板去掃描相機(jī)捕獲的圖像，利用差分進(jìn)化算法高效搜索目標(biāo)函數(shù)最大的抓取位置，快速實(shí)現(xiàn)散亂螺栓的識(shí)別。但該算法要求目標(biāo)與模板具有相同的尺寸、方向和圖像，并且根據(jù)模板在搜索目標(biāo)的過程中只能進(jìn)行平行移動(dòng)，若原圖像中目標(biāo)發(fā)生旋轉(zhuǎn)或大小變化，則算法容易失效。針對(duì)模板搜索過程中的大小和方向局限性問題，文獻(xiàn)[13]通過以參數(shù)化的方式構(gòu)造了模板，基于灰度匹配識(shí)別待抓取的鉚釘，這種方式可以擴(kuò)展到多尺寸鉚釘類型的識(shí)別。雖然基于模板匹配的方法具有簡(jiǎn)單快速的特性，但還存在著對(duì)光照、亮度等環(huán)境因素敏感等問題需要解決。

基于特征匹配的方法是通過尋找兩幅圖像之間的特征對(duì)應(yīng)關(guān)系進(jìn)行目標(biāo)識(shí)別定位，這類特征通常為手工設(shè)計(jì)的描述符。二維圖像檢測(cè)中典型的特征描述符有 SIFT (Scale Invariant Feature Transform)[14]、SURF (Speeded Up Robust Feature)[15]、ORB (Oriented FAST and Rotated BRIEF)[16]等，除此之外還有一些學(xué)者針對(duì)特定場(chǎng)景中的目標(biāo)識(shí)別而設(shè)計(jì)一些描述符，其基本原則為外觀相似的特征應(yīng)該有相似的描述子。SIFT 描述子在圖像的不變特征提取方面具有一定的優(yōu)勢(shì)，常用于盒子書本等堆疊物體的識(shí)別中。文獻(xiàn)[17]提取目標(biāo)圖像的SIFT 特征點(diǎn)并將其按極大特征值點(diǎn)與極小特征值點(diǎn)進(jìn)行分類，根據(jù)SIFT 特征點(diǎn)子區(qū)域方向直方圖計(jì)算的角度信息限制匹配范圍進(jìn)行識(shí)別。當(dāng)目標(biāo)在待識(shí)別圖像中發(fā)生局部遮擋、旋轉(zhuǎn)、尺度變化或者弱光照等情況下，該算法仍能完成目標(biāo)的快速識(shí)別。但SIFT 描述子還存在著實(shí)時(shí)性不高、特征點(diǎn)較少、對(duì)邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等不足。為了改進(jìn)SIFT 描述子的一些缺陷，文獻(xiàn)[18]采用改進(jìn)的自適應(yīng)閾值的Canny 邊緣提取算子提取目標(biāo)的邊緣信息，采用SURF 特征與FREAK(Fast Retina Keypoint)特征結(jié)合的方式對(duì)目標(biāo)進(jìn)行描述，加快模型的建立，縮短目標(biāo)識(shí)別的時(shí)間。

優(yōu)化后的特征點(diǎn)描述方法在匹配速度和魯棒性方面都有改善，但構(gòu)造出足夠多的特征點(diǎn)需要圖像具備豐富的紋理，否則構(gòu)建的特征區(qū)別性不大，容易造成誤匹配，甚至完全失效。對(duì)工業(yè)上用于分揀的目標(biāo)，大多為弱紋理或者無紋理的物體，此類物體常通過檢測(cè)目標(biāo)點(diǎn)云的三維特征描述子進(jìn)行識(shí)別。常用的三維特征描述子可分為局部特征描述子和全局特征描述子，局部特征包括PFH (Point Feature Histogram)[19]、FPFH (Fast Point Feature Histograms)[20]、SHOT (Signature of Histogram of Orientation)[21]和Spin image 等，全局特征描述子包括VFH (Viewpoint Feature Histogram)[22]、OUR-CVFH (Oriented, Unique and Repeatable Clustered Viewpoint Feature Histogram)[23]和ESF (Ensemble of Shape Functions)[24]等，根據(jù)2 組點(diǎn)云之間的特征描述子進(jìn)行匹配，以此作為識(shí)別的重要依據(jù)。文獻(xiàn)[25]和文獻(xiàn)[26]分別提取 Spin image 描述符和SHOT 特征進(jìn)行匹配識(shí)別。文獻(xiàn)[27]設(shè)計(jì)了一個(gè)高度描述性、魯棒性和計(jì)算效率高的局部形狀描述符來建立模型點(diǎn)云和場(chǎng)景點(diǎn)云之間的對(duì)應(yīng)關(guān)系，利用關(guān)鍵點(diǎn)的局部參考幀進(jìn)行聚類的方法來選擇正確的對(duì)應(yīng)點(diǎn)。此外，堆疊目標(biāo)整體提取三維特征描述子耗時(shí)過長(zhǎng)，因此有學(xué)者提出先將散亂堆疊的目標(biāo)點(diǎn)云進(jìn)行分割，對(duì)分離的目標(biāo)提取三維特征再進(jìn)行匹配識(shí)別，可以有效提高識(shí)別的效率。為了防止對(duì)散亂目標(biāo)點(diǎn)云產(chǎn)生過分割或欠分割，文獻(xiàn)[28]采用超體聚類的過分割方法將點(diǎn)云數(shù)據(jù)分割成許多小塊，在超體聚類的基礎(chǔ)上再聚類生成各個(gè)目標(biāo)點(diǎn)云，結(jié)合VFH 特征和FPFH 特征對(duì)點(diǎn)云對(duì)象進(jìn)行識(shí)別。三維特征描述子相對(duì)于二維特征描述子在雜亂的環(huán)境中有更強(qiáng)大的魯棒性，并且除了用于目標(biāo)識(shí)別外，還可以估計(jì)目標(biāo)的位置和方向，更有利于物體的抓取操作。

基于霍夫森林的方法是通過構(gòu)建隨機(jī)森林從圖像上提取圖像塊，在構(gòu)建的隨機(jī)森林中的每個(gè)決策樹上進(jìn)行判斷處理并在霍夫空間進(jìn)行投票，根據(jù)投票結(jié)果實(shí)現(xiàn)目標(biāo)識(shí)別。針對(duì)雜亂和遮擋的場(chǎng)景中模型的多個(gè)實(shí)例識(shí)別，文獻(xiàn)[29]利用三維特征檢測(cè)和描述來計(jì)算三維模型與當(dāng)前場(chǎng)景之間的一組對(duì)應(yīng)關(guān)系，將每個(gè)特征點(diǎn)與其相對(duì)于模型質(zhì)心的位置相關(guān)聯(lián)，使其在三維霍夫空間內(nèi)可以同時(shí)對(duì)所有特征進(jìn)行投票識(shí)別。為了可以處理更加稀疏的點(diǎn)云對(duì)象識(shí)別，文獻(xiàn)[30]提出了一種基于面向方向的點(diǎn)對(duì)特征創(chuàng)建全局模型描述的方法，并使用快速投票方案對(duì)模型進(jìn)行局部匹配，在簡(jiǎn)化的二維搜索空間中利用有效的投票方案進(jìn)行局部識(shí)別，具備更好的識(shí)別性能。為了提高霍夫投票識(shí)別性能，文獻(xiàn)[31]利用給定三維場(chǎng)景的局部特征生成一組參考點(diǎn)集合，參考點(diǎn)集合由幾個(gè)參考點(diǎn)組成，每個(gè)參考點(diǎn)用綠色或紅色表示，其中紅色的參考點(diǎn)用于驗(yàn)證假設(shè)，綠色參考點(diǎn)用于霍夫投票，通過將六維的投票空間分解為幾個(gè)三維空間實(shí)現(xiàn)更加有效的三維目標(biāo)識(shí)別。

基于近些年來深度學(xué)習(xí)的方法發(fā)展迅速，由于深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)特征提取能力，此類方法在復(fù)雜堆疊場(chǎng)景下目標(biāo)的檢測(cè)識(shí)別具有明顯的優(yōu)勢(shì)，大致可以分為兩階段（two-stage）和一階段（one-stage）兩大類。two-stage 方法首先生成一系列樣本的候選區(qū)域，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域分類進(jìn)行識(shí)別，包括 RCNN[32]、Faster R-CNN[3]和Mask R-CNN[33]等方法。為了解決深度學(xué)習(xí)訓(xùn)練需要大量人工標(biāo)注數(shù)據(jù)集的問題，文獻(xiàn)[34]采用物體和背景的各種組合生成圖像增強(qiáng)數(shù)據(jù)集的技術(shù)并自動(dòng)標(biāo)注，采用Faster R-CNN在生成的數(shù)據(jù)集上進(jìn)行訓(xùn)練，識(shí)別出各個(gè)堆疊散亂的目標(biāo)。Faster R-CNN 識(shí)別出的目標(biāo)采用矩形包圍框的形式表示目標(biāo)的邊界框，但矩形包圍框的精度較低，在需要機(jī)器人精密操作的場(chǎng)合下并不適用，因此文獻(xiàn)[35]和文獻(xiàn)[36]采用了實(shí)例分割網(wǎng)絡(luò)Mask R-CNN 確定分揀箱中目標(biāo)的種類和形狀，實(shí)例分割的方式可以精確到物體的邊緣信息，但識(shí)別過程更為耗時(shí)。

One-stage 方法不用產(chǎn)生候選框，直接將目標(biāo)邊框定位的問題轉(zhuǎn)化為回歸問題處理，識(shí)別速度比twostage 方法更快，適用于散亂目標(biāo)實(shí)時(shí)檢測(cè)識(shí)別場(chǎng)景，包含YOLO[37]、SSD[38]和RetinaNet[39]等方法。文獻(xiàn)[40]為實(shí)現(xiàn)工業(yè)機(jī)器人對(duì)復(fù)雜工件的自動(dòng)分揀，采用邊界像素檢測(cè)算法和深度神經(jīng)網(wǎng)絡(luò)識(shí)別訓(xùn)練算法對(duì)目標(biāo)進(jìn)行精確定位與圖像分割，利用CNN 模型識(shí)別檢測(cè)目標(biāo)，能夠快速準(zhǔn)確地識(shí)別與定位復(fù)雜目標(biāo)物體。針對(duì)散亂目標(biāo)中小對(duì)象的檢測(cè)識(shí)別，文獻(xiàn)[41]基于改進(jìn)的YOLO-V3 算法，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和多尺度檢測(cè)進(jìn)行了改進(jìn)，并引入了空心卷積的思想，利用殘差密集塊替代原算法中的殘差密集塊，增強(qiáng)網(wǎng)絡(luò)對(duì)工件特征信息的提取，提高對(duì)小對(duì)象的檢測(cè)能力。文獻(xiàn)[42]基于SSD 檢測(cè)算法設(shè)計(jì)了堆疊目標(biāo)檢測(cè)定位模塊，通過優(yōu)化目標(biāo)函數(shù)和修改網(wǎng)絡(luò)結(jié)構(gòu)，解決小面積堆疊的目標(biāo)識(shí)別問題，在不損失檢測(cè)速度的前提下，保證了目標(biāo)的準(zhǔn)確識(shí)別定位。

2 分揀目標(biāo)的空間姿態(tài)估計(jì)

目標(biāo)的空間6D 位姿估計(jì)可以幫助機(jī)器人感知要抓握抓取的物體的位置和方向。目標(biāo)的6D 位姿是指相機(jī)坐標(biāo)系下目標(biāo)的3D 位置和3D 姿態(tài)，或者說確定物體坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系的平移和旋轉(zhuǎn)變換關(guān)系[43]。位姿估計(jì)方法大致可以分為四種，分別是基于CAD 模型、基于模板、基于投票與基于回歸的方法，見圖4。

圖4 目標(biāo)的空間姿態(tài)估計(jì)方法Fig.4 Spatial pose estimation methods of objects

基于CAD 模型的方法主要針對(duì)具有標(biāo)準(zhǔn)CAD模型的目標(biāo)，通過尋找輸入點(diǎn)云和已有模型之間的3D 特征描述符的對(duì)應(yīng)關(guān)系進(jìn)行位姿估計(jì)。文獻(xiàn)[44]通過虛擬相機(jī)采集工件三維點(diǎn)云數(shù)據(jù)作為CAD 模型數(shù)據(jù)庫(kù)，從模型數(shù)據(jù)的點(diǎn)云計(jì)算出所有的點(diǎn)對(duì)特征描述符構(gòu)建全局模型描述，利用特征匹配對(duì)場(chǎng)景目標(biāo)進(jìn)行位姿估計(jì)。堆疊目標(biāo)整體點(diǎn)云與模型匹配獲取位姿過于耗時(shí)，為了更有針對(duì)地對(duì)單個(gè)目標(biāo)進(jìn)行位姿估計(jì)，文獻(xiàn)[45]基于Mask R-CNN 算法檢測(cè)并分離圖像中的不同對(duì)象，同時(shí)為每個(gè)對(duì)象生成高質(zhì)量的分割掩膜，利用結(jié)構(gòu)光系統(tǒng)的三維三角剖分計(jì)算出每個(gè)對(duì)象的三維點(diǎn)云，基于ICP(Iterative Closest Point)算法對(duì)模型和目標(biāo)點(diǎn)云配準(zhǔn)得到位姿信息。結(jié)合目標(biāo)點(diǎn)云信息里的其他屬性進(jìn)行位姿估計(jì)可以進(jìn)一步提高位姿估計(jì)的精度，文獻(xiàn)[46]在匹配策略上引入物體的輪廓、正態(tài)分布和曲率等幾何屬性進(jìn)行性能優(yōu)化，利用數(shù)據(jù)庫(kù)中的目標(biāo)和真實(shí)場(chǎng)景進(jìn)行比較調(diào)度，生成姿態(tài)聚類，用于對(duì)不同形狀物體的位姿估計(jì)。根據(jù)現(xiàn)有的CAD 模型通?？梢垣@取較好的位姿估計(jì)性能，但在沒有專業(yè)的掃描設(shè)備或者目標(biāo)不易建模的情況下，很難構(gòu)建出精細(xì)的三維模型，還需通過其他方式進(jìn)行位姿估計(jì)。

基于模板的方法是從標(biāo)記好6D 位姿的模板中，選擇最相似的模板，將其作為當(dāng)前物體的6D 位姿。針對(duì)無紋理目標(biāo)的位姿估計(jì)，文獻(xiàn)[47-49]提出了一種基于模板匹配的物體位姿估計(jì)方法LineMod，通過計(jì)算輸入RGB 圖像的梯度信息并結(jié)合深度圖的法向特征作為模板匹配的依據(jù)，能夠在實(shí)時(shí)情況下實(shí)現(xiàn)兩千個(gè)模板的匹配，解決了在復(fù)雜背景下無紋理物體的實(shí)時(shí)位姿估計(jì)問題。但LineMod 算法的特征提取只在輸入圖像的強(qiáng)邊緣進(jìn)行，僅使用LineMod 模板匹配可能導(dǎo)致匹配失敗，特別是對(duì)具有類似局部輪廓的對(duì)象。因此，文獻(xiàn)[50]在基于位姿模板的基礎(chǔ)上，利用ICP 的點(diǎn)云配準(zhǔn)方法對(duì)模型點(diǎn)云與場(chǎng)景點(diǎn)云進(jìn)行優(yōu)化，以提高LineMod 位姿檢測(cè)的結(jié)果。為了提高機(jī)器人在非結(jié)構(gòu)化環(huán)境中的感知能力，文獻(xiàn)[51]基于SSD 神經(jīng)網(wǎng)絡(luò)框架實(shí)現(xiàn)初始檢測(cè)目標(biāo)并生成感興趣區(qū)域，應(yīng)用LineMod 模板匹配來提供候選模板，通過設(shè)計(jì)的聚類算法對(duì)計(jì)算出來的模板進(jìn)行分組，去除相似結(jié)果后采用ICP 算法估計(jì)目標(biāo)的位姿，可以同時(shí)檢測(cè)多個(gè)目標(biāo)并估計(jì)其位姿。

基于投票的方法每個(gè)像素或者每個(gè)3D 點(diǎn)通過投票，貢獻(xiàn)于最終的6D 位姿估計(jì)。為了獲取精確的目標(biāo)位姿估計(jì)，文獻(xiàn)[52]將參數(shù)最小化的遺傳算法與霍夫投票相結(jié)合，使用多視角數(shù)據(jù)融合，進(jìn)行配準(zhǔn)獲取三維位姿。針對(duì)三維點(diǎn)云數(shù)據(jù)的不連續(xù)性，文獻(xiàn)[53]在物體表面上的點(diǎn)與法線組成的幾何特征基礎(chǔ)上，引入了邊緣抑制損失函數(shù)用于約束物體的三維形狀，同時(shí)在投票框架中加入了邊緣信息這一緊湊特征進(jìn)行估計(jì)，獲取更好的位姿估計(jì)性能。在復(fù)雜環(huán)境中目標(biāo)存在遮擋和截?cái)嗟那闆r下，文獻(xiàn)[54]在二維圖像的每個(gè)像素上都預(yù)測(cè)一個(gè)指向關(guān)鍵點(diǎn)的單位向量，使用RANSAC 對(duì)關(guān)鍵點(diǎn)的位置進(jìn)行投票，實(shí)現(xiàn)了利用物體在圖像中可見部分的局部信息來檢測(cè)關(guān)鍵點(diǎn)的目的，最后對(duì)2D 關(guān)鍵點(diǎn)進(jìn)行PnP 求解和優(yōu)化得到目標(biāo)的位姿。為了提高場(chǎng)景中多個(gè)物體同時(shí)進(jìn)行位姿估計(jì)的能力，文獻(xiàn)[55]對(duì)提前定義好的關(guān)鍵點(diǎn)、每個(gè)點(diǎn)的分類、中心點(diǎn)偏移進(jìn)行預(yù)測(cè)，應(yīng)用聚類算法區(qū)分具有相同語義標(biāo)簽的不同實(shí)例，根據(jù)相同實(shí)例上的點(diǎn)投票并聚類出該物體的3D 關(guān)鍵點(diǎn)，使用最小二乘法估算出目標(biāo)的6D 位姿參數(shù)。

基于回歸的方法通過直接從輸入圖像映射到參數(shù)表示的位姿信息，是一種端到端的學(xué)習(xí)方法。文獻(xiàn)[56]首次提出了一種用于直接6D 目標(biāo)位姿估計(jì)的卷積神經(jīng)網(wǎng)絡(luò)PoseCNN，目標(biāo)的三維平移是通過定位圖像中心和預(yù)測(cè)到相機(jī)的距離來估計(jì)的，三維旋轉(zhuǎn)是通過回歸到四元數(shù)表示來計(jì)算的，并且引入ShapeMatchLoss 函數(shù)，使PoseCNN 能夠處理對(duì)稱對(duì)象。為了將6D 姿態(tài)問題轉(zhuǎn)化為2D 圖像中坐標(biāo)點(diǎn)檢測(cè)問題，文獻(xiàn)[57]提出了一種用于6D 目標(biāo)位姿估計(jì)的端到端深度網(wǎng)絡(luò)YOLO-6D+，利用目標(biāo)檢測(cè)框架預(yù)測(cè)目標(biāo)的2D 坐標(biāo)點(diǎn)，然后使用PNP 算法估計(jì)6D 位姿，這樣做可能導(dǎo)致原本在2D 圖像上較小的檢測(cè)誤差，映射到3D 空間中會(huì)變大，但此思路仍然值得借鑒。針對(duì)高度混亂場(chǎng)景中的目標(biāo)位姿估計(jì)，文獻(xiàn)[58]使用一個(gè)異構(gòu)網(wǎng)絡(luò)去分別處理輸入RGB-D 圖像中的顏色和深度信息，以一種稠密的像素級(jí)融合方式將RGB 數(shù)據(jù)的特征和點(diǎn)云的特征以一種更合適的方式進(jìn)行了整合，通過端到端的網(wǎng)絡(luò)訓(xùn)練出位姿估計(jì)模型。為了處理給定類別中不同的和從未見過的物體實(shí)例的位姿估計(jì)，文獻(xiàn)[59]引入標(biāo)準(zhǔn)化物體坐標(biāo)空間NOCS (Normalized Object Coordinate Space)將同一個(gè)類別中的所有物體實(shí)例使用一個(gè)共享的標(biāo)準(zhǔn)模型來表示，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來推斷觀察的像素與共享標(biāo)準(zhǔn)模型的對(duì)應(yīng)關(guān)系和其他信息，將預(yù)測(cè)圖像與深度圖相結(jié)合，共同估計(jì)雜亂場(chǎng)景中多個(gè)物體的6D 位姿和尺寸?；诨貧w的方法需要大量地標(biāo)注位姿的訓(xùn)練數(shù)據(jù)，對(duì)數(shù)據(jù)集中不存在的目標(biāo)泛化性能較差。

3 無序分揀中的抓取決策

目標(biāo)的檢測(cè)識(shí)別和位姿估計(jì)過程為機(jī)器人的無序分揀提供了視覺上的保障，但在抓取和放置目標(biāo)的過程中還需考慮機(jī)械臂的運(yùn)動(dòng)規(guī)劃，用以規(guī)避障礙物和優(yōu)化分揀時(shí)間來提高分揀過程的安全性與效率。文獻(xiàn)[60]基于RRT 算法構(gòu)建一個(gè)可達(dá)和無碰撞配置樹，結(jié)合尋找可行的抓取、求解逆運(yùn)動(dòng)學(xué)和搜索無碰撞軌跡，生成潛在抓握位置，并計(jì)算接近該位置的動(dòng)作，使機(jī)械臂達(dá)到抓取姿態(tài)。但是RRT 是概率完備且不是最優(yōu)的，對(duì)環(huán)境類型不敏感，當(dāng)機(jī)器人操作空間中包含大量障礙物或狹窄通道約束時(shí)，算法的收斂速度慢，效率會(huì)大幅下降。為了提高規(guī)劃速度，文獻(xiàn)[61]采用人工勢(shì)場(chǎng)法引導(dǎo)隨機(jī)樹向目標(biāo)方向生長(zhǎng)，減少RRT 算法在路徑搜索過程中的盲目性。這種雙向的RRT 技術(shù)具有良好的搜索特性，比原始RRT 算法的搜索速度、搜索效率都有顯著的提高，且被廣泛應(yīng)用。

隨著現(xiàn)有機(jī)器人抓取技術(shù)應(yīng)用場(chǎng)景的不斷擴(kuò)展，如何在無目標(biāo)精確模型的情況下實(shí)現(xiàn)機(jī)器人抓取行為的通用性和在與環(huán)境交互中提高機(jī)器人的自適應(yīng)學(xué)習(xí)抓取姿態(tài)的能力，對(duì)機(jī)器人無序分揀的抓取規(guī)劃具有重要的現(xiàn)實(shí)意義?；谏疃葟?qiáng)化學(xué)習(xí)的算法為機(jī)械臂開辟了新的發(fā)展方向，深度強(qiáng)化學(xué)習(xí)兼具深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)圖像處理能力，并具備強(qiáng)化學(xué)習(xí)的策略自主學(xué)習(xí)能力，由于深度強(qiáng)化學(xué)習(xí)的控制過程不依賴于精確的環(huán)境模型，而強(qiáng)調(diào)在與環(huán)境的交互中獲取反映真實(shí)目標(biāo)達(dá)成度的反饋信號(hào)，有利于提高機(jī)器人抓取過程中的自適應(yīng)控制能力。文獻(xiàn)[62]提出了一種基于強(qiáng)化學(xué)習(xí)的改進(jìn)DDPG(Deep Deterministic Policy Gradient)算法對(duì)煤矸石進(jìn)行分揀，根據(jù)相應(yīng)傳感器返回的煤矸石位置及機(jī)械臂狀態(tài)進(jìn)行決策，并向相應(yīng)運(yùn)動(dòng)控制器輸出一組關(guān)節(jié)角狀態(tài)控制量，根據(jù)煤矸石位置及關(guān)節(jié)角狀態(tài)控制量控制機(jī)械臂運(yùn)動(dòng)，比傳統(tǒng)DDPG 算法更快收斂于探索過程中所遇最大獎(jiǎng)勵(lì)值，策略泛化性更好。文獻(xiàn)[63]采用非策略強(qiáng)化學(xué)習(xí)框架來學(xué)習(xí)抓取策略，使用雙深度Q 學(xué)習(xí)框架和GraspQNetwork 用于學(xué)習(xí)抓取的概率，提高抓取成功率。但深度強(qiáng)化學(xué)習(xí)的方法存在探索效率低，訓(xùn)練時(shí)間長(zhǎng)等問題，嘗試將前面建立的目標(biāo)檢測(cè)和位姿估計(jì)算法與強(qiáng)化學(xué)習(xí)算法進(jìn)行融合，對(duì)機(jī)械臂的探索范圍和接近目標(biāo)后的抓取位姿進(jìn)行限制，提高訓(xùn)練過程中的探索效率和最終抓取的成功率，從而提高訓(xùn)練的效率。

此外，復(fù)雜場(chǎng)景下多目標(biāo)的抓取規(guī)劃還需考慮到最優(yōu)抓取策略的問題，保證機(jī)器人抓取過程中不會(huì)發(fā)生干涉和碰撞。目前主要的策略是將散亂堆疊的目標(biāo)分開，根據(jù)各個(gè)目標(biāo)的位姿關(guān)系設(shè)定評(píng)價(jià)指標(biāo)評(píng)估各個(gè)目標(biāo)的可操作性，以此確定各個(gè)目標(biāo)的抓取順序。文獻(xiàn)[64]構(gòu)建分割后物體三維點(diǎn)云的抓取空間和物體空間，通過分析實(shí)際抓取空間和物體空間的關(guān)系得到目標(biāo)的抓取可操作性，根據(jù)抓取評(píng)價(jià)函數(shù)計(jì)算所有抓取方案下的目標(biāo)可操作性評(píng)價(jià)值，以高評(píng)價(jià)值對(duì)應(yīng)的抓取方案作為機(jī)器人對(duì)場(chǎng)景中多目標(biāo)物的最佳抓取策略。該方法有效解決了場(chǎng)景中存在障礙物的多目標(biāo)物抓取規(guī)劃問題，并提高機(jī)器人對(duì)多目標(biāo)場(chǎng)景的處理效率。文獻(xiàn)[65]通過精細(xì)分割散亂堆疊目標(biāo)的點(diǎn)云數(shù)據(jù)，基于位置密度函數(shù)確定上層目標(biāo)的抓取得分，根據(jù)得分高低從上至下分揀目標(biāo)。文獻(xiàn)[66]基于深度強(qiáng)化學(xué)習(xí)建立抓取作業(yè)的馬爾可夫決策過程，通過深度Q 網(wǎng)絡(luò)完成圖像信息與機(jī)械臂抓取動(dòng)作之間的映射，根據(jù)Q 值的大小確定機(jī)械臂的最佳抓取位置，使機(jī)械臂能夠自主完成抓取作業(yè)。由于使用了放射性區(qū)域回報(bào)獎(jiǎng)勵(lì)和經(jīng)驗(yàn)優(yōu)先級(jí)采樣方式的應(yīng)用，使機(jī)械臂優(yōu)先抓取放射性區(qū)域內(nèi)具有高放射性活度的物塊，同時(shí)增加了機(jī)械臂抓取無序緊密擺放物體時(shí)的效率。

在一些更加復(fù)雜的情況下，目標(biāo)之間緊密連接甚至需要抓取的目標(biāo)被其他障礙物遮擋，此時(shí)可以采用聯(lián)合的推動(dòng)與抓取策略在復(fù)雜環(huán)境中對(duì)目標(biāo)物體進(jìn)行抓取。文獻(xiàn)[67]將大規(guī)模分布式優(yōu)化與一個(gè)新型擬合深度Q 學(xué)習(xí)算法相結(jié)合，從之前收集的數(shù)據(jù)完全離線訓(xùn)練出一個(gè)模型，再將該模型部署到真正的機(jī)器人上進(jìn)行微調(diào)，機(jī)器人根據(jù)最近的觀察不斷更新其抓取策略。該抓取策略能夠應(yīng)對(duì)一組緊密貼合目標(biāo)的分開和抓取情況，并且能夠泛化到不同種類的物體抓取上，即使這些物體并沒有在訓(xùn)練時(shí)遇到過。文獻(xiàn)[68]實(shí)現(xiàn)了在機(jī)器人操作中抓取原本不可見的目標(biāo)物體，通過深度Q 學(xué)習(xí)將視覺觀察和目標(biāo)信息映射到推動(dòng)和抓取的預(yù)期未來獎(jiǎng)勵(lì)中，將原問題劃分為推尋和抓取2 個(gè)子任務(wù)?；谪惾~斯理論的策略考慮了過去的行動(dòng)經(jīng)驗(yàn)，執(zhí)行推尋目標(biāo)；一旦找到目標(biāo)，基于分類器的策略配合面向目標(biāo)的推送抓取，進(jìn)而實(shí)現(xiàn)對(duì)原本不可見目標(biāo)的有效抓取。為了更好學(xué)習(xí)有效的推送和抓取策略，文獻(xiàn)[69]將推送策略和抓取策略分別視為一個(gè)生成器和一個(gè)判別器，在抓取判別器的監(jiān)督下對(duì)推送策略進(jìn)行訓(xùn)練，從而使推送獎(jiǎng)勵(lì)更加密集，以更少的運(yùn)動(dòng)次數(shù)實(shí)現(xiàn)了最優(yōu)的任務(wù)完成率和目標(biāo)抓取成功率。為了更好發(fā)揮推動(dòng)和抓取之間的協(xié)同作用，文獻(xiàn)[70]引入離散度指標(biāo)描述物體在環(huán)境中的分布情況，根據(jù)目標(biāo)的動(dòng)作價(jià)值和分散程度設(shè)計(jì)協(xié)調(diào)機(jī)制，運(yùn)用不同動(dòng)作之間的協(xié)同作用，使抓握更加有效，大大提高機(jī)器人在目標(biāo)密集雜亂環(huán)境下的抓取成功率，并且具有推廣到新場(chǎng)景的能力。

4 結(jié)語

機(jī)器人的無序分揀廣泛應(yīng)用于家庭服務(wù)、工業(yè)制造和物流倉(cāng)儲(chǔ)等領(lǐng)域，近年來許多學(xué)者對(duì)此展開了研究，但由于場(chǎng)景的復(fù)雜性與目標(biāo)的多樣性，使這項(xiàng)技術(shù)目前仍處于初步發(fā)展階段。而且大多數(shù)機(jī)器人分揀系統(tǒng)的分揀對(duì)象是單類目標(biāo)物體或者相互分離的多類目標(biāo)物體，對(duì)于非結(jié)構(gòu)化場(chǎng)景中存在堆疊或遮擋的多類目標(biāo)物體尚未有良好的解決方案。此外現(xiàn)有的抓取技術(shù)對(duì)已知物體的抓取效果較好，但很難將現(xiàn)有的抓取能力擴(kuò)展到新的物體上。因此，機(jī)器人無序分揀系統(tǒng)應(yīng)當(dāng)考慮對(duì)新對(duì)象具有較強(qiáng)的泛化能力，更好地處理復(fù)雜環(huán)境中的對(duì)象，提高系統(tǒng)的魯棒性。

未來機(jī)器人無序分揀技術(shù)的發(fā)展方向包括視覺感知、位姿估計(jì)和抓取決策幾個(gè)方面。利用深度學(xué)習(xí)的方法訓(xùn)練更多的數(shù)據(jù)對(duì)象來增強(qiáng)機(jī)器人的視覺感知能力，同時(shí)解決不同物體相互作用所產(chǎn)生的數(shù)據(jù)不完整性問題，克服物體形狀和紋理上的一些局限性。普遍來說目標(biāo)的位姿估計(jì)依賴于標(biāo)準(zhǔn)的CAD 模型，在未知模型的情況下，通過融合實(shí)例分割和目標(biāo)檢測(cè)等手段從二維圖像或三維點(diǎn)云數(shù)據(jù)中獲取位姿，同時(shí)提高同類物體的位姿估計(jì)能力，但是由于物體對(duì)稱性帶來的位姿估計(jì)難題還需進(jìn)一步解決。結(jié)合視覺感知和位姿估計(jì)的結(jié)果對(duì)復(fù)雜環(huán)境下堆疊目標(biāo)的抓取順序、抓取路徑進(jìn)行決策，保證無序分揀過程中機(jī)械臂做到無碰撞無干涉地抓取，發(fā)揮深度強(qiáng)化學(xué)習(xí)在自適應(yīng)學(xué)習(xí)抓取姿態(tài)中的優(yōu)勢(shì)，使機(jī)器人無序分揀技術(shù)更加智能和高效。