劉遠桃，崔亞飛，楊海能

（1.邵陽職業(yè)技術學院，湖南邵陽 422000；2.永州職業(yè)技術學院，湖南永州 425100）

0 引言

抓取是機器人為人類社會服務的基本技能之一。事實上，工業(yè)機器人現(xiàn)在很擅長在結(jié)構(gòu)化和不可改變的環(huán)境中進行操作，但在現(xiàn)實世界的任務中，它們?nèi)匀徊粔蚴炀?，無法成功地適應復雜和不穩(wěn)定的情況。在引導機器人運動的各種感官信息中，視覺線索是最常用的一種，可以為機器人的運動決策提供豐富的支持。對于樂高積木、俄羅斯方塊等操作任務，工件類型的識別是幫助機器人做出運動決策的第一步基本步驟。在本文中，主要研究如何通過視覺線索實時識別4 種俄羅斯方塊形狀的工件，另外，本文不處理其他形狀的物體，如瓶子或玩具槍。

由于物體識別是機器人技術和計算機視覺領域的熱點問題，人們進行了大量的工作并取得了許多成功。有些作品使用了之前獲取的對象模型，如SIFT[1]，特征圖[2]，可變模型[3]，但這些作品只有在模型已知的情況下才能很好地完成。Ckermann[4]提出了一種自底向上分割和自頂向下分類相結(jié)合的分層方法，但只有在合適的聚類規(guī)則下才有效。GoogleNet[5]和AlexNet[6]在類別識別方面表現(xiàn)良好，但在類內(nèi)識別方面不夠好。事實上，工件的三維位置和方向重構(gòu)對于機器人來說也是至關重要的，它可以幫助機器人決定如何抓取或放置目標工件。對于物體的三維重建，傳統(tǒng)的方法是利用多幅圖像將問題作為深度預測。Kresse 等[7]提出了RGB-D 方法來獲取位置、方向等幾何特征來診斷不同的工具，但在光線太強的情況下可能無法獲得深度信息。一些作品利用幾何假設，如形狀從陰影[8]和重復結(jié)構(gòu)[9]。然而，識別和重建一直被視為單獨的程序。認知心理學研究表明，人類從多視角觀察物體，視輪廓和角點為基本單元對物體形狀進行分類，三維結(jié)構(gòu)的重建也是基于基本單元[10]。

受人類視覺機制研究成果的啟發(fā)，本文提出了基于角點檢測的工件類型識別方法，并將檢測到的角點作為重建工件三維結(jié)構(gòu)的基本單元?；诮屈c檢測的解決方案將工件的識別和重構(gòu)內(nèi)在地統(tǒng)一在一個框架內(nèi)，提高了工作效率，而人性化的機構(gòu)啟發(fā)方式有助于提高系統(tǒng)的有效性。為了提高角點檢測的效率，首先從背景中提取出候選工件，然后對裁剪后的工件區(qū)域進行角點檢測，稱為目標檢測。目前的目標檢測方法已經(jīng)能夠用于單個圖像，如Fast R-CNN[11]，F(xiàn)aster R-CNN[12]和YOLO[13]等。但這些方法需要大量的訓練數(shù)據(jù)，不具有實際應用價值。本文使用基本單元的解決方案也可以用于目標檢測，從而避免了大量訓練數(shù)據(jù)的收集。為了對工件進行識別，并進一步重構(gòu)機器人操作所需的三維結(jié)構(gòu)，該方法可分為3 個步驟：首先，為了提高檢測效率，從機器人的視線中裁剪候選工件；然后對每個候選點進行角檢測；最后，根據(jù)檢測到的角點識別出候選目標的形狀并鎖定目標。此外，檢測到的角點作為工件三維重建的基本建模單元。在本文中，提出了一種基于角點檢測的高效、精確的機器人操作工件識別框架。以俄羅斯方塊的識別為例，在PKU-HR6.0機器人上實現(xiàn)。

1 角點檢測

在本節(jié)中，將討論如何檢測角，并改進結(jié)果，以識別不同種類的長方體。

1.1 角分類器

將長方體的角分為3種，如圖1所示。首先，本文設計了一個角分類器來檢測三種角。由于角是由邊引起的一種簡單的低級特征，本文使用一個簡潔的CNN 模型-LeNet 來檢測不同種類的角。仿真和真實攝像機數(shù)據(jù)提供訓練和驗證。網(wǎng)絡的輸入是角的圖像，大小為30×30，和LeNet 一樣，本文有兩個卷積層和兩個子采樣層。本文將輸出設計為4個分類問題，輸出Y 角、A 角和L 角等的概率。該網(wǎng)絡簡潔，檢測周期短，但仍能達到相當?shù)男阅?。該網(wǎng)絡的細節(jié)將在實驗中討論。

圖1 3種角點類型的定義

1.2 幾何關系精煉

由于角是噪聲敏感的特征，一些其他的物體也會被當作目標，比如桌子的角或者一些由輪廓引起的噪聲。為了處理這些噪聲，本文提供了一些方法來獲得真正的目標。

（1）背景噪聲：一些噪聲來自長方體以外的區(qū)域，很容易被檢測為一個角落，來自一些外部因素，如照明。在本文工作中，這些區(qū)域被定義為背景噪聲。

（2）拉長的噪聲：角是由邊緣引起的。由于本文使用圖像的默認大小作為訓練數(shù)據(jù)，邊緣的某些部分不可避免地會被視為角。區(qū)域被拉長，這被定義為拉長的噪聲。

（3）錯誤：由于3 類角點的特征相似（由邊緣引起），神經(jīng)網(wǎng)絡的結(jié)果可能會被誤檢。經(jīng)過非最大抑制后，誤檢區(qū)域被認為是錯誤區(qū)域。神經(jīng)網(wǎng)絡的輸出只是這個輸入圖像塊的一個檢測類，本文假設每個圖像塊的類等于它的中心像素。因此，本文獲得了每個像素的標簽映射，并帶有該類的分類結(jié)果和概率。利用被檢測為角點的像素，將它們聚成一個在同一類中的連通域。計算每個域的像素數(shù)后，如果一些小的域在閾值以下，則對其進行濾波。在這一步之后，本文可以有效地過濾背景噪聲。

利用滑動窗口判斷當前窗口的像素數(shù)是否在閾值以下，從而對拉長域進行去噪。如果該窗口域的面積在閾值以下，則可判斷該域為延長域。大多數(shù)邊緣的拉長噪聲都是通過這個步驟過濾掉的。背景和拉長的噪聲很容易被過濾掉，但仍然存在一些錯誤會誤導本文識別。為了優(yōu)化結(jié)果，本文設計了一個評分系統(tǒng)，通過計算被檢測到的角落組成的立方體的置信度。本文方法分為以下兩個步驟。

步驟1：在A 部分中，神經(jīng)網(wǎng)絡的輸出包含了每一個像素在4 類中的概率，稱為概率中心。將幾何質(zhì)心和概率質(zhì)心結(jié)合起來作為每個角域的中心。質(zhì)心的計算方法為：

式中：P為點i的位置為（xi,yi）的概率；C（x,y）為質(zhì)心的位置。

步驟2：得到每個角域的質(zhì)心后，將它們連線。第二節(jié)的輸出是灰度圖像，每個像素的值表示邊緣響應。值越大，表示成為角或邊的可能性越大。

2 工件識別

在本文以4種類型的工件為例，圖2所示為4種長方體從機器人的不同角度，它們的角被檢測。本文可以將不同的長方體從這些情況按一些學科分類。可以根據(jù)角的幾何關系來識別不同的立方體。根據(jù)第二節(jié)的結(jié)果，Y 型和A 型角比L 型角更精確，因為3條邊包含了更多的特征。所以本文只需利用這兩種類型的角來識別立方體。

如圖2所示，只有（f）和（g）包含兩個Y-type角。所以本文可以用這個特征來區(qū)分這兩個。對于（f）和（g），兩個Y 型角與type 型角連接。它們的區(qū)別是A 型角，與Y 型角連接，Y 型角在最左邊和最右邊。如果兩者連接同一個L 型角，如（f），則視該立方體為L 型立方體，另一個為T 型立方體。該方法在前視圖上識別T 型和L 型正方體。對于只有一個Y 型角的情況，本文有5 個類別需要區(qū)分。在這種情況下，本文有兩個分支：在（a）和（b）中，只包含三個A 型角與Y型角相連接的立方體可以看作是長形立方體和正形立方體，并得出后視圖的L 型立方體。為了區(qū)分L 型立方體為（e），本文利用中間位置的L 型角，如“v”，如果兩個L 型角與它相連，則判斷該立方體為L 型。本文可以使用A 型角和Y 型角之間的線的方向無線電來區(qū)分。超過1.0 時，多維數(shù)據(jù)集被確定為一個Long-type 立方體（a），否則，立方體是正常的（b）。等多維數(shù)據(jù)集（c）和（d），有一個角落A 類型相比（a）和（b）。識別（c）和（d），本文可以利用連通性A 類型的角落，不區(qū)分與引水角落。如果A-type 與兩個L 型角相連，兩個L 型角又與另一個A 型角相連，則側(cè)面視該立方體為L 型立方體，背面視該立方體為T型立方體。

通過使用上述原則，本文可以很容易地識別多維數(shù)據(jù)集，這很容易通過一些決策判斷來實現(xiàn)。該方法比其他使用神經(jīng)網(wǎng)絡進行分類的方法更有效。

3 實驗過程

3.1 角點檢測

對于角點檢測網(wǎng)絡的訓練，本文使用了155 202幅仿真數(shù)據(jù)圖像和37 478 幅真實攝像機數(shù)據(jù)圖像。首先，利用仿真數(shù)據(jù)對網(wǎng)絡進行訓練。其次，本文使用相機圖像來微調(diào)模型。另外，將RGB 圖像轉(zhuǎn)換為灰度圖像，以排除顏色信息。

由于角點檢測的結(jié)果對三維重建和機器人操作都是非常有效的，本文通過平衡的評分來評估機器人操作任務，通過本文工作來評估角點檢測的精度和召回率。本文在每個角落都貼上了兩種尺寸的真實區(qū)域，9×9 尺寸的圖像是相對嚴格的，15×15 尺寸的圖像是相對寬松的。真正的陽性是那些被檢測到的角落落入標記的區(qū)域。本文計算所有類型的角，結(jié)果顯示在表1中。在角點檢測的結(jié)果中，可以看到本文工作已經(jīng)足夠精確，可以進行三維重建。

表1 角點檢測實驗結(jié)果

3.2 立方體識別

為了評估本文方法在立方體識別方面的性能，有兩種最先進的對象識別方法，即AlexNet 和GoogleNet。本實驗數(shù)據(jù)集包含10 147幅圖像，其中9 018幅圖像為訓練集，1 002 幅圖像為驗證集，127 幅圖像為測試集。圖像分為T型、L型、正立方和噪聲5類。

GooleNet 和AlexNet 的輸入圖像大小為480×640，本文使用caffemodel，打開caffemodel 來微調(diào)本文網(wǎng)絡。兩者的學習速率都是0.000 1。對于本文方法，為了排除顏色信息，本文將RGB 圖像轉(zhuǎn)換為灰度圖像。本文使用仿真數(shù)據(jù)和相機數(shù)據(jù)訓練本文角分類器，如圖3（a）和（b）所示。細化的結(jié)果如圖3（c）所示。使用角點信息和本文對不同類型工件的紀律，本文在識別方面取得了相當?shù)男阅?。利用Ms-CNN 的結(jié)果，本文對組成進行評估并對其進行排序，如圖3（d）所示。本文比較了每個作品的準確性、召回率和參數(shù)。實驗結(jié)果如表2所示。從表中可以看出，本文方法與GoogleNet的準確率水平相同，但在訓練上更容易，因為GoogleNet 是一個深度網(wǎng)絡，包含更多的計算。而且，本文方法比AlexNet更好。

圖3 實驗示例

表2 識別實驗結(jié)果

3.3 工件抓取

利用所提出的工件識別方法以及基于該方法提供的基本建模元素的三維重建結(jié)果，在PKU-HR6.0 平臺上建立了機器人操作控制器。PKU-HR6.0 是本實驗室設計開發(fā)的第六代兒童型仿人機器人（質(zhì)量3.93 kg，高59.50 cm）。它有24 個自由度（DOFs）由Dynamixel RX-28 和RX-64 伺服驅(qū)動器驅(qū)動，并配備了英特爾RealSense SR300 深度相機和3 軸慣性測量單元。一個英特爾迷你PC NUC 5I7RYH（2核，4線程）作為中央控制器。它在Ubuntu 14.04 LTS 和機器人操作系統(tǒng)Indigo 上工作。每只手臂有4個移動DOF和一個抓取DOF。

圖4給出了整個操作過程的一個例子。首先，機器人將注意力集中在其左側(cè)的4 個候選對象上，并被告知尋找T 形塊，在T 形塊中使用本文工件識別方法。找到目標后，根據(jù)檢測到的角點計算出目標的三維位置和方向。該機器人利用其先前開發(fā)的內(nèi)部模型來控制其手臂來驅(qū)動手拿起目標。然后機器人將目標放在其右側(cè)的凹槽上。實驗結(jié)果表明，基于對俄羅斯方塊的精確識別和定位，該機器人能夠成功地完成操作任務。

圖4 在PKU-HR6.0機器人上的測試過程

4 結(jié)束語

在本文中，本文提出了一種高效的機器人操作工件識別和三維重建方法，包括使用多尺度卷積神經(jīng)網(wǎng)絡檢測立方體，使用簡單的卷積神經(jīng)網(wǎng)絡檢測角點，對不同的立方體進行形狀識別，以及使用基本建模元素進行三維重建。在此框架下，本文在識別和提供基本的三維重建建模單元方面都取得了很好的效果。根據(jù)實驗結(jié)果，本文形狀識別方法與目前最先進的工作，如GoogleNet和AlexNet處于同一水平。同時，該算法也能滿足機器人在線實時操作的要求。在未來的研究中，可以對該研究進行兩個擴展。一個是探索技術，以進一步提高本文方法的準確性。另一個將是研究涉及更復雜的立方體形狀的情況。