文/何 敏 田曉美

關節(jié)機器人具備柔性高、定位準確及運行穩(wěn)定等特點，因此在自動化物流領域得到廣泛應用。關節(jié)機器人的引入，極大地推動了物流自動化的發(fā)展，提高了物流效率，降低了人力成本。關節(jié)機器人在物流行業(yè)的應用，包括拆碼垛、分揀、上下料等。關節(jié)機器人實現(xiàn)貨物單元的準確抓取有兩種解決方案，一種是人為的初始化設定，通過夾具等其它輔助工具，使得工件每次到達指定的位置。另一種是搭載視覺系統(tǒng)，通過視覺精確定位，實現(xiàn)機器手準確抓取。隨著科技的進展以及生產(chǎn)環(huán)境的復雜化，要求機器人完成更高精度、更復雜環(huán)境的任務。商超行業(yè)貨物單元種類繁多，貨物單元的外形、外貌等均存在較大差異?，F(xiàn)有的物流設備無法針對不同的垛形、不同的貨物單元等實現(xiàn)精確定位，導致現(xiàn)有的自動化設備無法作業(yè)。目前，學術界和工業(yè)界正在大力探索人工智能技術在不同領域的應用，而視覺技術亦是目前國內(nèi)外研究的熱點。近年來在ECCV、 CVPR 等國外計算機視覺頂級會議和雜志，不斷有新的“深度學習”網(wǎng)絡模型被提出。本項目基于回歸思想搭建深度學習網(wǎng)絡，實現(xiàn)了商超貨物單元的圖像分割。同時結(jié)合雙目視覺系統(tǒng)，實現(xiàn)對貨物單元的空間坐標精確定位。

一、視覺系統(tǒng)在物流行業(yè)應用的優(yōu)勢

視覺系統(tǒng)解決方案是一項綜合工程，包括圖像處理、光學成像、傳感器技術、計算機軟硬件技術等。一個典型的視覺應用系統(tǒng)，包括圖像捕捉、光源系統(tǒng)、圖像算法模塊、智能判斷決策模塊和機械控制執(zhí)行模塊等。本項目的視覺系統(tǒng)結(jié)合了雙目視覺技術及深度學習技術，大大提高了視覺系統(tǒng)的普適性、精確度及穩(wěn)定性。

1.雙目視覺的應用

雙目視覺識別技術的應用可以更加便捷地獲取三維空間中的物體距離信息，提高信息獲取的效率與準確性。雙目視覺技術避免了對外界特殊光源的依賴，同時能夠準確獲取物體的距離信息。另外，利用計算機技術對獲取到的三維空間物體距離信息進行分析以及處理，可以較好的獲得更加深層次的語義信息。傳統(tǒng)的視覺技術在進行信息獲取時必須要借助外界特殊光源，通過光的反射信息達到語義理解的目的。因此傳統(tǒng)的視覺技術普適性不高，對于復雜的場景無法準確理解。同時雙目視覺技術可以解決三維空間的識別問題，將視覺技術的應用范圍大大擴展。

雙目視覺識別系統(tǒng)不需要大型設備，識別系統(tǒng)只有簡單的硬件組成，因此，雙目視覺系統(tǒng)柔性高，可擴展性強。同時，計算機技術的優(yōu)勢也可以在系統(tǒng)中得到充分的應用，從而提高雙目視覺識別技術運行的可靠性。雙目視覺識別技術的應用可以解決傳統(tǒng)機器人信息獲取困難等問題，提高機器人應用的適用范圍，推動機器人的智能化發(fā)展。

2.“深度學習”技術的應用

“深度學習”是機器學習中的一個分支，也是一類模式識別方法的統(tǒng)稱。深度學習結(jié)構包含多個隱藏層的多層感知器結(jié)構，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，從而達到識別、判斷及分析等功能?；诰矸e運算的神經(jīng)網(wǎng)絡系統(tǒng)是深度學習研究的重要方向，該研究方法在瑕疵檢測、圖像識別、文字識別（OCR）、人臉識別、指紋識別、醫(yī)學診斷等領域均取得了很好的研究成果。深度學習技術使得視覺系統(tǒng)能夠像人腦一樣識別物體特征，大大提高了視覺系統(tǒng)的普適性。傳統(tǒng)的視覺技術借助算法工具包，可以快速方便地對圖像信號進行預處理，獲取圖像的特征信息。因此，深度學習技術的引入，可以有效解決識別種類多，特征復雜等應用場景。

圖1 項目部分物流布局圖

圖2 相機安裝示意圖

圖3 機器視覺系統(tǒng)通訊流程圖

二、物流方案

1.整體物流流程

商超周轉(zhuǎn)倉貨物單元種類繁多，吞吐量大，響應節(jié)拍快。圖1為該項目部分物流布局圖。該部分物流線實現(xiàn)的功能是將緩存在庫區(qū)的貨物單元，拆垛、輸送到指定出庫區(qū)域。其作業(yè)流程為：上位系統(tǒng)下達出庫指令，AGV接收指令后前往暫存庫區(qū)取貨，隨后AGV將貨物單元由A處運送到B處，然后退出作業(yè)工位；貨物單元在B處就位后觸發(fā)拆垛系統(tǒng)，視覺系統(tǒng)開始對來料進行識別定位，隨后關節(jié)機器手對貨物進行準確抓取、搬運到輸送線；最后貨物單元跟隨輸送線到達指定出庫區(qū)域。整個作業(yè)過程無需人工干預，實現(xiàn)全自動化，信息化作業(yè)。

2.視覺拆垛作業(yè)流程

該項目采用雙目結(jié)構光相機進行圖像采集。相機安裝在相機支架上，拾取裝置不得進入相機視野。托盤貨物尺寸為1000×1200×1600（mm），為了保證圖像采集視野，要求相機距離托盤貨物最大尺寸不小于1140mm。為了保證系統(tǒng)的穩(wěn)定性及準確性，相機安裝必須牢固可靠，機器手運動及物流設備帶來的震動對相機不應產(chǎn)生任何影響。另外，相機必須在機器手運動半徑以外，確保相機與機器手不發(fā)生任何干涉。相機安裝示意圖如圖2。

本項目采用的結(jié)構光雙目視覺系統(tǒng)采集的數(shù)據(jù)流包括RGB彩色圖像及點云數(shù)據(jù)。雙目相機的精度為1mm@1m（在1米高度處，精度為1mm）。在商超拆垛作業(yè)場景下，通過該圖像設備采集的點云數(shù)據(jù)噪音較多，通過單一的機器學習算法很難達到去噪音的目的。因此，在處理三維點云數(shù)據(jù)時，需要結(jié)合二維圖像的特征提取，實現(xiàn)點云數(shù)據(jù)去噪。該任務環(huán)境要求實現(xiàn)1000種紙箱的自動精確抓取，傳統(tǒng)的視覺技術難以滿足如此多種類的圖像處理要求，因此，該項目基于深度學習模型，建立了圖像分割的神經(jīng)網(wǎng)絡模型。該模型能夠?qū)D像中的紙箱進行實例分割，得到每個紙箱獨立的掩模（mask）。將實例分割得到的掩模映射到點云數(shù)據(jù)上，可以去除點云數(shù)據(jù)中的噪聲點。當獲取每個紙箱去噪的點云數(shù)據(jù)后，通過機器學習算法可以計算出每個紙箱的中心坐標，最后將中心坐標位置反饋給機器手的PLC實現(xiàn)精確定位。

雙目視覺系統(tǒng)與機器人配合，實現(xiàn)自動拆垛的作業(yè)流程為：當系統(tǒng)就位后，上位系統(tǒng)向視覺系統(tǒng)發(fā)送指令，視覺系統(tǒng)被觸發(fā)后，開始圖像采集。雙目視覺系統(tǒng)自動識別出垛形以及計算出目標物的空間位置信息、并發(fā)送給機器人。機器人根據(jù)收到的目標物的位置信息，去拾取該目標紙箱，隨后雙目視覺系統(tǒng)再次進行圖像采集和數(shù)據(jù)計算。機器人運動到輸送線上方，并且將目標紙箱放置到輸送線上。機器人返回到垛形上方，根據(jù)視覺系統(tǒng)的指令拾取目標紙箱。系統(tǒng)不斷的循環(huán)上述步驟，直到完成任務。機器視覺系統(tǒng)流程圖，如圖3。

三、總結(jié)

視覺引導關節(jié)機器人拆垛系統(tǒng)的成功運行，實現(xiàn)了商超行業(yè)多種類貨物自動拆垛的功能，推進了物流業(yè)由勞動密集型行業(yè)轉(zhuǎn)向技術密集型行業(yè)發(fā)展，推動了物流機器人的智能化發(fā)展，提高了物流機器人的工作效率與工作質(zhì)量，大量節(jié)約了人力成本。另外，該項目的成功落地，也為深度學習此類前沿的人工智能技術提供了較好的應用場景，擴展了人工智能技術的應用范圍。