方 維，安澤武

(1.北京郵電大學(xué) 自動(dòng)化學(xué)院,北京 100876；2.北京市郵政智能裝備工程技術(shù)研究中心,北京 100096；3.北京航空航天大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院,北京 100191)

0 引言

貨物分揀是工人根據(jù)分揀清單，從車(chē)間現(xiàn)場(chǎng)貨架上查找目標(biāo)貨柜位置，并根據(jù)指定分揀數(shù)量將貨物搬運(yùn)至移動(dòng)運(yùn)輸車(chē)的指定位置，進(jìn)而運(yùn)輸至下一工序現(xiàn)場(chǎng)，使貨物在生產(chǎn)制造和物流運(yùn)輸過(guò)程中流轉(zhuǎn)，該過(guò)程是當(dāng)前生產(chǎn)制造中的一個(gè)重要環(huán)節(jié)[1]。近年來(lái)，雖然已有一些自動(dòng)化分揀和倉(cāng)儲(chǔ)系統(tǒng)，但是在部分特定的生產(chǎn)環(huán)節(jié)，仍然大量依賴(lài)基于手工作業(yè)的訂單式分揀流程[2]。在現(xiàn)有手工分揀過(guò)程中，工人主要以紙質(zhì)分揀單的形式，按流程邏輯依次讀取和理解文本描述信息，并執(zhí)行相應(yīng)的手工分揀任務(wù)。然而，反復(fù)高頻率地讀取和理解待分揀目標(biāo)編碼，在現(xiàn)場(chǎng)貨架查找待分揀目標(biāo)位置的過(guò)程，容易使工人疲勞并出現(xiàn)分揀錯(cuò)誤，難以持續(xù)保證實(shí)際分揀操作和理論任務(wù)規(guī)劃的一致性[3]，尤其在工業(yè)生產(chǎn)現(xiàn)場(chǎng)，作為整個(gè)物料運(yùn)輸?shù)年P(guān)鍵環(huán)節(jié)，分揀流程的效率和準(zhǔn)確性會(huì)極大制約整個(gè)產(chǎn)品的生產(chǎn)制造流程。為提高手工分揀效率并降低分揀過(guò)程中發(fā)生誤揀的概率，研究用直觀可視化的分揀表征方法代替?zhèn)鹘y(tǒng)紙質(zhì)文本分揀單的形式，已經(jīng)成為當(dāng)前智能分揀的一個(gè)重要方向[4]。

作為一項(xiàng)革命性的虛實(shí)融合技術(shù)，增強(qiáng)現(xiàn)實(shí)可將待作業(yè)任務(wù)信息以可視化的方式呈現(xiàn)在工人視場(chǎng)中，實(shí)現(xiàn)手工操作的智能可視化輔助功能[5-6]。相比傳統(tǒng)基于紙質(zhì)分揀單的方法，增強(qiáng)現(xiàn)實(shí)技術(shù)在一定程度上突破了傳統(tǒng)邏輯本文方式對(duì)分揀信息表達(dá)的局限，在分揀效率和分揀準(zhǔn)確性上均具優(yōu)勢(shì)[7]。GUO等[8]和FAGER等[9]借助頭戴式顯示(Head-Mounted-Displays，HMD)設(shè)備，如谷歌的增強(qiáng)現(xiàn)實(shí)眼鏡Google Glass，將待分揀過(guò)程中的任務(wù)邏輯轉(zhuǎn)化為可視化分揀指引信息呈現(xiàn)在工人視場(chǎng)中，引導(dǎo)工人執(zhí)行手工分揀任務(wù)。然而在分揀現(xiàn)場(chǎng)，由于該增強(qiáng)現(xiàn)實(shí)設(shè)備(如Google Glass)缺乏穩(wěn)定的空間定位能力，難以將待分揀目標(biāo)的增強(qiáng)可視化信息(如其在貨架中的位置)與實(shí)際車(chē)間的物理現(xiàn)場(chǎng)進(jìn)行幾何一致性關(guān)聯(lián)，分揀工人只能根據(jù)HMD設(shè)備上顯示的分揀任務(wù)和目標(biāo)信息，通過(guò)腦力持續(xù)不斷地在車(chē)間現(xiàn)場(chǎng)查找待分揀目標(biāo)的貨架和貨柜位置。類(lèi)似地，HANSON等[10]采用Microsoft Hololens作為可穿戴的HMD設(shè)備來(lái)輔助手工分揀過(guò)程，但其仍然沒(méi)有在可視化分揀任務(wù)信息和車(chē)間物理現(xiàn)場(chǎng)貨架之間建立準(zhǔn)確的空間對(duì)應(yīng)關(guān)系。相比Google Glass，雖然Microsoft Hololens具有良好的自主跟蹤定位能力[11]，能將增強(qiáng)分揀信息與車(chē)間物理環(huán)境進(jìn)行融合，但是在工業(yè)現(xiàn)場(chǎng)弱紋理環(huán)境中易出現(xiàn)跟蹤定位失敗，而且其定位精度會(huì)隨時(shí)間和現(xiàn)場(chǎng)環(huán)境的變化產(chǎn)生漂移，難以持續(xù)穩(wěn)定地將待分揀任務(wù)信息疊加在車(chē)間現(xiàn)場(chǎng)。上述增強(qiáng)現(xiàn)實(shí)分揀系統(tǒng)雖然能將待分揀任務(wù)轉(zhuǎn)化為HMD的可視化信息，但是由于其未能將分揀任務(wù)信息與車(chē)間現(xiàn)場(chǎng)物理貨架間的空間位置關(guān)聯(lián)，難以將待分揀的可視化輔助信息準(zhǔn)確地標(biāo)注在實(shí)際分揀現(xiàn)場(chǎng)，工人仍然需要根據(jù)視場(chǎng)中的可視化分揀清單，持續(xù)不斷地通過(guò)腦力在車(chē)間物理現(xiàn)場(chǎng)查找目標(biāo)貨架和貨位來(lái)執(zhí)行預(yù)定的分揀任務(wù)。

相比上述獨(dú)立于車(chē)間物理現(xiàn)場(chǎng)的增強(qiáng)現(xiàn)實(shí)分揀系統(tǒng)，為實(shí)現(xiàn)增強(qiáng)分揀過(guò)程中信息系統(tǒng)與分揀現(xiàn)場(chǎng)貨架間的位姿互聯(lián)，Reif等[12]通過(guò)在分揀現(xiàn)場(chǎng)部署一定數(shù)量的紅外相機(jī)，并建立該相機(jī)系統(tǒng)與現(xiàn)場(chǎng)貨架間的空間位置關(guān)系，將具有反射特性的人工標(biāo)識(shí)固連在可穿戴頭盔上進(jìn)行實(shí)時(shí)定位，進(jìn)而在手工分揀過(guò)程中，根據(jù)分揀可視化信息系統(tǒng)與物理貨架間的位姿關(guān)聯(lián)，將待分揀任務(wù)信息疊加在物理現(xiàn)場(chǎng)并呈現(xiàn)在工人的HMD上。然而該增強(qiáng)分揀系統(tǒng)的環(huán)境適應(yīng)性較差，當(dāng)分揀現(xiàn)場(chǎng)環(huán)境或貨架位置發(fā)生變化時(shí)，該視覺(jué)跟蹤系統(tǒng)需要重新安裝和標(biāo)定，且其設(shè)備布置成本隨現(xiàn)場(chǎng)分揀區(qū)域面積的增加而增加。為此，在作業(yè)現(xiàn)場(chǎng)布置人工標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)分揀方法被廣泛應(yīng)用于工業(yè)制造現(xiàn)場(chǎng)[5，13]。利用基于人工標(biāo)識(shí)的識(shí)別和定位，將待分揀的目標(biāo)貨位等信息以可視化形式疊加在物理分揀現(xiàn)場(chǎng)，能夠有效避免工人在車(chē)間現(xiàn)場(chǎng)持續(xù)查找目標(biāo)貨位。TUMLER等[14]在待分揀的目標(biāo)貨柜上布置相應(yīng)的人工標(biāo)識(shí)，借助可穿戴的增強(qiáng)現(xiàn)實(shí)技術(shù)，通過(guò)識(shí)別目標(biāo)貨位下對(duì)應(yīng)的人工標(biāo)識(shí)，將分揀任務(wù)信息準(zhǔn)確疊加在分揀現(xiàn)場(chǎng)，引導(dǎo)工人執(zhí)行手工分揀操作。與上述方法相似，KRAJCOVIC等[15]也采用基于人工標(biāo)識(shí)的方法，首先利用安裝在可穿戴增強(qiáng)現(xiàn)實(shí)系統(tǒng)下的相機(jī)獲取分揀物理場(chǎng)景下的圖像信息，然后利用圖像分割、特征提取和匹配等方法檢索得到目標(biāo)貨位下的人工標(biāo)識(shí)，計(jì)算當(dāng)前增強(qiáng)現(xiàn)實(shí)系統(tǒng)相對(duì)于目標(biāo)貨位的位姿，實(shí)現(xiàn)待分揀任務(wù)信息在物理貨架現(xiàn)場(chǎng)上的準(zhǔn)確疊加。上述基于人工標(biāo)識(shí)的方法，通過(guò)構(gòu)建分揀任務(wù)可視化信息和物理分揀現(xiàn)場(chǎng)間的位姿關(guān)聯(lián)，將待分揀的目標(biāo)貨位以某種特定形式(如高亮標(biāo)記)顯示在HMD上，避免了工人在高密度貨架上繁重的腦力搜索。然而，由于上述方法在分揀現(xiàn)場(chǎng)缺乏不同人工標(biāo)識(shí)間的空間位置關(guān)系，只有當(dāng)貨架上的人工標(biāo)識(shí)被特定位置的相機(jī)所視并識(shí)別時(shí)，該可穿戴增強(qiáng)現(xiàn)實(shí)系統(tǒng)才能正確地進(jìn)行分揀可視化指引，當(dāng)貨架上的某些人工標(biāo)識(shí)掉落或被污染時(shí)，該增強(qiáng)分揀系統(tǒng)將無(wú)法正常工作。

為進(jìn)一步提高可穿戴增強(qiáng)現(xiàn)實(shí)分揀系統(tǒng)的車(chē)間現(xiàn)場(chǎng)適用性，本文在現(xiàn)有人工標(biāo)識(shí)增強(qiáng)分揀系統(tǒng)[14-15]的基礎(chǔ)上，提出一種基于分揀現(xiàn)場(chǎng)地圖的全局感知和定位模型，通過(guò)構(gòu)建分揀現(xiàn)場(chǎng)環(huán)境下基于人工標(biāo)識(shí)的全局地圖，引入基于現(xiàn)場(chǎng)全局地圖的增強(qiáng)可視化導(dǎo)航，構(gòu)建更具環(huán)境適應(yīng)性的信息和物理關(guān)聯(lián)系統(tǒng)，從而避免傳統(tǒng)基于特定目標(biāo)人工標(biāo)識(shí)對(duì)增強(qiáng)分揀系統(tǒng)的局限。最后，通過(guò)在某汽車(chē)裝配線上的實(shí)際應(yīng)用驗(yàn)證，表明了本文所述增強(qiáng)現(xiàn)實(shí)分揀方法的有效性和可行性。

1 分揀問(wèn)題描述

本文所述的手工分揀現(xiàn)場(chǎng)如圖1所示，工人需要根據(jù)紙質(zhì)分揀單描述(如表1)，從固定貨架上查找待分揀目標(biāo)所在的貨柜位置，并將該貨柜處一定數(shù)量的貨物搬運(yùn)到移動(dòng)運(yùn)貨車(chē)對(duì)應(yīng)的位置上，待移動(dòng)運(yùn)貨車(chē)上的貨物裝滿后，將分揀得到的貨物轉(zhuǎn)運(yùn)至下一裝配工序。

表1 手工分揀單示例表

在執(zhí)行分揀工作時(shí)，工人需要根據(jù)上述分揀單，頻繁地從固定貨架上取出貨物，依次放置在移動(dòng)運(yùn)貨車(chē)相應(yīng)的貨位。為保證持續(xù)執(zhí)行重復(fù)分揀過(guò)程的正確性，對(duì)分揀工人的腦力和體力都提出了非常高的要求，尤其在高密度的貨柜環(huán)境中，工人必須高度專(zhuān)注才能盡量避免誤揀。在手工分揀過(guò)程中，工人往往需要暫停當(dāng)前工作去標(biāo)記紙質(zhì)分揀單信息，也在一定程度上影響了整個(gè)分揀效率。

因此，本文通過(guò)構(gòu)建基于人工標(biāo)識(shí)的分揀現(xiàn)場(chǎng)全局地圖，借助可穿戴增強(qiáng)現(xiàn)實(shí)技術(shù)，將分揀過(guò)程的紙質(zhì)文本和分揀邏輯等信息以可視化方式標(biāo)注在車(chē)間分揀現(xiàn)場(chǎng)，引導(dǎo)工人執(zhí)行正確有效的分揀工作。

2 增強(qiáng)現(xiàn)實(shí)智能分揀系統(tǒng)

為實(shí)現(xiàn)基于可穿戴增強(qiáng)現(xiàn)實(shí)的智能分揀，以將待增強(qiáng)的分揀任務(wù)直接標(biāo)注在車(chē)間現(xiàn)場(chǎng)，本文具體流程如圖2所示，主要分為構(gòu)建分揀現(xiàn)場(chǎng)地圖和增強(qiáng)現(xiàn)實(shí)分揀指引兩個(gè)階段。

(1)構(gòu)建分揀現(xiàn)場(chǎng)地圖 在分揀現(xiàn)場(chǎng)和貨架上布置相應(yīng)的人工標(biāo)識(shí)，用相機(jī)獲取不同位置下分揀現(xiàn)場(chǎng)的圖像，通過(guò)對(duì)現(xiàn)場(chǎng)圖像中的人工標(biāo)識(shí)進(jìn)行提取—匹配—重建，得到基于多個(gè)人工標(biāo)識(shí)的分揀現(xiàn)場(chǎng)地圖。同時(shí)，根據(jù)現(xiàn)有物料的紙質(zhì)分揀單，在增強(qiáng)分揀系統(tǒng)中集成分揀任務(wù)邏輯，為后續(xù)可穿戴智能分揀系統(tǒng)作業(yè)流程提供指導(dǎo)。

(2)增強(qiáng)現(xiàn)實(shí)分揀指引 首先，通過(guò)可穿戴增強(qiáng)現(xiàn)實(shí)系統(tǒng)加載分揀任務(wù)信息和離線構(gòu)建的人工標(biāo)識(shí)地圖；其次，當(dāng)工人在現(xiàn)場(chǎng)執(zhí)行分揀操作時(shí)，通過(guò)可穿戴增強(qiáng)現(xiàn)實(shí)眼鏡上固聯(lián)的相機(jī)實(shí)時(shí)獲取當(dāng)前分揀現(xiàn)場(chǎng)的圖像，并提取和識(shí)別圖像中的人工標(biāo)識(shí)，結(jié)合已離線構(gòu)建的人工標(biāo)識(shí)地圖構(gòu)建3D-2D間的對(duì)應(yīng)關(guān)系，進(jìn)而解算增強(qiáng)現(xiàn)實(shí)眼鏡在車(chē)間現(xiàn)場(chǎng)的位姿；最后，根據(jù)手工分揀的任務(wù)流程，按照從整體到局部的檢索形式，將分揀目標(biāo)貨位“點(diǎn)亮”在工人可穿戴眼鏡的視場(chǎng)中，實(shí)現(xiàn)手工分揀過(guò)程的智能可視化引導(dǎo)。

2.1 構(gòu)建分揀現(xiàn)場(chǎng)地圖

在基于可穿戴增強(qiáng)現(xiàn)實(shí)的智能分揀中，為將待分揀任務(wù)信息準(zhǔn)確疊加在車(chē)間現(xiàn)場(chǎng)，必須保證該增強(qiáng)現(xiàn)實(shí)系統(tǒng)在車(chē)間現(xiàn)場(chǎng)具有穩(wěn)定的跟蹤定位能力。文獻(xiàn)[14-15]的方法，只有當(dāng)現(xiàn)場(chǎng)特定目標(biāo)人工標(biāo)識(shí)出現(xiàn)在相機(jī)視場(chǎng)中時(shí)，才能對(duì)待分揀信息進(jìn)行可視化指引，極大限制了增強(qiáng)現(xiàn)實(shí)分揀的現(xiàn)場(chǎng)適應(yīng)性。本文通過(guò)在分揀現(xiàn)場(chǎng)粘貼大量的人工標(biāo)識(shí)，采用計(jì)算機(jī)視覺(jué)測(cè)量和三維重建方法構(gòu)建分揀現(xiàn)場(chǎng)貨物的全局地圖。

對(duì)于現(xiàn)場(chǎng)環(huán)境下的人工標(biāo)識(shí)，根據(jù)其朝向r=(rx,ry,rz)和位置t=(tx,ty,tz)，構(gòu)建其在現(xiàn)場(chǎng)工況下的空間位姿φ∈6:

φ={(r,t)|r,t∈3}。

(1)

基于羅德里格斯旋轉(zhuǎn)變換，從旋轉(zhuǎn)向量r中恢復(fù)得到3×3旋轉(zhuǎn)矩陣R。因此，對(duì)于空間任意三維點(diǎn)p∈3，可根據(jù)相機(jī)的內(nèi)參數(shù)矩陣δ和空間位姿φ，計(jì)算其在相機(jī)平面上的二維投影點(diǎn)u∈2，對(duì)應(yīng)的投影變換關(guān)系可表示為

u=π(φ,δ,p)。

(2)

式中δ=(fx,fy,cx,cy,k1,k2,p1,p2)為相機(jī)的內(nèi)參數(shù)，由相機(jī)焦距(fx,fy)、圖像主點(diǎn)坐標(biāo)(cx,cy)和相機(jī)畸變參數(shù)(k1,k2,p1,p2)組成。

車(chē)間現(xiàn)場(chǎng)的不同人工標(biāo)識(shí)通過(guò)構(gòu)建反投影誤差的最小平方優(yōu)化函數(shù)進(jìn)行求解，其函數(shù)模型表示為

(3)

式中：O(p)∈2為空間三維點(diǎn)p在圖像上的二維觀測(cè)坐標(biāo)值；Ω為待重建的特征集合。

在構(gòu)建人工標(biāo)識(shí)地圖的過(guò)程中，本文采用AprilTag[16]對(duì)分揀現(xiàn)場(chǎng)下的不同人工標(biāo)識(shí)進(jìn)行編號(hào)。假設(shè)平面人工標(biāo)識(shí)的邊長(zhǎng)為L(zhǎng)，以平面人工標(biāo)識(shí)的中心為原點(diǎn)(如圖3a)，構(gòu)建基于該人工標(biāo)識(shí)各角點(diǎn)ci(i=1,2,3,4)的空間坐標(biāo)：

(4)

根據(jù)分揀現(xiàn)場(chǎng)獲取的含有人工標(biāo)識(shí)的圖像，采用人工標(biāo)識(shí)的提取檢測(cè)方法[16]，從圖像中得到相應(yīng)的人工標(biāo)識(shí)編號(hào)及其對(duì)應(yīng)的二維圖像角點(diǎn)坐標(biāo)。對(duì)于第n幅圖像上的第i個(gè)人工標(biāo)識(shí)，其對(duì)應(yīng)的4個(gè)角點(diǎn)二維圖像坐標(biāo)表示為

(5)

分揀現(xiàn)場(chǎng)下人工標(biāo)識(shí)全局地圖的構(gòu)建流程如圖3b所示，分為提取人工標(biāo)識(shí)、匹配人工標(biāo)識(shí)和構(gòu)建全局地圖3個(gè)階段?；谌斯?biāo)識(shí)三維點(diǎn)與二維圖像點(diǎn)間的對(duì)應(yīng)關(guān)系，將式(4)和式(5)代入式(3)，得到分揀現(xiàn)場(chǎng)環(huán)境下各人工標(biāo)識(shí)全局地圖的優(yōu)化函數(shù)

‖π(φ,δi,ci,j)-ui,j‖2。

(6)

式中：ci,j為i幅圖像上第j個(gè)角點(diǎn)的空間三維坐標(biāo)；M和N分別為所獲取的分揀現(xiàn)場(chǎng)圖像數(shù)和每張現(xiàn)場(chǎng)圖上提取到的人工標(biāo)識(shí)數(shù)量。通過(guò)求解式(6)，可解算現(xiàn)場(chǎng)環(huán)境下各人工標(biāo)識(shí)間的空間位姿關(guān)系，進(jìn)而獲取現(xiàn)場(chǎng)環(huán)境下的人工標(biāo)識(shí)全局地圖。

2.2 增強(qiáng)現(xiàn)實(shí)分揀指引

采用2.1節(jié)獲取的分揀現(xiàn)場(chǎng)全局人工標(biāo)識(shí)地圖，當(dāng)分揀工人佩戴可穿戴增強(qiáng)現(xiàn)實(shí)眼鏡執(zhí)行分揀任務(wù)時(shí)，系統(tǒng)自帶的攝像頭能夠?qū)崟r(shí)獲取車(chē)間現(xiàn)場(chǎng)包含人工標(biāo)識(shí)的環(huán)境圖像，通過(guò)識(shí)別圖像中的人工標(biāo)識(shí)，獲取不同人工標(biāo)識(shí)的ID及其對(duì)應(yīng)的二維圖像角點(diǎn)坐標(biāo)。同時(shí)，利用離線獲取的人工標(biāo)識(shí)全局地圖，構(gòu)建當(dāng)前圖像中所檢測(cè)標(biāo)識(shí)的二維角點(diǎn)坐標(biāo)與三維空間點(diǎn)坐標(biāo)間的對(duì)應(yīng)關(guān)系，進(jìn)而估計(jì)智能眼鏡在分揀現(xiàn)場(chǎng)的位姿，其原理如圖4所示。

在本文的增強(qiáng)現(xiàn)實(shí)現(xiàn)場(chǎng)分揀研究中，考慮到工人在分揀現(xiàn)場(chǎng)位置運(yùn)動(dòng)的不確定性，借助上述基于人工標(biāo)識(shí)的全局地圖，分別構(gòu)建分揀現(xiàn)場(chǎng)環(huán)境下基于增強(qiáng)現(xiàn)實(shí)的目標(biāo)貨架導(dǎo)航(如圖4a)和目標(biāo)貨位分揀導(dǎo)航(如圖4b)兩部分，以快速引導(dǎo)分揀工人在車(chē)間現(xiàn)場(chǎng)查找到對(duì)應(yīng)的分揀目標(biāo)。

在離線構(gòu)建分揀現(xiàn)場(chǎng)地圖中，得到現(xiàn)場(chǎng)世界坐標(biāo)系{w}下人工標(biāo)識(shí)N個(gè)角點(diǎn)的齊次三維坐標(biāo)wXi(i=1,…,N)，wXi=(wXi,wYi,wZi,1)T。當(dāng)工人在現(xiàn)場(chǎng)執(zhí)行增強(qiáng)可視化分揀時(shí)，通過(guò)相機(jī)獲取具有人工標(biāo)識(shí)的現(xiàn)場(chǎng)圖像，可以得到該三維角點(diǎn)坐標(biāo)對(duì)應(yīng)的二維圖像齊次坐標(biāo)wxi=(xi,yi,1)T，根據(jù)相應(yīng)的ID號(hào)進(jìn)行2D-3D對(duì)應(yīng)，構(gòu)建直接線性變換求解的PnP(perspective-n-point)[17]數(shù)學(xué)模型，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)眼鏡在分揀現(xiàn)場(chǎng)位姿的快速解算，具體過(guò)程如下：

將車(chē)間現(xiàn)場(chǎng)環(huán)境下增強(qiáng)現(xiàn)實(shí)眼鏡的位姿cTw=(cRw,ctw)表示為齊次4×4矩陣：

(7)

式中r1,r2，r3為cTw中旋轉(zhuǎn)矩陣部分的3×1行向量?？紤]到相機(jī)內(nèi)參數(shù)可以預(yù)先標(biāo)定得到，根據(jù)式(2)構(gòu)建相機(jī)在分揀現(xiàn)場(chǎng)位姿的求解模型

(8)

式中h是cTw的向量表示。將已獲取的N組對(duì)應(yīng)點(diǎn)集合{wXi,wxi}i=1:N代入式(8)，利用奇異值分解方法，計(jì)算得到可穿戴增強(qiáng)現(xiàn)實(shí)眼鏡在分揀現(xiàn)場(chǎng)的實(shí)時(shí)位姿，根據(jù)該位姿將待分揀貨位信息高亮顯示在該眼鏡上進(jìn)行可視化分揀引導(dǎo)。

3 實(shí)驗(yàn)與分析

3.1 現(xiàn)場(chǎng)定位精度分析

為評(píng)估本文所述增強(qiáng)現(xiàn)實(shí)眼鏡在分揀現(xiàn)場(chǎng)的定位精度，用相機(jī)從不同視角獲取分揀現(xiàn)場(chǎng)的圖像，如圖5a所示?；谝褬?biāo)定的相機(jī)參數(shù)和本文所述方法，恢復(fù)得到分揀現(xiàn)場(chǎng)下不同人工標(biāo)識(shí)的全局地圖，如圖5b所示。

在重建所得人工標(biāo)識(shí)地圖的基礎(chǔ)上，通過(guò)建立人工標(biāo)識(shí)編碼坐標(biāo)系(如圖5a)，對(duì)分揀現(xiàn)場(chǎng)貨架上的人工標(biāo)識(shí)位置進(jìn)行編碼。采用基準(zhǔn)標(biāo)尺測(cè)量沿坐標(biāo)軸方向上相鄰兩個(gè)人工標(biāo)識(shí)之間的距離d(i+1,j)→(i,j)，結(jié)合離線重建所得對(duì)應(yīng)人工標(biāo)識(shí)間的距離M(i+1,j)→(i,j)，構(gòu)建重建誤差的評(píng)定模型

(9)

式中i和j為人工標(biāo)識(shí)在編碼坐標(biāo)系中對(duì)應(yīng)的位置坐標(biāo)。

根據(jù)圖5b中恢復(fù)所得的人工標(biāo)識(shí)地圖，在式(9)中將i，j位置互換，可構(gòu)建24組距離測(cè)量評(píng)價(jià)組合，其重建人工標(biāo)識(shí)間的相對(duì)位置誤差約為0.5%(如圖5c)，實(shí)驗(yàn)結(jié)果表明本文所述方法能夠恢復(fù)得到現(xiàn)場(chǎng)環(huán)境下可靠的人工標(biāo)識(shí)地圖。后續(xù)可通過(guò)構(gòu)建現(xiàn)場(chǎng)人工標(biāo)識(shí)三維地圖點(diǎn)和二位圖像點(diǎn)間的對(duì)應(yīng)關(guān)系，采用PnP位姿求解方法，實(shí)現(xiàn)可穿戴增強(qiáng)現(xiàn)實(shí)眼鏡在分揀現(xiàn)場(chǎng)位姿的快速解算。

3.2 增強(qiáng)分揀實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文所述可穿戴增強(qiáng)現(xiàn)實(shí)的智能分揀方法，將其集成到北京悉見(jiàn)科技有限公司的XMAN系列眼鏡上，通過(guò)眼鏡端自帶的相機(jī)獲取車(chē)間現(xiàn)場(chǎng)1 280×720像素圖像，計(jì)算處理端采用華為Mate10手機(jī)搭載Android系統(tǒng)。實(shí)驗(yàn)表明，從所獲取圖像中提取二維標(biāo)識(shí)進(jìn)行位姿解算的平均時(shí)間約為55 ms，基本可以實(shí)現(xiàn)導(dǎo)航信息的無(wú)延時(shí)更新顯示。同時(shí)，為保證增強(qiáng)可視化指引的平滑性，在位姿估計(jì)上采用了濾波的方式，以將邏輯分揀任務(wù)可視化、友好地呈現(xiàn)在眼鏡端，其現(xiàn)場(chǎng)分揀示意如圖6所示。

在現(xiàn)場(chǎng)大范圍目標(biāo)貨架查找過(guò)程中，通過(guò)在分揀現(xiàn)場(chǎng)的走廊中布置尺寸較大的人工標(biāo)識(shí)，構(gòu)建現(xiàn)場(chǎng)貨架的智能導(dǎo)航地圖。當(dāng)目標(biāo)貨架不在增強(qiáng)現(xiàn)實(shí)設(shè)備視場(chǎng)中時(shí)，利用已離線構(gòu)建的分揀現(xiàn)場(chǎng)全局地圖信息，對(duì)分揀現(xiàn)場(chǎng)環(huán)境下的目標(biāo)貨架進(jìn)行引導(dǎo)(如圖7a)，以輔助工人快速查找目標(biāo)貨架，并將目標(biāo)貨架位置點(diǎn)亮在分揀現(xiàn)場(chǎng)(如圖7b)，實(shí)現(xiàn)分揀現(xiàn)場(chǎng)環(huán)境下的增強(qiáng)可視化導(dǎo)航。

在局部高密度貨架上準(zhǔn)確查找貨位的過(guò)程中，相應(yīng)的增強(qiáng)現(xiàn)實(shí)分揀任務(wù)可視化如圖7c和圖7d所示：當(dāng)待分揀目標(biāo)不在當(dāng)前視場(chǎng)中時(shí)，系統(tǒng)會(huì)基于已構(gòu)建的全局人工標(biāo)識(shí)地圖顯示目標(biāo)貨架所在方位，以快速將工人引導(dǎo)至目標(biāo)分揀貨位，并在視場(chǎng)中點(diǎn)亮目標(biāo)貨位所在的位置。同時(shí)，在增強(qiáng)現(xiàn)實(shí)的智能分揀中，也采用可視化方式將當(dāng)前的分揀狀態(tài)和任務(wù)執(zhí)行進(jìn)度呈現(xiàn)在工人的視場(chǎng)中，從而輔助工人把控當(dāng)前的手工分揀步驟，提高分揀過(guò)程的智能化和信息化水平。

為驗(yàn)證本文所述增強(qiáng)分揀方法的可行性，在實(shí)際分揀作業(yè)過(guò)程中，為保證實(shí)驗(yàn)公平，將尚無(wú)分揀經(jīng)驗(yàn)的分揀工人分為兩組，并告知待分揀的目標(biāo)任務(wù)信息，分別以傳統(tǒng)紙質(zhì)分揀單和本文的增強(qiáng)現(xiàn)實(shí)分揀系統(tǒng)為依據(jù)，執(zhí)行相應(yīng)的分揀任務(wù)。在雙方執(zhí)行分揀任務(wù)的過(guò)程中，由第三方統(tǒng)計(jì)各自執(zhí)行該分揀任務(wù)的時(shí)間，結(jié)果如圖8所示。其中圖8a為本文所述增強(qiáng)現(xiàn)實(shí)分揀和傳統(tǒng)紙質(zhì)分揀過(guò)程的時(shí)間統(tǒng)計(jì)情況，可見(jiàn)本文方法具有更高的分揀效率;圖8b為對(duì)單次分揀時(shí)間的統(tǒng)計(jì)，可見(jiàn)傳統(tǒng)手工分揀時(shí)間約為每次分揀50 s左右，本文方法的單次分揀時(shí)間降至30 s，有效提高了手工分揀的效率。

為進(jìn)一步討論本增強(qiáng)分揀系統(tǒng)的現(xiàn)場(chǎng)適應(yīng)性，通過(guò)增加有經(jīng)驗(yàn)分揀工人的方式，開(kāi)展進(jìn)一步實(shí)驗(yàn)驗(yàn)證。該分揀任務(wù)中涉及4組分揀物料的操作，其中每組分揀任務(wù)需根據(jù)分揀單的邏輯，從貨架上取出特定數(shù)量的物料放置在移動(dòng)貨車(chē)上相應(yīng)的位置，待移動(dòng)貨車(chē)裝滿物料后，完成該組手工分揀任務(wù)。統(tǒng)計(jì)每組實(shí)驗(yàn)過(guò)程中的執(zhí)行時(shí)間，具體如表2所示。從實(shí)驗(yàn)結(jié)果可知，基于增強(qiáng)現(xiàn)實(shí)的分揀系統(tǒng)，在工人視場(chǎng)中呈現(xiàn)的可視化指引能提高無(wú)經(jīng)驗(yàn)工人的分揀效率，然而在本實(shí)驗(yàn)所述的應(yīng)用現(xiàn)場(chǎng)下，有經(jīng)驗(yàn)的分揀工人因?yàn)橐呀?jīng)熟悉和理解作業(yè)的任務(wù)邏輯和環(huán)境，所以是否采用增強(qiáng)可視化分揀，對(duì)提高分揀效率并不顯著，甚至?xí)?duì)熟練工人的正常分揀產(chǎn)生一定干擾，但在分揀的準(zhǔn)確性上，本文所述增強(qiáng)可視化的分揀方法依然具有優(yōu)勢(shì)。該實(shí)驗(yàn)也說(shuō)明增強(qiáng)現(xiàn)實(shí)在實(shí)際分揀現(xiàn)場(chǎng)中的應(yīng)用效果與待分揀任務(wù)的復(fù)雜性和成熟度有關(guān)，特別對(duì)現(xiàn)場(chǎng)作業(yè)經(jīng)驗(yàn)不足的工人，其增強(qiáng)可視化輔助效果明顯。

表2 不同分揀方式的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

4 結(jié)束語(yǔ)

結(jié)合實(shí)際的分揀現(xiàn)場(chǎng)環(huán)境，本文提出一種基于可穿戴增強(qiáng)現(xiàn)實(shí)系統(tǒng)的智能分揀方法，通過(guò)獲取包含人工標(biāo)識(shí)的車(chē)間現(xiàn)場(chǎng)圖像，離線構(gòu)建分揀現(xiàn)場(chǎng)環(huán)境下的全局人工標(biāo)識(shí)地圖，進(jìn)而在工人執(zhí)行手工分揀過(guò)程中，實(shí)時(shí)解算增強(qiáng)現(xiàn)實(shí)眼鏡在分揀現(xiàn)場(chǎng)中的位置和朝向，以將待分揀任務(wù)高亮標(biāo)注在分揀現(xiàn)場(chǎng)，指引工人執(zhí)行相應(yīng)的手工分揀操作，有效提高了分揀效率和準(zhǔn)確性。同時(shí)，本研究也表明增強(qiáng)分揀在車(chē)間現(xiàn)場(chǎng)的實(shí)際效果與待作業(yè)任務(wù)的復(fù)雜性和作業(yè)工人的經(jīng)驗(yàn)有關(guān)，對(duì)缺乏經(jīng)驗(yàn)的工人而言，其增強(qiáng)可視化指引更有效。

手工分揀是車(chē)間現(xiàn)場(chǎng)中的一項(xiàng)長(zhǎng)時(shí)間重復(fù)工作，可穿戴眼鏡的介入會(huì)改善工人執(zhí)行分揀操作的舒適性。本文實(shí)驗(yàn)間接表明了增強(qiáng)現(xiàn)實(shí)在實(shí)際分揀現(xiàn)場(chǎng)中的應(yīng)用效果，其與作業(yè)工人的熟練程度和待作業(yè)任務(wù)的復(fù)雜性都存在一定關(guān)系，因此未來(lái)的研究將會(huì)進(jìn)一步探討增強(qiáng)現(xiàn)實(shí)眼鏡在人因工程方面對(duì)分揀工人的影響，從更系統(tǒng)的角度評(píng)定增強(qiáng)現(xiàn)實(shí)系統(tǒng)在手工作業(yè)指引中的作用。