劉長春,唐敦兵,張澤群,王 震,張林琦

(南京航空航天大學(xué) 機(jī)電學(xué)院,江蘇 南京 210016)

0 引言

由于市場競爭日趨激烈,現(xiàn)代制造業(yè)面臨著巨大的生存壓力,迫使傳統(tǒng)制造業(yè)不斷改革升級(jí)[1]。在此基礎(chǔ)上,物聯(lián)制造車間中設(shè)備的數(shù)量和復(fù)雜性都在增加,更容易導(dǎo)致制造過程中出現(xiàn)故障和停機(jī)[2]。如何在生產(chǎn)過程中合理處理故障來縮短停機(jī)時(shí)間,降低制造成本并確保生產(chǎn)效率是物聯(lián)制造車間管理過程中面臨的難題。據(jù)資料顯示,車間設(shè)備在生產(chǎn)過程中因故障造成的損失已占其生產(chǎn)成本的30%～40%[3]。然而,由于不當(dāng)?shù)木S修方式造成的額外費(fèi)用占據(jù)了故障設(shè)備維修總費(fèi)用的三分之一[4]。

在傳統(tǒng)維修中,維修人員主要以紙質(zhì)維修工單和紙質(zhì)維修說明書的形式,按照流程邏輯依次讀取和理解文本信息來執(zhí)行相應(yīng)的維修工作[5]。然而,反復(fù)地讀取和理解紙質(zhì)工單并查詢紙質(zhì)維修說明書,容易使得維修人員受車間嘈雜環(huán)境影響而引起不當(dāng)維修。為提高維修效率并降低維修過程中的不當(dāng)維修概率,從而改善維修質(zhì)量,研究直觀可視化的維修表征方法代替?zhèn)鹘y(tǒng)紙質(zhì)維修說明的形式,已經(jīng)成為當(dāng)前智能維修的一個(gè)重要方向。

隨著工業(yè)物聯(lián)網(wǎng)的發(fā)展,增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)作為一項(xiàng)富有前沿創(chuàng)新性的技術(shù),正逐漸應(yīng)用于工業(yè)領(lǐng)域[6-7]。AR主要是指在真實(shí)環(huán)境中加入虛擬場景或相關(guān)信息,增強(qiáng)用戶對(duì)真實(shí)場景的感知,以虛實(shí)結(jié)合的方式輔助操作人員[8]。WEBEL等[9]開發(fā)了基于AR技術(shù)的組裝維修培訓(xùn)平臺(tái),可以指導(dǎo)技術(shù)人員通過AR技術(shù)快速組裝維修復(fù)雜的機(jī)械產(chǎn)品。MICHALOS等[10]開發(fā)了一個(gè)支持AR的系統(tǒng),以幫助工人更好地與車間中的機(jī)器人協(xié)作,該系統(tǒng)可以將裝配過程可視化并實(shí)時(shí)更新,從而確保生產(chǎn)安全。為了解決裝配過程中復(fù)雜信息存在可讀性差的問題,李旺等[11]使用AR來可視化已建立的裝配模型。為了提高設(shè)備維修的效率,YANG等[12]開發(fā)了減速機(jī)虛擬拆卸平臺(tái),可在優(yōu)化拆卸順序的指導(dǎo)下完成虛擬拆卸。KONSTANTINIDIS等[13]開發(fā)了一種基于AR的汽車行業(yè)智能輔助維修系統(tǒng),將虛擬維修信息疊加在自然場景中,以輔助低技能操作員。為了解決變電站設(shè)備維修效率低的問題,ANTONIJEVIC等[14]開發(fā)了一種基于AR技術(shù)引導(dǎo)和遠(yuǎn)程協(xié)助的智能維修系統(tǒng)。因此,AR技術(shù)能夠?yàn)檐囬g設(shè)備維修帶來新思路,從而實(shí)現(xiàn)維修操作的智能可視化輔助[15]。在增強(qiáng)現(xiàn)實(shí)完全集成到現(xiàn)代制造系統(tǒng)之前,AR在工業(yè)領(lǐng)域的應(yīng)用仍有進(jìn)一步研究的沃土。

但是,由于車間制造裝備的種類多、體型大、內(nèi)部零部件復(fù)雜精密,并且維修的場景通常位于車間現(xiàn)場設(shè)備內(nèi)部,需給予指引[16],對(duì)于車間現(xiàn)場設(shè)備的輔助維修,需要實(shí)現(xiàn)車間現(xiàn)場待維修部件的快速定位和操作指示,對(duì)定位算法的計(jì)算能力和實(shí)時(shí)性有較高的要求。鐃尊煜[17]針對(duì)ORB-SLAM2(oriented brief-simultaneous localization and mapping)算法在構(gòu)建稀疏特征點(diǎn)地圖時(shí)易讀性較低的問題,運(yùn)用實(shí)時(shí)構(gòu)建稠密點(diǎn)云地圖的方案,保證了構(gòu)建地圖的實(shí)時(shí)性,但是在地圖的人機(jī)交互性方面性能不足。張陽等[18]采用ORB-SLAM2算法為水下機(jī)器人作業(yè)定位設(shè)計(jì)了方案,通過特征點(diǎn)提取和點(diǎn)云建模為水下機(jī)器人提供了實(shí)時(shí)定位。邱笑晨等[19]對(duì)ORB-SLAM的系統(tǒng)架構(gòu)進(jìn)行了分析,并通過研究約束條件和加速手段保證了系統(tǒng)定位的實(shí)時(shí)性。席志紅等[20]通過添加稠密點(diǎn)云地圖,實(shí)現(xiàn)了相機(jī)的位姿估計(jì)和重定位,可直接用于導(dǎo)航和路徑規(guī)劃。

上述文獻(xiàn)中的定位算法均在擁有足夠算力的臺(tái)式工作站上運(yùn)行,而可穿戴AR設(shè)備的輕量級(jí)計(jì)算能力難以支持維修場景中復(fù)雜的特征提取、空間位姿解算等功能。幸運(yùn)的是,邊云協(xié)同計(jì)算作為云計(jì)算的一種新的發(fā)展方向,其不僅可以提供云計(jì)算具備的強(qiáng)大算力和存儲(chǔ),還可以在邊緣端進(jìn)行實(shí)時(shí)靈活的部署[21-22]。

文獻(xiàn)[23]針對(duì)頭戴式AR設(shè)備在處理地理信息可視化方面存在計(jì)算能力有限的問題,提出了邊云協(xié)同的AR空間分析計(jì)算框架,實(shí)現(xiàn)了在AR端完成地理信息可視化的同時(shí)還能處理復(fù)雜的地理空間計(jì)算問題。文獻(xiàn)[24]針對(duì)變電設(shè)備數(shù)據(jù)處理時(shí)延大的問題,提出一種變電設(shè)備的邊云協(xié)同服務(wù)方法,云端可以訓(xùn)練不同變電設(shè)備的算法模型,邊緣端可以進(jìn)行變電設(shè)備的邊緣側(cè)狀態(tài)評(píng)價(jià)。文獻(xiàn)[25]針對(duì)串行任務(wù)卸載算法在邊緣端運(yùn)行存在資源利用和資源效能的局限性,通過邊云協(xié)同實(shí)現(xiàn)串行任務(wù)動(dòng)態(tài)分配處理。文獻(xiàn)[26]針對(duì)工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的可靠存儲(chǔ)及更新問題,提出了面向多任務(wù)場景下的邊緣—云協(xié)同框架,通過建立總體時(shí)延問題模型,實(shí)現(xiàn)邊緣—云的工作時(shí)間最小化,充分利用了云端以及邊緣端的算力。由此可見,邊云協(xié)同計(jì)算為可穿戴AR設(shè)備在車間現(xiàn)場維修環(huán)境中進(jìn)行復(fù)雜的特征提取、空間位姿解算等需要強(qiáng)算力支持的功能提供了解決方案。

盡管已有研究在智能維修領(lǐng)域取得了一定的成果,具有一定的借鑒意義,但仍存在以下不足之處,值得進(jìn)一步改進(jìn)：

(1)已有研究多依賴于計(jì)算機(jī)進(jìn)行維修信息的處理與可視化。然而,受限于AR技術(shù)的發(fā)展,目前可穿戴AR設(shè)備的輕量級(jí)計(jì)算能力難以支持高實(shí)時(shí)性的算法來實(shí)現(xiàn)維修場景中復(fù)雜的特征提取、空間位姿解算等功能。因此,本文提出AR端與云端進(jìn)行邊云協(xié)同計(jì)算的流程框架,在AR端處理人機(jī)交互信息和提供智能可視化維修輔助的基礎(chǔ)上,構(gòu)建工業(yè)AR云平臺(tái)提供算力支持并將維修數(shù)據(jù)和維修經(jīng)驗(yàn)進(jìn)行持久化存儲(chǔ)。

(2)雖然已有研究中的ORB-SLAM2定位算法實(shí)時(shí)性高,但該算法嚴(yán)重依賴特征點(diǎn)的提取和匹配,在具有豐富紋理的維修場景中運(yùn)行將無法獲得足夠穩(wěn)定的匹配點(diǎn)對(duì),從而導(dǎo)致系統(tǒng)位置和姿態(tài)跟蹤丟失。為此,基于信息熵閾值的銳化調(diào)整算法被用來改進(jìn)ORB-SLAM2的算法性能。通過在云端運(yùn)行改進(jìn)的ORB-SLAM2算法,實(shí)現(xiàn)計(jì)算量大、精度高的特征提取、位姿解算任務(wù)。

(3)由于車間設(shè)備結(jié)構(gòu)呈現(xiàn)復(fù)雜化趨勢,且缺乏直觀可視化的維修表征方法,使得傳統(tǒng)維修工作存在效率低、操作易出錯(cuò)等難點(diǎn)和限制。本文將研究基于可穿戴AR設(shè)備的維修系統(tǒng),輔助完成車間設(shè)備、待維修部件等的識(shí)別,并根據(jù)故障類型匹配維修經(jīng)驗(yàn)知識(shí)庫中的維修操作,從而提供可視化的維修指導(dǎo)流程,幫助普通運(yùn)維人員快速上手維修工作。在實(shí)際工程應(yīng)用中,維修經(jīng)驗(yàn)知識(shí)庫難以涵蓋所有故障類型,針對(duì)未知故障及其引起的“疑難雜癥”,本文設(shè)計(jì)了AR遠(yuǎn)程專家系統(tǒng),維修人員配備可穿戴AR設(shè)備后,可以與遠(yuǎn)程專家在線溝通,排除故障根源并協(xié)助解決故障,提升維修的成功率。

1 基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修框架

基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修方案框架如圖1所示,集數(shù)據(jù)管理、人機(jī)交互、設(shè)備信息全息展示、算法分析集成管理和遠(yuǎn)程協(xié)助于一體,運(yùn)行流程如下：

圖1 基于邊云協(xié)同的車間現(xiàn)場AR智能維修實(shí)施框架

(1)云端工作流程 云端由數(shù)據(jù)管理模塊、應(yīng)用服務(wù)模塊和用于維修指引的算法在線分析模塊組成,其中數(shù)據(jù)管理模塊進(jìn)行車間運(yùn)行環(huán)境數(shù)據(jù)和維修案例資源的存儲(chǔ),應(yīng)用服務(wù)模塊提供GPU計(jì)算、Web應(yīng)用服務(wù)、數(shù)據(jù)讀取保存調(diào)用以及遠(yuǎn)程專家系統(tǒng)的接口等,算法在線分析模塊依賴云端的強(qiáng)大算力提供特征點(diǎn)提取匹配、三維注冊(cè)跟蹤以及位姿解算等服務(wù)。

(2)AR邊緣端工作流程 首先,AR邊緣端從云端調(diào)用車間環(huán)境數(shù)據(jù),通過點(diǎn)云數(shù)據(jù)導(dǎo)入、3D Max切片、模型導(dǎo)出等實(shí)現(xiàn)AR三維模型的生成并完成維修場景的構(gòu)建。然后,通過獲取實(shí)時(shí)交互數(shù)據(jù)來建立虛實(shí)映射關(guān)系,利用Unity軟件和Vuforia包完成手勢操作、語音操作以及三維引導(dǎo)等人機(jī)交互功能的開發(fā)。最后,通過Visual Studio軟件對(duì)輔助維修場景與人機(jī)交互內(nèi)容等進(jìn)行編譯并部署在增強(qiáng)現(xiàn)實(shí)設(shè)備上,完成部署后的AR邊緣端可以將待維修部件的信息和維修步驟說明映射到真實(shí)維修場景中。

(3)邊云協(xié)同計(jì)算流程 AR端與云端通過HTTP協(xié)議實(shí)現(xiàn)實(shí)時(shí)可視化模型與云端數(shù)據(jù)的連接、交互數(shù)據(jù)獲取傳輸、維修需求獲取和維修操作指導(dǎo)等。AR邊緣端主要作為感知入口,采集音視頻、位姿等數(shù)據(jù),負(fù)責(zé)處理維修期間的人機(jī)交互信息?；谶呍茀f(xié)同技術(shù),數(shù)據(jù)的存儲(chǔ)與處理均在云端執(zhí)行,可以實(shí)現(xiàn)可穿戴AR設(shè)備在有限計(jì)算資源的情況下完成復(fù)雜的特征提取、位姿跟蹤等操作,為后續(xù)輔助維修環(huán)節(jié)提供精準(zhǔn)可靠的指引。同時(shí),配備可穿戴AR設(shè)備的維修人員與遠(yuǎn)程專家系統(tǒng)之間通過WebRTC協(xié)議可以實(shí)現(xiàn)遠(yuǎn)程運(yùn)維功能。

2 用于輔助維修的移動(dòng)增強(qiáng)現(xiàn)實(shí)注冊(cè)跟蹤算法

2.1 基于改進(jìn)的ORB-SLAM2注冊(cè)跟蹤算法框架

為了實(shí)現(xiàn)虛擬維修操作信息和真實(shí)車間場景的無縫疊加,利用改進(jìn)的 ORB-SLAM2算法,進(jìn)行維修部件快速定位與指引。改進(jìn)的ORB-SLAM2注冊(cè)跟蹤算法的整體流程框架如圖2所示,主要由特征提取點(diǎn)提取,地圖坐標(biāo)系構(gòu)建及轉(zhuǎn)換和全局位姿解算3個(gè)部分構(gòu)成,主要流程如下：

圖2 基于改進(jìn)ORB-SLAM2的維修部件注冊(cè)定位方法流程

(1)特征點(diǎn)提取 系統(tǒng)首先接受來自相機(jī)的一系列圖像序列,初始化后將圖像幀傳遞給跟蹤模塊的線程,在該線程的圖像中提取ORB(oriented brief)特征。改進(jìn)后的算法在跟蹤線程中ORB特征檢測前的圖像預(yù)處理部分加入了基于信息熵閾值的銳化調(diào)整。

(2)地圖坐標(biāo)系構(gòu)建及轉(zhuǎn)換 根據(jù)規(guī)則確定關(guān)鍵幀后,通過關(guān)鍵幀和地圖點(diǎn)維護(hù)實(shí)現(xiàn)關(guān)鍵幀插入。通過相機(jī)位置矩陣將SLAM世界坐標(biāo)系對(duì)應(yīng)到維修場景中,實(shí)現(xiàn)完成局部地圖的構(gòu)建。

(3)全局位姿結(jié)算 通過目標(biāo)三維點(diǎn)坐標(biāo)與控制點(diǎn)坐標(biāo)的轉(zhuǎn)換計(jì)算,將位姿估計(jì)問題轉(zhuǎn)換成最小二乘問題,并用高斯—牛頓優(yōu)化EPnP位姿誤差目標(biāo)函數(shù),實(shí)現(xiàn)高精度的位姿求解功能。

2.2 基于銳化調(diào)整和自適應(yīng)信息熵的ORB特征提取方法

(1)ORB銳化調(diào)整算法

ORB算法在通過加速分段測試特征(Features from Accelerated Segment Test,FAST)提取算法確定圖像的特征點(diǎn)之后,需要采用二元魯棒獨(dú)立的基本特征(Binary Robust Independent Elementary Features,BRIEF)提取算法將這些特征點(diǎn)以某種方式描述出來,用來區(qū)分對(duì)象之間的差異。BRIEF算法就是一組由二進(jìn)制組成的特征描述符,首先確定特征點(diǎn)p的鄰域范圍,選取n對(duì)像素點(diǎn)x和y,通常而言,n取256,通過式(1)的τ操作計(jì)算出每一對(duì)的值,然后通過式(2)算出特征點(diǎn)p的特征描述符f(p)。最后,輸入一個(gè)相似度閾值,通過對(duì)圖像特征描述符的異或操作,可以計(jì)算出兩者特征描述符的相似度,以此判斷是否匹配成功,計(jì)算過程如下式所示：

(1)

(2)

其中：p為當(dāng)前的特征點(diǎn),p(x)為p在點(diǎn)x處的灰度值,p(y)為p在點(diǎn)y處的灰度值。因?yàn)锽RIEF算法不具備旋轉(zhuǎn)不變性,即圖像發(fā)生旋轉(zhuǎn)后,不會(huì)改變?cè)械淖鴺?biāo)系,所以選取出來的像素對(duì)也是不同的,對(duì)象特征描述符相應(yīng)發(fā)生了改變,但本質(zhì)上還是同一個(gè)對(duì)象。ORB采用了強(qiáng)度質(zhì)心的方法來測量對(duì)象旋轉(zhuǎn)的角度變化,即假設(shè)一個(gè)物體沿中心旋轉(zhuǎn)了某個(gè)角度,旋轉(zhuǎn)后重新建立坐標(biāo)系,保證坐標(biāo)系與對(duì)象旋轉(zhuǎn)的角度相同,從而保證了選取像素對(duì)的一致性。根據(jù)質(zhì)心在旋轉(zhuǎn)過程中的變化可以確定旋轉(zhuǎn)的角度,從而更新坐標(biāo)系,具體的計(jì)算公式如下：

(3)

(4)

(5)

(6)

其中：p和q分別表示二維圖像的邊界,I(x,y)表示在坐標(biāo)(x,y)處的灰度值。

在AR可穿戴設(shè)備的圖像傳輸和轉(zhuǎn)換過程中,圖像的清晰度會(huì)有所降低。因此,引入圖像銳化,目的是使圖像的邊緣和輪廓清晰,增強(qiáng)圖像的細(xì)節(jié)。在空間域采用高通濾波(二階微分)的方法,并使用拉普拉斯算子對(duì)圖像的每個(gè)像素進(jìn)行卷積運(yùn)算,以增加像素之間的方差,從而可以實(shí)現(xiàn)清晰圖像的呈現(xiàn)。如果卷積的變量是序列x(n)和h(n),則卷積的結(jié)果為：

(7)

分割后的圖像塊的卷積操作實(shí)際上就是利用卷積核在圖像上滑動(dòng)。利用像素灰度值乘以對(duì)應(yīng)卷積核上的值,并將所有相乘的值作為卷積核中間像素對(duì)應(yīng)的圖像上像素的灰度值相加。因此,卷積函數(shù)的表達(dá)式如下：

(8)

式中：anchor為內(nèi)核的參考點(diǎn);kernel為卷積核,這里的卷積模板是Laplacian變體算子的矩陣形式,其使用圖像的二階導(dǎo)數(shù)信息,是各向同性的,具體表達(dá)式如下所示：

(9)

(2)自適應(yīng)信息熵融合算法

在特征點(diǎn)的提取中,信息熵反映了局部圖像中包含的紋理信息豐富度或圖像像素梯度變化程度。信息熵值越大,圖像紋理信息越豐富,圖像像素梯度的變化越明顯,信息熵計(jì)算公式如下：

(10)

式中p(xi)是圖像中灰度為i(i=0,…,255)的像素的概率。概率越接近1,信息的不確定性越小。若圖像中包含的信息量用信息熵表示,則m×n大小的圖像的熵值定義如下：

(11)

(12)

然而,由于信息熵的數(shù)量與場景密切相關(guān),不同場景中的不同視頻序列具有不同的信息豐富度,不同場景的信息熵閾值也必然不同。在每個(gè)不同的場景中,需要反復(fù)實(shí)驗(yàn),多次設(shè)置信息熵閾值進(jìn)行匹配計(jì)算,得到對(duì)應(yīng)的閾值。但是,不同場景下的閾值差別很大。因此,閾值不具有通用性,會(huì)影響圖像預(yù)處理和特征提取,這將導(dǎo)致無法快速獲得更好的匹配結(jié)果。針對(duì)以上問題,提出了一種信息熵閾值自適應(yīng)方法,根據(jù)不同場景調(diào)整閾值,公式如下：

(13)

式中：H(i)ave為該場景中信息熵的平均值,可以通過獲取第一次運(yùn)行場景視頻中每一幀的信息熵除以幀數(shù)得到;i為視頻序列的幀數(shù);δ為校正因子。經(jīng)過反復(fù)實(shí)驗(yàn),校正因子δ=0.5時(shí),效果最好。通過式(13)計(jì)算出的E0即為場景的信息熵閾值。

2.3 維修場景地圖坐標(biāo)系構(gòu)建與轉(zhuǎn)換方法

在跟蹤過程中可通過相機(jī)位置矩陣將SLAM世界坐標(biāo)系對(duì)應(yīng)到維修場景中,實(shí)現(xiàn)實(shí)時(shí)的視點(diǎn)跟蹤過程。設(shè)定虛擬場景內(nèi)目標(biāo)點(diǎn)的世界坐標(biāo)為PN(XN,YN,ZN),設(shè)定可穿戴AR設(shè)備上的相機(jī)坐標(biāo)為PM(XM,YM,ZM),則存在旋轉(zhuǎn)矩陣R和平移向量t,使得PM=RPN+t。因此,世界坐標(biāo)系和相機(jī)坐標(biāo)系的映射關(guān)系如下：

與重力場特征相似，航磁異常總體上亦呈近EW向展布(圖3)，反映本區(qū)近EW向的基底構(gòu)造；宏觀上亦分為3個(gè)NWW向的航磁異常帶，即中部高磁異常帶、北東部相對(duì)低磁異常帶和南西部低磁異常帶，分別代表中部沉積巖地層、北東部寶山巖體和南西部大東山及高山巖體3個(gè)地質(zhì)背景區(qū)。其中中部高磁異常中心位于龍歸一帶，ΔT最大-60nT以上，往南、北兩側(cè)逐漸變低，負(fù)異常最值出現(xiàn)于測區(qū)西南角，ΔT最小-150nT以下，出露地層為大東山巖體，負(fù)異常中心地帶均對(duì)應(yīng)已出露的巖體，說明區(qū)域負(fù)磁異常主要為巖體引起[14-16]。

(14)

式中：R表示3×3正交單位矩陣,t=(tx,ty,tz,1)T為單位平移向量,O=(0,0,0,0)T。

設(shè)定像素坐標(biāo)系中的目標(biāo)點(diǎn)坐標(biāo)為(μ,γ),設(shè)定像素坐標(biāo)系的原點(diǎn)為(μ0,γ0),相機(jī)坐標(biāo)系和像素坐標(biāo)系的映射關(guān)系如下：

(15)

式中：fx=α·f,fy=β·f,α表示像素的水平尺寸,β表示像素的豎直尺寸,f表示可穿戴AR設(shè)備相機(jī)的焦距。結(jié)合式(14)世界坐標(biāo)系和相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,可得目標(biāo)點(diǎn)像素的坐標(biāo)為：

(16)

已知相機(jī)內(nèi)參矩陣、外參矩陣和目標(biāo)世界坐標(biāo),即可通過式(16)求得目標(biāo)在相機(jī)的成像位置(μ,γ)。通過將真實(shí)相機(jī)的內(nèi)參復(fù)制到虛擬維修場景中的相機(jī)內(nèi)參,即可完成增強(qiáng)現(xiàn)實(shí)設(shè)備的相機(jī)注冊(cè)過程。

2.4 基于高斯—牛頓優(yōu)化的EPnP全局位姿解算方法

為進(jìn)一步提高姿態(tài)解算結(jié)果的精度,將姿態(tài)估計(jì)問題轉(zhuǎn)化為一個(gè)最小二乘問題,然后通過高斯—牛頓法優(yōu)化高效多點(diǎn)透視成像(Efficient Perspective-n-Point,EPnP)方法中的最小二乘求解問題?；诟咚埂ｎD優(yōu)化的EPnP全局位姿解算方法能夠根據(jù)目標(biāo)的三維坐標(biāo)及在關(guān)鍵幀中的二維成像,計(jì)算移動(dòng)設(shè)備相機(jī)的位姿。EPnP方法用4個(gè)控制點(diǎn)的齊次線性組合來表示目標(biāo)三維點(diǎn),目標(biāo)三維點(diǎn)坐標(biāo)和控制點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系如下所示：

(17)

(18)

(19)

(20)

將n個(gè)點(diǎn)串起來,得到一個(gè)線性方程組,如式(21)所示：

Mx=0

(21)

(22)

式中：Vi是M的N個(gè)零特征值對(duì)應(yīng)的特征向量,對(duì)于第j個(gè)控制點(diǎn)：

(23)

(24)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境介紹

(1)實(shí)驗(yàn)驗(yàn)證環(huán)境

為了測試所提出的基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修方法的性能,在位于中國無錫的典型機(jī)加工車間進(jìn)行了實(shí)驗(yàn)。如圖3所示為物聯(lián)制造車間真實(shí)場景,其中機(jī)床的內(nèi)部數(shù)據(jù)可通過數(shù)據(jù)采集與監(jiān)視控制(Supervisory Control and Data Acquisition,SCADA)系統(tǒng)、工控機(jī)等獲取,包括主軸驅(qū)動(dòng)數(shù)據(jù)、刀具數(shù)據(jù)、進(jìn)給驅(qū)動(dòng)數(shù)據(jù)、運(yùn)行狀態(tài)數(shù)據(jù)等。機(jī)床的外部數(shù)據(jù)可以通過聲發(fā)射傳感器等各種感知設(shè)備獲取,包括溫度信號(hào)、振動(dòng)信號(hào)、電流信號(hào)等。維修人員和自動(dòng)導(dǎo)引運(yùn)輸車(Automated Guided Vehicle,AGV)的定位數(shù)據(jù)通過超寬帶(Ultra Wide Band,UWB)技術(shù)進(jìn)行獲取。此外,維修人員通過配備AR眼鏡獲取實(shí)時(shí)的生產(chǎn)狀態(tài)信息、故障信息以及維修信息等。

圖3 物聯(lián)制造車間實(shí)驗(yàn)驗(yàn)證環(huán)境

(2)實(shí)驗(yàn)開發(fā)環(huán)境

實(shí)驗(yàn)所涉及的開發(fā)環(huán)境如表1和表2所示,AR邊緣端采用增強(qiáng)現(xiàn)實(shí)設(shè)備Microsoft Hololens2和一臺(tái)工作站,AR邊緣端用于音視頻數(shù)據(jù)、位姿、手勢操作等數(shù)據(jù)采集,工作站用于車間環(huán)境建模、AR人機(jī)交互開發(fā)和AR輔助維修應(yīng)用部署等。云端采用阿里云服務(wù)器,主要進(jìn)行AR邊緣端所采集的維修場景數(shù)據(jù)的存儲(chǔ)和處理,進(jìn)行特征提取、位姿解算等運(yùn)算操作,并將運(yùn)算結(jié)果反饋給AR邊緣端。

表1 AR邊緣端實(shí)驗(yàn)開發(fā)環(huán)境

表2 云端實(shí)驗(yàn)開發(fā)環(huán)境

3.2 云邊協(xié)同服務(wù)平臺(tái)搭建

為了能夠通過邊云協(xié)同計(jì)算框架快速計(jì)算可穿戴AR設(shè)備的位姿,提供實(shí)時(shí)維修指引的信息,搭建了如圖4所示的云邊協(xié)同服務(wù)平臺(tái)。該云平臺(tái)可以添加運(yùn)維人員的信息并生成二維碼,可穿戴AR設(shè)備通過掃描二維碼實(shí)現(xiàn)與運(yùn)維人員的綁定,以便將維修信息推送給合適的運(yùn)維人員。此外,該工業(yè)AR云平臺(tái)集成了特征提取、位姿估計(jì)等算法的參數(shù)設(shè)置與運(yùn)行分析,并將運(yùn)行結(jié)果實(shí)時(shí)反饋給AR可穿戴設(shè)備。如果遇到“疑難雜癥”,運(yùn)維人員無法解決時(shí),可以在AR端請(qǐng)求遠(yuǎn)程專家協(xié)助。遠(yuǎn)程專家在云端接受請(qǐng)求后,即可實(shí)現(xiàn)故障設(shè)備“遠(yuǎn)程問診”,提供維修建議與策略,輔助運(yùn)維人員完成維修任務(wù)。因此,工業(yè)AR云平臺(tái)成為了云端和AR邊緣端實(shí)現(xiàn)邊云協(xié)同計(jì)算的橋梁和紐帶。

圖4 工業(yè)AR云平臺(tái)運(yùn)行流程

3.3 注冊(cè)跟蹤性能測試

(1)特征點(diǎn)檢測與匹配測試結(jié)果與分析

由于所提出的智能維修方法在指導(dǎo)維修時(shí)的視點(diǎn)跟蹤需要實(shí)時(shí)進(jìn)行,通常需保證15幀以上的幀率(即1秒15幀以上,1幀最多占用66 ms的時(shí)間),這就要求特征提取時(shí)間與特征匹配時(shí)間之和小于66 ms。為了體現(xiàn)ORB特征提取的優(yōu)勢,引入常用的圖像特征提取方法SIFT(scale-invariant feature transform)算法[27]和SURF(speeded-up robust features)算法[28]進(jìn)行對(duì)比實(shí)驗(yàn)。

選取同一張車間機(jī)床待維修部件的圖像,分別運(yùn)行SIFT、SURF、ORB和改進(jìn)后的算法進(jìn)行特征點(diǎn)提取對(duì)比測試,特征提取測試數(shù)據(jù)如圖5所示,并將測試結(jié)果匯總至表3中。為了在維修場景中驗(yàn)證不同算法特征點(diǎn)匹配的性能,選取相鄰兩幀車間機(jī)床待維修部件的圖像,分別運(yùn)行SIFT、SURF、ORB和改進(jìn)后的算法進(jìn)行特征檢測與匹配。特征檢測與匹配測試數(shù)據(jù)如圖6所示,并將測試結(jié)果匯總至表4中。檢測到的特征點(diǎn)在圖中以圓點(diǎn)形式呈現(xiàn),能夠完成匹配的特征點(diǎn)在圖中以直線連接的形式呈現(xiàn)。

表3 各特征算子對(duì)圖像特征的提取結(jié)果匯總

表4 特征點(diǎn)檢測與匹配測試結(jié)果匯總

圖5 圖像特征提取數(shù)據(jù)

圖6 特征點(diǎn)檢測與匹配數(shù)據(jù)

由表3和表4可見,ORB算法的特征提取與匹配時(shí)間之和明顯優(yōu)于SIFT算法和SURF算法。由于基于邊云協(xié)同技術(shù)的車間現(xiàn)場AR智能維修對(duì)計(jì)算實(shí)時(shí)性要求非常高,因此ORB算法相對(duì)于SIFT算法和SURF算法更為適合。由表4可知,在追求計(jì)算高實(shí)時(shí)性的同時(shí),改進(jìn)ORB算法的特征匹配效果優(yōu)于原始ORB算法。這表明通過加入信息熵篩選和銳化過程改進(jìn)原始ORB算法后,可以有效增加匹配對(duì)數(shù),提高圖像特征檢測和匹配的準(zhǔn)確性,為后續(xù)的跟蹤、映射、環(huán)路檢測等過程提供了更加準(zhǔn)確和有效的功能。

(2)位姿解算測試結(jié)果與分析

為了驗(yàn)證基于高斯—牛頓優(yōu)化的EPnP位姿解算方法的優(yōu)勢,取實(shí)驗(yàn)場景中不相鄰的200幀圖像作為測試樣本,分別求解優(yōu)化的EPnP和未優(yōu)化的EPnP位姿估計(jì)結(jié)果,分別如圖7a和圖7b所示。圖中圓點(diǎn)表示真實(shí)位姿,三角形點(diǎn)表示估計(jì)位姿,對(duì)比圖7a和圖7b可知,圖7b中的位姿估計(jì)結(jié)果和真實(shí)值重合度明顯高于圖7a。為了進(jìn)一步驗(yàn)證優(yōu)化后的EPnP位姿解算方法的精度,將優(yōu)化前和優(yōu)化后的EPnP位姿估計(jì)結(jié)果誤差進(jìn)行了比對(duì),位姿解算誤差對(duì)比結(jié)果如圖8所示。由于將基于EPnP的位姿估計(jì)問題轉(zhuǎn)化為一個(gè)三變量最小二乘問題,然后通過高斯—牛頓法求解該最小二乘問題,試驗(yàn)結(jié)果表明優(yōu)化后的EPnP位姿解算精度在200個(gè)測試樣本上均優(yōu)于未優(yōu)化的EPnP位姿解算方法。

圖7 位姿解算結(jié)果

圖8 位姿解算誤差對(duì)比

3.4 基于改進(jìn)的ORB-SLAM2跟蹤結(jié)果分析

為了驗(yàn)證相機(jī)實(shí)時(shí)位置跟蹤的性能效果,在3個(gè)不同時(shí)刻對(duì)相機(jī)的位置跟蹤進(jìn)行了測試,如圖9所示。圖9a是相機(jī)初始時(shí)刻的位置,圖9b是相機(jī)經(jīng)過平移后所處時(shí)刻的位置,圖9c是相機(jī)在圖9b的基礎(chǔ)上旋轉(zhuǎn)90°后所處時(shí)刻的位置。從圖中可以看出,未存在位置跟蹤丟失的情況,表明改進(jìn)后的ORB-SLMA2算法可以支撐可穿戴AR設(shè)備在車間現(xiàn)場的實(shí)時(shí)智能維修,為維修人員提供維修信息的精確虛實(shí)映射。

a a時(shí)刻相機(jī)位置跟蹤結(jié)果

b b時(shí)刻相機(jī)位置跟蹤結(jié)果(水平移動(dòng))

c c時(shí)刻相機(jī)位置跟蹤結(jié)果(旋轉(zhuǎn)90°)圖9 可穿戴AR設(shè)備的相機(jī)實(shí)時(shí)位置跟蹤結(jié)果

3.5 增強(qiáng)現(xiàn)實(shí)維修指引實(shí)驗(yàn)驗(yàn)證

(1)基于本地維修經(jīng)驗(yàn)知識(shí)庫輔助維修已知故障

發(fā)生故障時(shí),基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修系統(tǒng)會(huì)先在維修經(jīng)驗(yàn)知識(shí)庫中匹配是否存在已知故障的維修方式。若存在相似的維修經(jīng)驗(yàn)知識(shí),則會(huì)進(jìn)行相應(yīng)的維修指引操作。以刀具故障為例,如圖10所示,維修人員首先通過掃碼的方式識(shí)別故障設(shè)備,以便系統(tǒng)記錄該設(shè)備已有維修人員到場維修,圖中每張子圖的主圖為AR第一人稱視角,左上角圖為第三人稱視角。隨后,AR可穿戴設(shè)備輔助維修人員從刀具庫中挑選待更換的刀具并進(jìn)行三維模型高亮顯示。緊接著,在需要維修更換的部件位置處也會(huì)進(jìn)行三維模型指引,并輔助維修人員完成新刀具的更換工作。最后,在新刀具更換完成后,虛擬的輔助對(duì)刀提示會(huì)映射到維修人員的視野中,輔助維修人員完成對(duì)刀操作。

圖10 增強(qiáng)現(xiàn)實(shí)輔助維修—已知故障解決方法

(2)基于遠(yuǎn)程專家系統(tǒng)輔助維修未知故障

在實(shí)際工程應(yīng)用中,維修經(jīng)驗(yàn)數(shù)據(jù)庫很難包含所有預(yù)期故障。因此,在遠(yuǎn)程專家的幫助下可以解決未知根源的故障,從而實(shí)現(xiàn)AR遠(yuǎn)程維修。如圖11所示,維修人員可以先通過AR遠(yuǎn)程應(yīng)用與遠(yuǎn)程專家進(jìn)行連接。在應(yīng)用中,專家和維修人員可以進(jìn)行實(shí)時(shí)通訊、故障點(diǎn)標(biāo)記等操作,找到故障根源。故障解決后,可將此次突發(fā)故障的維修經(jīng)驗(yàn)存入維修經(jīng)驗(yàn)庫,以備日后發(fā)生類似故障時(shí)參考。遠(yuǎn)程專家系統(tǒng)避免了等待國內(nèi)外專家到達(dá)維修現(xiàn)場,而浪費(fèi)大量寶貴的生產(chǎn)時(shí)間。尤其在當(dāng)前的全球新冠疫情的環(huán)境下,對(duì)運(yùn)維人員和國內(nèi)外專家人身安全起到一定的保護(hù)作用。

圖11 AR遠(yuǎn)程專家—未知故障解決方法

4 AR輔助維修和邊云協(xié)同技術(shù)優(yōu)勢分析

為了進(jìn)一步驗(yàn)證所提車間現(xiàn)場智能維修方法的有效性,本章分別從AR輔助維修優(yōu)勢和邊云協(xié)同計(jì)算優(yōu)勢兩方面進(jìn)行闡述,深度剖析增強(qiáng)現(xiàn)實(shí)和邊云協(xié)同計(jì)算技術(shù)在車間現(xiàn)場智能維修的可行性與優(yōu)越性。

4.1 AR輔助維修優(yōu)勢分析

為了驗(yàn)證AR在車間現(xiàn)場智能維修中的突出優(yōu)勢,對(duì)不同的維修方式進(jìn)行了對(duì)比,如表5所示,表中所包含的3組維修實(shí)驗(yàn)依次對(duì)應(yīng)簡易、中等、復(fù)雜維修任務(wù)。其中,將維修時(shí)間作為維修效率評(píng)價(jià)指標(biāo)。為了直觀地評(píng)價(jià)維修質(zhì)量,引入可靠度來描述本次維修至機(jī)器發(fā)生相同故障之間的持續(xù)時(shí)間。

表5 不同維修方式的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

對(duì)于有經(jīng)驗(yàn)的工人：在實(shí)驗(yàn)組1中,由于維修任務(wù)簡單,AR智能維修雖然并未顯著提升有經(jīng)驗(yàn)的工人的維修效率,但是維修的可靠度得到了提升,從而避免有經(jīng)驗(yàn)的工人由于維修任務(wù)簡單而遺漏維修細(xì)節(jié)。在實(shí)驗(yàn)組2和實(shí)驗(yàn)組3中,由于維修任務(wù)復(fù)雜,AR智能維修可以幫助有經(jīng)驗(yàn)的工人提高維修可靠度,進(jìn)而表明能夠提升維修質(zhì)量。同時(shí),AR智能維修也使得有經(jīng)驗(yàn)的工人的維修效率得到了提升。

對(duì)于無經(jīng)驗(yàn)的工人：AR智能維修對(duì)無經(jīng)驗(yàn)工人維修能力的提升十分顯著,尤其在復(fù)雜維修任務(wù)的實(shí)驗(yàn)組2和實(shí)驗(yàn)組3中,無經(jīng)驗(yàn)工人在AR智能維修的輔助下,維修時(shí)間顯著減少,維修可靠度近乎接近有經(jīng)驗(yàn)工人維修的效果。因此,所提出的AR智能維修既可以幫助無經(jīng)驗(yàn)工人提高維修效率,減少維修導(dǎo)致的停產(chǎn)時(shí)間,還可以提高維修質(zhì)量。另外,所提方法有利于企業(yè)提升新員工的綜合素質(zhì)能力,減少培訓(xùn)時(shí)間。

4.2 邊云協(xié)同計(jì)算優(yōu)勢分析

為了評(píng)價(jià)基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修系統(tǒng)的流暢性以及性能表現(xiàn),在實(shí)驗(yàn)環(huán)節(jié)中實(shí)時(shí)追蹤了Microsoft Hololens2的性能狀態(tài)。在運(yùn)行該系統(tǒng)后,全程追蹤實(shí)施輔助維修時(shí)增強(qiáng)現(xiàn)實(shí)設(shè)備的性能狀態(tài)。由圖12a可以看出,因?yàn)樘卣魈崛?、位姿估?jì)等算法運(yùn)行于云端,所以GPU的利用率很平穩(wěn),主要用來將虛擬維修信息映射到實(shí)際空間中的指定位置,因此可視化流暢程度基本不變。由圖12b可以看出,由于維修過程中,涉及到不同的操作,維修人員會(huì)頻繁地與AR設(shè)備進(jìn)行交互,導(dǎo)致CPU利用率存在一定波動(dòng)。但是,由于數(shù)據(jù)的存儲(chǔ)與處理均在云端執(zhí)行,因此只會(huì)調(diào)用AR端很少的CPU資源進(jìn)行人機(jī)交互?；谏鲜龇治?基于邊云協(xié)同技術(shù),實(shí)現(xiàn)了Microsoft Hololens2在有限計(jì)算資源的情況下完成了復(fù)雜的特征提取、位姿跟蹤和維修指引等操作。

a 運(yùn)行時(shí)的增強(qiáng)現(xiàn)實(shí)設(shè)備GPU利用率

5 結(jié)束語

針對(duì)車間現(xiàn)場維修人員效率低、可靠性差,提出基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修方法。AR 端完成車間現(xiàn)場故障設(shè)備維修數(shù)據(jù)的可視化、維修操作涉及的人機(jī)交互等計(jì)算量較輕且實(shí)時(shí)性較高的任務(wù);云端則完成計(jì)算量較大的特征提取、位姿解算任務(wù)以及維修數(shù)據(jù)的持久化存儲(chǔ)(包括設(shè)備的故障數(shù)據(jù)以及對(duì)應(yīng)維修方法的存儲(chǔ))。在工人執(zhí)行故障設(shè)備維修操作的過程中,通過邊云協(xié)同可以實(shí)時(shí)解算增強(qiáng)現(xiàn)實(shí)設(shè)備在車間維修現(xiàn)場中的位置和朝向,以將待維修設(shè)備信息、故障部件和維修步驟高亮標(biāo)注在車間維修現(xiàn)場。根據(jù)維修經(jīng)驗(yàn)庫存儲(chǔ)的維修步驟指引維修人員執(zhí)行對(duì)應(yīng)的維修操作,有效提高了維修效率和可靠度。對(duì)于未知根源的故障,可以通過增強(qiáng)現(xiàn)實(shí)設(shè)備連接云平臺(tái)端的在線遠(yuǎn)程專家,專家會(huì)協(xié)助找出故障根源并給出解決方案。在維修完成后,此次維修步驟將被存儲(chǔ)至維修經(jīng)驗(yàn)庫,以便未來相同故障出現(xiàn)時(shí)調(diào)取使用。在后疫情時(shí)代,AR遠(yuǎn)程專家系統(tǒng)更加能凸顯車間制造設(shè)備遠(yuǎn)程維修的重要性。與此同時(shí),本研究也表明基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的車間現(xiàn)場智能維修與維修復(fù)雜度和維修人員的經(jīng)驗(yàn)緊密相關(guān),對(duì)于經(jīng)驗(yàn)缺乏的維修人員,增強(qiáng)可視化維修指引效果顯著,這可以幫助企業(yè)減少新員工的培訓(xùn)時(shí)間。對(duì)于維修復(fù)雜度高的任務(wù),所提方法既可以有效提高維修效率,又可以在一定程度上提高維修的可靠度,避免相同故障短期內(nèi)再次發(fā)生。

大型制造車間現(xiàn)場維修會(huì)涉及多并發(fā)的情況,即多個(gè)維修任務(wù)同時(shí)發(fā)生。未來的研究可以利用邊云協(xié)同計(jì)算技術(shù),進(jìn)一步在云端部署強(qiáng)化學(xué)習(xí)調(diào)度算法,結(jié)合增強(qiáng)現(xiàn)實(shí)設(shè)備和維修人員屬性,從而根據(jù)維修任務(wù)類型調(diào)度合適的維修人員去處理,從更系統(tǒng)的角度去評(píng)定增強(qiáng)現(xiàn)實(shí)設(shè)備以及邊云協(xié)同計(jì)算在車間現(xiàn)場維修中的指引和促進(jìn)作用。