詹松濤, 胡兆勇,, 吳悅明, 陳和恩, 朱 騰

(1.廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣東 廣州 510039; 2.廣東工業(yè)大學(xué) 廣東省CIMS重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510039)

0 引 言

工業(yè)領(lǐng)域基站線束設(shè)備有著大量柔性線束和剛性電子元器件[1]。設(shè)備存在線束數(shù)量多、插接頭分布不均勻、柔性線束形狀不規(guī)則以及線束間復(fù)雜拓?fù)潢P(guān)系[2]等特點(diǎn)，因此設(shè)備布線裝配主要依賴操作人員經(jīng)驗(yàn)[3]。目前復(fù)雜基站設(shè)備的線束排列和插接主要根據(jù)工藝卡片指示來進(jìn)行，這些工藝卡片通過文字解釋或者計(jì)算機(jī)輔助設(shè)計(jì)(compu-ter aided design,CAD)圖示說明，工人對照工藝卡片指示裝配，效率不高同時(shí)增加出錯(cuò)概率?，F(xiàn)有工藝展示技術(shù)相對滯后，已不能有效指導(dǎo)生產(chǎn)操作。

增強(qiáng)現(xiàn)實(shí)技術(shù)為解決上述問題提供新的思路。增強(qiáng)現(xiàn)實(shí)(augmented reality,AR)技術(shù)是將虛擬數(shù)字媒體信息與真實(shí)場景無縫融合，通過計(jì)算機(jī)系統(tǒng)將一定空間范圍內(nèi)媒介信息進(jìn)行構(gòu)建仿真，再通過移動(dòng)終端或者光學(xué)頭盔設(shè)備顯示，處理后輔助信息(布線指導(dǎo)、工序評估)集中反饋于真實(shí)場景中，為觀察者呈現(xiàn)出一個(gè)信息多元化的新場景，從而增強(qiáng)觀察者感知。借助AR技術(shù)提供引導(dǎo)裝配作用，提升線束操作效率，實(shí)現(xiàn)線束裝配工藝一致性，是工藝展示新方向。

針對面向工業(yè)上增強(qiáng)現(xiàn)實(shí)環(huán)境的特殊性，國內(nèi)外相關(guān)研究人員對增強(qiáng)現(xiàn)實(shí)在工業(yè)領(lǐng)域應(yīng)用展開了研究。例如， Fiorentino M等人利用基于標(biāo)志圖三維注冊算法實(shí)現(xiàn)的增強(qiáng)現(xiàn)實(shí)來對發(fā)動(dòng)機(jī)維修進(jìn)行輔助評估[4]；華中科技大學(xué)利用OpenGL技術(shù)和ARtoolKit開發(fā)了基于增強(qiáng)現(xiàn)實(shí)車間布局的桌面式系統(tǒng)[5]。桌面式增強(qiáng)現(xiàn)實(shí)系統(tǒng)操作者可觀察范圍很小，可借助例如ARToolKit的標(biāo)志圖來表達(dá)真實(shí)場景三維空間坐標(biāo)系。但對于面向工業(yè)的復(fù)雜線束設(shè)備來說，用戶操作設(shè)備對象較大，實(shí)現(xiàn)三維注冊的范圍要求也更大，無法直接采用標(biāo)志圖來構(gòu)建世界坐標(biāo)系實(shí)現(xiàn)虛擬模型與真實(shí)場景的精準(zhǔn)配對。

如何在大場景環(huán)境下操作者視野內(nèi)不出現(xiàn)識(shí)別標(biāo)志并且實(shí)現(xiàn)良好的注冊穩(wěn)定性、幾何一致性，是工業(yè)領(lǐng)域增強(qiáng)現(xiàn)實(shí)系統(tǒng)亟需解決的關(guān)鍵問題。為此，本文針對此問題展開研究，以基站線束設(shè)備為研究對象，提出相應(yīng)系統(tǒng)解決方案，為實(shí)現(xiàn)面向工業(yè)大空間環(huán)境下無標(biāo)志、穩(wěn)定、良好對準(zhǔn)精度的增強(qiáng)現(xiàn)實(shí)技術(shù)奠定基礎(chǔ)。

1 注冊需求分析

增強(qiáng)現(xiàn)實(shí)技術(shù)首要問題是虛實(shí)場景的幾何一致性，即三維注冊技術(shù)。傳統(tǒng)基于視覺[6]的增強(qiáng)現(xiàn)實(shí)中基于人工標(biāo)志物的三維注冊是最常見的，標(biāo)志物擁有足夠的特征信息以保證注冊的穩(wěn)定性、實(shí)時(shí)性和魯棒性。人工標(biāo)志物于視覺跟蹤注冊算法的作用是表達(dá)對真實(shí)世界的認(rèn)知，以標(biāo)志物的中心表示世界坐標(biāo)系原點(diǎn)，描述其他場景物體[7]。

圖1 為本課題研究的基站線束設(shè)備，其物理尺寸約為2.8 m×0.6 m，單純地使用人工標(biāo)志進(jìn)行注冊會(huì)存在諸多局限性: 1)若攝像頭與標(biāo)志物距離過遠(yuǎn)，有效識(shí)別特征減少，注冊精度和模型穩(wěn)定性差； 2)標(biāo)志物與跟蹤的線束設(shè)備位置需要相對固定，若出現(xiàn)偏差會(huì)直接反饋在虛擬模型注冊精度上； 3)無法保證標(biāo)志物始終出現(xiàn)于操作者的視野和攝像頭捕捉范圍內(nèi)，低頭操作時(shí)標(biāo)志物丟失則無法注冊。當(dāng)注冊出現(xiàn)較大誤差或者失敗，將破壞操作者對真實(shí)場景的正確感知，影響動(dòng)作協(xié)調(diào)性。

圖1 課題研究的基站線束裝備

因此針對工業(yè)產(chǎn)線環(huán)境的復(fù)雜度大、注冊范圍大的特殊性，必須改進(jìn)三維注冊算法，保證目標(biāo)線束設(shè)備始終在攝像頭捕捉范圍內(nèi)，以滿足跟蹤算法對于求解攝像機(jī)與真實(shí)場景轉(zhuǎn)化關(guān)系的需求，同時(shí)還需要保證攝像頭對于操作載體的實(shí)時(shí)位姿跟蹤。

為減少標(biāo)志物在布線過程中額外信息干擾，面向工業(yè)領(lǐng)域的AR系統(tǒng)應(yīng)實(shí)現(xiàn)無標(biāo)志。目前較多研究都是借人工標(biāo)志物對真實(shí)世界認(rèn)知的參數(shù)量化表達(dá)，然而要消除長時(shí)序工作環(huán)境中AR系統(tǒng)對于人工標(biāo)志的依賴，需要通過其他方式對代表真實(shí)世界的標(biāo)志圖替代。為此本系統(tǒng)設(shè)計(jì)通過同步定位與地圖構(gòu)建[8](simultaneous localization and mapping，SLAM)技術(shù)對產(chǎn)線現(xiàn)場進(jìn)行環(huán)境掃描，獲取場景網(wǎng)格信息，以此來替代標(biāo)志物來實(shí)現(xiàn)小孔成像攝像機(jī)成像模型中需要的世界坐標(biāo)系[9]。

2 面向真實(shí)產(chǎn)線應(yīng)用的系統(tǒng)架構(gòu)

2.1 總體框架設(shè)計(jì)

增強(qiáng)現(xiàn)實(shí)指導(dǎo)系統(tǒng)設(shè)計(jì)分為兩步走:

1)算法初始化的三維注冊。通過基于人工標(biāo)志物和自然特征點(diǎn)的視覺跟蹤算法分別對操作載體和目標(biāo)線束設(shè)備實(shí)時(shí)跟蹤，求解單應(yīng)性矩陣進(jìn)而獲取各自的位姿參數(shù)，將獲取多個(gè)坐標(biāo)系轉(zhuǎn)化關(guān)系通信傳輸入服務(wù)器進(jìn)行數(shù)據(jù)融合，最終得到操作載體相對線束設(shè)備的位姿信息，實(shí)現(xiàn)顯示設(shè)備看到的虛擬模型配準(zhǔn)到現(xiàn)實(shí)場景的基站線束設(shè)備。

2)系統(tǒng)對于減少標(biāo)志物依賴的實(shí)現(xiàn)。通過SLAM進(jìn)行場景掃描，利用掃描得到的場景網(wǎng)格模型表達(dá)增強(qiáng)現(xiàn)實(shí)數(shù)學(xué)模型中的真實(shí)世界坐標(biāo)系，實(shí)現(xiàn)虛擬物體在真實(shí)場景中的位置保持。

系統(tǒng)三維注冊的技術(shù)總體框架如圖2所示。

圖2 系統(tǒng)注冊配準(zhǔn)技術(shù)總體框架

2.2 硬件環(huán)境搭建

1)AR顯示設(shè)備

考慮到操作人員在產(chǎn)線環(huán)境的操作需求，系統(tǒng)選用增強(qiáng)現(xiàn)實(shí)顯示設(shè)備應(yīng)為頭戴式。此外AR顯示設(shè)備應(yīng)該具有獨(dú)立的計(jì)算單元，不需要外界任何設(shè)備，以免多余的線纜造成操作的不便性。

要想實(shí)現(xiàn)無標(biāo)志注冊算法，要求AR顯示設(shè)備理解現(xiàn)實(shí)，具有三維感知能力，建立世界坐標(biāo)系。同時(shí)設(shè)備應(yīng)具備圖元渲染以及人機(jī)交互能力，以滿足增強(qiáng)現(xiàn)實(shí)的虛實(shí)融合、人機(jī)交互的關(guān)鍵需求。

2)頭頂攝像頭

系統(tǒng)在工作前需要初始化注冊，設(shè)計(jì)在線束設(shè)備正上方架設(shè)頭頂攝像頭，其視場角范圍囊括整個(gè)線束設(shè)備和操作載體，實(shí)現(xiàn)對兩個(gè)對象實(shí)時(shí)捕捉。系統(tǒng)選用羅技Pro C920攝像頭，廣角角度為90°，分辨率參數(shù)為1 920×1 080，系統(tǒng)將攝像頭放置在線束設(shè)備正上方1.5 m處，視場角范圍滿足要求，同時(shí)拍攝線束設(shè)備清晰度也滿足視覺跟蹤算法需求。

3)PC服務(wù)器系統(tǒng)攝像頭的架設(shè)需要服務(wù)器對其驅(qū)動(dòng)，同時(shí)服務(wù)器需要針對場景中多個(gè)坐標(biāo)系進(jìn)行數(shù)據(jù)采集與整合，服務(wù)器計(jì)算獲取各個(gè)坐標(biāo)系間的轉(zhuǎn)換關(guān)系，系統(tǒng)還將采用IIS(Internet information server) 架設(shè)服務(wù)器局域網(wǎng)，實(shí)現(xiàn)坐標(biāo)信息的通信傳輸。

3 系統(tǒng)實(shí)現(xiàn)

3.1 系統(tǒng)搭建與初始化注冊

系統(tǒng)在初始化注冊階段主要由基站線束設(shè)備、AR顯示設(shè)備、頭頂攝像頭、貼有標(biāo)識(shí)物的固定架和服務(wù)器組成，用戶頭部佩戴AR顯示設(shè)備，將貼有ARToolKit標(biāo)志物的3D打印支架固定在AR顯示設(shè)備上。系統(tǒng)初始化注冊框架如圖3所示。

圖3 初始化注冊框架

將圖3的現(xiàn)場圖抽象成數(shù)學(xué)坐標(biāo)系模型，如圖4所示。

圖4 初始化注冊多坐標(biāo)系轉(zhuǎn)換模型

系統(tǒng)中定義4個(gè)坐標(biāo)系，分別是頭頂攝像頭坐標(biāo)系、ARToolKit標(biāo)志圖坐標(biāo)系、AR顯示設(shè)備坐標(biāo)系、目標(biāo)線束設(shè)備坐標(biāo)系。同時(shí)定義4個(gè)變換矩陣，其中TMC1是借助ARToolKit視覺注冊算法得到的頭頂攝像頭與標(biāo)志圖之間的坐標(biāo)系變換矩陣；TMC2是利用HALCON對基站線束設(shè)備進(jìn)行自然特征點(diǎn)檢測匹配獲取頭頂攝像頭與線束設(shè)備的坐標(biāo)系變換矩陣；TC2H是標(biāo)志圖和AR顯示設(shè)備之間坐標(biāo)系進(jìn)行物理補(bǔ)償?shù)木仃囎儞Q。通過TMC1，TMC2，TC2H三者坐標(biāo)系轉(zhuǎn)換關(guān)系而求取THM，即實(shí)現(xiàn)系統(tǒng)在初始化階段的三維注冊。

獲取顯示設(shè)備較基站線束設(shè)備的位姿信息后，虛擬模型的頂點(diǎn)點(diǎn)陣經(jīng)過一系列坐標(biāo)系轉(zhuǎn)換，如圖5所示，最終在顯示設(shè)備上實(shí)現(xiàn)實(shí)時(shí)渲染，完成初始化階段虛擬模型配準(zhǔn)基站線束設(shè)備。

圖5 三維注冊多坐標(biāo)系轉(zhuǎn)換關(guān)系

3.2 空間映射和場景保持

根據(jù)系統(tǒng)對AR顯示設(shè)備要求，最終確定選用Hololens增強(qiáng)現(xiàn)實(shí)眼鏡。Hololens是微軟發(fā)布的一種可穿戴式增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備，擁有獨(dú)立計(jì)算單元，自帶CPU，GPU和全息處理單元(holographic processing unit,HPU)。Hololens設(shè)備集合射線凝視、紅外手勢識(shí)別、語音等人機(jī)交互手段，滿足指導(dǎo)系統(tǒng)對于交互的需求。

Hololens裝載4個(gè)環(huán)境感知攝像頭，左右兩邊各2個(gè)。借助4個(gè)環(huán)境感知攝像頭在某一時(shí)刻獲取4張不同角度圖像，4個(gè)環(huán)境感知攝像頭在物理上有兩兩不同基線距，根據(jù)立體視覺(stereo vision)技術(shù)[10]可知由任意2個(gè)攝像頭的圖像像素點(diǎn)數(shù)據(jù)和真實(shí)場景物體上某點(diǎn)之間構(gòu)成三角形，由已知的基線距和像素點(diǎn)信息便可求解獲得公共視野中物體的三維尺寸以及空間物體該點(diǎn)的三維坐標(biāo)信息，即獲取真實(shí)場景深度圖，如圖6所示。

圖6 立體視覺獲取深度

在獲得多張深度圖后，利用SLAM技術(shù)重建三維場景，因此Hololens具備空間映射能力，如圖7(a)是實(shí)驗(yàn)場所房間圖，圖7(b)是Hololens空間映射得到的房間模型。通過對真實(shí)環(huán)境的三維感知來滿足我們系統(tǒng)對世界坐標(biāo)系構(gòu)建的需求。

圖7 空間映射獲取場景模型

Hololens以用戶進(jìn)入系統(tǒng)應(yīng)用時(shí)主攝像頭坐標(biāo)為世界坐標(biāo)系原點(diǎn)，當(dāng)用戶位置視角發(fā)生變化時(shí)，Hololens自帶的處理單元可以對世界坐標(biāo)系下的攝像頭位姿進(jìn)行計(jì)算，通過迭代對齊算法跟蹤平移和旋轉(zhuǎn)共6個(gè)自由度參數(shù)，保證系統(tǒng)總是知道當(dāng)前幀數(shù)下攝像頭位姿相對于最初的位姿改變了多少。

Hololens在傳感器驅(qū)動(dòng)下建立的固定參照坐標(biāo)系可以對系統(tǒng)中增強(qiáng)現(xiàn)實(shí)下的全息模型進(jìn)行轉(zhuǎn)換描述，但增強(qiáng)現(xiàn)實(shí)并非同于VR場景類型的純粹虛擬世界，如果將所有的全息模型放置在一個(gè)單一的剛性坐標(biāo)系中，當(dāng)用戶不斷變換位置動(dòng)態(tài)感知世界，那么無論是相對于世界或者彼此，這些全息模型必然會(huì)隨時(shí)間產(chǎn)生位置漂移。

針對這個(gè)問題而為此提出空間錨點(diǎn)(spatial anchors)的解決方案，通過在真實(shí)場景中創(chuàng)建空間錨點(diǎn)來標(biāo)記用戶放置的虛擬模型。當(dāng)Hololens不斷認(rèn)知周邊世界，這些空間錨點(diǎn)根據(jù)其他錨點(diǎn)或者參考系調(diào)整它們相對于彼此的位置，以確保每個(gè)錨點(diǎn)錨定的全息虛擬模型精確地保持在原位，打破單一剛性坐標(biāo)系的累積誤差，以確保虛擬模型保持在增強(qiáng)現(xiàn)實(shí)場景的最佳穩(wěn)定性。這也就保證了當(dāng)用戶在初始進(jìn)入應(yīng)用通過多坐標(biāo)系變換完成注冊后，再次進(jìn)入時(shí)增強(qiáng)現(xiàn)實(shí)場景得到保持，不用再進(jìn)行初始化注冊，實(shí)現(xiàn)無標(biāo)志的目的。

3.3 系統(tǒng)操作流程

圖8為系統(tǒng)I級交互菜單的設(shè)計(jì)圖例。

圖8 系統(tǒng)I級交互菜單

初次進(jìn)入系統(tǒng)，進(jìn)入初始化注冊階段，對照交互菜單，其操作流程如圖9(a)所示。完成初始化階段，再次使用時(shí)，其操作流程如圖9(b)所示，直接點(diǎn)擊“使用錨”按鈕實(shí)現(xiàn)SLAM場景保持，便可開始直接工作，簡化注冊步驟，縮短注冊時(shí)間，實(shí)現(xiàn)無標(biāo)志目的。至此，完成系統(tǒng)的“兩步走”。

圖9 系統(tǒng)操作流程

4 實(shí)驗(yàn)結(jié)果與運(yùn)行實(shí)例

1)模型初始化配準(zhǔn)效果展示

進(jìn)入系統(tǒng)后，按照初始化注冊流程操作，實(shí)現(xiàn)虛擬模型配準(zhǔn)于真實(shí)基站線束設(shè)備。隨機(jī)選取多個(gè)觀測角度，驗(yàn)證初始化注冊的配準(zhǔn)精度和算法穩(wěn)定性，如圖10所示。

圖10 多坐標(biāo)系轉(zhuǎn)換三維注冊實(shí)驗(yàn)效果

2)SLAM場景保持效果展示

操作者站在頭頂攝像頭捕捉范圍外進(jìn)入指導(dǎo)系統(tǒng)，直接使用錨實(shí)現(xiàn)無標(biāo)志注冊配準(zhǔn)模型。為了直觀展示SLAM空間映射對于場景保持的作用，實(shí)驗(yàn)編寫Shader著色器對映射網(wǎng)格顯示。隨機(jī)不同角度觀測驗(yàn)證場景保持的幾何一致性和魯棒性，如圖11所示。

圖11 場景保持多角度驗(yàn)證實(shí)驗(yàn)

3)布線指導(dǎo)實(shí)例

通過實(shí)驗(yàn)驗(yàn)證初始化注冊以及SLAM場景映射實(shí)現(xiàn)無標(biāo)志目的的可行性，最終系統(tǒng)對基站線束設(shè)備按照工序進(jìn)行布線指導(dǎo)，選取若干工序進(jìn)行實(shí)例展示，如圖12所示。

圖12 移動(dòng)增強(qiáng)現(xiàn)實(shí)輔助布線運(yùn)行實(shí)例

5 結(jié) 論

利用Hololens頭戴式增強(qiáng)現(xiàn)實(shí)眼鏡、頂部攝像頭、服務(wù)器進(jìn)行系統(tǒng)框架搭建，協(xié)同多坐標(biāo)系轉(zhuǎn)換關(guān)系，融合數(shù)據(jù)，實(shí)現(xiàn)初始化注冊配準(zhǔn)。為了消除長時(shí)序工作環(huán)境中AR系統(tǒng)對于人工標(biāo)志的依賴，設(shè)計(jì)使利用SLAM映射環(huán)境構(gòu)建世界坐標(biāo)系，以滿足用戶在操作過程位姿不斷變換時(shí)需要的參考坐標(biāo)系，實(shí)現(xiàn)虛擬模型的場景保持，同時(shí)也簡化的注冊步驟，縮短注冊時(shí)間。運(yùn)行實(shí)例證明，本文提出方案可以較好地滿足線束設(shè)備的布線指導(dǎo)需求，同時(shí)為工業(yè)領(lǐng)域?qū)崿F(xiàn)大環(huán)境下增強(qiáng)現(xiàn)實(shí)注冊提供新的思路。