韓 峰, 張 衡, 朱 鐳, 劉 虎

(1.西安工業(yè)大學(xué) 光電學(xué)院，西安 710021；2.西安應(yīng)用光學(xué)研究所，西安 710065)

引言

在產(chǎn)品設(shè)計過程中，經(jīng)常用虛擬裝配技術(shù)對設(shè)計結(jié)果進(jìn)行可裝配/拆卸性驗證，虛擬裝配是在虛擬環(huán)境下對計算機數(shù)據(jù)模型進(jìn)行裝配關(guān)系分析的一項計算機輔助設(shè)計技術(shù)[1]。與傳統(tǒng)的裝配設(shè)計方式相比，虛擬裝配在獲取最佳裝配工藝、減少設(shè)計成本、縮短設(shè)計開發(fā)周期等領(lǐng)域有著不可比擬的優(yōu)勢[2]。

隨著“工業(yè)4.0”概念的提出，人類將進(jìn)入以智能制造為主導(dǎo)的第4次工業(yè)革命?！肮I(yè)4.0”的核心理念是信息系統(tǒng)與物理系統(tǒng)的深度融合[3]?！肮I(yè)4.0”的理念在未來將應(yīng)用于各個研究方向，開發(fā)和設(shè)計出一系列應(yīng)用系統(tǒng)[4]。CPS系統(tǒng)被定義為一個集感知系統(tǒng)、計算系統(tǒng)、通訊系統(tǒng)和控制系統(tǒng)為一體的復(fù)雜系統(tǒng)，強調(diào)信息系統(tǒng)和物理系統(tǒng)的深度融合，從而改變?nèi)伺c物理世界的交互方式[5-6]。在未來“工業(yè)4.0”的概念下，裝配仿真過程將向著智能化、多元化的方向發(fā)展，虛擬裝配逐漸表現(xiàn)出了一些限制:1) 使用者在產(chǎn)品裝配過程中，沉浸感不強，缺乏真實感；2) 針對裝配單元的交互操作均是在虛擬的環(huán)境下通過鼠標(biāo)鍵盤進(jìn)行，缺乏對現(xiàn)實世界的感知與交互能力；3) 無法實時顯示裝配過程，僅是通過設(shè)置裝配約束，展示裝配結(jié)果，無法判斷裝配的可操作性和合理性。

增強現(xiàn)實技術(shù)是將計算機產(chǎn)生的虛擬物體或信息與真實環(huán)境進(jìn)行合并，并對景象加以增強和擴充的技術(shù)[7]。將增強現(xiàn)實技術(shù)引入到CPS系統(tǒng)中，是實現(xiàn)CPS信息系統(tǒng)與物理系統(tǒng)深度融合的重要方式。哥倫比亞大學(xué)提出了一種ARMAR(augmented reality for maintenance and repair)系統(tǒng)[8-11]，將三維模型與發(fā)動機物理單元融合，指引工人完成發(fā)動機的修復(fù)工作；沈克等人提出了一種增強現(xiàn)實環(huán)境下的物體識別與虛擬交互方法[12]，將虛擬信息與物體融合顯示；高康等人提出了一種增強現(xiàn)實環(huán)境下的虛擬裝配平臺[2]，通過零件的表面的頂點和法向量建立虛擬零件與實物的聯(lián)系，實現(xiàn)虛擬裝配操作。

本文所開發(fā)的基于增強現(xiàn)實技術(shù)的CPS虛擬裝配系統(tǒng)通過計算機視覺技術(shù)建立虛擬模型與實物裝配單元的配準(zhǔn)關(guān)系，將虛擬模型圖像與相機采集的裝配單元圖像進(jìn)行融合，從而實現(xiàn)虛擬零件裝配到真實零件的過程，圖像融合的結(jié)果實時立體輸出在視頻眼鏡中并立體顯示，增加了融合結(jié)果的真實性，達(dá)到CPS系統(tǒng)信息世界與物理世界深度融合的目的。

1 計算機視覺原理

基于增強現(xiàn)實技術(shù)的CPS虛擬裝配平臺建立在物理環(huán)境基礎(chǔ)上，通過虛擬模型圖像和物理裝配單元圖像融合的手段實現(xiàn)虛擬裝配仿真。在裝配過程中，虛擬三維模型圖像與物理裝配單元圖像融合的關(guān)鍵是建立正確的配準(zhǔn)關(guān)系。常用的方法為將虛擬三維模型的空間坐標(biāo)系與實物裝配單元的空間坐標(biāo)系進(jìn)行統(tǒng)一。追蹤定位技術(shù)識別物理裝配單元和相機在物理空間中的位置坐標(biāo)，反饋給虛擬空間，在虛擬空間建立同樣的相對位置關(guān)系從而實現(xiàn)兩種坐標(biāo)系的統(tǒng)一。

計算機視覺中的雙目視覺圖像定位技術(shù)是近些年來發(fā)展和完善起來的一種新型定位方式，其原理是利用視覺傳感器得到的圖像作為信息，通過三維重建技術(shù)把被測對象表面點二維投影坐標(biāo)轉(zhuǎn)換成三維世界坐標(biāo)，從而對目標(biāo)場景進(jìn)行精確地追蹤和定位[13]。

在計算機視覺系統(tǒng)中，相機的成像原理可以近似為小孔成像原理，成像模型如圖 1所示。

圖1 相機成像模型Fig.1 Camera imaging model

物理空間世界坐標(biāo)系為Ow-XwYwZw，攝像機坐標(biāo)系為Oc-XcYcZc，空間點P(xw,yw,zw)與圖像點Pl(u,v)之間存在(1)式的坐標(biāo)變化關(guān)系。

(1)

識別物理空間特征標(biāo)記點主要利用雙目視覺技術(shù)，其原理如圖2所示，圖中，P為空間中任意一點，p1和p2分別為點P在相機C1和相機C2上的成像點，O1和O2是相機C1和C2的光心。假設(shè)相機C1和C2已經(jīng)標(biāo)定，設(shè)它們的投影矩陣分別為Ml和MR,根據(jù)相機的投影變化原理有(2)式：

(2)

其中(ul,vl,1)和(ur,vr,1)分別表示點P在左右相機的投影點p1和p2點的坐標(biāo)，[xpypzp1]表示空間點P的物理坐標(biāo)。利用最小二乘法對上述兩個方程進(jìn)行求解，對空間點P進(jìn)行估計。

圖2 雙目視覺技術(shù)Fig.2 Binocular vision technology

多位學(xué)者基于計算機視覺原理開展了相關(guān)研究，并驗證了原理的可靠性和準(zhǔn)確度。比如支健輝研究了外界因素對算法原理準(zhǔn)確性的影響[14]；王婧等人將計算機視覺原理應(yīng)用于動態(tài)位移測量[15]；趙珊等人基于計算機視覺原理提出了在振動環(huán)境中動態(tài)測量結(jié)構(gòu)件位移變形的方法[16]。

2 虛擬裝配平臺的搭建

2.1 物理場景構(gòu)建

基于增強現(xiàn)實技術(shù)的CPS虛擬裝配系統(tǒng)的物理場景構(gòu)建主要包括建立物理空間坐標(biāo)系和設(shè)計視頻眼鏡結(jié)構(gòu)兩個方面。建立物理空間坐標(biāo)系，所有的物理設(shè)備和裝配單元的位置信息都將統(tǒng)一在該坐標(biāo)系下，是實現(xiàn)圖像配準(zhǔn)融合的基礎(chǔ)。視頻眼鏡結(jié)構(gòu)是根據(jù)虛擬裝配系統(tǒng)的要求，設(shè)計了一種集圖像采集與立體顯示為一體的裝置。

在本系統(tǒng)的物理場景中，空間坐標(biāo)系是依據(jù)場景中放置的特征標(biāo)記點建立的。特征標(biāo)記點如圖 3所示，為一種同心圓環(huán)結(jié)構(gòu)，其外部同心圓環(huán)區(qū)域平均分成15份，采用二進(jìn)制編碼，黑色為“1”，白色為“0”，便可得到15位的二進(jìn)制數(shù)。外環(huán)黑白相間的不同的排列組合可以組成不同編碼的特征標(biāo)記點。

圖3 特征標(biāo)記點Fig.3 Feature markers

特征數(shù)碼點的識別利用圖像處理技術(shù)，對于采集到的圖像進(jìn)行灰度處理和邊緣提取，正對圖像中提取的點集信息進(jìn)行數(shù)據(jù)擬合處理，提取特征標(biāo)記點坐標(biāo)，具體算法如圖4所述。

圖4 標(biāo)記信息確定流程圖Fig.4 Flow chart for marking information determination

經(jīng)過上述算法過程可以精確測得圖像中特征標(biāo)記點的圖像坐標(biāo)，試驗驗證結(jié)果如圖5所示。從圖中可得，上述算法識別的特征標(biāo)記點結(jié)果可靠。

圖5 特征數(shù)碼點識別結(jié)果Fig.5 Results of feature digit recognition

圖6 空間坐標(biāo)系Fig.6 Spatial coordinate system

在物理場景中，利用該特征數(shù)碼點建立物理空間坐標(biāo)系如圖6所示。所有的特征標(biāo)記點在同一平面內(nèi)線性排列，中心標(biāo)記點為物理坐標(biāo)系的原點，其余特征標(biāo)記點構(gòu)成坐標(biāo)系的X軸和Y軸，垂直于該平面為Z軸。在該坐標(biāo)系中，不同特征標(biāo)記點的物理坐標(biāo)均可實測獲得。

在虛擬裝配系統(tǒng)中，使用者佩戴視頻眼鏡進(jìn)行裝配操作，視頻眼鏡結(jié)構(gòu)相當(dāng)于人的眼睛，在滿足系統(tǒng)功能的要求上還需符合人體工學(xué)的設(shè)計，具體如圖7所示。

圖7 視頻眼鏡結(jié)構(gòu)Fig.7 Structure of video glasses

視頻眼鏡結(jié)構(gòu)由圖像采集部分和立體顯示兩部分組成。圖像采集部分，在視頻眼鏡前端按照人類瞳孔位置信息安裝布局有兩個微型攝像頭，采集裝配場景的雙目圖像，實現(xiàn)立體圖像采集的功能；立體顯示部分，在視頻眼鏡結(jié)構(gòu)的內(nèi)部根據(jù)立體成像原理安裝有兩個微型投影顯示器，左顯示器和右顯示器。左右顯示器通過中間擋板被物理隔離，以至于左顯示器的圖像傳輸至人的左眼，右顯示器的圖像傳輸至人的右眼，從而實現(xiàn)立體成像原理，達(dá)到系統(tǒng)立體顯示的目的。

2.2 虛擬裝配交互界面

本文搭建的虛擬裝配界面是利用Unity3D游戲引擎軟件進(jìn)行設(shè)計與開發(fā)，利用VS2010編寫追蹤定位算法，并以動態(tài)鏈接庫的方式嵌入在Unity3D中，后臺運行。搭建的虛擬裝配交互界面如圖8所示，上方1號和2號視圖為視頻眼鏡裝配結(jié)果的顯示窗口，3號視圖為虛擬裝配模型顯示視圖，4號視圖為虛擬空間場景視圖。程序開始運行前，快速定位算法會建立正確的配準(zhǔn)關(guān)系。操作者在3號窗口中首先選擇物理裝配單元的三維模型，將其放置在虛擬場景中，通過平移旋轉(zhuǎn)等交互操作，使其在模型空間的位置與物理空間位置一致；其次，選擇虛擬物體的三維模型，在4號窗口中對三維模型進(jìn)行可視化裝配操作完成裝配，裝配過程實時輸出至1、2窗口立體顯示。

圖8 虛擬裝配交互界面Fig.8 Virtual assembly interaction interface

3 眼鏡結(jié)構(gòu)快速定位算法

實現(xiàn)增強現(xiàn)實環(huán)境下的虛擬裝配系統(tǒng)，關(guān)鍵是完成虛擬物體三維模型投影圖像與物理場景觀察圖像的配準(zhǔn)融合。在本文設(shè)計的系統(tǒng)中，三維模型投影圖像投影視點與物理場景觀察視點是否一致是決定兩幅圖像能否正確融合的基礎(chǔ)。根據(jù)系統(tǒng)物理場景的構(gòu)建方式，觀察者佩戴視頻眼鏡進(jìn)行裝配操作。由于眼鏡結(jié)構(gòu)的不透明性，觀察者視覺上觀察到的場景圖像是眼鏡雙目相機采集并傳輸至眼鏡顯示端的圖像，因此在物理場景中，觀察視點的空間位置信息即為視頻眼鏡結(jié)構(gòu)雙目相機的空間位置信息。

為實現(xiàn)圖像正確融合，本文設(shè)計了一種眼鏡結(jié)構(gòu)的快速定位算法，實時定位物理空間中視頻眼鏡結(jié)構(gòu)相機的位置，反饋至虛擬空間使模型投影視點與相機觀察視點一致。傳統(tǒng)的定位方法是利用雙目相機采集物理空間圖像，通過識別物理空間特征標(biāo)記信息定位雙目相機的位置。該方法簡單易行，結(jié)果準(zhǔn)確可靠，但是計算量大，識別特征標(biāo)記點需要遍歷圖像中的每一個像素，無法滿足系統(tǒng)實時性的要求。本文在雙目視覺原理的基礎(chǔ)上提出了一種眼鏡結(jié)構(gòu)的快速定位算法，通過減小特征點的識別區(qū)域提高定位算法的效率，具體如圖9所示。

圖9 視頻眼鏡結(jié)構(gòu)定位算法Fig.9 Structure localization algorithm for video glasses

該算法需要在視頻眼鏡結(jié)構(gòu)上設(shè)置多個光源特征標(biāo)記；在物理空間安裝兩部過曝光狀態(tài)的相機采集裝配場景圖像。由于兩部相機處于過曝光狀態(tài)，因此采集的裝配場景的圖像中只有光源特征標(biāo)記，可以快速識別光源特征標(biāo)記，從而獲得視頻眼鏡結(jié)構(gòu)的初始位置矩陣Cl。

以Cl為視頻眼鏡結(jié)構(gòu)中相機的初始位置矩陣。視頻眼鏡結(jié)構(gòu)相機均已標(biāo)定，內(nèi)部參數(shù)矩陣為Mc，利用相機投影變換原理在視頻眼鏡采集的圖像中計算物理空間特征標(biāo)記點Xi的圖像坐標(biāo)，如(3)式所示：

(3)

(4)

4 應(yīng)用場景驗證

為驗證本文提出的增強環(huán)境下的CPS裝配系統(tǒng)方案的可行性、可靠性及有效性，作者在實驗室環(huán)境依據(jù)上文搭建的軟硬件平臺進(jìn)行了驗證實驗。計算機采用CPU 3.30 GHz，內(nèi)存為4.0 GB；相機采用Balser-1300GC、130萬像素級別的彩色工業(yè)相機和M5018-MP鏡頭。軟件系統(tǒng)搭建使用VS2010和Unity4.5版本。使用者佩戴視頻眼鏡以緩慢的速度圍繞著工作平臺運動。視頻雙目攝像頭的圖像采集速率為30 fps，基本滿足視頻流輸出的要求；開發(fā)相機接口，保證雙目攝像頭采集圖像的同步性。交互裝配過程如圖 10所示。

圖10 交互裝配過程Fig.10 Interactive assembly process

在該操作界面中，布滿特征標(biāo)記點的黑色標(biāo)記板決定了物理空間坐標(biāo)系的位置，白色標(biāo)記板決定了虛擬空間的坐標(biāo)系，如圖 10 (a)所示。實物裝配單元刀具夾在物理空間位置固定，使用者佩戴視頻眼鏡需通過操作鼠標(biāo)鍵盤將虛擬刀具模型裝配到刀具夾上。在裝配過程開始階段，首先建立配準(zhǔn)關(guān)系；在虛擬空間，刀具的空間位置與其在物理空間一致，利用眼鏡結(jié)構(gòu)快速定位算法定位視頻眼鏡位置信息反饋至虛擬空間，通過觀察眼鏡顯示窗口刀具夾的三維模型與其實物的重合程度判斷配準(zhǔn)關(guān)系是否建立正確，如圖 10(b)所示。操作者通過操作鼠標(biāo)鍵盤等交互方式完成虛擬的刀具裝配模型裝配在實物刀具夾裝配單元的裝配仿真過程，交互操作過程如圖 10 (c)所示。交互操作之后，虛擬的刀具將裝配在物理空間的刀具夾上，并通過視頻眼鏡實時輸出顯示，能使操作者真正感受到虛擬對象與物理對象的融合，從而實現(xiàn)信息物理世界的聯(lián)合，融合結(jié)果如圖 10 (d)所示。

5 結(jié)論

本文基于追蹤定位技術(shù)開發(fā)了增強現(xiàn)實環(huán)境下的CPS虛擬裝配，實現(xiàn)了虛擬三維模型與物理裝配單元的裝配仿真過程。結(jié)合視頻眼鏡結(jié)構(gòu)的設(shè)計，通過圖像融合的方式實現(xiàn)了CPS系統(tǒng)信息世界與物理世界深度聯(lián)合的要求，初步改變了人與物理世界的交互方法，為進(jìn)一步開展CPS工程研究提供了基礎(chǔ)。此外，針對CPS系統(tǒng)實時性的要求，本文提出了一種眼鏡結(jié)構(gòu)的快速追蹤定位算法，通過降低特征點圖像檢索區(qū)域提高了系統(tǒng)的效率。