（河海大學物聯(lián)網(wǎng)工程學院，常州213000）

1 引言

近年來，基于模型的設計(Model Based Definition,簡稱MBD)在制造業(yè)得到了廣泛的關注與青睞[1]，因此現(xiàn)在的產品制造現(xiàn)場通過一些便捷式移動設備來可視化產品的MBD模型上所攜帶的產品質量信息(Product Manufacturing Information,簡稱 PMI)，以此來指導加工、質檢等工作。但是，這種可視化方式要求操作人員將注意力沉浸到虛擬的環(huán)境中，導致其精神負擔較重;并且這種方式需要操作人員將注意力在零件的物理模型和數(shù)字模型之間進行頻繁切換，效率較低。因此，如何實時、準確、有效地將零件數(shù)字模型攜帶的PMI傳遞到零件制造現(xiàn)場，是提高產品檢測效率與質量的一個亟需解決的問題。

增強現(xiàn)實(Augmented Reality，簡稱AR)是對真實環(huán)境的增強，將計算機生成的虛擬信息實時、準確地疊加到真實場景當中。其中基于無標記的跟蹤技術在制造業(yè)得到了廣泛的運用[2-4]。Daewoon Kim[5]等提出了基于AR的將3D CAD數(shù)據(jù)增強到真實船模塊圖像中的方法，該方法通過使用基于3D模型的方法，選用點線特征組成矩形作為圖像特征，估計出初始姿態(tài)，但是該方法對于有著復雜結構的產品的點線特征選擇存在問題；Marchand[6]等提出了基于2D-3D模型的視覺跟蹤方法，它通過估計三維模型的運動蹤跡來找到正確的轉換模型，將CAD模型疊加到圖像上，使姿勢估計誤差最小化，然而對于CAD模型上特征點的選擇是此法的一個難點。Stefan Hinterstoisser[7]等提出了一種梯度響應圖的方法用于實時無紋理對象的檢測，該方法不需要耗時的訓練階段，利用梯度響應圖，使得其系統(tǒng)更加魯棒和能夠快速正確檢測目標對象。

綜合考慮上述模型，提出一種面向制造現(xiàn)場的產品質量信息傳遞方法，用以闡述以制造特征為載體的產品質量信息提??；同時采集不同視角下目標對象的場景圖像集，為場景圖像集與制造特征之間建立關聯(lián)關系；最后給出面向制造現(xiàn)場的AR框架，并以具體的零件對該方法進行實驗驗證。

2 模板數(shù)據(jù)庫構建

模板數(shù)據(jù)庫的構建包括：提取目標對象基于制造特征的產品質量信息，生成在不同視角下目標對象的場景圖像集，以及模板場景圖像集與制造特征的關聯(lián)關系。

2.1 產品質量信息提取

在構建MBD模型的過程中，產品質量信息與三維CAD模型中的幾何元素(點、線、面)及制造特征相關聯(lián)[8]，而三維標注依附于幾何元素，若干個幾何元素構成一個制造特征。即制造特征通過幾何元素實現(xiàn)了與三維標注的關聯(lián)。其模型表達式如下：

其中S(H)表示制造特征與產品質量信息的關聯(lián)關系，H表示制造特征，Gj表示產品質量信息關聯(lián)的幾何要素，包括幾何形面Gf、幾何區(qū)域Gr、邊Ge、點Gv等；Lk表示制造特征的標注信息，包括尺寸Ld、公差Lt、表面粗糙度Lr、注釋Note等；表示幾何要素與標注之間的映射關系，當Lk依附于Gf時，或者Gf約束于 Lk時，mij等于 1，否則 mij等于 0。

2.2 場景圖像集生成

如圖1所示，利用一個虛擬的球面來生成2D圖像。這里，目標對象的三維CAD模型放置于球心，球表面上的每一視角點代表著一個虛擬相機，此時可沿著球面進行視角點采樣，來生成一定數(shù)量的目標對象三維CAD模型圖像。

圖1 模板圖像生成模型

在圖像生成過程中，根據(jù)3個自由度(距離d，經度φ，緯度φ)來確定虛擬相機在3D空間的位置。通過經度和緯度可以確定虛擬相機的方向，之外再引入另一個自由度，即虛擬相機到3D模型的距離d。在這三個自由度下，虛擬相機在3D空間中的位置可被唯一確定。然后通過設定自由度參數(shù)的范圍，來確定視角點位置及采樣點數(shù)量，即虛擬相機的位置和模板圖像的數(shù)量也被確定，表示為其模型表達式如下：

2.3 場景圖像集與制造特征之間的關聯(lián)

在模板圖像生成過程中，構建制造特征和模板圖像之間的映射關系，以實現(xiàn)操作人員從不同視角下對零件不同特征進行檢測。假設某一時刻相機視角方向法向量為α，那么在該視角方向下模型中一些特征是不可見的。如果模型中所屬制造特征的面法向量為β，當α和β同向，則此時刻此制造特征不在相機的視角范圍內，即該模板圖像與此制造特征無關聯(lián)；同理，當α與β反向時，二者關聯(lián)。具體的模型表達式如下：

其中P(H)表示制造特征與場景圖像的關聯(lián)關系，Ii表示第i幅模板圖像，Hj表示第j個特征，nij表示模板圖像Ii和制造特征Hj的關聯(lián)映射關系，向量a表示模板圖像Ii對應的相機視角方向的法向量，向量b表示制造特征Hj所在面的法向量；當nij=0時，模板圖像Ii和制造特征Hj無關聯(lián)關系，nij=1時，模板圖像Ii和制造特征Hj相關聯(lián)。

3 面向制造現(xiàn)場的AR構建

如圖2所示為面向制造現(xiàn)場的產品質量信息傳遞AR框架。由圖中可見，其創(chuàng)建過程為：首先，攝像頭捕捉真實場景信息，真實場景信息被轉換為圖像或視頻流；其次，再通過將模板數(shù)據(jù)庫中的模板場景圖像與捕捉到的制造現(xiàn)場圖像進行匹配，匹配成功后，AR系統(tǒng)根據(jù)最相似的模板圖像在模板數(shù)據(jù)庫中查找相應的注冊信息；最后，通過所獲得的攝像機的姿態(tài)，實現(xiàn)虛擬產品質量信息與真實場景的虛實融合，并將虛實融合的視頻流輸出到顯示設備展現(xiàn)給用戶觀看。

圖2 面向制造現(xiàn)場的增強現(xiàn)實框架

3.1 制造現(xiàn)場圖像與模板圖像匹配

通過梯度響應圖的方法進行圖像匹配，利用公式(1)來計算模板圖像和制造現(xiàn)場圖像之間的匹配相似度：

其中ori(T,r)表示模板圖像位置r的梯度方向的弧度，同樣地，ori(I,c+r)表示制造現(xiàn)場圖像位置r移動了c個位置的梯度方向的弧度，P表示模板圖像所有特征的位置。

在圖像匹配的過程中，遍歷模板圖像集I，利用公式(1)來獲得匹配相似度集{εi}，并求得最大相似度設定一個匹配閾值λ，如果最大相似度小于匹配閾值，則不存在匹配，其原因包括用戶離開了場景或者攝像機離模型太遠，這樣就需要重新獲取圖像。當最大相似度大于或等于匹配閾值時，場景匹配成功，獲得最大相似度對應的模板圖像ID，并根據(jù)匹配結果求得轉換矩陣M。

3.2 產品質量信息傳遞過程

利用匹配階段獲得的最相似圖像ID，根據(jù)模板圖像和制造特征之間的關聯(lián)關系P(H)與制造特征和產品質量信息之間的關聯(lián)關系S(H)，可從離線階段構建的外部數(shù)據(jù)庫中讀取3D模型、產品質量信息等數(shù)據(jù)。因此，產品質量信息的傳遞過程可以表示為：

其中，{Hq}表示模板圖像ID所關聯(lián)的制造特征集合，q表示關聯(lián)的制造特征個數(shù)，PMI表示q個制造特征關聯(lián)的產品質量信息。

3.3 虛實融合

增強現(xiàn)實系統(tǒng)的注冊過程是確定虛擬物體在真實場景中的正確位置的過程。首先需要知道攝像機與真實場景之間的位置關系，包括二者之間的相對位置和方向；然后根據(jù)此關系確定虛擬信息在真實世界中準確的位置和方向；最后完成三維注冊。攝像機與真實場景之間的位置關系通過坐標變換來描述，即攝像機坐標系和世界坐標系之間的轉換關系。具體如公式(2)。

其中，TlC為產品質量信息在攝像機坐標系下的坐標，TlW為產品質量信息在世界坐標系下的坐標；M是4×4矩陣，為世界坐標系到攝像機坐標系的位姿轉換矩陣；R是3×3旋轉矩陣，表示攝像機在世界坐標系下的方向；t是3×1的平移矩陣，表示攝像機在世界坐標系下的位置。

4 實驗結果與分析

首先采集零件在各自場景中不同視角下的圖像集。圖像分辨率都是640×480，渲染的虛擬模型和零件的產品質量信息采用商業(yè)CAD軟件完成，導出的三維模型的格式統(tǒng)一為OBJ格式。實驗參數(shù)設置為相機和零件的距離d是150mm～170mm；經度φ是 0°～350°；緯度 φ 是 40°～80°；距離的間隔設置成10mm；經度和緯度的間隔設置成10度。φ

圖3顯示了在四個不同的視角下，目標零件處于復雜環(huán)境下尺寸信息疊加的效果，表明了在復雜環(huán)境下，依然能夠實現(xiàn)產品質量信息的準確傳遞。圖3中同樣顯示了當用手遮擋了目標零件的一部分邊緣時，依然能夠準確完成產品質量信息的傳遞，說明系統(tǒng)具有良好的魯棒性。

圖3 零件不同視角下的跟蹤效果

圖3中(a)、(b)、(c)和(d)的左邊為整體的跟蹤注冊效果，確保是正確的疊加；然后隱藏虛擬模型，如圖3中(a)、(b)、(c)和(d)的右邊所示，實現(xiàn)顯示尺寸疊加效果。從圖中可以看出尺寸信息能夠正確疊加到目標零件上，并且看起來非常直觀、清晰。

5 結束語

為實現(xiàn)一種面向制造現(xiàn)場的PMI傳遞方法,以制造特征為載體提取三維CAD模型的PMI,采集待測模型的模板圖像集，構建了模板圖像與制造特征之間的關聯(lián)關系，并與實時獲取的場景圖像匹配。匹配成功后，根據(jù)建立的外部數(shù)據(jù)庫，實現(xiàn)了產品質量信息的注冊。該方法適用于無紋理的零件，算法的魯棒性良好，可有效解決操作人員在實際產品檢測過程中效率低下的問題，滿足企業(yè)的應用需求。