秦玉波，穆欣偉，鄒 方

（中國航空制造技術研究院，北京 100024）

增強現(xiàn)實技術（Augmented reality，AR）是一種實現(xiàn)虛擬世界與真實世界相互融合的技術，通常采用HoloLens等頭戴式、iPad等手持式、投影儀等空間式的顯示設備實現(xiàn)。其中采用投影儀的空間增強現(xiàn)實技術（Spatial augmented reality，SAR）是一種在真實世界物體表面直接呈現(xiàn)虛擬信息的增強現(xiàn)實方法[1]，該特性也使其很適合應用于飛機裝配過程中，即將虛擬的裝配引導信息準確地疊加在飛機工件表面，進而以沉浸式的方式引導工人完成飛機裝配任務[2]。相對于頭戴式和手持式的增強現(xiàn)實方式，在飛機裝配中SAR具有以下優(yōu)點： （1）更符合工人的操作習慣，避免增加額外負載； （2）更適合長時間作業(yè)的需要，不會給人眼帶來眩暈感； （3）更符合實際工業(yè)現(xiàn)場需求，適合多人協(xié)同作業(yè)[3–4]。但是SAR沒有真實的數(shù)字顯示面，且SAR設備通常固定位置安裝，因此其虛擬信息的渲染效果和靈活性不如前兩種方式。SAR更適合應用于需要多人、長時間協(xié)同作業(yè)的大場景、固定位置、虛擬引導信息簡單的手工裝配場景，如飛機機翼壁板緊固件裝配等。20世紀90年代，美國飛機制造商波音公司首次將“增強現(xiàn)實”理念引入飛機裝配中，輔助工人完成飛機線纜布置任務，使得裝配效率和準確率得到了顯著提升。此后歐洲空客公司基于增強現(xiàn)實技術開發(fā)了“MOON”系統(tǒng)，將產品數(shù)字樣機中提取CAD虛擬信息準確地繪制在平板電腦攝像頭采集實時圖像上，操作人員根據(jù)平板電腦屏幕指示逐步完成空客A400M的裝配任務[5]。目前，國外較為成熟的空間增強現(xiàn)實輔助裝配系統(tǒng)有法國Diota和美國ProjectionWorks三維光學投影系統(tǒng)，此類設備可以將裝配信息、檢測信息等輔助信息直接投影到飛機工件表面上，并通過形狀、文字、圖像等方式呈現(xiàn)；根據(jù)工藝流程投影對應的引導信息，輔助工人完成飛機裝配任務。達索飛機制造公司采用Diota系統(tǒng)將產品全生命周期管理（Product lifecycle management，PLM）中鉚釘?shù)陌惭b位置、型號等信息直接投影在真實的機翼壁板上，從而優(yōu)化陣風戰(zhàn)機機翼壁板鉚釘裝配過程。美國諾斯羅普·格魯曼公司從2015年開始正式采用基于“Projection Works”設備的緊固件插入實時鏈接系統(tǒng)（Enter fastener installation live link system，EFILLS）進行F–35復合材料蒙皮緊固件裝配。

目前國內對于該技術的研究還處于起步階段，主要工作還處于基礎性研究。陳祥輝[6]對引導信息建模與信息表達進行了研究，將引導信息分為零件層、裝配層和引導層信息。劉邈[7]對基于數(shù)字面陣投影技術的投影標示原理進行了分析，并搭建驗證系統(tǒng)實現(xiàn)復合材料的放樣和敷貼位置投影顯示、飛機機身蒙皮鉚釘階差測量投影顯示。劉諾石等[8]利用投影儀將裝配作業(yè)過程直接呈現(xiàn)在工作臺表面，輔助完成飛機機載機電設備的手工裝配任務。西飛、成飛等主機廠將三維激光投影技術用于飛機裝配中零件定位、緊固件制孔等任務中[9–10]。目前國內還沒有成熟的商業(yè)產品能達到國外先進水平，且高昂的價格極大限制了該技術在飛機裝配中大規(guī)模應用，因此對于該技術的應用也局限于小批量引進國外設備。隨著我國各類飛機研制進程加快，飛機部件裝配、復合材料制備、航空線纜安裝等方面都對該技術有著大量需求。

針對飛機裝配過程中人工裝配存在的效率低、質量不穩(wěn)定等問題以及國內航空制造業(yè)對此類設備的需求，中國航空制造技術研究院工業(yè)網絡與自動化實驗室開發(fā)了基于空間增強現(xiàn)實的投影引導輔助裝配系統(tǒng)（Projection-guided auxiliary assembly system，PGAAS），以實現(xiàn)全流程的增強現(xiàn)實輔助裝配應用。該系統(tǒng)可以快速、準確地將虛擬引導信息（如裝配工藝信息、零件信息、工具工裝信息和測量信息等）投影在工件表面的對應位置上，使裝配人員可以按照投影信息一步一步地完成復雜的裝配任務，降低勞動強度，提高作業(yè)效率和裝配質量。例如在復材機翼壁板手工制孔鉚接過程中，PGAAS可以直接將制孔位置、孔深測量數(shù)據(jù)、鉚釘信息投影在壁板表面上，從而避免繁瑣的手工劃線操作，以及查閱裝配工藝手冊所消耗的時間?；诳臻g增強現(xiàn)實的輔助裝配系統(tǒng)對于解決目前飛機制造中人工裝配存在的問題具有重要現(xiàn)實意義，同時也是實現(xiàn)數(shù)字化裝配的重要手段。

1 投影引導輔助裝配系統(tǒng)構成和基本原理

1.1 系統(tǒng)構成

PGAAS主要由投影儀–相機系統(tǒng)、投影儀計算模塊、相機計算模塊、引導信息編輯系統(tǒng)、定位系統(tǒng)和投影系統(tǒng)組成，系統(tǒng)構成如圖1所示。

圖1 投影引導輔助裝配系統(tǒng)構成Fig.1 Projection-guided auxiliary assembly system components

1.2 基本原理

投影儀–相機系統(tǒng)是PGAAS重要的硬件組成（其中相機采用基于TOF（Time of flight）技術的深度相機），系統(tǒng)分別由投影儀計算模塊和相機計算模塊控制，可以實現(xiàn)任意圖像投影和場景三維重建；在對投影儀–相機系統(tǒng)標定后，可以實現(xiàn)投影儀坐標系和相機坐標系間相互轉換。引導信息編輯系統(tǒng)可以將待投影對象CAD數(shù)模上以幾何特征、文字特征標注的裝配工藝信息提取成點云形式的引導信息，并可以編輯信息顏色和線寬等，同時可以在CAD數(shù)模上設置投影圖像、動畫的顯示區(qū)；基于實際裝配工藝流程，設置每道工序所需的引導信息，編排成引導信息集。定位系統(tǒng)利用跟蹤配準技術確定待投影對象在相機坐標系下的三維空間坐標，再根據(jù)投影儀–相機系統(tǒng)標定結果，確定其在投影儀坐標系下的三維空間坐標。利用工序的引導信息集和待投影對象的定位結果，投影系統(tǒng)基于三維機器視覺算法生成每道工序的引導圖像，并在投影圖像、動畫的顯示區(qū)內插入相應顯示內容。投影儀投影該引導圖像，從而將CAD數(shù)模上標注的裝配工藝信息投影疊加在真實裝配對象表面。

2 投影引導輔助裝配系統(tǒng)相關技術研究

2.1 跟蹤配準技術

在增強現(xiàn)實輔助裝配應用中，需要利用跟蹤配準技術建立虛擬空間坐標系與真實空間坐標系的轉換關系，從而將虛擬的裝配引導信息疊加在真實場景工件表面。目前應用較多的跟蹤配準方法有基于IMU（Inertial measurement unit）、UWB（Ultra wide band）、GPS（Global positioning system）、電磁及超聲波等傳感器，基于二維圖像特征，基于三維點云等方法。其中基于傳感器的跟蹤配準方法易受環(huán)境的干擾，定位精度受限于使用環(huán)境和定位對象；基于二維圖像特征的跟蹤配準方法中包含自然特征和人工特征兩部分，其中自然特征如ORB（Oriented fast and rotated brief）、SURF（Speeded up robust features）和SIFT（Scale invariant feature transform）等不需要在工件表面做標記，但是檢測的穩(wěn)定性和精度受工件表面材質、紋理影響較大；人工特征（如ArUco（Augmented reality university of cordoba）、ARTag等）二維碼標記需要固定在工件或工件的工裝夾具上，此類標記可以在真實環(huán)境中被快速準確地識別，但是需要事先確定二維碼標記坐標系與工件實際坐標系關系，增加了系統(tǒng)復雜度[11]；基于三維點云的跟蹤配準是對真實場景中的工件進行三維重建，并在此基礎上利用重建結果與數(shù)模點云配準從而定位，該方法受環(huán)境影響較小，配準定位精度較高，且不需要在工件表面做標記。PGAAS采用基于三維點云的跟蹤配準建立虛–實坐標系轉換關系，該方法對實際現(xiàn)場待投影對象進行三維重建，將重建后的點云與CAD數(shù)模點云進行ICP（Iterative closest point）配準，從而求解待投影對象相對于相機坐標系的轉換關系。由于配準對象間的初始相對位置矩陣對ICP算法配準精度影響較大，因此在CAD數(shù)模上設置理論配準基準點，同時在重建后的點云上選取理論基準點附件的點作為實際配準基準點，利用理論配準基準點和實際配準基準點計算較準確的初始相對位置矩陣，代入后續(xù)的ICP算法中，從而完成待投影對象的跟蹤配準，如圖2所示。

圖2 基于點云的跟蹤配準Fig.2 Tracking registration based on point cloud

PGAAS采用投影儀作為虛擬信息的顯示設備，因此需要進一步建立虛擬裝配引導信息與投影儀坐標系的轉換關系。通過對PGAAS中坐標系分析，PGAAS包含投影儀坐標系、相機坐標系和待投影對象坐標系（即為虛擬裝配引導信息坐標系），如圖3所示?？梢姡队皩ο笞鴺讼蹬c投影儀坐標系間存在轉換矩陣D，如式（1）所示。

圖3 投影引導輔助裝配系統(tǒng)坐標系轉換關系Fig.3 Projection-guided auxiliary assembly system coordinate system conversion relationship

式中，B矩陣可以通過上述跟蹤配準算法求解，而M矩陣需要通過投影儀–相機系統(tǒng)標定獲得。

2.2 投影儀–相機系統(tǒng)標定技術

投影儀–相機系統(tǒng)標定精度對輔助裝配信息的投影精度起著至關重要的影響，標定參數(shù)包括投影儀內參{fp，up，vp，k1p，k2p，k3p，p1p，p2p}、相機內參{fc，uc，vc，k1c，k2c，k3c，p1c，p2c}以及投影儀和相機之間的空間轉換關系，即

式中，f為焦距；u、v為主點坐標；{k1，k2，k3}為徑向畸變；{p1，p2}為切向畸變；Rcp為投影儀–相機間的旋轉矩陣；Tcp為投影儀–相機間的平移矩陣。

投影儀通過DMD（Digital micromirror device）芯片向外反射光線實現(xiàn)投影，而相機是通過感光元件CCD或CMOS芯片接收光線實現(xiàn)成像。因此，可以將投影儀的光路看作相機的反向光路，進而采用張正友棋盤格標定法對投影儀進行參數(shù)標定。采用該方法對投影儀標定的前提是需要確定棋盤格角點的三維坐標和其在投影儀像素坐標系下成像點的二維坐標[12]。棋盤格角點的三維坐標可以根據(jù)棋盤格的尺寸直接獲得；但是投影儀本身沒有成像能力，不能直接獲得棋盤格角點成像點二維坐標，因此采用結構光技術，即對投影儀全像素格雷碼編碼，再對相機拍攝到的投影了格雷碼條紋的圖像中的棋盤格角點解碼，從而間接獲得棋盤格角點在投影儀像素坐標系下成像點；同時為提高角點處灰度值檢測精度，投影正向和反向格雷碼條紋，通過計算角點處兩次灰度值差值大于0或小于0，從而得到角點處的格雷碼值，求解流程如圖4所示。

圖4 相機與投影儀像素坐標系對應關系Fig.4 Corresponding relationship between camera and projector pixel coordinate system

在獲取多組不同姿態(tài)的棋盤格角點在相機和投影儀像素坐標系下坐標值后，利用張正友標定法分別計算出投影儀、相機的內參以及每組圖像拍攝時的外參{pi，i=1，2，…，n；cj，j=1，2，…，n}。而相機外參ci和投影儀外參pi存在關系pi M=ci，利用式（3）求解M矩陣。

3 試驗驗證

在上述內容研究的基礎上，搭建PGAAS試驗樣機，如圖5所示。其中，投影儀選用PT–WX4201投影儀，采 用DLP（Digital light processing）投影技術，具有1024×768分辨率；相機選用Azure Kinect DK深度相機，具有100萬像素深度傳感器和1200萬像素高清攝像頭；控制單元選用2臺小型NUC計算機；系統(tǒng)硬件安裝在帶有液壓云臺的三腳架的連接支架上。軟件方面，PGAAS軟件部署在Ubuntu18.04操作系統(tǒng)上，使用Python語言進行開發(fā)，基于Open3D、OpenCV等開源算法庫，同時支持MQTT協(xié)議通信。PGAAS基本性能參數(shù)如表1所示。

表1 投影引導輔助裝配系統(tǒng)基本性能參數(shù)Table 1 Projection-guided auxiliary assembly system performance parameters

圖5 投影引導輔助裝配系統(tǒng)試驗樣機Fig.5 Experiment prototype of projection-guided auxiliary assembly system

以某航空試驗件的緊固件裝配為例，進行PGAAS應用驗證試驗和投影精度驗證試驗。該試驗件形狀和尺寸如圖6所示，具有73個安裝孔，需要分別裝配φ4mm、φ5mm、φ6mm 3種緊固件，用紅、藍、黑3種顏色表示。在傳統(tǒng)的人工裝配過程中，工人通過比對裝配工藝手冊或提前在工件表面做標記分3個工序完成3種緊固件裝配，但由于3種緊固件安裝孔排布不規(guī)律，使得整個裝配過程效率較低，且容易出現(xiàn)錯裝、漏裝現(xiàn)象。

圖6 試驗件表面緊固件安裝孔分布Fig.6 Distribution of fasteners holes on surface of test piece

采用PGAAS引導工人完成該試驗件的緊固件裝配任務，首先需要完成試驗件的引導信息編輯，根據(jù)實際輔助裝配需要，將該試驗件的引導信息分為緊固件孔位信息、緊固件尺寸信息以及緊固件圖像信息。將試驗件CAD模型導入PGAAS引導信息編輯系統(tǒng)中，在軟件界面中選取數(shù)模上的特征并保存成三維點云形式的引導信息。再根據(jù)裝配工藝流程需要，對各工序所需引導信息進行編排形成該工序的投影信息集，引導信息編輯系統(tǒng)操作流程如圖7所示。

圖7 PGAAS引導信息編輯系統(tǒng)操作流程Fig.7 PGAAS guide information editing system operation process

在完成引導信息編輯后，對試驗件進行空間定位以確定其在投影儀坐標系下的位姿，試驗現(xiàn)場如圖8所示。PGAAS增強現(xiàn)實輔助裝配驗證試驗見圖9。結合空間定位結果、投影儀標定參數(shù)以及工序的引導信息集，PGAAS動態(tài)生成每道工序在虛擬空間中的引導圖，如圖9（a）、（c）和（e）所示；最后，PGAAS根據(jù)投影指令將每道工序的引導圖像投影在試驗件上，實際現(xiàn)場引導信息投影效果如圖9（b）、（d）和（f）所示。

圖8 投影引導輔助裝配系統(tǒng)試驗現(xiàn)場Fig.8 Experimental site of projection-guided auxiliary assembly system

圖9 PGAAS增強現(xiàn)實輔助裝配驗證試驗Fig.9 PGAAS projection augmented reality assisted assembly verification experiment

裝配應用驗證試驗采用被試間設計方式，每組5人，共3組，均沒有該試驗件的裝配經驗，分別采用查閱工藝手冊指導、在工件表面做標記以及PGAAS 3種裝配方法完成該試驗件緊固件裝配任務。對比裝配過程所需時間、錯裝率以及表面影響3個因素，其中錯裝率表示緊固件錯裝個數(shù)占總緊固件裝配個數(shù)的比例，試驗結果如表2所示?？梢钥闯?，采用PGAAS可以顯著提高裝配效率和準確性，相對于前兩種傳統(tǒng)裝配方式，PGAAS大幅度縮短了試驗件緊固件裝配周期，同時在試驗過程中沒有出現(xiàn)錯裝、漏裝現(xiàn)象，且不損傷零件表面。

表2 裝配效果對比Table 2 Assembly effect comparison

同時，為驗證PGAAS實際投影精度，對試驗件上73個緊固件安裝孔同時投影，如圖10所示。可以看出，PGAAS投影出的緊固件安裝孔輪廓與實際試驗件上的緊固件安裝孔輪廓有一定的偏差，通過測量每個安裝孔投影輪廓與實際輪廓的最大偏差，最終統(tǒng)計得出PGAAS實際投影精度小于2mm。根據(jù)HB/Z 223—2003[13]中對緊固件位置精度的要求，PGAAS投影精度滿足航空制造中緊固件手工裝配的精度需求。

圖10 PGAAS投影精度驗證試驗Fig.10 PGAAS projection accuracy verification experiment

4 結論

飛機裝配過程日趨復雜化、綜合化，對裝配人員的專業(yè)知識、認知水平及操作熟練度的要求越來越高，但人工裝配自身存在的局限性，極大限制了飛機裝配效率和質量。本研究針對人工裝配效率低、質量不穩(wěn)定等問題，基于空間增強現(xiàn)實技術開發(fā)了一套全流程投影引導輔助裝配系統(tǒng)，該系統(tǒng)基于待投影對象CAD數(shù)模提取引導信息，可以為多種飛機零部件生產中的裝配環(huán)節(jié)提供準確的虛擬引導信息；將繁瑣的裝配工藝流程文件以形狀、文字、圖片、動畫等形式呈現(xiàn)在裝配現(xiàn)場，提高了裝配工藝文件的可讀性，簡化了裝配流程；與傳統(tǒng)人工裝配方式相比，可以大幅度提高裝配效率，縮短裝配時間，提高裝配質量。

同時PGAAS可以結合人工智能、機器學習、多傳感器融合等先進技術手段，實現(xiàn)對裝配前零件識別、裝配中位置檢測、工人行為檢測，以及裝配后質量檢測等應用。