蘇 波（深圳增強現(xiàn)實技術(shù)有限公司，廣東深圳 518100）

0 前言

由于發(fā)動機裝配零部件種類繁多、工序復雜、流水線漫長，如果缺乏有效的輔助手段，發(fā)動機裝配工人在工作過程中出現(xiàn)錯誤是難免的。將AR工業(yè)解決方案應用于某汽車公司的發(fā)動機裝配，為發(fā)動機裝配過程開發(fā)一套發(fā)動機裝配AR工作輔助系統(tǒng)（EAPSS），將AR技術(shù)應用于工業(yè)制造場景，能夠幫助企業(yè)實現(xiàn)員工技能的快速培訓，實現(xiàn)作業(yè)過程的零缺陷，減少錯裝、漏裝的發(fā)生；在裝配生產(chǎn)過程中進行現(xiàn)場數(shù)據(jù)采集，通過數(shù)據(jù)整合指導生產(chǎn)，減少勞動力成本，提高整個車間裝配生產(chǎn)產(chǎn)能，提高作業(yè)效率，提升產(chǎn)品和服務質(zhì)量。

本文依據(jù)筆者過往項目經(jīng)驗，并基于5G及人工智能的企業(yè)增強現(xiàn)實（AR）實踐應用，以汽車行業(yè)為例，深度剖析汽車裝配過程中AR的實踐應用。

1 企業(yè)AR的實踐應用

1.1 實踐背景

AR是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術(shù)，是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息（視覺信息、聲音、味道、觸覺等），通過電腦等科學技術(shù)，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。增強現(xiàn)實技術(shù)的一項前沿應用，就是利用圖像識別和分析技術(shù)實現(xiàn)增強現(xiàn)實智能眼鏡的工業(yè)應用。

增強現(xiàn)實的工業(yè)應用將多種人工智能技術(shù)信息與現(xiàn)實操作相結(jié)合，通過圖像、圖形、傳感器信號分析和交互模擬的應用，在培訓、醫(yī)療、軍事、工業(yè)、生產(chǎn)等諸多領域，能夠產(chǎn)生巨大的推動作用，正在得到越來越多的關(guān)注和重視。增強現(xiàn)實要在現(xiàn)實世界真實場景適當?shù)奈恢茂B加顯示適當?shù)奶摂M物體，其核心問題是讓觀察者在真實場景和虛擬場景之間保持視覺一致性。

經(jīng)濟飛速發(fā)展的今天，降本增效成為一種責任，更是一種精神，一種境界。某汽車公司的RZ4E發(fā)動機裝配線是一條完全按照公司IM理念設計的生產(chǎn)線，物料全部KIT化投放，運用光電感應、照相、仿形、計數(shù)等各類防錯技術(shù)70多項，具備行業(yè)領先的過程質(zhì)量控制能力。但要實現(xiàn)產(chǎn)品零缺陷目標，生產(chǎn)線在投料準確性、作業(yè)過程指導與監(jiān)督、下線核驗等環(huán)節(jié)進一步提高技術(shù)管控能力。此次企業(yè)AR應用，便選擇了發(fā)動機裝配全部工序為應用點。

1.2 企業(yè)AR實踐應用介紹

防錯、防誤是發(fā)動機裝配的行業(yè)痛點。這既是發(fā)動機裝配行業(yè)的生產(chǎn)痛點，也是該行業(yè)的管理痛點。這是由發(fā)動機裝配過程的特殊性決定的。發(fā)動機裝配零部件種類繁多、工序復雜、流水線漫長。

以AR在某汽車公司發(fā)動機RZ4E外裝的在線檢查順序作業(yè)中的運用為例，該在線檢查順序作業(yè)的核驗項目共35項（見表1）。

汽車發(fā)動機裝配過程中，需從前、后、左、右、上5個端面進行核檢，表1所示核檢項目在每個環(huán)節(jié)都需要標準化操作。如果缺乏有效的輔助手段，發(fā)動機裝配工人在工作過程中出現(xiàn)錯誤是難免的。只有每個裝配環(huán)節(jié)做到了防錯、防誤，才能保證整條裝配流水線的穩(wěn)定性和連續(xù)性，才能保證發(fā)動機最終裝配的裝配質(zhì)量。

1.3 企業(yè)AR應用實施概況

1.3.1 應用架構(gòu)

1.3.1.1 發(fā)動機裝配AR工作輔助系統(tǒng)功能模塊

發(fā)動機裝配AR工作輔助系統(tǒng)（EA-PSS）包括裝配操作監(jiān)督模塊（AMM）、裝配操作指導模塊（AGM）、零件投料防錯模塊（PPM）、裝配下線核檢模塊（FCM）。

表1 核驗項目

1.3.1.2 系統(tǒng)部署

本期項目建設發(fā)動機裝配AR工作輔助系統(tǒng)（EAPSS）預留API接口對接MES系統(tǒng)。在發(fā)動機裝配車間的物理信息系統(tǒng)中，EA-PSS處在發(fā)動機裝配車間的制造執(zhí)行系統(tǒng)（MES）和發(fā)動機裝配物理場景之間，是MES系統(tǒng)的智能觸角。

EA-PSS與發(fā)動機裝配車間MES系統(tǒng)進行數(shù)據(jù)對接。

a）數(shù)據(jù)加載：EA-PSS系統(tǒng)從MES系統(tǒng)加載發(fā)動機裝配過程中涉及到當前工作步驟、零部件型號、規(guī)格、庫存位置等信息。

b）數(shù)據(jù)存儲：EA-PSS系統(tǒng)將識別的發(fā)動機裝配場景的狀態(tài)、結(jié)果、操作過程等數(shù)據(jù)存儲到MES系統(tǒng)。

c）MES系統(tǒng)通過EA-PSS系統(tǒng)實現(xiàn)對發(fā)動機裝配的過程監(jiān)督和質(zhì)量控制。

EA-PSS系統(tǒng)對發(fā)動機裝配物理場景的感知和控制。

a）智能感知：EA-PSS系統(tǒng)通過高清攝像頭采集發(fā)動機裝配場景中的裝配零部件、投料零部件，以及工人操作過程的姿態(tài)、手勢等圖像，發(fā)給后臺服務端進行圖像識別，實現(xiàn)當前工作場景語義的自動感知。

b）聯(lián)動控制：基于當前工作場景語義的自動感知，EA-PSS系統(tǒng)自動記錄車間生產(chǎn)情況，生成車間生產(chǎn)報表，并發(fā)送相應的刺激信號給發(fā)動機裝配車間的生產(chǎn)控制系統(tǒng)，實現(xiàn)生產(chǎn)設備的預警、聯(lián)動。1.3.1.3系統(tǒng)架構(gòu)EA-PSS分為智能終端和后臺服務器端2部分。圖1示出的是EA-PSS的整個系統(tǒng)架構(gòu)。

圖1 EA-PSS系統(tǒng)架構(gòu)

智能終端需完成以下功能。

a）人機交互：觸控、語音等手段實現(xiàn)人機的信息交互。

b）圖像采集：通過攝像頭采集發(fā)動機裝配場景的圖片和視頻。

c）信息顯示：實現(xiàn)發(fā)動機裝配場景生產(chǎn)數(shù)據(jù)的可視化，必要時以增強現(xiàn)實（文本、圖片、三維動畫等）方式實現(xiàn)數(shù)據(jù)的可視化。

根據(jù)發(fā)動機裝配場景生產(chǎn)的具體步驟，信息顯示可以是當前設備的運行狀態(tài)或相應的預警信息，也可以是工人的工作結(jié)果或指導信息。

后臺服務器端需完成以下功能。

a）用戶管理：分配用戶不同的權(quán)限，管理用戶登錄的身份驗證。

b）任務管理：實現(xiàn)任務的工作分解，按照發(fā)動機裝配實際流水線將工作及其標準推送相應的工人。

c）算法管理：基于圖像識別發(fā)動機設備及其零部件的狀態(tài)、裝配工人的操作結(jié)果，管理圖像識別的算法庫。

d）數(shù)據(jù)管理：控制系統(tǒng)數(shù)據(jù)的流向，處理數(shù)據(jù)。

當智能終端采集到圖像時，后臺服務器調(diào)用相應算法對圖像進行識別，將識別結(jié)果交給MES實現(xiàn)生產(chǎn)聯(lián)動（見圖2）。

當工人開始發(fā)動機裝配的某個環(huán)節(jié)，與智能終端進行人機交互，后臺服務器會從MES加載需要的任務數(shù)據(jù)，在智能終端顯示需要的任務信息（見圖3）。

1.4 網(wǎng)絡、平臺或安全互聯(lián)架構(gòu)

圖2 圖像識別前后的系統(tǒng)角色交互

圖3 工人領取某個裝配工作所觸發(fā)的系統(tǒng)角色交互

EA-PSS整個流程為：通過EA-PSS的規(guī)范標準數(shù)據(jù)，裝配車間MES系統(tǒng)通過聯(lián)動控制作業(yè)員在操作平臺得到指令，進行操作指導。AR眼鏡在操作中通過高清攝像頭和輔助光源對流程進行圖像處理和深度學習，通過網(wǎng)絡傳送至可視終端，并把有效數(shù)據(jù)傳輸至后臺服務器或云端進行存儲，發(fā)送給裝配車間MES系統(tǒng)進行操作指導。

圖4示出的是深度學習網(wǎng)絡架構(gòu)；圖5示出的是網(wǎng)絡拓撲圖。

1.5 具體應用場景和應用模式

裝配過程實時指導：后臺系統(tǒng)可根據(jù)生產(chǎn)情況生成裝配工單，工單由系統(tǒng)進行統(tǒng)一派發(fā)，推送到智能終端。作業(yè)員通過智能終端領取工單，然后按照步驟提示進行可視化裝配?？赏ㄟ^語音、文字、3D動畫等對作業(yè)員進行操作指引，如流程指引、零件信息、注意事項等。

裝配過程全程記錄：在作業(yè)員運用AR裝配工作輔助系統(tǒng)操作過程中，AR眼鏡可全程記錄整個操作流程并自動存儲。

圖4 深度學習網(wǎng)絡架構(gòu)

圖5 網(wǎng)絡拓撲圖

裝配結(jié)果實時反饋：自動記錄相關(guān)裝配過程和結(jié)果，最終生成操作報告并提交至服務器，可在后臺導出或直接打印，對裝配的結(jié)果可實時反饋。

產(chǎn)品質(zhì)量原因溯源：基于AR裝配工作輔助系統(tǒng)的裝配過程全程記錄和裝配結(jié)果實時反饋功能，如果發(fā)動機在出廠后出現(xiàn)質(zhì)量問題，可通過裝配時存儲的信息，追溯質(zhì)量問題。

1.6 安全及可靠性

整個發(fā)動機裝配AR工作輔助系統(tǒng)分2部分：一是軟件為發(fā)動機裝配工作輔助系統(tǒng)，二是硬件為工業(yè)級AR智能眼鏡。

發(fā)動機裝配工作輔助系統(tǒng)：是工業(yè)級AR算法，采用本地備份+云備份的模式。云備份功能基于磁盤的備份、壓縮、加密、重復數(shù)據(jù)刪除、服務器虛擬化、存儲虛擬化、應用優(yōu)化數(shù)據(jù)保護等，能夠預測并管理容量增長和運營費用。異地云備份模式可避免企業(yè)備份設備的采購和部署問題。

工業(yè)級AR智能眼鏡：是一款有防爆認證的眼鏡，最高運行時間長達10 h，能足額保障一個班組的日常操作。

2 5G和AR的人工智能技術(shù)的實踐及探索

2.1 結(jié)合深度學習

2.1.1 深度學習的定義

深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究，含多隱層的多層感知器（MLP）就是一種深度學習結(jié)構(gòu)。深度學習通過組合低層特征形成更加抽象的高層表示（屬性類別或特征），以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

2.1.2 深度學習在工業(yè)制造的運用

發(fā)動機裝配零部件種類繁多、工序復雜、流水線漫長，需要大量成本用于員工的培訓以及生產(chǎn)制造環(huán)節(jié)的管理和監(jiān)督。在工業(yè)制造中應用深度學習，就能檢測工序的執(zhí)行正確與否，降低作業(yè)失誤率，大大提升效率。圖6示出的是深度學習算法。

圖6 深度學習算法

2.2 基于三維模型圖像的識別算法

為了進一步提高三維模型的識別精度，提出了一種基于深度卷積神經(jīng)網(wǎng)絡的三維模型識別方法。將點云數(shù)據(jù)通過占用網(wǎng)格規(guī)范化計算轉(zhuǎn)化為二值3D體素矩陣，通過附加正則化項的隨機梯度下降算法提取體素矩陣的特征，再通過共享權(quán)重的旋轉(zhuǎn)增強對訓練集進行數(shù)據(jù)增廣并以此對模型標簽進行預測。實驗結(jié)果表明，該算法在公開數(shù)據(jù)集ModelNet40及悉尼城市模型數(shù)據(jù)集上的識別精度均達到85%左右。與基于同類機器學習的三維模型識別算法相比，在相同訓練數(shù)據(jù)集上該方法網(wǎng)絡訓練時間短，在相同測試數(shù)據(jù)集上模型識別準確率高，檢索速度快。提出的體素占用網(wǎng)格模型的深度卷積神經(jīng)網(wǎng)絡，可以實現(xiàn)三維點云模型數(shù)據(jù)集及規(guī)范化體素模型數(shù)據(jù)集的識別和分類工作。

AR發(fā)動機裝配輔助系統(tǒng)，利用圖像識別算法和深度學習算法，識別裝配前發(fā)動機的零部件，發(fā)動機的型號，裝配工人與AR智能終端交互，AR智能終端向裝配工人展示正確的裝配指引，方式包括語音、圖片、視頻、3D動畫等。

2.2.1 發(fā)動機裝配防錯糾錯

深度學習算法智能監(jiān)測每一個裝配工序和步驟，識別發(fā)動機裝配過程中的漏裝與錯裝操作，實時進行報警提示，并停止流程的進行，直到系統(tǒng)監(jiān)測裝配正確方可進入下一步裝配。

2.2.2 業(yè)務流程

AR發(fā)動機裝配輔助系統(tǒng)，利用圖像識別算法和人工算法，識別裝配前發(fā)動機的零部件，發(fā)動機的型號，裝配工人與AR智能終端交互，AR智能終端向裝配工人展示正確的裝配指引，方式包括語音、圖片、視頻、3D動畫等。

圖7示出的是發(fā)動機裝配指導模塊；圖8示出的是遠程專家指導模塊。

圖7 發(fā)動機裝配指導模塊

2.3 操作流程

圖8 遠程專家指導模塊

操作流程結(jié)合圖像識別、深度學習對端面識別、增強現(xiàn)實疊加操作指引、零部件操作即時反饋、操作結(jié)果報表反饋、交互確認、重復當前操作指引、自動跳轉(zhuǎn)至下一工序操作指引、任務完成，一系列智能工序操作指引，提高作業(yè)效率。

3 結(jié)束語

在經(jīng)濟飛速發(fā)展的今天，節(jié)能降耗已成為全社會共同關(guān)注的話題，也是工業(yè)制造企業(yè)邁向智能制造4.0必須思考的問題。AR在未來企業(yè)中的重度應用和現(xiàn)在的技術(shù)特性決定了AR需要更高的帶寬和更低的時延，才能達到更好的用戶體驗。而5G背景下，企業(yè)AR應用在人工智能的加持下，可實現(xiàn)智能識別及智能運算，能夠解決企業(yè)切實問題，提高制造效率，降低出錯率，降低生產(chǎn)成本，實現(xiàn)真正的智能制造。