孫卓見，李紅衛(wèi)，左 康，趙 飛，梅雪松

(1.西安交通大學(xué) 機(jī)械工程學(xué)院，西安 710049；2.西安飛機(jī)工業(yè)(集團(tuán))有限責(zé)任公司，陜西 閻良 710089)

0 引言

智能制造現(xiàn)已成為各國制造業(yè)發(fā)展的重要方向，我國在2015年推出“中國制造 2025”戰(zhàn)略。智能工廠作為工業(yè) 4.0 的核心，已成為了各國研究的重點(diǎn)。

在傳統(tǒng)加工制造業(yè)的車間生產(chǎn)過程中，許多工藝流程的過程記錄涉及設(shè)備儀表數(shù)據(jù)的讀取。制造過程數(shù)據(jù)是生產(chǎn)質(zhì)量管理和控制的重要信息來源。但由于目前我國工廠內(nèi)現(xiàn)存老舊設(shè)備較多，改造阻力大，多數(shù)生產(chǎn)流程還采用人工記錄紙質(zhì)表格的方式傳遞冗雜的數(shù)據(jù)，這種方式耗時(shí)耗力，并存在不透明短板，已經(jīng)成為工廠生產(chǎn)工作的痛點(diǎn)。智能工廠建設(shè)離不開數(shù)字化依托，制造數(shù)據(jù)是實(shí)現(xiàn)數(shù)字化車間的關(guān)鍵所在，設(shè)計(jì)一種數(shù)字化制造數(shù)據(jù)管理系統(tǒng)，規(guī)范制造過程數(shù)據(jù)記錄流程備受關(guān)注。

近年在多數(shù)工業(yè)4.0和智能制造的規(guī)劃文件中，增強(qiáng)現(xiàn)實(shí)(AR，augmented reality)技術(shù)都被屢次提起[1]。增強(qiáng)現(xiàn)實(shí)技術(shù)的理念旨在將虛擬系統(tǒng)信息和現(xiàn)實(shí)世界融合顯示，將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于生產(chǎn)制造過程中，解決工作痛點(diǎn)，提高工作效率是近年的熱門方向。增強(qiáng)現(xiàn)實(shí)應(yīng)用多見于生產(chǎn)培訓(xùn)、輔助裝配檢修和遠(yuǎn)程指導(dǎo)等場景，作為獨(dú)立環(huán)節(jié)的輔助工具。德國卡爾斯魯厄理工學(xué)院提出了基于顯示屏的產(chǎn)線AR裝配引導(dǎo)方案[2]，給予了增強(qiáng)現(xiàn)實(shí)在實(shí)際生產(chǎn)中應(yīng)用很好的啟發(fā)；坦佩雷理工大學(xué)展示了一種基于 AR 的實(shí)驗(yàn)室場景人機(jī)識別與交互模型[3]，探索了工業(yè)環(huán)境下的人機(jī)交互方式；倫敦帝國學(xué)院在工業(yè)條件下的 AR 導(dǎo)航路徑規(guī)劃做出了實(shí)驗(yàn)和探索[4]，為AR應(yīng)用的拓展做出了良性探索。

隨著大數(shù)據(jù)、云計(jì)算技術(shù)的加入，智能工廠的概念已經(jīng)日益擴(kuò)充為龐大的體系框架，在工業(yè)數(shù)字化轉(zhuǎn)型實(shí)現(xiàn)智能制造的過程中，AR工具不僅是孤立環(huán)節(jié)的輔助工具，更是數(shù)字孿生系統(tǒng)與個(gè)人虛實(shí)交互的媒介[5]。業(yè)界期盼成熟的AR應(yīng)用出現(xiàn)在生產(chǎn)過程中，助力減少工作量，充分發(fā)揮人的作用，提高生產(chǎn)效率，促進(jìn)加工產(chǎn)線向網(wǎng)絡(luò)化、自動化、智能化方向發(fā)展。

為解決上述問題，提出了基于增強(qiáng)現(xiàn)實(shí)的設(shè)備運(yùn)行狀態(tài)監(jiān)測系統(tǒng)，系統(tǒng)通過軟件架構(gòu)設(shè)計(jì)和人工智能方法的應(yīng)用，實(shí)現(xiàn)了設(shè)備運(yùn)行狀態(tài)的自動化識別、上傳和錄入。結(jié)果表明：系統(tǒng)切實(shí)提高了生產(chǎn)效率，輔助了生產(chǎn)質(zhì)量管控，在加工制造業(yè)有一定的可靠性。

1 系統(tǒng)結(jié)構(gòu)及原理

1.1 系統(tǒng)總體架構(gòu)設(shè)計(jì)

制造技術(shù)的發(fā)展需求變化，帶來制造業(yè)核心競爭力的深刻變化，制造需求向多品種多批量、高質(zhì)量低成本、柔性制造快速響應(yīng)、節(jié)能環(huán)保發(fā)展。我國工業(yè)自動化基礎(chǔ)薄弱，雖然各企業(yè)進(jìn)行了自動化流程投入，部署了不同的制造管理系統(tǒng)，但大部分企業(yè)自動化沒有為信息化布局，造成數(shù)據(jù)采集、管理、利用的難題，沒有真正實(shí)現(xiàn)系統(tǒng)融合。企業(yè)數(shù)字化轉(zhuǎn)型的現(xiàn)狀面臨著設(shè)備龐雜、系統(tǒng)多元異構(gòu)、通訊協(xié)議規(guī)范不統(tǒng)一的現(xiàn)實(shí)問題。從系統(tǒng)架構(gòu)的角度分析，采用前后端分離架構(gòu)，使工業(yè)系統(tǒng)的各功能模塊解耦，在一種通用的連接協(xié)議下實(shí)現(xiàn)交互是提高系統(tǒng)開發(fā)效率，實(shí)現(xiàn)程序復(fù)用的有效方式，也是實(shí)現(xiàn)良好兼容，打通系統(tǒng)信息孤島的可持續(xù)發(fā)展模式。

旨在使延遲和網(wǎng)絡(luò)交互最小化，同時(shí)使組件實(shí)現(xiàn)的獨(dú)立性和拓展性最大化，系統(tǒng)方案采用RESTful[6]風(fēng)格的前后端分離架構(gòu)。采用HTTP方法基于統(tǒng)一接口和通用載體，通過數(shù)據(jù)庫、應(yīng)用和RESTful API的交互來完成各種事務(wù)功能的實(shí)現(xiàn)，統(tǒng)一采用JSON格式作為載體承載數(shù)據(jù)，即使應(yīng)用客戶端與服務(wù)器端技術(shù)構(gòu)造不同，也不會影響通信。架構(gòu)基本形式如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

設(shè)備儀表圖像通過架設(shè)工業(yè)相機(jī)采集，通過工業(yè)網(wǎng)關(guān)存入服務(wù)端工藝數(shù)據(jù)庫。工藝數(shù)據(jù)庫存儲生產(chǎn)任務(wù)信息、生產(chǎn)工藝流程信息、工作人員信息、工廠設(shè)備信息、制造過程數(shù)據(jù)等多維度數(shù)據(jù)，以支持多工藝流程制造和廠房設(shè)備人員變動情況下的生產(chǎn)過程數(shù)據(jù)記錄。另外，服務(wù)端部署基于深度學(xué)習(xí)的OCR識別模塊和后臺數(shù)據(jù)庫管理模塊，利用服務(wù)器算力優(yōu)勢減少終端負(fù)載，通過RESTful風(fēng)格，其他模塊只需要向API發(fā)出抽象的請求而不用關(guān)心相應(yīng)的數(shù)據(jù)庫邏輯實(shí)現(xiàn)，各應(yīng)用模塊之間實(shí)現(xiàn)了解耦，可以運(yùn)用靈活的技術(shù)棧實(shí)現(xiàn)需求功能。工作人員在生產(chǎn)過程中通過AR終端登錄系統(tǒng)，按照生產(chǎn)任務(wù)提示操作，即可完場制造過程數(shù)據(jù)的記錄保存，企業(yè)ERP系統(tǒng)通過與服務(wù)器端的API交互同步數(shù)據(jù)，即可獲得制造數(shù)據(jù)，實(shí)現(xiàn)了生產(chǎn)流程中過程數(shù)據(jù)記錄的數(shù)字化。

1.2 工藝數(shù)據(jù)庫及管理系統(tǒng)設(shè)計(jì)

工藝數(shù)據(jù)庫是系統(tǒng)的重要組成模塊，基礎(chǔ)數(shù)據(jù)用于支撐系統(tǒng)功能邏輯的實(shí)現(xiàn)，生產(chǎn)過程數(shù)據(jù)的存儲和交互完成記錄流程的數(shù)字化。工藝數(shù)據(jù)庫包含多維度的制造數(shù)據(jù)信息，其中生產(chǎn)任務(wù)信息實(shí)時(shí)與企業(yè)的訂單管理相關(guān)系統(tǒng)同步更新，實(shí)時(shí)監(jiān)聽并生成系統(tǒng)內(nèi)部任務(wù)，派發(fā)至指定車間和工作人員；生產(chǎn)過程工藝流程及相關(guān)規(guī)范數(shù)據(jù)通過數(shù)據(jù)庫后臺管理系統(tǒng)錄入，按數(shù)據(jù)庫格式形成工藝執(zhí)行文件，以便根據(jù)產(chǎn)品類型提取，在生產(chǎn)中實(shí)現(xiàn)引導(dǎo)式呈現(xiàn)；工作人員信息、工廠設(shè)備信息等工廠基本信息通過對企業(yè)已有系統(tǒng)的數(shù)據(jù)交換或后臺錄入，以支撐系統(tǒng)角色權(quán)限管理和任務(wù)下發(fā)；制造過程數(shù)據(jù)包括生產(chǎn)中所需記錄的圖像信息，識別結(jié)果，數(shù)據(jù)曲線圖，數(shù)據(jù)表等形式，分別來源于相機(jī)采集，識別模塊和AR終端。工藝數(shù)據(jù)庫的關(guān)鍵數(shù)據(jù)如圖2所示。

圖2 工藝數(shù)據(jù)庫設(shè)計(jì)

后臺管理系統(tǒng)使用REACTJS編寫，用于工藝數(shù)據(jù)庫與其他系統(tǒng)同步數(shù)據(jù)與系統(tǒng)多維信息的手動錄入和維護(hù)，僅限管理員用戶登錄。除工廠基本設(shè)備、人員信息，工藝執(zhí)行文件外，后臺管理系統(tǒng)還維護(hù)系統(tǒng)額外鋪設(shè)的相機(jī)和終端信息，給予了系統(tǒng)良好的拓展性。

2 關(guān)鍵技術(shù)闡述

生產(chǎn)過程中除了需要記錄日期、時(shí)間等基本數(shù)據(jù)，多數(shù)流程還涉及設(shè)備儀表的讀取，通過工業(yè)相機(jī)實(shí)現(xiàn)自動化圖像采集，可以減少一線工作人員的記錄負(fù)擔(dān)。由于實(shí)際工作場景干擾因素較多，使用傳統(tǒng)的數(shù)字圖像處理方法魯棒性較差。因此采用深度學(xué)習(xí)的方法處理圖像，以達(dá)到較好的檢測識別效果，并為系統(tǒng)向多工藝流程的推廣奠定基礎(chǔ)。

字符識別分為字符的檢測和識別兩個(gè)具體步驟，分別采用改進(jìn)的CTPN[7]神經(jīng)網(wǎng)絡(luò)框架和CRNN循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，編程語言為Python。

2.1 儀表文本檢測和預(yù)處理算法

結(jié)合文本行一般以水平長矩形的形式存在，而且文本行中每個(gè)字都有間隔的特點(diǎn)，近年的文本檢測論文中提出了文本檢測任務(wù)拆分的思想：首先檢測某小部分是否屬于文本行，最后將屬于同一文本行的部分合并，便得到預(yù)測線框[8-10]。一個(gè)完整的文本框中多個(gè)小文本框集合可以視作序列模型，可以使用RNN模型。因?yàn)橐粋€(gè)小文本框的預(yù)測同時(shí)依賴于左右兩邊的預(yù)測結(jié)果，因此采用BiLSTM做預(yù)測準(zhǔn)確率會大大提升。

圖3 文本檢測算法流程

傳統(tǒng)的CTPN網(wǎng)絡(luò)采用VGG16網(wǎng)絡(luò)作為特征提取框架，而后來出現(xiàn)的殘差神經(jīng)網(wǎng)絡(luò)(ReaNet)能更好地防止模型退化，增強(qiáng)學(xué)習(xí)效果。使用 ResNet50[11]的前5層卷積層作為特征提取骨干網(wǎng)絡(luò),用于提取圖像空間的語義信息,得到特征圖。卷積后的特征將送入BiLSTM繼續(xù)學(xué)習(xí)，最后接一層全連接層輸出參數(shù)：2k個(gè)縱向坐標(biāo)y，用于小邊框定位；2k個(gè)評分，分別是該線框內(nèi)容是文本或背景的評分，用于評估文本置信度；k個(gè)x的水平偏移量，用于水平邊緣修正，提高線框精確度。

文本行構(gòu)建過程將置信度 >0.7的連續(xù)選區(qū)相連接。定義一個(gè)選區(qū) Bi的鄰居Bj：Bj水平距離上離Bi最近；該距離效應(yīng)50像素；二者垂直重疊 >0.7。如果Bi、Bj同時(shí)互相滿足鄰居關(guān)系，兩個(gè)選區(qū)聚集為一個(gè)線框，文本行由連續(xù)具有相同選區(qū)的線框連接構(gòu)建。對最終獲得的文本行區(qū)域分割結(jié)果進(jìn)行過濾，得到儀表數(shù)據(jù)區(qū)域，對其進(jìn)行灰度和二值化處理，以提高后續(xù)識別的精確度。處理后的圖片如圖4所示。

圖4 圖像分割和預(yù)處理結(jié)果

2.2 文本識別算法

文本識別分為單字切割和分類兩步[12]，采用CRNN+CTC識別機(jī)制。如圖5所示。

圖5 文本識別算法流程

卷積層CNN網(wǎng)絡(luò)用于提取輸入圖像特征圖，在VGG16的第3第4個(gè)最大池化層CRNN采取的是1×2的矩形池化窗口，有別于經(jīng)典的VGG16的2×2的正方形池化窗口，因?yàn)槲谋緢D像多數(shù)都是高較小而寬較長，所以其特征圖也是這種高小寬長的矩形形狀；循環(huán)網(wǎng)絡(luò)層RNN是一個(gè)深層雙向LSTM網(wǎng)絡(luò)，在卷積特征的基礎(chǔ)上繼續(xù)提取文字序列特征。對于RNN輸出如果使用常見的Softmax Loss將帶來巨大的標(biāo)記對其樣本工作量，所以采用CTC Loss訓(xùn)練網(wǎng)絡(luò)。CTC本質(zhì)是一種通過遞推，快速計(jì)算梯度的計(jì)算方法，不需要額外對齊樣本。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 RESTful API設(shè)計(jì)

RESTful API基于NestJS框架進(jìn)行搭建開發(fā)，并使用TypeORM與數(shù)據(jù)庫連接，編程語言為TypeScript。API函數(shù)處理關(guān)系流程如圖6所示。

圖6 API函數(shù)處理流程

NestJS是一個(gè)Node.js服務(wù)器端的應(yīng)用程序框架，支持TypeScript，可以配合數(shù)據(jù)庫關(guān)系映射TypeORM快速開發(fā)接口網(wǎng)關(guān)。隨著時(shí)間的推移，應(yīng)用程序會變得越來越大，因此類型檢查非常重要。TypeScript是一種強(qiáng)類型語言，彌補(bǔ)了JavaScript的弱類型特點(diǎn)給數(shù)據(jù)庫交互帶來的不便。TypeORM是連接數(shù)據(jù)庫的關(guān)系映射工具。數(shù)據(jù)庫的邏輯實(shí)現(xiàn)和管理交互都可以通過ORM中間件，實(shí)現(xiàn)使用面向?qū)ο蟮木幊滩僮麝P(guān)系型數(shù)據(jù)庫，減小業(yè)務(wù)量的同時(shí)便于更新維護(hù)。

3.2 AR端軟件設(shè)計(jì)

為了不限于硬件情況使用，AR終端應(yīng)用基于移動端廣泛的Android平臺編寫，支持包括AR眼鏡、平板電腦、手機(jī)等多種終端設(shè)備進(jìn)行交互。系統(tǒng)用戶角色分為普通工作人員和管理員。工作人員負(fù)責(zé)生產(chǎn)過程中使用本系統(tǒng)進(jìn)行圖像采集和數(shù)據(jù)記錄，管理員負(fù)責(zé)檢視數(shù)據(jù)記錄，管理異常記錄。系統(tǒng)交互和角色關(guān)系如圖7所示。

圖7 AR端應(yīng)用邏輯流程圖

移動端應(yīng)用程序作為系統(tǒng)前端應(yīng)用，為了獲取最大的設(shè)備兼容性和跨平臺能力，沒有使用Android原生的Java/Kotlin語言進(jìn)行應(yīng)用開發(fā)。而是基于當(dāng)前流行的Vue.js語言前端框架，按應(yīng)用邏輯編寫了Html5頁面及其腳本，頁面數(shù)據(jù)的請求和獲取完全通過與前文API的交互實(shí)現(xiàn)。利用JavaScript在前端領(lǐng)域的優(yōu)勢，通過盡可能簡單的 API 實(shí)現(xiàn)響應(yīng)的數(shù)據(jù)綁定和組合的視圖組件，可以快速構(gòu)建包括動態(tài)圖表元素的用戶界面。

然而瀏覽器模式的應(yīng)用往往在性能方面表現(xiàn)不佳，工程中往往采用第三方打包工具將前端轉(zhuǎn)換為原生應(yīng)用。目前常用的uni-app頁面靈活性較差，因此采用了APICloud工具打包，利用 “混合渲染”和模塊化機(jī)制，為APP提供與原生幾乎一致的性能。程序功能包括但不限于任務(wù)監(jiān)聽、用戶登錄、任務(wù)與工藝的匹配、工藝流程的引導(dǎo)式呈現(xiàn)、多維數(shù)據(jù)錄入，網(wǎng)絡(luò)通訊等功能。

工人攜帶AR終端進(jìn)入生產(chǎn)車間，登錄系統(tǒng)后根據(jù)生產(chǎn)任務(wù)，在車間制造場景中通過應(yīng)用程序操作提示進(jìn)行生產(chǎn)操作并記錄過程數(shù)據(jù)，采集相應(yīng)圖片信息，服務(wù)器端實(shí)時(shí)分析輸出識別結(jié)果，通過無線網(wǎng)絡(luò)呈現(xiàn)在AR終端，實(shí)現(xiàn)場景信息的虛實(shí)融合，工人可以對結(jié)果進(jìn)行人工修正和添加備注。管理員登錄后可以查看各項(xiàng)生產(chǎn)任務(wù)的數(shù)據(jù)提交情況和圖像信息，并有權(quán)改變提交記錄的生效狀態(tài)，對錯(cuò)誤作業(yè)進(jìn)行駁回。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)步驟和方法

實(shí)驗(yàn)以熱處理生產(chǎn)線為試點(diǎn)對象，探索在設(shè)備與涉密生產(chǎn)管控網(wǎng)絡(luò)隔離條件下，研究傳統(tǒng)生產(chǎn)線設(shè)備基于機(jī)器視覺識別的生產(chǎn)過程控制和原始記錄的留存方法，避免對傳統(tǒng)設(shè)備改造的復(fù)雜過程和高成本的付出。在一定程度上提高生產(chǎn)效率，減輕一線員工的工作負(fù)擔(dān)，實(shí)現(xiàn)如下目標(biāo)：

通過數(shù)據(jù)同步的方式，同步園區(qū)網(wǎng)和工業(yè)網(wǎng)數(shù)據(jù)，實(shí)現(xiàn)生產(chǎn)任務(wù)下達(dá)，工藝規(guī)程數(shù)據(jù)同步、任務(wù)數(shù)據(jù)提交的功能。部署數(shù)據(jù)管理服務(wù)，組織和重新映射同步過來的生產(chǎn)數(shù)據(jù)，統(tǒng)一管理視覺識別設(shè)備、虛擬設(shè)備，實(shí)現(xiàn)整個(gè)生產(chǎn)過程需要的數(shù)據(jù)組織管理的功能。部署視覺識別服務(wù)、生產(chǎn)過程執(zhí)行管控與操作指導(dǎo)服務(wù)，進(jìn)行數(shù)據(jù)實(shí)時(shí)采集、識別、反饋，實(shí)現(xiàn)生產(chǎn)管控和記錄的功能。

4.2 系統(tǒng)部署與應(yīng)用實(shí)現(xiàn)

在實(shí)際熱處理流程中，根據(jù)生產(chǎn)訂單的不同，各種類型的熱處理工藝流程不盡相同，工人需要根據(jù)當(dāng)前生產(chǎn)任務(wù)選擇合適的熱處理方法，查閱工藝流程卡片或說明書，進(jìn)行實(shí)際生產(chǎn)操作并手動記錄過程數(shù)據(jù)填寫紙質(zhì)表格。

在部署本AR系統(tǒng)后，后臺管理系統(tǒng)支持?jǐn)?shù)據(jù)同步，按約定的數(shù)據(jù)表和字段，將數(shù)據(jù)進(jìn)行編碼，實(shí)現(xiàn)多表數(shù)據(jù)同步，同步數(shù)據(jù)包括但不限于系統(tǒng)用戶、用戶卡號、基于組織機(jī)構(gòu)與設(shè)備管理層次的設(shè)備類別、設(shè)備、設(shè)備安裝位置、配置儀表、儀表示數(shù)、結(jié)構(gòu)化工藝執(zhí)行文件、任務(wù)數(shù)據(jù)。實(shí)現(xiàn)了生產(chǎn)任務(wù)、工藝流程、生產(chǎn)設(shè)備、人員的自動對應(yīng)。支持將系統(tǒng)本身的數(shù)據(jù)訪問能力以第三方接口的方式提供給用于二次開發(fā)的用戶，以配置的方式接入到其他相關(guān)業(yè)務(wù)場景中，實(shí)現(xiàn)和其他系統(tǒng)的低耦合集成。

移動終端支持按用戶名和密碼或刷卡方式登錄。系統(tǒng)提供菜單導(dǎo)航功能，顯示當(dāng)前登錄用戶的任務(wù)狀態(tài)及任務(wù)數(shù)據(jù)統(tǒng)計(jì)。系統(tǒng)提供任務(wù)列表功能，以卡片的形式展示任務(wù)列表，顯示任務(wù)的簡單信息。按當(dāng)前登錄用戶角色顯示當(dāng)前任務(wù)列表，可在導(dǎo)航菜單中查看和篩選當(dāng)前的任務(wù)。系統(tǒng)提供工序列表功能，展示當(dāng)前任務(wù)所屬工藝執(zhí)行文件的詳細(xì)說明和工序的列表，以顏色區(qū)分工序狀態(tài)，顯示該工序所需要記錄的記錄信息。系統(tǒng)提供多種實(shí)測數(shù)據(jù)記錄方式供配置選用，記錄方式包括：文本框、日期選擇框、下拉選擇框、設(shè)備獲取、電子曲線等。根據(jù)原始記錄中的各理論值與對應(yīng)實(shí)際值的關(guān)系，自動判斷熱表處理過程的合格與否，自動進(jìn)行后續(xù)處理。

4.3 實(shí)驗(yàn)結(jié)果分析

經(jīng)過培訓(xùn)后，熱處理試點(diǎn)車間工作人員開始將AR系統(tǒng)應(yīng)用到實(shí)際生產(chǎn)中，在按規(guī)范提示生產(chǎn)作業(yè)的同時(shí)通過系統(tǒng)記錄相應(yīng)數(shù)據(jù)，進(jìn)行多型號產(chǎn)品混線生產(chǎn)，并通過后臺將數(shù)據(jù)提交至西飛質(zhì)量管控系統(tǒng)。

使用基于AR設(shè)備的設(shè)備狀態(tài)檢測系統(tǒng)，解放了工作人員的雙手，只需按AR端引導(dǎo)操作，點(diǎn)擊記錄按鈕，在規(guī)范生產(chǎn)流程的同時(shí)即可實(shí)時(shí)記錄各種所需的過程數(shù)據(jù)，并保存相應(yīng)的現(xiàn)場證據(jù)以供查證，減少人工環(huán)節(jié)提高效率的同時(shí)減少了失誤率，實(shí)現(xiàn)了無紙化流程。

由于工廠設(shè)備環(huán)境下字體固定，視角扭曲較少，識別任務(wù)較為簡單，儀表數(shù)據(jù)基本達(dá)到無誤差識別。結(jié)果文本與處理后的圖片一起存儲入庫，與該任務(wù)其他相關(guān)數(shù)據(jù)形成記錄表，以供檢驗(yàn)查詢。企業(yè)的質(zhì)量管控系統(tǒng)通過后臺的數(shù)據(jù)庫同步便可直接獲得真實(shí)的制造數(shù)據(jù)，所有流程都基于電子設(shè)備和網(wǎng)絡(luò)通訊完成，初步實(shí)現(xiàn)了生產(chǎn)過程數(shù)據(jù)數(shù)字化。

5 結(jié)束語

在西安飛機(jī)工業(yè)(集團(tuán))有限責(zé)任公司基于AR的設(shè)備運(yùn)行狀態(tài)監(jiān)測研究項(xiàng)目中的應(yīng)用結(jié)果表明，本文涉及的基于AR的設(shè)備運(yùn)行狀態(tài)監(jiān)測系統(tǒng)，利用AR終端設(shè)備解放雙手，結(jié)合深度學(xué)習(xí)方法實(shí)現(xiàn)圖像識別，通過虛實(shí)信息融合進(jìn)行生產(chǎn)引導(dǎo)和數(shù)據(jù)記錄、通過數(shù)據(jù)庫聯(lián)動實(shí)現(xiàn)生產(chǎn)訂單的智能處理和與質(zhì)量系統(tǒng)的數(shù)據(jù)交互，提供了全方位的生產(chǎn)過程數(shù)據(jù)記錄解決方案，規(guī)范了多工藝混線生產(chǎn)流程，實(shí)現(xiàn)了無紙化操作，提高了飛機(jī)生產(chǎn)車間工作效率和記錄準(zhǔn)確率，具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

介紹了基于AR的設(shè)備運(yùn)行狀態(tài)監(jiān)測系統(tǒng)及其在飛機(jī)制造廠商的應(yīng)用。該系統(tǒng)采用AR 增強(qiáng)現(xiàn)實(shí)技術(shù)，構(gòu)建了標(biāo)準(zhǔn)化生產(chǎn)車間多維數(shù)據(jù)的工藝數(shù)據(jù)庫，引入了深度學(xué)習(xí)算法，結(jié)合LSTM和CTC算法，發(fā)揮增強(qiáng)現(xiàn)實(shí)技術(shù)在虛實(shí)融合、智能引導(dǎo)、手勢語音交互等方面的技術(shù)優(yōu)勢，用于車間生產(chǎn)工作人員的輔助，可以解決傳統(tǒng)生產(chǎn)車間數(shù)據(jù)記錄工作中操作冗雜、人員效率低、數(shù)據(jù)存在真實(shí)性疑問、響應(yīng)時(shí)間慢等質(zhì)量管理痛點(diǎn)，提高了現(xiàn)場作業(yè)的規(guī)范性；可大幅減少人工記錄的工作量，提高車間生產(chǎn)工作效率和數(shù)據(jù)記錄準(zhǔn)確率。