劉諾石，鄒 方，何昭巖，穆欣偉

（中國(guó)航空制造技術(shù)研究院工業(yè)網(wǎng)絡(luò)與自動(dòng)化實(shí)驗(yàn)室，北京 100024）

在航空制造業(yè)生產(chǎn)裝配過(guò)程中，并非都是全自動(dòng)生產(chǎn)線，還有半自動(dòng)化生產(chǎn)線、人工操作、手動(dòng)裝配等情況，這些需要人來(lái)進(jìn)行裝配操作的過(guò)程具有步驟多、工序復(fù)雜、產(chǎn)品品質(zhì)要求高等特點(diǎn)，因此對(duì)工人裝配作業(yè)步驟的監(jiān)督檢查及操作培訓(xùn)就變得極為重要[1]。相較于汽車制造業(yè)等傳統(tǒng)制造業(yè)，航空制造業(yè)的生產(chǎn)裝配對(duì)于裝配人員的技術(shù)要求和裝配產(chǎn)品的技術(shù)指標(biāo)要求更加嚴(yán)格。在實(shí)際的生產(chǎn)裝配過(guò)程中，往往需要依賴熟練裝配人員自身的豐富經(jīng)驗(yàn)。這樣的裝配過(guò)程往往效率較低，而且產(chǎn)品的品質(zhì)受個(gè)人因素影響較大，同時(shí)裝配人員也可能在裝配過(guò)程中出現(xiàn)一些錯(cuò)誤操作。

目前的手工裝配領(lǐng)域面臨著多種問(wèn)題，其中包括手工裝配效率低，勞動(dòng)強(qiáng)度大，在特種環(huán)境下可能對(duì)裝配工人產(chǎn)生危害，不適應(yīng)當(dāng)今制造業(yè)多品種、小批量的敏捷生產(chǎn)模式等。面對(duì)手工裝配的缺點(diǎn)，各行業(yè)內(nèi)都提出了多種解決方案。趙偉博[2]將基于機(jī)器視覺(jué)的軸孔機(jī)器人與PLC主控系統(tǒng)相結(jié)合，設(shè)計(jì)一種人際協(xié)同工作站，實(shí)現(xiàn)了機(jī)器人對(duì)工件的自動(dòng)分解并進(jìn)行人機(jī)協(xié)同裝配。魏中雨等[3]采用Mask–RCNN深度神經(jīng)網(wǎng)絡(luò)對(duì)工件進(jìn)行分類及定位，并通過(guò)圖像處理結(jié)果判斷裝配是否正確，代替人工進(jìn)行裝配過(guò)程中的漏裝判斷與質(zhì)量檢測(cè)。陸晗秀等[4]設(shè)計(jì)了一套標(biāo)準(zhǔn)作業(yè)指導(dǎo)系統(tǒng)，實(shí)現(xiàn)了引導(dǎo)取料、軟硬件結(jié)合、數(shù)據(jù)收集等功能。郭冬陽(yáng)[5]建立了裝配車間自動(dòng)排產(chǎn)模型，設(shè)計(jì)出盡可能相對(duì)合理的生產(chǎn)計(jì)劃，針對(duì)多品種小批量的裝配環(huán)境進(jìn)行合理的調(diào)度排產(chǎn)。張靜等[6]提出了一種基于YOLO v3算法對(duì)形狀多樣的工件識(shí)別方法，解決了工廠中光線不穩(wěn)定等因素，也避免浪費(fèi)人工和時(shí)間。崔道闊[7]討論了自動(dòng)擰緊技術(shù)在發(fā)動(dòng)機(jī)裝配方面的應(yīng)用，希望通過(guò)“自動(dòng)化+柔性化”的裝配模式來(lái)代替“人工裝配+剛性工裝”的裝配模式。劉亞文等[8]構(gòu)建了一種基于PLC的工業(yè)雷管智能并行裝配系統(tǒng)，解決了人工裝配工業(yè)雷管所產(chǎn)生的危險(xiǎn)系數(shù)高、生產(chǎn)效率低、安全事故頻發(fā)等問(wèn)題。

輔助人工作業(yè)系統(tǒng)的目的是用于對(duì)零部件裝配操作進(jìn)行輔助指導(dǎo)和監(jiān)督，對(duì)裝配工人的錯(cuò)誤操作進(jìn)行提醒和糾正[9]。該系統(tǒng)通過(guò)應(yīng)用可視化顯示、智能引導(dǎo)、智能防錯(cuò)等技術(shù)手段，實(shí)現(xiàn)裝配過(guò)程中對(duì)裝配人員的引導(dǎo)與防錯(cuò)以及關(guān)鍵數(shù)據(jù)的自動(dòng)記錄，可以大幅度提高人工裝配的質(zhì)量和效率，滿足多品種小批量精益生產(chǎn)需求，也適用于新產(chǎn)品或新員工裝配培訓(xùn)[10]。

1 輔助人工作業(yè)系統(tǒng)

針對(duì)飛機(jī)機(jī)載機(jī)電設(shè)備的手工裝配，中國(guó)航空制造技術(shù)研究院工業(yè)網(wǎng)絡(luò)與自動(dòng)化實(shí)驗(yàn)室開(kāi)發(fā)了一套智能輔助人工作業(yè)系統(tǒng)。該系統(tǒng)是一個(gè)具有模塊化、網(wǎng)絡(luò)化、交互式特點(diǎn)的人工作業(yè)系統(tǒng)，符合人體工程學(xué)和精益生產(chǎn)原理。該作業(yè)系統(tǒng)由投影指示/體感攝像、觸摸顯示、物料存取、工具作業(yè)等功能區(qū)組成，形成一套完整的智能人工作業(yè)系統(tǒng)。該系統(tǒng)有一個(gè)可自由配置的系統(tǒng)操作軟件，將物理工作站與虛擬模塊連接起來(lái)，實(shí)現(xiàn)了全面聯(lián)網(wǎng)、模塊擴(kuò)展、簡(jiǎn)易集成、活學(xué)活用等優(yōu)點(diǎn)。該作業(yè)系統(tǒng)可為員工提供多種產(chǎn)品裝配的技術(shù)指導(dǎo)。工作計(jì)劃直觀呈現(xiàn)在觸摸屏上，作業(yè)過(guò)程逐步說(shuō)明顯示給員工，或通過(guò)投影儀和按燈取貨來(lái)引導(dǎo)作業(yè)步驟。員工按照提示完成相應(yīng)的作業(yè)，并可以通過(guò)觸摸顯示器或使用輸入單元按鈕手動(dòng)確認(rèn)處理步驟，也可以通過(guò)體感攝像機(jī)和工具扭矩來(lái)監(jiān)控確認(rèn)。該系統(tǒng)可以應(yīng)用到航空機(jī)載設(shè)備的機(jī)電、光電等組件產(chǎn)品的人工裝配和檢測(cè)測(cè)試過(guò)程。

在具體的裝配引導(dǎo)過(guò)程中，工藝文件被分為一步一步的具體裝配步驟，裝配工人只需要根據(jù)每一步驟的文字和圖像指示即可完成零部件的裝配。不同零部件根據(jù)其不同的工藝文件，在系統(tǒng)中成為不同的產(chǎn)品任務(wù)。根據(jù)產(chǎn)品任務(wù)可以創(chuàng)建對(duì)應(yīng)的工作訂單，裝配人員通過(guò)完成工作訂單來(lái)實(shí)現(xiàn)零部件的裝配。同時(shí)裝配過(guò)程中產(chǎn)生的工作數(shù)據(jù)，例如螺釘?shù)慕嵌群团ぞ?，都?huì)存儲(chǔ)下來(lái)，以供后續(xù)查詢。

1.1 系統(tǒng)組成

智能人工作業(yè)系統(tǒng)組成如圖1所示，腳踏開(kāi)關(guān)用于在裝配過(guò)程中踩下后進(jìn)行工藝流程的下一步；蜂鳴器用于裝配出錯(cuò)時(shí)鳴響警報(bào)；三色按鈕用于按下按鈕進(jìn)行工藝步驟的切換；氣動(dòng)夾具用于固定裝配工件；夾具按鈕用于控制氣動(dòng)夾具的開(kāi)閉；掃碼槍用于掃描產(chǎn)品對(duì)應(yīng)的二維碼，讀取產(chǎn)品號(hào)；一體機(jī)用于輔助人工作業(yè)系統(tǒng)操作軟件使用平臺(tái)；電子秤用于用于完成裝配后對(duì)產(chǎn)品進(jìn)行稱重；LED燈帶用于指示零件料盒的位置；零件料盒用于盛放裝配所需零件；擰緊器為螺釘擰緊的工具；三色信號(hào)燈用于顯示工藝步驟的完成結(jié)果；深度相機(jī)為手部識(shí)別的深度相機(jī)；投影儀用于投影顯示作業(yè)引導(dǎo)內(nèi)容。

1.2 系統(tǒng)電氣與網(wǎng)絡(luò)連接

在使用輔助人工作業(yè)系統(tǒng)時(shí)，裝配人員通過(guò)顯示器的提示步驟和投影儀投屏下來(lái)的詳細(xì)操作說(shuō)明進(jìn)行裝配。工作站一方面通過(guò)3D體感相機(jī)采集工作區(qū)作業(yè)圖像，另一方面通過(guò)物聯(lián)模塊采集USB外設(shè)信號(hào)和GPIO輸入輸出信號(hào)，將數(shù)據(jù)信號(hào)傳送給物聯(lián)網(wǎng)服務(wù)器，反饋裝配人員的工作狀態(tài)，從而實(shí)現(xiàn)裝配過(guò)程中的人機(jī)交互和智能化。

智能人工作業(yè)系統(tǒng)依據(jù)多種外設(shè)的數(shù)據(jù)采集和信息通訊，輔助指導(dǎo)操作人員進(jìn)行裝配。通過(guò)GPIO和USB接口連接到邊緣控制器的外設(shè)有彩色燈帶、掃碼槍、腳踏開(kāi)關(guān)、三色燈、三位按鈕、電子秤和馬頭擰緊器。3D體感相機(jī)用來(lái)采集作業(yè)人員工作時(shí)手的位置信息，判斷操作人員裝配拿取零件是否正確，將結(jié)果通過(guò)MQTT協(xié)議傳輸給邊緣控制器，邊緣控制器對(duì)外設(shè)下達(dá)指令，通過(guò)聲（蜂鳴器）、光（三色燈、光帶指示）、文字（投屏圖文）等形式，給予操作人員提示。圖2為作業(yè)系統(tǒng)外設(shè)連接圖。

圖1 智能人工作業(yè)系統(tǒng)組成Fig.1 Intelligent manual operating system composition

1.3 輔助人工作業(yè)系統(tǒng)軟件

輔助人工作業(yè)系統(tǒng)軟件是使用Java語(yǔ)言進(jìn)行開(kāi)發(fā)，基于Spring框架的軟件，同時(shí)以MySQL作為數(shù)據(jù)庫(kù)。整個(gè)智能人工作業(yè)系統(tǒng)具有6種主要功能：用戶管理、訂單管理、系統(tǒng)配置、作業(yè)編制、作業(yè)指導(dǎo)、系統(tǒng)日志。

（1）用戶管理。

用戶通過(guò)輸入正確的用戶名和用戶密碼，系統(tǒng)將根據(jù)用戶對(duì)應(yīng)的身份與權(quán)限，讓用戶進(jìn)入相應(yīng)的系統(tǒng)操作模塊。用戶定義了操作人員、生產(chǎn)計(jì)劃員和系統(tǒng)管理員三種角色。系統(tǒng)管理員可以進(jìn)行訂單管理、系統(tǒng)配置、查看系統(tǒng)日志；生產(chǎn)計(jì)劃員可以進(jìn)行作業(yè)編制；操作人員可以進(jìn)行作業(yè)指導(dǎo)。

（2）訂單管理。

通過(guò)掃描產(chǎn)品對(duì)應(yīng)的二維碼，可以關(guān)聯(lián)產(chǎn)品的訂單狀態(tài)。訂單包括訂單名稱、產(chǎn)品類型序號(hào)、產(chǎn)品數(shù)量，事先訂單狀態(tài)等信息[11]，如表1所示。

（3）系統(tǒng)配置。

在使用作業(yè)系統(tǒng)時(shí)，系統(tǒng)管理員可以根據(jù)實(shí)際的生產(chǎn)情況，進(jìn)行模塊單元的參數(shù)設(shè)置，其中包括物料存取、深度相機(jī)識(shí)別模塊。在物料存取模塊的配置中，系統(tǒng)管理員可以對(duì)每一個(gè)物料盒中的零件數(shù)量進(jìn)行配置，并且可以添加新的物料盒，或者刪除已有的物料盒。系統(tǒng)管理員也可以隨時(shí)對(duì)物料盒中的剩余零件數(shù)量進(jìn)行更新。在深度相機(jī)識(shí)別模塊的配置中，系統(tǒng)管理員可以對(duì)每一塊識(shí)別區(qū)域的名稱以及具體坐標(biāo)進(jìn)行配置，可以隨時(shí)進(jìn)行增加、刪除以及更改識(shí)別區(qū)域，根據(jù)生產(chǎn)需求柔性更改。

（4）作業(yè)編制。

按照產(chǎn)品的工藝文件、產(chǎn)品說(shuō)明書、作業(yè)規(guī)程等文件，按步引導(dǎo)編制作業(yè)步驟。輸入相應(yīng)圖片、文字。系統(tǒng)根據(jù)投影儀距桌面的距離和工作臺(tái)面顯示區(qū)的尺寸，設(shè)計(jì)顯示頁(yè)面模板，頁(yè)面將劃分成指導(dǎo)文字、圖片/視頻、正確/錯(cuò)誤圖標(biāo)、提示信息、數(shù)據(jù)顯示等功能區(qū)（圖3）。涉及機(jī)器視覺(jué)部分需要針對(duì)待檢測(cè)的物件進(jìn)行相應(yīng)的編程，并存入相應(yīng)的功能模塊中?？删幹贫喾N型號(hào)的工藝文件，通過(guò)裝配前掃描二維碼實(shí)現(xiàn)快速換型裝配，具備動(dòng)態(tài)可配置的特點(diǎn)。

表1 作業(yè)訂單Table 1 Work orders

（5）作業(yè)指導(dǎo)。

系統(tǒng)感知員工的作業(yè)狀態(tài)，及時(shí)準(zhǔn)確調(diào)用生產(chǎn)計(jì)劃員事先編制好的產(chǎn)品作業(yè)多媒體指導(dǎo)文件，提供相應(yīng)工序的作業(yè)指導(dǎo)和提示，指導(dǎo)的內(nèi)容包括作業(yè)圖片、作業(yè)視頻以及工藝說(shuō)明。直接控制投影指示模塊給出相應(yīng)的提示，同時(shí)接收各個(gè)模塊信息并動(dòng)態(tài)調(diào)整提示內(nèi)容。在引導(dǎo)過(guò)程中，系統(tǒng)還會(huì)通過(guò)燈光與警笛提醒來(lái)引導(dǎo)裝配過(guò)程和防止出現(xiàn)裝配錯(cuò)誤。

（6）系統(tǒng)日志。

記錄用戶所有操作和作業(yè)過(guò)程中所有重要數(shù)據(jù)。系統(tǒng)管理員可在系統(tǒng)中查看所有用戶最近50條操作記錄。操作人員可在系統(tǒng)中查看已完成拼裝的產(chǎn)品的作業(yè)數(shù)據(jù)，其中包括每顆螺釘擰緊時(shí)的扭矩和角度。

2 智能防錯(cuò)

圖2 作業(yè)系統(tǒng)外設(shè)連接圖Fig.2 Peripheral connection diagram of operating system

在航空裝配的過(guò)程中，由于裝配工藝的復(fù)雜性，不同零部件的裝配流程具有較大的區(qū)別。對(duì)于裝配人員而言，學(xué)習(xí)新的零部件裝配需要花費(fèi)不少的時(shí)間成本，裝配成品的品質(zhì)也很難達(dá)標(biāo)。由于航空制造業(yè)對(duì)于制造品質(zhì)的高要求，相應(yīng)的對(duì)于裝配人員的技術(shù)要求也較高。例如裝配過(guò)程中每一顆螺釘?shù)臄Q緊過(guò)程，對(duì)于螺釘?shù)呐ぞ睾徒嵌榷加袊?yán)格的要求。同時(shí)，在裝配過(guò)程中裝配人員可能會(huì)出現(xiàn)諸如錯(cuò)誤抓取零件，零件用完等情況。輔助人工作業(yè)系統(tǒng)中的智能防錯(cuò)部分就是為了解決裝配過(guò)程中可能出現(xiàn)的各類問(wèn)題。

在輔助人工作業(yè)系統(tǒng)中，設(shè)計(jì)了5個(gè)模塊來(lái)解決這些問(wèn)題，這些模塊為多設(shè)備接入模塊、作業(yè)引導(dǎo)模塊、手部識(shí)別模塊、螺釘擰緊模塊和零件耗盡提示模塊。這5個(gè)模塊共同組成了輔助人工作業(yè)系統(tǒng)的智能防錯(cuò)核心。輔助人工作業(yè)系統(tǒng)通過(guò)多設(shè)備接入模塊實(shí)現(xiàn)與多個(gè)外部設(shè)備互聯(lián)互通，再通過(guò)對(duì)這些外部設(shè)備的使用來(lái)實(shí)現(xiàn)其他智能防錯(cuò)模塊的功能。圖4為輔助人工作業(yè)系統(tǒng)的智能防錯(cuò)功能模塊結(jié)構(gòu)圖。

2.1 手工裝配問(wèn)題及解決方案

在實(shí)際的裝配過(guò)程中，裝配人員會(huì)遇到多品種復(fù)雜手工裝配流程、零件選取錯(cuò)誤、螺釘擰緊的扭矩和角度不合格、待裝零件耗盡等問(wèn)題，這些問(wèn)題的解決方案如下。

圖3 系統(tǒng)投影指示Fig.3 System projection indication

圖4 輔助人工作業(yè)系統(tǒng)智能防錯(cuò)核心功能模塊Fig.4 Core function module of intelligent error proofing of auxiliary manual operating system

（1）多品種復(fù)雜手工裝配流程。

在航空設(shè)備的裝配過(guò)程中，所用到的部件的種類是十分龐大的，裝配人員很難對(duì)所有的部件裝配都十分熟悉。對(duì)于這些部件的工藝流程，裝配人員很難做到高效、準(zhǔn)確地拼裝，也很容易在裝配過(guò)程中出錯(cuò)。

對(duì)于這個(gè)問(wèn)題，輔助人工作業(yè)系統(tǒng)通過(guò)作業(yè)引導(dǎo)模塊進(jìn)行解決。生產(chǎn)計(jì)劃員將零部件的工藝流程轉(zhuǎn)變?yōu)楣に囄募斎脒M(jìn)輔助人工作業(yè)系統(tǒng)中。整個(gè)工藝流程被分解為多個(gè)步驟，在裝配過(guò)程中自動(dòng)顯示在觸摸屏一體機(jī)上，同時(shí)投影儀也會(huì)將步驟的具體內(nèi)容投影到工作臺(tái)的臺(tái)面上。步驟內(nèi)容的形式以文字，圖片，視頻為主。這樣將復(fù)雜的工藝流程分解為簡(jiǎn)單的工藝步驟，裝配人員可以簡(jiǎn)單快速地完成裝配。

（2）零件選取錯(cuò)誤。

一個(gè)部件的裝配，往往需要用到多種零件。由于很多零件的外形、用途較為類似，區(qū)別較小，在實(shí)際裝配中很容易產(chǎn)生誤選。

輔助人工作業(yè)系統(tǒng)通過(guò)手部識(shí)別模塊來(lái)防止裝配人員對(duì)于零件的誤選。生產(chǎn)計(jì)劃員將零件分門別類放于不同的零件料盒中，位于工作臺(tái)上方的深度相機(jī)實(shí)時(shí)拍攝工作臺(tái)的俯視畫面。通過(guò)SSD算法對(duì)于畫面中出現(xiàn)的手部進(jìn)行識(shí)別和定位，并計(jì)算出手部的三維坐標(biāo)，通過(guò)手部的三維坐標(biāo)以及零件料盒的三維坐標(biāo)來(lái)進(jìn)行判斷裝配人員是否正確地拿取了零件。

（3）螺釘擰緊的扭矩和角度不合格。

對(duì)于航空裝配而言，螺釘擰緊的扭矩和角度有著嚴(yán)格的要求。螺釘?shù)呐ぞ睾徒嵌热绻龇秶?，可能?duì)部件的壽命造成不好的影響，嚴(yán)重的可能會(huì)引發(fā)事故。在裝配流程中，裝配人員一般通過(guò)豐富的經(jīng)驗(yàn)來(lái)把握擰緊程度。這種做法既不穩(wěn)定，對(duì)于裝配人員的要求也較高。

輔助人工作業(yè)系統(tǒng)通過(guò)擰緊器來(lái)防止螺釘?shù)臄Q緊程度超出范圍。擰緊器可以設(shè)定扭矩與角度的范圍，在符合和超出這個(gè)范圍時(shí)會(huì)有不同的提示，同時(shí)操作簡(jiǎn)單迅速。

（4）待裝零件耗盡。

在進(jìn)行某部件手工裝時(shí)，時(shí)常會(huì)出現(xiàn)待裝零件耗盡，必須及時(shí)補(bǔ)充，以免影響后續(xù)的裝配工作。通常需要聯(lián)系庫(kù)管員進(jìn)行零件的添加與更換，庫(kù)管員也需要時(shí)常檢查工作站的零件情況。這樣做既不方便，也費(fèi)時(shí)費(fèi)力。

在輔助人工作業(yè)系統(tǒng)中采用智能穿戴設(shè)備來(lái)解決該問(wèn)題。管理人員佩戴了一塊智能手表，當(dāng)零件料盒中的零件數(shù)量低于設(shè)定值時(shí)，輔助人工作業(yè)系統(tǒng)將會(huì)向手表發(fā)送信息，使手表點(diǎn)亮以及震動(dòng)，及時(shí)通知庫(kù)管員進(jìn)行零件補(bǔ)充。

2.2 多設(shè)備接入

輔助人工作業(yè)系統(tǒng)在引導(dǎo)裝配人員以及防錯(cuò)的過(guò)程中會(huì)使用大量的外部設(shè)備，例如掃碼槍、投影儀、腳踏開(kāi)關(guān)、擰緊器等。這些外部設(shè)備的種類、接入方式、信息接口，數(shù)據(jù)格式以及輸入輸出的接口都各不相同。因此輔助人工作業(yè)系統(tǒng)采用了多設(shè)備接入模塊來(lái)統(tǒng)一接入和管理這些設(shè)備。圖5為多設(shè)備接入軟件的功能結(jié)構(gòu)圖。

受到硬件平臺(tái)輸出電壓電流的顯示，系統(tǒng)共有兩個(gè)物聯(lián)模塊，共同實(shí)現(xiàn)智能人工作業(yè)系統(tǒng)外設(shè)集成通訊功能。在物聯(lián)模塊1中編寫的軟件用于數(shù)據(jù)采集，在物聯(lián)模塊2中編寫的軟件用于在控制臺(tái)顯示引導(dǎo)視圖和說(shuō)明文字。兩個(gè)軟件程序共同完成系統(tǒng)下位機(jī)功能，為系統(tǒng)提供必要的輔助支撐。表2為接入外部設(shè)備統(tǒng)計(jì)。

在物聯(lián)模塊1中運(yùn)行的軟件通過(guò)MQTT協(xié)議與服務(wù)器通訊，其功能有串口通訊功能、I/O通訊功能等。同時(shí)由于多種外部設(shè)備的輸入信號(hào)是并行輸入，不同外設(shè)有其對(duì)應(yīng)的功能函數(shù)，這些函數(shù)需要循環(huán)掃描，當(dāng)接收到外設(shè)信號(hào)或服務(wù)器指令時(shí)，執(zhí)行相應(yīng)的命令。在物聯(lián)模塊2中運(yùn)行的軟件同樣通過(guò)MQTT協(xié)議與服務(wù)器通訊，其功能主要是接收服務(wù)器發(fā)來(lái)的信號(hào)或數(shù)據(jù)，進(jìn)行Base64解碼，最后進(jìn)行圖文顯示。圖6為多設(shè)備接入程序流程圖。

2.3 作業(yè)引導(dǎo)

圖5 多設(shè)備接入軟件功能結(jié)構(gòu)圖Fig.5 Multi-device access software function structure

圖6 多設(shè)備接入程序流程圖Fig.6 Flow chart of multi-device access program

裝配人員在使用輔助人工作業(yè)系統(tǒng)時(shí)，會(huì)通過(guò)使用掃碼槍掃描產(chǎn)品對(duì)應(yīng)的二維碼來(lái)查詢對(duì)應(yīng)的工作訂單，再選擇工作訂單開(kāi)始進(jìn)行裝配工作。產(chǎn)品對(duì)應(yīng)的整個(gè)工藝流程被轉(zhuǎn)變?yōu)橛啥鄠€(gè)工藝步驟組成的工藝文件，裝配人員根據(jù)工藝步驟進(jìn)行操作即可完成產(chǎn)品裝配。

工藝步驟一般是由文字、圖片或者視頻來(lái)進(jìn)行描述，顯示在觸摸屏一體機(jī)和投影儀的畫面上。在開(kāi)始進(jìn)行裝配后，裝配人員完成工藝步驟，當(dāng)前步驟完成后通過(guò)踩下腳踏開(kāi)關(guān)或者按下三色按鈕進(jìn)行下一步。完成所有步驟后，需要對(duì)產(chǎn)品進(jìn)行稱重并記錄數(shù)據(jù)，此時(shí)一個(gè)產(chǎn)品的裝配過(guò)程結(jié)束。在裝配過(guò)程中，如果出現(xiàn)零件抓取錯(cuò)誤或螺釘擰緊錯(cuò)誤，則指示燈會(huì)亮紅燈，同時(shí)蜂鳴器鳴響，同時(shí)在觸摸屏一體機(jī)和投影儀的畫面上也會(huì)有所顯示。

工藝步驟信息存儲(chǔ)在服務(wù)器的MySql數(shù)據(jù)庫(kù)中，工藝步驟的相關(guān)圖片和視頻也存儲(chǔ)在服務(wù)器的固定路徑下。工藝步驟的信息包括產(chǎn)品號(hào)、步驟序號(hào)、步驟內(nèi)容、圖片/視頻名、步驟類型，具體信息如表3所示。

在當(dāng)前工藝步驟完成后進(jìn)行下一步驟時(shí)，服務(wù)器會(huì)使用MQTT協(xié)議將下一步對(duì)應(yīng)的步驟信息發(fā)送給投影圖像顯示的物聯(lián)模塊。同時(shí)，工藝步驟對(duì)應(yīng)的圖片以及視頻也會(huì)通過(guò)Base64編碼方式進(jìn)行編碼，轉(zhuǎn)換成字符串形式，和步驟信息一同發(fā)送出去。在物聯(lián)模塊接受到信息之后，會(huì)將信息進(jìn)行Base64解碼，并更新顯示畫面，完成對(duì)投影儀顯示畫面的更新。

表2 外部設(shè)備統(tǒng)計(jì)Table 2 External equipment statistics

輔助人工作業(yè)系統(tǒng)在對(duì)裝配人員進(jìn)行引導(dǎo)時(shí)，將傳統(tǒng)的紙質(zhì)工藝文件轉(zhuǎn)化為觸摸屏一體機(jī)與投影儀顯示的文字、圖像與視頻，降低了裝配人員對(duì)于傳統(tǒng)工藝文件的學(xué)習(xí)成本。但在裝配人員與系統(tǒng)的交互方面，使用按鈕、腳踏開(kāi)關(guān)等硬件的交互方式仍然具有改進(jìn)空間，可以采用手勢(shì)識(shí)別或者語(yǔ)音與系統(tǒng)進(jìn)行交互。目前系統(tǒng)中已有手勢(shì)識(shí)別模塊，可以在投影儀投射畫面中劃定特定區(qū)域作為“互動(dòng)區(qū)”。當(dāng)裝配人員完成裝配流程中的工藝步驟時(shí)，顯示互動(dòng)區(qū)，手部識(shí)別模塊識(shí)別到裝配人員的手部進(jìn)入互動(dòng)區(qū)時(shí)，當(dāng)前工藝步驟結(jié)束，進(jìn)行下一步驟，同時(shí)互動(dòng)區(qū)取消顯示。通過(guò)該過(guò)程可以實(shí)現(xiàn)手勢(shì)識(shí)別代替按鈕、腳踏開(kāi)關(guān)等硬件，同時(shí)也能防止誤觸。在語(yǔ)音方面，可以為輔助人工作業(yè)系統(tǒng)配備可穿戴式麥克風(fēng)，通過(guò)特定語(yǔ)句與系統(tǒng)進(jìn)行交互，交互語(yǔ)句可以通過(guò)投影儀投射到工作臺(tái)面上進(jìn)行提示。

同時(shí)，增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬模型可視化、信息傳遞效率方面也具有獨(dú)特優(yōu)勢(shì)，未來(lái)可以對(duì)輔助人工作業(yè)系統(tǒng)應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)。相比于文字、圖片、視頻等方式，采用AR技術(shù)會(huì)讓信息更加清楚直接地傳遞給裝配人員。在輔助人工作業(yè)系統(tǒng)中，工件通常會(huì)被固定在氣動(dòng)夾具上進(jìn)行裝配，配合深度相機(jī)對(duì)工件拍攝的深度圖像，可以識(shí)別出工件的位置與形態(tài)，再利用AR眼鏡顯示虛擬引導(dǎo)信息，讓AR影響與實(shí)際工件相結(jié)合，實(shí)現(xiàn)精確直接的引導(dǎo)裝配。

2.4 手部識(shí)別

為了防止裝配人員錯(cuò)誤地選取零件，本文采取了手部識(shí)別的方法。零件被管理人員分好放置于不同的零件料盒中，通過(guò)手部識(shí)別可以判斷裝配人員是否到正確的零件料盒中選取零件。

手部識(shí)別模塊通過(guò)深度相機(jī)對(duì)裝配人員的手部進(jìn)行識(shí)別，計(jì)算出裝配人員的手部所在位置的三維坐標(biāo)，發(fā)送至服務(wù)器。該模塊由GPU模塊與三維深度相機(jī)組成（圖7）。

表3 工藝步驟信息Table 3 Process step information

該模塊采用SSD深度學(xué)習(xí)目標(biāo)檢測(cè)算法對(duì)裝配人員的手部進(jìn)行識(shí)別，并在TensorFlow框架下進(jìn)行實(shí)現(xiàn)[12]。SSD算法是基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)算法。圖8為以VGG–16卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的SSD算法網(wǎng)絡(luò)結(jié)構(gòu)。

在SSD算法中，特征圖需要預(yù)設(shè)一組DefaultBox，再通過(guò)對(duì)每一個(gè)像素點(diǎn)的每一個(gè)DefaultBox進(jìn)行預(yù)測(cè)評(píng)分，最終得到該物體的分類類別以及所在位置。SSD算法并不會(huì)只取其中1個(gè)特征圖，SSD算法選取多個(gè)特征圖可以保證對(duì)于同一張圖像可以進(jìn)行多尺度的識(shí)別分類。對(duì)于一張圖像，經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后，提取多個(gè)尺度的特征圖，對(duì)于所有特征圖的每一個(gè)像素點(diǎn)，對(duì)預(yù)設(shè)的一組defaultbox進(jìn)行預(yù)測(cè)評(píng)分。對(duì)于分類類別為C類的識(shí)別問(wèn)題，每一個(gè)defaultbox將計(jì)算得到C+5個(gè)參數(shù)，其中包括C+1個(gè)分類類別（包括背景類）和4個(gè)偏移量（預(yù)測(cè)邊界框的中心坐標(biāo)以及寬高），最后經(jīng)過(guò)非極大值抑制（NMS）操作，最終得到結(jié)果[13]。圖9為DefaultBox的生成過(guò)程。

手部識(shí)別模塊在工作時(shí)，會(huì)實(shí)時(shí)監(jiān)控工作臺(tái)的俯視畫面，并對(duì)每幀畫面中手的位置進(jìn)行識(shí)別，并將三維坐標(biāo)通過(guò)MQTT協(xié)議發(fā)送至服務(wù)器，經(jīng)由服務(wù)器對(duì)坐標(biāo)進(jìn)行計(jì)算后，再判斷裝配人員是否有錯(cuò)誤操作。其工作流程圖如圖10所示，實(shí)際裝配過(guò)程中手部識(shí)別圖如圖11所示。

2.5 螺釘擰緊

輔助人工作業(yè)系統(tǒng)采用擰緊器來(lái)防止出現(xiàn)螺釘擰緊超出正確范圍的錯(cuò)誤。輔助人工作業(yè)系統(tǒng)選取了Desoutter馬頭高級(jí)擰緊系統(tǒng)（圖12），該擰緊系統(tǒng)由CIV3控制器和有線工具槍組成，控制器具有8個(gè)I/O輸入接口，8個(gè)I/O輸出接口，RS232串口、以太網(wǎng)接口和USB接口，擰緊器通過(guò)USB轉(zhuǎn)RS232串口與物聯(lián)模塊連接，將采集的扭矩、角度通過(guò)USB傳輸給物聯(lián)模塊，物聯(lián)模塊再通過(guò)MQTT將數(shù)據(jù)傳輸給服務(wù)器。

圖7 GPU模塊和三維深度相機(jī)Fig.7 GPU module and 3D depth camera

圖8 以VGG–16為基礎(chǔ)的SSD算法Fig.8 SSD algorithm based on VGG-16

在使用擰緊器時(shí)，根據(jù)工藝文件的參數(shù)，可以對(duì)擰緊器的扭矩和角度范圍進(jìn)行設(shè)定。在擰緊螺釘時(shí)，擰緊器會(huì)測(cè)量計(jì)算出螺釘擰緊時(shí)的角度和扭矩，如果符合設(shè)定范圍，則正確，并將扭矩和角度數(shù)據(jù)發(fā)送給服務(wù)器，如果超出范圍，則會(huì)發(fā)送錯(cuò)誤信息給服務(wù)器。

擰緊過(guò)程具體流程圖如圖13所示。

扭矩和角度數(shù)據(jù)會(huì)被發(fā)送到服務(wù)器并存儲(chǔ)在數(shù)據(jù)庫(kù)中，以方便后續(xù)查看以及計(jì)算分析，具體存儲(chǔ)形式如表4所示。

2.6 零件耗盡提示

為了防止零件耗盡的情況出現(xiàn)，輔助人工作業(yè)系統(tǒng)通過(guò)采用可穿戴智能手表來(lái)通知庫(kù)管員。輔助人工作業(yè)系統(tǒng)采用了Hexiwear可穿戴設(shè)備開(kāi)發(fā)套件（圖14），該套件結(jié)合手表外殼和手表腕帶后，可以作為智能手表使用。該手表具有藍(lán)牙通信功能，通過(guò)藍(lán)牙與物聯(lián)模塊進(jìn)行連接。

在輔助人工作業(yè)系統(tǒng)中，零件被分門別類地放在零件料盒中，每次庫(kù)管員更換零件料盒時(shí)，需要對(duì)每個(gè)零件料盒中的零件信息進(jìn)行更新，其中包括零件名和剩余零件數(shù)量。在裝配人員完成工作訂單的過(guò)程中，當(dāng)一個(gè)產(chǎn)品完成時(shí)，系統(tǒng)會(huì)根據(jù)該產(chǎn)品的裝配工藝流程來(lái)更新數(shù)據(jù)庫(kù)，將數(shù)據(jù)庫(kù)中對(duì)應(yīng)零件的剩余數(shù)量減去該產(chǎn)品所需的零件數(shù)量。當(dāng)剩余零件數(shù)量低于一個(gè)閾值時(shí)，服務(wù)器會(huì)通過(guò)MQTT發(fā)送提示信息，物聯(lián)模塊接受后通過(guò)藍(lán)牙給智能手表發(fā)送信號(hào)，讓智能手表點(diǎn)亮屏幕并發(fā)生震動(dòng)，以此來(lái)通知庫(kù)管員及時(shí)更新零件。其具體流程如圖15所示。

3 實(shí)際操作與工程應(yīng)用

3.1 總體流程

圖9 Defaultbox的生成過(guò)程Fig.9 DefaultBox generation process

圖10 手部識(shí)別模塊工作流程圖Fig.10 Work flow chart of hand recognition module

圖11 實(shí)際裝配中手部識(shí)別圖Fig.11 Hand recognition diagram in actual assembly

圖12 Desoutter馬頭擰緊控制器和擰緊器Fig.12 Desoutter tighten controller and tightening device

圖13 擰緊過(guò)程流程圖Fig.13 Flow chart of tightening process

表4 扭矩和角度數(shù)據(jù)Table 4 Torque and angle data

在使用輔助人工作業(yè)系統(tǒng)時(shí)，需要操作人員、生產(chǎn)計(jì)劃員和系統(tǒng)管理員3類用戶的相互配合，完成系統(tǒng)配置、訂單創(chuàng)建、作業(yè)工藝編制、輔助裝配等一系列功能，最終實(shí)現(xiàn)從生產(chǎn)準(zhǔn)備到輔助裝配完成的整個(gè)流程，總體流程示意圖如圖16所示。

3.2 工程應(yīng)用

以航空機(jī)載設(shè)備機(jī)電組件裝配為例，在裝配航空機(jī)載設(shè)備機(jī)電組件前，先編制作業(yè)工藝，將裝配的每一步驟對(duì)應(yīng)的圖片和文字導(dǎo)入到系統(tǒng)中，生成作業(yè)編號(hào)，在裝配過(guò)程中，通過(guò)作業(yè)編號(hào)找尋對(duì)應(yīng)的作業(yè)工藝和裝配步驟。

在裝配前，檢查智能人工作業(yè)系統(tǒng)各設(shè)備是否缺失、供電情況是否良好，路由器和交換機(jī)是否打開(kāi)、網(wǎng)絡(luò)是否正常。若一切正常，先打開(kāi)投影儀、稱重模塊、馬頭擰緊器的電源，待其開(kāi)機(jī)正常后，為邊緣控制器上電，準(zhǔn)備過(guò)程完畢，等待操作人員進(jìn)行生產(chǎn)裝配。

在具體的生產(chǎn)準(zhǔn)備過(guò)程中，生產(chǎn)計(jì)劃員需要確定該組件的產(chǎn)品號(hào)和產(chǎn)品名，再對(duì)作業(yè)工藝進(jìn)行編制。工藝步驟分為3類：零件抓取、零件組裝和螺釘擰緊，在選擇完步驟類別后，輸入步驟對(duì)應(yīng)的文字并上傳相關(guān)圖片。如果步驟為零件抓取，則還需要選擇抓取位置。按照步驟進(jìn)行作業(yè)工藝編制，最終完成由多個(gè)步驟組成的作業(yè)工藝，具體作業(yè)工藝編制界面如圖17所示。

在裝配過(guò)程中，每一步操作的結(jié)果都會(huì)記錄到數(shù)據(jù)表中，若每一步裝配操作正確，則裝配平臺(tái)會(huì)顯示裝配正確的圖文，并伴隨三色燈的綠燈亮起；若裝配操作錯(cuò)誤，則平臺(tái)顯示裝配錯(cuò)誤的圖文，三色燈的紅燈亮起，并伴有短暫的蜂鳴器報(bào)警提醒，圖18為作業(yè)引導(dǎo)過(guò)程中的界面。

通過(guò)使用輔助人工作業(yè)系統(tǒng)對(duì)航空機(jī)載設(shè)備機(jī)電組件進(jìn)行試驗(yàn)裝配，對(duì)比純手工裝配的方式，發(fā)現(xiàn)使用智能防錯(cuò)裝配的方式在效率、成本、質(zhì)量3個(gè)方面都具有優(yōu)勢(shì)，具體信息如表5所示。

圖14 Hexiwear可穿戴開(kāi)發(fā)套件Fig.14 Hexiwear wearable development kit

圖15 零件耗盡提示流程圖Fig.15 Flow chart of part exhaustion prompt

圖16 總體流程示意圖Fig.16 General flow diagram

4 結(jié)論

輔助人工作業(yè)系統(tǒng)通過(guò)觸摸指示，投影顯示，體感攝影等方式實(shí)現(xiàn)了對(duì)于裝配過(guò)程的輔助引導(dǎo)和監(jiān)督，并針對(duì)錯(cuò)誤選取零件、螺釘擰緊的扭矩和角度不合要求、待裝零件耗盡等可能出現(xiàn)的問(wèn)題進(jìn)行了智能防錯(cuò)設(shè)計(jì)。成功完成了輔助人工作業(yè)系統(tǒng)對(duì)于航空機(jī)載設(shè)備機(jī)電組件裝配的工程應(yīng)用。工程應(yīng)用表明了輔助人工作業(yè)系統(tǒng)可以成功應(yīng)對(duì)人工裝配出錯(cuò)、效率低、質(zhì)量不穩(wěn)定等問(wèn)題，具有良好的應(yīng)用前景和推廣價(jià)值。

圖17 作業(yè)工藝編制界面Fig.17 Work process preparation interface

圖18 作業(yè)引導(dǎo)界面Fig.18 Work guidance interface

表5 純手工裝配與智能防錯(cuò)裝配對(duì)比Table 5 Comparison of pure manual assembly with intelligent mistake proofing assembly