亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        增強(qiáng)現(xiàn)實(shí)在復(fù)雜產(chǎn)品裝配領(lǐng)域的關(guān)鍵技術(shù)研究與應(yīng)用綜述

        2022-04-04 05:19:46湯鵬洲鄭冠冠吉榮華
        關(guān)鍵詞:用戶信息系統(tǒng)

        魏 禛,郭 宇+,湯鵬洲,李 晗,鄭冠冠,蒲 俊,吉榮華

        (1.南京航空航天大學(xué) 機(jī)電學(xué)院,江蘇 南京 210016;2.中國(guó)航天科工集團(tuán)八五一一研究所,江蘇 南京 210016)

        0 引言

        在增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)研究領(lǐng)域,工業(yè)是AR研究的主導(dǎo)力量之一,AR技術(shù)能為工業(yè)生產(chǎn)的每個(gè)環(huán)節(jié)提供支持,具有創(chuàng)造巨大經(jīng)濟(jì)效益的潛力。當(dāng)前,工業(yè)4.0已掀起第四次工業(yè)革命的浪潮,而AR技術(shù)是工業(yè)4.0中重要的一環(huán),被評(píng)為工業(yè)4.0倡議的九大支撐技術(shù)之一[1]。利用AR技術(shù)可以為用戶提供實(shí)時(shí)信息以改善決策和工作流程,最大限度地減少認(rèn)知負(fù)荷和注意力分散的問(wèn)題。

        在飛機(jī)、導(dǎo)彈、衛(wèi)星等復(fù)雜產(chǎn)品總裝環(huán)節(jié),由于結(jié)構(gòu)復(fù)雜、裝配難度大,目前手工裝配仍然是主流的裝配方式,而且在未來(lái)很長(zhǎng)一段時(shí)間仍將占據(jù)主導(dǎo)位置。手工裝配指的是工人使用各種對(duì)齊和緊固方法將兩個(gè)或多個(gè)零部件組裝在一起的制造過(guò)程,同時(shí)還涉及最終的質(zhì)檢過(guò)程[2]。復(fù)雜產(chǎn)品手工裝配主要存在以下問(wèn)題:

        (1)在多品種小批量的復(fù)雜產(chǎn)品裝配車間,作業(yè)任務(wù)經(jīng)常更換,新產(chǎn)品試制頻繁,部分操作不常執(zhí)行,且每次都需給裝配工人配置正確的裝配工具和裝配指導(dǎo)。工人對(duì)于裝配操作流程不熟悉,效率低,易出錯(cuò)。

        (2)在復(fù)雜產(chǎn)品的裝配過(guò)程中,裝配人員受限于裝配工序復(fù)雜、指令繁瑣,因此需要頻繁翻閱工藝文檔,查看數(shù)字圖紙。經(jīng)常中斷裝配工作讓裝配人員無(wú)法集中注意力,裝配工作的不連續(xù)性也讓用戶難以有效積累裝配經(jīng)驗(yàn)。

        (3)隨著復(fù)雜產(chǎn)品裝配工藝日益復(fù)雜,工人所需信息也隨之增多,大部分信息來(lái)自于CAD系統(tǒng)中存儲(chǔ)的零件和工藝設(shè)計(jì)信息。這些信息通常以裝配工藝手冊(cè)、模板、圖紙、接線表以及鈑金上的位置標(biāo)記等媒介傳遞到裝配車間,如果設(shè)計(jì)需要更改,則傳遞裝配信息的媒介也需要相應(yīng)的更改,是復(fù)雜產(chǎn)品制造中一個(gè)重要的費(fèi)用和延誤來(lái)源。

        將AR技術(shù)應(yīng)用于裝配過(guò)程,是對(duì)傳統(tǒng)工業(yè)領(lǐng)域的一種新型計(jì)算機(jī)支持,WIEDENMAIER等[3]從裝配的輔助設(shè)備分類的角度出發(fā),區(qū)別于傳統(tǒng)的紙質(zhì)、計(jì)算機(jī)輔助方式,將這種AR技術(shù)的應(yīng)用稱為增強(qiáng)裝配(ARsembly)。研究表明,與查看作業(yè)附近的顯示器或紙質(zhì)手冊(cè)中的工藝指令相比,直接查看覆蓋在實(shí)際任務(wù)環(huán)境中的虛擬模型可以顯著提高用戶的裝配效率[4],AR已引起裝配領(lǐng)域?qū)<覍W(xué)者的關(guān)注和研究,早在1997年,西門子公司就已展開對(duì)工業(yè)增強(qiáng)現(xiàn)實(shí)技術(shù)(Industrial Augmented Reality,IAR)的研究[5]。有學(xué)者從不同角度總結(jié)了AR技術(shù)在工業(yè)制造領(lǐng)域的應(yīng)用,BOTTANI等[6]通過(guò)文獻(xiàn)調(diào)研證實(shí)裝配指導(dǎo)和產(chǎn)品維護(hù)是增強(qiáng)裝配最常用的應(yīng)用領(lǐng)域。

        本文旨在對(duì)面向復(fù)雜產(chǎn)品裝配的AR技術(shù)的發(fā)展及應(yīng)用進(jìn)行綜述分析,在系統(tǒng)調(diào)研的基礎(chǔ)上,介紹增強(qiáng)裝配的特點(diǎn),討論AR的特點(diǎn)與體系架構(gòu),通過(guò)分析相關(guān)文獻(xiàn),闡述了跟蹤注冊(cè)、人機(jī)交互、虛實(shí)融合、內(nèi)容創(chuàng)作4個(gè)關(guān)鍵支撐技術(shù),總結(jié)了增強(qiáng)裝配在裝配指導(dǎo)、裝配訓(xùn)練、裝配過(guò)程仿真與規(guī)劃3個(gè)裝配領(lǐng)域的應(yīng)用,并依托當(dāng)前工業(yè)裝配的特點(diǎn)和發(fā)展趨勢(shì),探討了增強(qiáng)裝配的發(fā)展與挑戰(zhàn),以期為后續(xù)面向復(fù)雜產(chǎn)品裝配的增強(qiáng)裝配研究提供幫助。

        1 增強(qiáng)裝配的特點(diǎn)與體系結(jié)構(gòu)

        1.1 增強(qiáng)裝配的特點(diǎn)

        增強(qiáng)裝配的技術(shù)實(shí)現(xiàn)主要通過(guò)信息采集、定位與跟蹤、人機(jī)交互、信息推送4個(gè)方面展開。增強(qiáng)裝配技術(shù)實(shí)現(xiàn)模型如圖1所示。對(duì)比傳統(tǒng)由紙質(zhì)手冊(cè)或電子文檔輔助的裝配方法,增強(qiáng)裝配通過(guò)新技術(shù)的應(yīng)用可以反映出其幾大顯著特點(diǎn),具體如下:

        (1)全面化、簡(jiǎn)單化(信息采集) 增強(qiáng)裝配系統(tǒng)對(duì)包含工藝文件、零部件3D模型、電子圖紙等在內(nèi)的裝配要素信息進(jìn)行全面采集,同時(shí)利用攝像頭、深度相機(jī)等獲取裝配現(xiàn)場(chǎng)圖像,簡(jiǎn)化了用戶對(duì)裝配現(xiàn)狀的理解過(guò)程。

        (2)高精度、實(shí)時(shí)化(定位與跟蹤) 增強(qiáng)裝配系統(tǒng)集成了慣性傳感器(Inertial Measurement Unit, IMU)、陀螺儀等傳感設(shè)備,結(jié)合深度圖像,實(shí)現(xiàn)對(duì)視覺圖像中裝配要素的高精度定位,同時(shí)通過(guò)空間坐標(biāo)系轉(zhuǎn)換完成實(shí)時(shí)跟蹤注冊(cè)。

        (3)多樣化、智能化(人機(jī)交互) 增強(qiáng)裝配系統(tǒng)采用手勢(shì)驅(qū)動(dòng)、語(yǔ)音、眼動(dòng)跟蹤、虛擬按鈕等多種交互方式,結(jié)合目標(biāo)檢測(cè)、圖像分類等視覺算法,可以在不同場(chǎng)景中智能感知用戶意圖,實(shí)現(xiàn)人機(jī)交互。

        (4)直觀化、互動(dòng)性(信息推送) 增強(qiáng)裝配系統(tǒng)將虛擬模型、工藝文件等圖像文字信息渲染后推送給移動(dòng)終端,在用戶視界中直觀展示各類信息,通過(guò)人機(jī)交互實(shí)現(xiàn)用戶與裝配信息的互動(dòng)功能,滿足裝配指導(dǎo)的需求。

        1.2 增強(qiáng)裝配的典型架構(gòu)

        增強(qiáng)裝配體系架構(gòu)描述的是增強(qiáng)裝配的結(jié)構(gòu)形式及各組成部分之間的關(guān)聯(lián)關(guān)系,是AR技術(shù)在裝配應(yīng)用與系統(tǒng)實(shí)現(xiàn)的前提與基礎(chǔ)。針對(duì)不同應(yīng)用需求,專家學(xué)者們從不同功能與技術(shù)的角度構(gòu)建了增強(qiáng)裝配的體系架構(gòu)。STARMATE項(xiàng)目[7]將增強(qiáng)裝配整體架構(gòu)分為重計(jì)算單元、用戶設(shè)備單元和數(shù)據(jù)鏈3個(gè)部分,考慮到實(shí)時(shí)性、系統(tǒng)復(fù)雜性和聯(lián)合開發(fā)等因素,該系統(tǒng)采用模塊化設(shè)計(jì),主要由管理模塊、命令解釋模塊、呈現(xiàn)模塊、感知模塊、場(chǎng)景管理模塊、信息檢索模塊組成。謝天[8]提出一個(gè)面向操作指引的增強(qiáng)裝配的通用層次結(jié)構(gòu),并基于該層次結(jié)構(gòu)設(shè)計(jì)了通用系統(tǒng)框架,該通用系統(tǒng)框架由注冊(cè)系統(tǒng)、交互系統(tǒng)、智能檢索系統(tǒng)組成,通過(guò)開發(fā)兩個(gè)原型系統(tǒng),證明了其所提出的框架理論、模型結(jié)構(gòu)和數(shù)據(jù)組織方式合理有效。WANG等[9]描述了一個(gè)典型的增強(qiáng)裝配環(huán)境,該環(huán)境由視頻采集、圖像分析和處理、跟蹤過(guò)程、交互處理、裝配信息管理和渲染6個(gè)核心功能模塊,構(gòu)成了一個(gè)增強(qiáng)裝配系統(tǒng)的主循環(huán)。還有研究者針對(duì)特定的裝配應(yīng)用場(chǎng)景提出了特定系統(tǒng)框架[10]。

        目前,增強(qiáng)裝配系統(tǒng)框架還沒有統(tǒng)一的形式,而隨著研究的深入,各種智能化功能逐漸引入到增強(qiáng)裝配系統(tǒng)中,本文提出的基于AR的復(fù)雜產(chǎn)品智能裝配體系框架如圖2所示。增強(qiáng)裝配系統(tǒng)主循環(huán)主要由信息數(shù)據(jù)管理、視頻采集、跟蹤注冊(cè)、渲染、終端顯示、人機(jī)交互、智能輔助服務(wù)等模塊組成。根據(jù)各模塊涉及技術(shù)內(nèi)容,將相關(guān)技術(shù)劃分為智能輔助功能、關(guān)鍵支撐技術(shù)和裝配信息管理3個(gè)部分。

        (1)智能輔助功能 包括情景感知、防錯(cuò)提醒、多人協(xié)同、遠(yuǎn)程協(xié)助、拍照留證、知識(shí)沉淀等。情景感知自動(dòng)對(duì)零部件進(jìn)行識(shí)別,識(shí)別操作動(dòng)作和完成狀態(tài),自動(dòng)推送相關(guān)指導(dǎo)信息;防錯(cuò)提醒功能在錯(cuò)裝、漏裝和裝配欠位的情況下及時(shí)提醒;多人協(xié)同功能能夠在多人協(xié)作的裝配作業(yè)中對(duì)進(jìn)程進(jìn)行精準(zhǔn)控制;遠(yuǎn)程協(xié)助功能在當(dāng)裝配作業(yè)人員遇到困難需要協(xié)助時(shí),實(shí)現(xiàn)和遠(yuǎn)程專家視頻通話,通過(guò)專家指導(dǎo)指示問(wèn)題所在;拍照留證是借助頭盔式顯示器上的攝像頭在檢驗(yàn)點(diǎn)進(jìn)行拍照,可將照片及時(shí)傳遞給遠(yuǎn)程的質(zhì)檢人員,質(zhì)檢人員確認(rèn)通過(guò)后存入結(jié)構(gòu)化的數(shù)據(jù)庫(kù),便于后續(xù)質(zhì)量追溯;知識(shí)沉淀模塊通過(guò)系統(tǒng)內(nèi)的機(jī)器學(xué)習(xí)算法對(duì)透明管理中得到的數(shù)據(jù)進(jìn)行分析,為系統(tǒng)運(yùn)行提供智能決策。

        (2)關(guān)鍵支撐技術(shù) 包括跟蹤注冊(cè)、虛實(shí)融合和人機(jī)交互。跟蹤注冊(cè)模塊負(fù)責(zé)跟蹤相機(jī)位姿,然后將虛擬對(duì)象投影到相機(jī)成像平面上,為虛實(shí)融合做準(zhǔn)備;虛實(shí)融合模塊探測(cè)虛擬對(duì)象和真實(shí)對(duì)象的像素深度值,根據(jù)Z軸坐標(biāo)的大小處理虛實(shí)對(duì)象正確的遮擋關(guān)系。最后利用OpenGL等框架進(jìn)行渲染;人機(jī)交互模塊通過(guò)語(yǔ)音、手勢(shì)等交互方式進(jìn)行流程控制和虛擬對(duì)象操縱。

        (3)裝配信息管理 裝配信息源自CAD建模軟件、裝配仿真軟件、裝配工藝規(guī)劃軟件、工藝數(shù)據(jù)管理系統(tǒng)等;裝配信息經(jīng)提取并處理后,可分為實(shí)時(shí)引導(dǎo)信息、裝配工藝信息、工藝檢驗(yàn)信息和相關(guān)配套信息等,在過(guò)程引導(dǎo)階段為用戶進(jìn)行推送,輔助用戶完成作業(yè);系統(tǒng)運(yùn)行數(shù)據(jù)包括系統(tǒng)配置信息、功能模塊運(yùn)行數(shù)據(jù)、結(jié)構(gòu)化裝配工藝信息、專家知識(shí)庫(kù)等,用戶可以根據(jù)自身需求隨時(shí)查看。

        1.3 增強(qiáng)裝配的硬件

        增強(qiáng)裝配系統(tǒng)的硬件發(fā)展主要集中在顯示終端方面,顯示技術(shù)及設(shè)備要解決的問(wèn)題是讓用戶簡(jiǎn)單便捷地觀察到虛實(shí)融合的場(chǎng)景。顯示設(shè)備按產(chǎn)品形態(tài)主要分為顯示屏式、頭盔式顯示器(Head-Mounted Display, HMD)、手持式顯示器(Hand-Held Display, HHD)投影式顯示器等[11],如表1所示。

        增強(qiáng)裝配系統(tǒng)的應(yīng)用早期主要為基于計(jì)算機(jī)或手機(jī)顯示器的實(shí)現(xiàn)方案,攝像機(jī)獲取現(xiàn)場(chǎng)真實(shí)場(chǎng)景圖像后將數(shù)據(jù)輸入計(jì)算機(jī)圖形系統(tǒng),與圖形系統(tǒng)產(chǎn)生的虛擬模型合成后輸出至顯示終端,供用戶查看使用。AR顯示對(duì)成像系統(tǒng)的視場(chǎng)角、分辨率、刷新率等有著較高需求[12],隨著有機(jī)發(fā)光二極管(Organic Light-Emitting Diode, OLED)等新的液晶顯示技術(shù)的發(fā)展,液晶電視、電腦顯示屏等普通屏幕的顯示效果有了顯著提升,出現(xiàn)了具有例如4K高分辨率、240 Hz高刷新率的大尺寸顯示屏,可以更好地展示AR場(chǎng)景細(xì)節(jié),用于制造車間的現(xiàn)場(chǎng)全景展示。商業(yè)化的移動(dòng)手機(jī)處理能力和內(nèi)存有限,因此一些研究人員借助客戶機(jī)/服務(wù)器架構(gòu)來(lái)提高系統(tǒng)的實(shí)時(shí)性。HAKKARAINEN等[13]研究了在增強(qiáng)裝配系統(tǒng)中使用移動(dòng)手機(jī)的可能性,利用Nokia手機(jī)和個(gè)人電腦建立一個(gè)客戶機(jī)/服務(wù)器架構(gòu),個(gè)人電腦用來(lái)渲染復(fù)雜的CAD模型,CAD模型傳輸?shù)揭苿?dòng)手機(jī)完成快速渲染。HA等[14]使用安卓手機(jī)在客戶機(jī)/服務(wù)器架構(gòu)下實(shí)現(xiàn)對(duì)裝配場(chǎng)景目標(biāo)的實(shí)時(shí)追蹤,其中手機(jī)用于圖像采集和虛擬信息渲染,服務(wù)器用于圖像分析和物體識(shí)別。

        表1 顯示終端類型與優(yōu)缺點(diǎn)

        HHM的使用需要占用用戶雙手,因此在裝配過(guò)程中使用較為不便,更多應(yīng)用于查看裝配現(xiàn)狀、查詢工藝文件等工作,對(duì)裝配效率的提升有限。隨著AR眼鏡的開發(fā)逐漸成熟,顯示設(shè)備向頭戴式顯示器(HMD)主導(dǎo)的Video see-through AR系統(tǒng)發(fā)展,結(jié)構(gòu)如圖3所示。

        HMD可從結(jié)構(gòu)上分為視頻合成穿透式HMD與光學(xué)原理穿透式HMD。視頻合成穿透式HMD可以顯示圖形系統(tǒng)產(chǎn)生的虛擬信息和真實(shí)場(chǎng)景信息兩個(gè)通道的內(nèi)容。光學(xué)原理穿透式HMD則是將真實(shí)場(chǎng)景圖像通過(guò)減光處理后直接進(jìn)入人眼,同時(shí)將虛擬信息圖像通過(guò)投影反射后再進(jìn)入人眼,以光學(xué)方法將兩個(gè)通道的信息進(jìn)行融合。視頻合成穿透式HMD由于需要在圖形系統(tǒng)中完成信息合成,存在一定延遲;光學(xué)原理穿透式HMD相對(duì)延遲較小。

        頭戴式顯示器的應(yīng)用解放了用戶的雙手,可以在用戶裝配過(guò)程中對(duì)用戶進(jìn)行引導(dǎo)。在車間裝配中,HMD查看信息的方式自然直觀,沉浸感強(qiáng),便于用戶通過(guò)手勢(shì)、語(yǔ)音和虛擬按鈕等方式進(jìn)行人機(jī)交互。目前市場(chǎng)上的新興AR眼鏡已經(jīng)將視頻合成穿透式和光學(xué)原理穿透式的HMD融合,如Microsoft HoloLens[15],集成了慣性測(cè)量單元(IMU)、紅外攝像機(jī)、麥克風(fēng)、飛行時(shí)間法(Time of Flight, TOF)深度傳感器等多種傳感器,結(jié)合自身搭載的計(jì)算處理平臺(tái),可以在裝配中為用戶提供全方面的輔助。

        總體來(lái)說(shuō),AR設(shè)備發(fā)展迅速,使用HMD的方式更加符合目前裝配需求,是未來(lái)AR硬件顯示設(shè)備的發(fā)展趨勢(shì),然而受限于自身重量、處理器能力等,還需要在跟蹤精度和舒適性等方面進(jìn)行改進(jìn)和提升[16]。

        2 關(guān)鍵技術(shù)的發(fā)展

        2.1 跟蹤注冊(cè)

        在增強(qiáng)裝配中,一個(gè)至關(guān)重要的任務(wù)是開發(fā)一個(gè)適用于工業(yè)場(chǎng)景的實(shí)時(shí)跟蹤注冊(cè)系統(tǒng)。工業(yè)場(chǎng)景有其獨(dú)有的特點(diǎn),如產(chǎn)品結(jié)構(gòu)復(fù)雜、物體表面光滑、光線變化強(qiáng)烈、物體尺寸太小、電磁環(huán)境復(fù)雜等,對(duì)跟蹤注冊(cè)技術(shù)的應(yīng)用構(gòu)成了挑戰(zhàn),當(dāng)前主要的跟蹤注冊(cè)技術(shù)的分類與特性如表2所示。

        表2 跟蹤注冊(cè)技術(shù)分類與特性

        基于傳感器的跟蹤注冊(cè)是早期的一種方法,在增強(qiáng)裝配中也有應(yīng)用[17]。在增強(qiáng)裝配應(yīng)用中,基于傳感器的方法需要提供高精度、低延遲和低振動(dòng)的魯棒性強(qiáng)的跟蹤注冊(cè),以便適應(yīng)各種各樣的環(huán)境[18]。傳感器在裝配現(xiàn)場(chǎng)的應(yīng)用得到了很大限制,目前在增強(qiáng)裝配中已很少使用;基于機(jī)器視覺的跟蹤注冊(cè)方法是利用攝像機(jī)采集裝配現(xiàn)場(chǎng)圖像,利用圖像處理和相關(guān)位姿定位算法求解攝像機(jī)位姿。由于計(jì)算機(jī)視覺的發(fā)展以及智能手機(jī)、平板電腦以及HMD等設(shè)備上有大量圖像采集傳感器,基于視覺的跟蹤注冊(cè)逐漸成為當(dāng)前的主流技術(shù)。

        早期增強(qiáng)裝配中主要采用人工放置標(biāo)識(shí)的方式實(shí)現(xiàn)目標(biāo)跟蹤技術(shù),即有標(biāo)識(shí)(Marker-based)方法,主要采用ARToolkit、ARTag、SCR或環(huán)形標(biāo)識(shí)點(diǎn)等人工標(biāo)識(shí),在AR裝配領(lǐng)域中使用的標(biāo)志包括帶有圖案的小卡片、二維碼或者紅外標(biāo)記等。有標(biāo)識(shí)方法具有計(jì)算量小、速度快、跟蹤定位精度高等優(yōu)點(diǎn),如李世其等[19]提出一個(gè)高效的基于顯示查找表(Look-Up-Table, LUT)的非迭代算法,提高了基于方形標(biāo)識(shí)的位姿估計(jì)的穩(wěn)定性和精確性,且計(jì)算量小,適合于計(jì)算資源有限的移動(dòng)設(shè)備。然而有標(biāo)識(shí)方法在裝配車間的應(yīng)用中面臨以下問(wèn)題:①若攝像機(jī)捕捉到的圖像中沒有標(biāo)識(shí),跟蹤注冊(cè)就會(huì)失??;②受光照因素影響大,強(qiáng)光中難以辨識(shí);③標(biāo)識(shí)存在被遮擋情況;④僅適用于部分適合放置標(biāo)識(shí)的工程環(huán)境。

        隨著硬件系統(tǒng)的迭代發(fā)展,計(jì)算能力得到了顯著提升,而有標(biāo)識(shí)方法在裝配中的缺點(diǎn)則逐漸凸顯。研究者們開始將無(wú)標(biāo)識(shí)(Marker-less)技術(shù)應(yīng)用于增強(qiáng)裝配系統(tǒng)中,如基于模型、基于自然特征、基于同時(shí)定位與地圖構(gòu)建(Simultaneous Locatization and Mapping, SLAM)等多種方法。技術(shù)實(shí)現(xiàn)如圖4所示。

        無(wú)標(biāo)識(shí)方法的目標(biāo)與有標(biāo)識(shí)方法相同,都是為了求得相機(jī)的位姿,兩者的區(qū)別在于無(wú)標(biāo)識(shí)方法可以用各種具有足夠特征點(diǎn)的自然物體實(shí)現(xiàn)目標(biāo)的跟蹤注冊(cè)。常見方法有基于模型、基于自然特征、基于SLAM的方法。基于模型的方法需要對(duì)目標(biāo)物體或場(chǎng)景事先建模,然后根據(jù)目標(biāo)特征2D投影圖像與其空間3D坐標(biāo)的對(duì)應(yīng)來(lái)求解位姿,能夠較好地實(shí)現(xiàn)復(fù)雜環(huán)境下的目標(biāo)跟蹤定位。由于目前工業(yè)領(lǐng)域中無(wú)紙化生產(chǎn)的推廣,大多工業(yè)產(chǎn)品部件都有完備的電子模型,使得基于模型的方法在裝配場(chǎng)景中得到了廣泛關(guān)注。張昊鵬等[20]在增強(qiáng)裝配系統(tǒng)的跟蹤注冊(cè)環(huán)節(jié)直接采用零件模型進(jìn)行渲染,保證了技術(shù)實(shí)現(xiàn)的實(shí)時(shí)性。視覺SLAM技術(shù)是指搭載特定傳感器的主體,在沒有環(huán)境先驗(yàn)信息的情況下,在運(yùn)動(dòng)過(guò)程中建立環(huán)境模型,同時(shí)估計(jì)自己的運(yùn)動(dòng)[21],多采用單目深度相機(jī)或雙目相機(jī)系統(tǒng)實(shí)現(xiàn)。大多新型AR眼鏡已經(jīng)集成了SLAM功能系統(tǒng),在裝配場(chǎng)景中用于估計(jì)相機(jī)的相對(duì)位姿,與其他方法結(jié)合使用。

        自然特征可以是目標(biāo)的角點(diǎn)、邊緣甚至點(diǎn)云數(shù)據(jù)。在裝配場(chǎng)景中,零部件表面一般較為平滑光亮,依賴紋理的角點(diǎn)類特征稀缺?;谶吘壍姆椒▽?duì)于視角變化、一定范圍的光照變化、自遮擋等情況存在不變性,比角點(diǎn)特征更穩(wěn)定。例如STANIMIROVIC等[22]面向汽車產(chǎn)業(yè)場(chǎng)景,針對(duì)汽車高光表面的特點(diǎn),采用邊緣和紋理點(diǎn)特征相結(jié)合的方法,與只依賴紋理或邊緣信息的算法相比,顯著提高了跟蹤注冊(cè)的魯棒性和穩(wěn)定性。PENG等[23]提出一種無(wú)標(biāo)記跟蹤配準(zhǔn)算法,采用光流跟蹤器實(shí)時(shí)跟蹤被測(cè)目標(biāo),解決了實(shí)時(shí)跟蹤速度較慢的問(wèn)題。增強(qiáng)裝配在跟蹤注冊(cè)實(shí)現(xiàn)中常根據(jù)實(shí)際情況,結(jié)合使用多種方法,以達(dá)到最快、最準(zhǔn)確的效果。

        2.2 人機(jī)交互

        AR裝配中,用戶可以通過(guò)手勢(shì)、語(yǔ)音等手段,快速地完成與增強(qiáng)裝配系統(tǒng)的交互,實(shí)現(xiàn)過(guò)程引導(dǎo)、裝配信息查詢等系統(tǒng)輔助功能。人機(jī)交互的目的是讓系統(tǒng)理解用戶發(fā)出的指令,按照用戶的意愿執(zhí)行相應(yīng)的動(dòng)作。根據(jù)交互對(duì)象的不同,人機(jī)交互技術(shù)主要分為用戶與虛擬對(duì)象的交互和用戶對(duì)工作流程的控制兩種。

        用戶與虛擬對(duì)象的交互涉及對(duì)虛擬對(duì)象的創(chuàng)建、移動(dòng)、旋轉(zhuǎn)、縮放等操作,主要用于產(chǎn)品設(shè)計(jì)早期階段的裝配設(shè)計(jì)、裝配仿真與工藝規(guī)劃領(lǐng)域。傳統(tǒng)的交互方式有鼠標(biāo)和鍵盤[24],這類交互方式技術(shù)成熟,容易實(shí)現(xiàn),但會(huì)打斷用戶正在進(jìn)行的裝配作業(yè),時(shí)間延遲大。另一類交互方式是借助特制的工具面板或標(biāo)志物[25],這種交互方式雖然可以實(shí)現(xiàn)精確操作,但是用戶學(xué)習(xí)成本大,且設(shè)備很笨拙,不夠自然直觀。此外還有使用數(shù)據(jù)手套的方式[26],具有動(dòng)作精度高、操作簡(jiǎn)單的優(yōu)點(diǎn),但數(shù)據(jù)手套的使用必須與位置跟蹤設(shè)備連用,且價(jià)格昂貴,難以推廣。與虛擬模型的交互方式最自然直觀的是借助用戶的手部信息進(jìn)行交互,主要分為手勢(shì)識(shí)別[27]和徒手交互,這兩種類型都是基于計(jì)算機(jī)視覺技術(shù)進(jìn)行識(shí)別的。手勢(shì)交互通常與虛擬按鈕相結(jié)合,類似于鼠標(biāo)點(diǎn)擊菜單命令[28],簡(jiǎn)化了手勢(shì)輸入和識(shí)別,而且讓用戶專注于裝配工作,交互效率高。徒手交互徒手學(xué)習(xí)成本較低,可實(shí)現(xiàn)更多、更復(fù)雜、更自然的交互動(dòng)作。當(dāng)前,手部交互呈現(xiàn)由手勢(shì)識(shí)別向徒手交互方向發(fā)展的趨勢(shì),已成為增強(qiáng)裝配仿真領(lǐng)域的一個(gè)研究熱點(diǎn)[29]。

        用戶對(duì)工作流程的控制主要涉及裝配任務(wù)的啟動(dòng)、暫停、信息選擇、上一步、下一步等控制命令,目標(biāo)是使用戶快速獲取所需的裝配指導(dǎo)信息。當(dāng)前主要交互手段是手勢(shì)交互和語(yǔ)音交互[30]。語(yǔ)音交互技術(shù)發(fā)展較快,技術(shù)相對(duì)成熟,在增強(qiáng)裝配中得到了廣泛應(yīng)用[31];手勢(shì)交互由于沒有完全釋放用戶雙手,給裝配的連續(xù)性造成了一定程度的干擾,語(yǔ)音交互則不適合在嘈雜的車間裝配環(huán)境中,因此一些增強(qiáng)裝配系統(tǒng)使用手勢(shì)和語(yǔ)音等多種交互方式,可以根據(jù)實(shí)際的裝配場(chǎng)景選擇合適的交互方式,從而提高系統(tǒng)的普適性。

        2.3 虛實(shí)融合

        虛實(shí)融合技術(shù)解決的問(wèn)題是虛擬物體在真實(shí)環(huán)境中的融入一致性,包括幾何一致性和光照一致性。幾何一致性也就是遮擋處理,即虛擬物體能夠遮擋背景,同時(shí)也能夠被前景物體遮擋,具備正確的遮擋關(guān)系[32]。光照一致性關(guān)注虛實(shí)物體之間的光照影響,包括明暗、陰影等。在增強(qiáng)裝配領(lǐng)域,主要關(guān)注虛實(shí)遮擋問(wèn)題,而光照一致性問(wèn)題對(duì)用戶的影響很小,目前還沒有引起廣泛關(guān)注。

        錯(cuò)誤的遮擋關(guān)系容易導(dǎo)致觀察者在感官方向上的迷失和空間位置上的錯(cuò)亂,降低真實(shí)感,嚴(yán)重影響用戶對(duì)裝配關(guān)系的理解。在雜亂的裝配環(huán)境下,若AR裝配系統(tǒng)沒有解決遮擋問(wèn)題,則該系統(tǒng)不會(huì)顯著地促進(jìn)工人實(shí)際的裝配作業(yè)[33]。因此,正確反映虛實(shí)零件間的遮擋關(guān)系,對(duì)增強(qiáng)裝配系統(tǒng)的實(shí)際工程應(yīng)用具有重要意義。主要虛實(shí)遮擋方法如表3所示。

        表3 虛實(shí)遮擋方法比較

        在增強(qiáng)裝配領(lǐng)域,常用的遮擋處理方法主要有基于深度的虛實(shí)遮擋和基于模型的虛實(shí)遮擋兩大類。基于深度計(jì)算的遮擋方法需要使用立體視差實(shí)時(shí)計(jì)算真實(shí)場(chǎng)景的深度信息,然后根據(jù)視點(diǎn)位置、虛擬物體的疊加位置以及求得的場(chǎng)景深度信息,判斷虛擬物體與真實(shí)場(chǎng)景的空間位置關(guān)系,進(jìn)行相應(yīng)的遮擋渲染,從而實(shí)現(xiàn)虛實(shí)遮擋[34]。基于模型重建的遮擋方法需要預(yù)先對(duì)會(huì)與虛擬物體發(fā)生遮擋關(guān)系的真實(shí)物體進(jìn)行三維建模,用三維模型覆蓋真實(shí)物體,然后比較虛實(shí)物體模型的深度值。根據(jù)比較結(jié)果,只渲染虛擬物體未被真實(shí)物體遮擋的部分,不渲染虛擬物體被遮擋的部分。對(duì)于這類方法而言,由于預(yù)先得到了會(huì)與虛擬物體發(fā)生遮擋關(guān)系的真實(shí)物體的三維模型,后續(xù)的虛實(shí)遮擋處理的計(jì)算量小,實(shí)時(shí)性好;并且當(dāng)觀察視角變化時(shí),也能夠正確判斷虛實(shí)遮擋關(guān)系。例如徐遲、王峻峰[35-36]等從CAD軟件提取真實(shí)零件的三維幾何模型,注冊(cè)模型并投影到成像平面,然后逐像素比較虛擬場(chǎng)景和攝像視頻的深度值,判斷虛擬零件、可視裝配特征、上下文導(dǎo)航信息與真實(shí)場(chǎng)景的遮擋關(guān)系,實(shí)現(xiàn)了一個(gè)虛實(shí)零件混合裝配原型系統(tǒng),并且定量比較了不同分辨率下系統(tǒng)中各個(gè)軟件模塊的執(zhí)行效率。

        基于模型的虛實(shí)遮擋方法在簡(jiǎn)單場(chǎng)景中具有較好的處理效果及速度,但在復(fù)雜場(chǎng)景中表現(xiàn)不佳,實(shí)時(shí)性差;基于深度的虛實(shí)遮擋方法可以應(yīng)用到較為復(fù)雜的環(huán)境中,但是當(dāng)攝像機(jī)視角或真實(shí)場(chǎng)景改變時(shí),需要重新計(jì)算虛實(shí)遮擋關(guān)系,應(yīng)用不便[37]。綜上所述,受限于不同的問(wèn)題,對(duì)虛實(shí)遮擋問(wèn)題處理的研究仍是增強(qiáng)裝配應(yīng)用中的一大熱點(diǎn)和難點(diǎn)。

        2.4 內(nèi)容創(chuàng)作

        增強(qiáng)裝配的概念出現(xiàn)后,大量的研究報(bào)告驗(yàn)證了AR技術(shù)在產(chǎn)品裝配維修等領(lǐng)域的應(yīng)用前景[38],但增強(qiáng)裝配并沒有得到廣泛使用,除了跟蹤注冊(cè)、顯示終端等關(guān)鍵技術(shù)與硬件的局限性之外,耗時(shí)費(fèi)力的內(nèi)容創(chuàng)作也是阻礙AR系統(tǒng)廣泛應(yīng)用的因素之一。

        增強(qiáng)裝配所需信息涉及裝配工藝信息、零件管理信息、裝配約束信息、工具量具信息、工藝檢驗(yàn)信息、操作反饋信息等,如圖5所示。復(fù)雜產(chǎn)品裝配過(guò)程中的裝配信息復(fù)雜多樣,涉及從裝配工藝指令到數(shù)字模型的多種形式信息。對(duì)裝配信息進(jìn)行管理和推送,是增強(qiáng)裝配中的一個(gè)重要組成部分。

        早期的內(nèi)容創(chuàng)作方式是手工編輯,創(chuàng)作過(guò)程靈活,但繁瑣耗時(shí)。HARINGER等[39]描述了AR創(chuàng)作系統(tǒng)“PowerSpace”,利用Microsoft PowerPoint的2D演示功能生成AR信息布局框架,導(dǎo)出基于xml的可擴(kuò)展描述,然后再轉(zhuǎn)化成3D內(nèi)容。ZAUNER等[40]提供了一個(gè)編輯向?qū)?,允許裝配專家為分層結(jié)構(gòu)編寫新的裝配工藝指導(dǎo)。在制造業(yè)中增強(qiáng)裝配的最大挑戰(zhàn)之一是利用現(xiàn)有的產(chǎn)品數(shù)據(jù),即將CAD系統(tǒng)中定義的所有產(chǎn)品數(shù)據(jù)轉(zhuǎn)換或集成到AR系統(tǒng)中。MAKRIS等[41]借助裝配序列生成器與產(chǎn)品CAD模型,自動(dòng)規(guī)劃裝配序列,然后利用語(yǔ)義數(shù)據(jù)和AR虛擬指令庫(kù)中指令模板自動(dòng)生成裝配指令,使專家輸入AR指令的工作量最小化。XIN等[42]采用基于本體的裝配信息管理,從CAD系統(tǒng)中提取信息進(jìn)行獨(dú)立存儲(chǔ)和推理裝配關(guān)系,增強(qiáng)了推理功能。LORENZ等[43]提出了CAD數(shù)據(jù)向VR/AR轉(zhuǎn)換的目標(biāo)、原則以及相應(yīng)的解決方案,對(duì)后續(xù)研究具有一定的指導(dǎo)意義。

        為實(shí)現(xiàn)便捷的內(nèi)容創(chuàng)作,一些學(xué)者研究從視頻流中自動(dòng)提取增強(qiáng)內(nèi)容,該方法不需要用戶具備任何編程語(yǔ)言或動(dòng)畫工具等專業(yè)知識(shí)就可以進(jìn)行復(fù)雜的AR內(nèi)容創(chuàng)作。PHAM等[44]利用非監(jiān)督對(duì)象識(shí)別、工作流發(fā)現(xiàn)和語(yǔ)義信息提取技術(shù)開發(fā)的無(wú)監(jiān)督工作流提取系統(tǒng),能從機(jī)械裝配的第一人稱視頻中自動(dòng)發(fā)現(xiàn)工作步驟和每一步的操作,并自動(dòng)生成工作流指令,使內(nèi)容創(chuàng)作的效率和通用性顯著提高,但系統(tǒng)還存在手勢(shì)識(shí)別的局限性。BHATTACHARYA等[45]開發(fā)了能夠自動(dòng)生成AR工作指令的增強(qiáng)現(xiàn)實(shí)專家演示創(chuàng)作(Augmented Reality via Expert Demonstration Authoring, AREDA)系統(tǒng),指令生成分為演示和細(xì)化兩個(gè)階段,演示階段利用計(jì)算機(jī)視覺相關(guān)算法從專家裝配活動(dòng)視頻中自動(dòng)生成AR工作指令,細(xì)化階段允許用戶修改自動(dòng)生成的AR工作指令,以修復(fù)錯(cuò)誤并添加有用的虛擬內(nèi)容(文本指令)。AREDA系統(tǒng)適用于零件相對(duì)較小的臺(tái)式裝配,主要缺點(diǎn)是在裝配演示階段不能移動(dòng)子裝配體。此外,針對(duì)裝配信息的組織與管理,李旺等[46]以基本裝配工藝信息為單元,組織管理工藝內(nèi)容編輯,利用集成計(jì)算機(jī)輔助制造定義(IDEF1-eXtended, IDEF1X)方法對(duì)基本裝配工藝信息建立模型,進(jìn)行可視化表達(dá)。尹旭悅等[47]采用結(jié)構(gòu)化工藝設(shè)計(jì)方式將各類裝配工藝信息按類匯總并輸出相應(yīng)格式的文件,采用結(jié)構(gòu)化和面向?qū)ο蠡姆绞酱鎯?chǔ),便于數(shù)據(jù)管理與集成。隨著制造工藝信息的集成度不斷提高,增強(qiáng)裝配的內(nèi)容創(chuàng)作已不再局限于信息集成,而是如何向用戶推送更符合當(dāng)前狀態(tài)和用戶需求的裝配信息。

        3 增強(qiáng)裝配在復(fù)雜產(chǎn)品裝配中的應(yīng)用

        本文從增強(qiáng)裝配指導(dǎo)、增強(qiáng)裝配訓(xùn)練、增強(qiáng)裝配過(guò)程仿真與規(guī)劃幾個(gè)應(yīng)用方面梳理和總結(jié)了增強(qiáng)裝配技術(shù)在生產(chǎn)裝配中的應(yīng)用現(xiàn)狀。具有代表性的應(yīng)用研究如表4所示。

        表4 基于增強(qiáng)裝配的主要研究

        3.1 裝配指導(dǎo)

        增強(qiáng)裝配的典型應(yīng)用場(chǎng)景之一是裝配難度大、操作繁多,需要大量指導(dǎo)的復(fù)雜產(chǎn)品裝配任務(wù),常見的有復(fù)雜產(chǎn)品線纜敷設(shè),飛機(jī)、衛(wèi)星、輪船等復(fù)雜產(chǎn)品手工裝配領(lǐng)域。

        復(fù)雜產(chǎn)品線纜敷設(shè)是一項(xiàng)復(fù)雜繁重的工作,在傳統(tǒng)方法中,布線設(shè)計(jì)人員采用基于實(shí)物樣機(jī)的模擬裝配實(shí)驗(yàn)方法生成接線表,現(xiàn)場(chǎng)布線人員依據(jù)接線表、二維圖紙或固定看板顯示的3D模型完成布線操作,布線人員需要在裝配場(chǎng)景和指導(dǎo)文件之間來(lái)回切換,還需識(shí)別密集分布的連接對(duì)象,認(rèn)知負(fù)擔(dān)很重,并且這種方法效率低,裝配質(zhì)量和可靠性難以得到保證。增強(qiáng)裝配可以較好地解決這些難題,因此許多增強(qiáng)裝配系統(tǒng)選取線纜敷設(shè)作為典型的應(yīng)用場(chǎng)景[57]。OLBRICH等[58]研究增強(qiáng)裝配在造船管線敷設(shè)上的應(yīng)用,將管道的虛擬模型疊加在船體上,在發(fā)生偏差、碰撞或其他沖突時(shí)可以修改這些管道數(shù)據(jù),修改后的管道幾何形狀數(shù)據(jù)可以存儲(chǔ),并作為數(shù)控彎管機(jī)的輸入,此外還集成了光學(xué)測(cè)量系統(tǒng),測(cè)量系統(tǒng)采用兩個(gè)照明點(diǎn)對(duì)虛擬直管段進(jìn)行對(duì)齊,使其與現(xiàn)有螺栓孔完全對(duì)齊。王發(fā)麟等[59]提出一種面向復(fù)雜機(jī)電產(chǎn)品的線纜虛實(shí)融合裝配方法,借助增強(qiáng)裝配技術(shù)構(gòu)建虛擬裝配場(chǎng)景和人機(jī)交互界面,將布線路徑和文字信息渲染后呈現(xiàn)在用戶眼前,指導(dǎo)用戶完成線纜敷設(shè)。

        復(fù)雜產(chǎn)品手動(dòng)裝配包括3個(gè)主要操作:識(shí)別要裝配的部件、裝配位置對(duì)準(zhǔn)、安裝或緊固零部件。增強(qiáng)裝配系統(tǒng)可以為這3個(gè)主要步驟提供指導(dǎo)信息。如DE CRESCENZIO等[24]開發(fā)了一個(gè)增強(qiáng)裝配飛機(jī)檢修原型系統(tǒng),系統(tǒng)主要由耳機(jī)、Liteye LE750透視式頭盔、羅技攝像頭和便攜式電腦組成,實(shí)驗(yàn)驗(yàn)證該系統(tǒng)在飛機(jī)油箱檢查中運(yùn)行有效,但硬件組成笨重,跟蹤注冊(cè)實(shí)時(shí)性低,阻礙了該系統(tǒng)的推廣應(yīng)用。DOSHI等[60]介紹一個(gè)增強(qiáng)裝配系統(tǒng)的應(yīng)用,系統(tǒng)為手工焊接操作人員突出汽車面板上的點(diǎn)焊位置。這項(xiàng)工作的目的是提高手工點(diǎn)焊的精度和準(zhǔn)確性,為汽車制造商提高產(chǎn)品質(zhì)量。原型系統(tǒng)被部署在澳大利亞伊麗莎白市通用汽車霍爾頓工廠的霍爾頓克魯茲汽車生產(chǎn)線上,使用后人工點(diǎn)焊的標(biāo)準(zhǔn)偏差降低了52%,提高了裝配效率和裝配質(zhì)量。

        3.2 裝配訓(xùn)練

        復(fù)雜產(chǎn)品裝配作業(yè)對(duì)裝配人員的技術(shù)素養(yǎng)和技能熟練度有著較高要求,裝配人員需要經(jīng)過(guò)一定量的裝配訓(xùn)練才能適應(yīng)產(chǎn)品裝配作業(yè)。汽車、飛機(jī)等工業(yè)的不斷發(fā)展,需要更多的裝配工人來(lái)提高產(chǎn)量,新員工的培訓(xùn)對(duì)于確保優(yōu)質(zhì)的產(chǎn)品生產(chǎn)至關(guān)重要。增強(qiáng)裝配系統(tǒng)可以通過(guò)HMD等顯示終端,在裝配訓(xùn)練中為用戶提供必要的增強(qiáng)信息,對(duì)裝配人員進(jìn)行提示,通過(guò)直觀化的信息展示提高培訓(xùn)質(zhì)量。

        WESTERFIELD等[61]研究了增強(qiáng)現(xiàn)實(shí)與智能輔導(dǎo)系統(tǒng)的結(jié)合。用戶可以看到可視化信息,并接收到幫助組裝培訓(xùn)的附加信息。他們進(jìn)行了一項(xiàng)用戶研究,用以比較有和沒有增強(qiáng)裝配系統(tǒng)支持的裝配培訓(xùn)的結(jié)果。實(shí)驗(yàn)要求用戶在計(jì)算機(jī)主板上組裝顯卡、網(wǎng)卡,增強(qiáng)裝配系統(tǒng)中,簡(jiǎn)化的半透明三維模型為用戶顯示了這些零件的裝配位置。結(jié)果表明,與傳統(tǒng)的AR應(yīng)用相比,增強(qiáng)裝配系統(tǒng)的使用減少裝配時(shí)間達(dá)30%。YIN等[62]提出一種VR與AR組合手動(dòng)操作指令系統(tǒng)(VR&AR combined Manual Operation Instruction System, VAMOIS),以輔助技術(shù)人員在混合現(xiàn)實(shí)場(chǎng)景下進(jìn)行手動(dòng)操作指令,實(shí)現(xiàn)了現(xiàn)場(chǎng)和虛擬指令內(nèi)容的同步、實(shí)時(shí)顯示。該系統(tǒng)在增強(qiáng)裝配的教學(xué)規(guī)劃子系統(tǒng)中開發(fā)了虛擬手導(dǎo)師,指導(dǎo)學(xué)員正確地移動(dòng)部件和使用工具,此外為了提高教學(xué)系統(tǒng)的視覺效果,他們提出了動(dòng)態(tài)位置配準(zhǔn)和自然遮擋方法。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的訓(xùn)練方法相比,該系統(tǒng)提高了手工操作效率,具有更好的用戶體驗(yàn)。ROHIDATUN等[63]通過(guò)將AR與VR技術(shù)進(jìn)行結(jié)合,用于裝配人員的學(xué)習(xí)和培訓(xùn),實(shí)驗(yàn)表明可以有效提高用戶對(duì)閥門裝配過(guò)程的掌握程度,并最大限度地提高用戶的技術(shù)水平。

        3.3 裝配仿真與規(guī)劃

        增強(qiáng)裝配在產(chǎn)品初始設(shè)計(jì)階段和裝配仿真規(guī)劃中有巨大的應(yīng)用潛力。在增強(qiáng)環(huán)境中,用戶既可以獲取真實(shí)反饋,也可以感知虛擬內(nèi)容,以便分析產(chǎn)品的行為和屬性。在初始設(shè)計(jì)階段,虛實(shí)融合的場(chǎng)景展示可以讓設(shè)計(jì)者更真切全面地審視自己的作品,通過(guò)裝配仿真與規(guī)劃,可以及早發(fā)現(xiàn)設(shè)計(jì)缺陷,縮短研發(fā)時(shí)間,降低成本,提高研發(fā)效率。

        YOUCEF-TOUMI等[64]將增強(qiáng)裝配應(yīng)用于自上而下的產(chǎn)品設(shè)計(jì)過(guò)程中,真實(shí)的裝配平臺(tái)和環(huán)境能為設(shè)計(jì)者提供直觀的參照,通過(guò)虛擬裝配特征來(lái)快速設(shè)計(jì)裝配體的總體結(jié)構(gòu)和零部件之間的裝配關(guān)系,可以輔助設(shè)計(jì)者在早期設(shè)計(jì)階段就考慮裝配協(xié)調(diào)問(wèn)題。ONG等[65]提出基于增強(qiáng)裝配技術(shù)將產(chǎn)品的裝配設(shè)計(jì)與工作場(chǎng)所的設(shè)計(jì)相結(jié)合的方法,工作場(chǎng)所的設(shè)計(jì)和規(guī)劃信息可以實(shí)時(shí)反饋給設(shè)計(jì)人員和工程師,幫助他們?cè)诋a(chǎn)品裝配設(shè)計(jì)和規(guī)劃方面做出更符合實(shí)際的方案。在概念產(chǎn)品設(shè)計(jì)中,裝配運(yùn)動(dòng)仿真對(duì)于識(shí)別潛在的裝配問(wèn)題和提高裝配效率至關(guān)重要,ANASTASSOVA等[66]介紹了在一個(gè)研發(fā)項(xiàng)目的早期階段進(jìn)行的人機(jī)工程學(xué)分析,目的是調(diào)查當(dāng)今汽車服務(wù)技術(shù)人員培訓(xùn)的功能,以便為增強(qiáng)現(xiàn)實(shí)教學(xué)輔助設(shè)備的設(shè)計(jì)提供信息。WANG等[29]提出一種增強(qiáng)裝配環(huán)境下的三維徒手交互方法,用于虛擬零件的操作和裝配,通過(guò)一種基于約束分析的混合方法,可以在不需要輔助CAD信息的情況下,較好地解釋用戶手工裝配示意圖,同時(shí)建立了裝配約束識(shí)別、裝配工具操作和裝配序列評(píng)價(jià)的算法。WANG等[55]提出一種基于AR技術(shù)的手工裝配設(shè)計(jì)系統(tǒng),為裝配信息管理設(shè)計(jì)了裝配數(shù)據(jù)結(jié)構(gòu),并提出了裝配約束識(shí)別和裝配位置優(yōu)化算法。系統(tǒng)可以使用戶在不需要輔助計(jì)算機(jī)輔助設(shè)計(jì)信息的情況下模擬手工裝配,增強(qiáng)了用戶體驗(yàn),減少了準(zhǔn)備時(shí)間。該交互式手工裝配設(shè)計(jì)系統(tǒng)集成了一種三維徒手交互方法,使用戶能夠自然有效地操作虛擬構(gòu)件。王強(qiáng)等[67]提出一種基于增強(qiáng)裝配的人機(jī)協(xié)作仿真方法,建立了裝配仿真環(huán)境中的人機(jī)交互方案,設(shè)計(jì)了人因評(píng)估模型并開發(fā)了相應(yīng)的原型系統(tǒng),并驗(yàn)證了方案可行性,證明系統(tǒng)應(yīng)用可以緩解裝配人員的生理疲勞和心理疲勞。

        4 發(fā)展機(jī)遇與挑戰(zhàn)

        隨著新一代硬件技術(shù)、人工智能和通信技術(shù)的快速發(fā)展,增強(qiáng)裝配在復(fù)雜產(chǎn)品裝配中的研究和應(yīng)用得到了很大擴(kuò)展。增強(qiáng)裝配迎來(lái)了巨大的發(fā)展機(jī)遇,主要有以下幾點(diǎn):

        (1)5G與增強(qiáng)裝配的融合

        5G(第五代移動(dòng)通信)技術(shù)的傳輸速度可以達(dá)到4G網(wǎng)絡(luò)的百倍甚至更多,可以提供制造過(guò)程中大量數(shù)據(jù)的低時(shí)延傳輸,實(shí)現(xiàn)和制造物聯(lián)網(wǎng)的高密度互聯(lián)互通,為增強(qiáng)裝配提供云平臺(tái),便于將視覺渲染等功能傳輸至高性能服務(wù)器上執(zhí)行,突破硬件性能的限制。

        (2)AI技術(shù)與增強(qiáng)裝配的融合

        新一代AI(人工智能)技術(shù)的應(yīng)用將大幅提升增強(qiáng)裝配系統(tǒng)的數(shù)字化和智能化程度。AI技術(shù)可以促進(jìn)實(shí)時(shí)圖像和語(yǔ)音識(shí)別技術(shù)的發(fā)展,極大提高增強(qiáng)裝配中的人機(jī)交互能力。AI技術(shù)中的計(jì)算機(jī)視覺(Computer Vision, CV)算法和視覺SLAM等技術(shù)的應(yīng)用可以有效提升圖像分類、目標(biāo)檢測(cè)等視覺功能的效率和質(zhì)量,提高增強(qiáng)裝配系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確度。

        (3)智能制造工業(yè)應(yīng)用標(biāo)準(zhǔn)的制定

        隨著“中國(guó)制造2025”的不斷推進(jìn),物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的很多接口標(biāo)準(zhǔn)已經(jīng)發(fā)布和使用,同時(shí)還有很多標(biāo)準(zhǔn)正在制定或準(zhǔn)備制定。作為智能制造理念的應(yīng)用體現(xiàn),增強(qiáng)裝配的應(yīng)用技術(shù)將隨著智能制造標(biāo)準(zhǔn)化、統(tǒng)一化的進(jìn)程而不斷發(fā)展,在未來(lái)的制造領(lǐng)域發(fā)揮巨大的工程價(jià)值。

        工業(yè)智能化、信息化的推動(dòng),使增強(qiáng)裝配取得了很大發(fā)展,同時(shí)也為增強(qiáng)裝配的應(yīng)用提出了嚴(yán)苛的挑戰(zhàn)。

        目前增強(qiáng)裝配系統(tǒng)的開發(fā)多為各種AR SDK,缺乏專用的AR引擎,而制造企業(yè)大多也沒有專業(yè)開發(fā)團(tuán)隊(duì),增強(qiáng)裝配系統(tǒng)開發(fā)周期較長(zhǎng)。此外,現(xiàn)有AR SDK多用圖片識(shí)別、基礎(chǔ)特征識(shí)別的方法實(shí)現(xiàn),對(duì)于復(fù)雜工業(yè)模型、環(huán)境的識(shí)別結(jié)果不夠穩(wěn)定。增強(qiáng)裝配實(shí)現(xiàn)方式集中于手機(jī)、平板電腦、AR眼鏡等顯示終端,其中手機(jī)、平板的應(yīng)用會(huì)占用用戶的雙手,而現(xiàn)有AR眼鏡仍然有體積和重量較大,處理器性能欠佳等問(wèn)題,用戶長(zhǎng)時(shí)間佩戴容易感到不適,不適于長(zhǎng)期工作。

        5 結(jié)束語(yǔ)

        現(xiàn)代制造業(yè)中,裝配工作在產(chǎn)品制造流程中占據(jù)著很大比重,復(fù)雜產(chǎn)品的裝配生產(chǎn)仍以手工裝配為主。工業(yè)物聯(lián)網(wǎng)、5G等新興信息技術(shù)的快速發(fā)展,正推動(dòng)制造業(yè)制造模式的深刻變革。作為制造智能化的集中應(yīng)用之一,增強(qiáng)裝配在復(fù)雜產(chǎn)品裝配的改革中發(fā)揮了重要作用。本文通過(guò)梳理國(guó)內(nèi)外增強(qiáng)裝配技術(shù)的相關(guān)文獻(xiàn),總結(jié)了增強(qiáng)裝配的典型架構(gòu),闡述了跟蹤注冊(cè)、人機(jī)交互、虛實(shí)融合等關(guān)鍵技術(shù)的發(fā)展,以及在裝配指導(dǎo)、訓(xùn)練、仿真與規(guī)劃中等方面的應(yīng)用現(xiàn)狀,探討了增強(qiáng)裝配的發(fā)展與挑戰(zhàn)。增強(qiáng)裝配有著巨大的應(yīng)用潛力,在解決系統(tǒng)開發(fā),終端輕量化、智能化等問(wèn)題后,將能夠更好地融入工業(yè)物聯(lián)網(wǎng),成為智能裝配的重要一環(huán)。

        猜你喜歡
        用戶信息系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無(wú)人機(jī)系統(tǒng)
        ZC系列無(wú)人機(jī)遙感系統(tǒng)
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        訂閱信息
        中華手工(2017年2期)2017-06-06 23:00:31
        關(guān)注用戶
        商用汽車(2016年11期)2016-12-19 01:20:16
        關(guān)注用戶
        商用汽車(2016年6期)2016-06-29 09:18:54
        關(guān)注用戶
        商用汽車(2016年4期)2016-05-09 01:23:12
        如何獲取一億海外用戶
        展會(huì)信息
        成人综合网亚洲伊人| 精品国产亚洲第一区二区三区| 日本xxxx色视频在线观看| 久久久久香蕉国产线看观看伊| 不卡视频一区二区三区| 一本久久a久久精品综合| 国产精品无套一区二区久久| 精品无码国产自产拍在线观看蜜| 久久精品国产亚洲av电影| 久久精品国产成人午夜福利| 99久久精品一区二区国产| 国产人妻人伦精品1国产| 久久成人麻豆午夜电影| 亚洲av毛片成人精品| 成人国产激情自拍视频| 中文字幕aⅴ人妻一区二区| 五月天久久国产你懂的| 日韩在线中文字幕一区二区三区| 精品国产日韩一区2区3区| 激情影院内射美女| 亚洲欧美在线观看一区二区| 亚洲精品中文字幕码专区| 欧美巨鞭大战丰满少妇| 亚洲高潮喷水无码av电影| 99riav精品国产| 精品中文字幕在线不卡| 亚洲综合av一区二区三区| 亚洲欧美日韩专区一| 久久这黄色精品免费久| 久久婷婷五月综合97色直播 | 99久久免费精品高清特色大片| aⅴ色综合久久天堂av色综合| 国模91九色精品二三四| 亚洲va中文字幕| 国产精品丝袜在线不卡| 国产一区二区在线中文字幕| 青青草原亚洲| 美女黄18以下禁止观看| 国产一区二区三区免费小视频| 韩国av一区二区三区不卡| 欧美日韩一卡2卡三卡4卡 乱码欧美孕交 |