王發(fā)麟，郭 宇，查珊珊

?

復(fù)雜機(jī)電產(chǎn)品線(xiàn)纜虛實(shí)融合裝配體系構(gòu)建及其關(guān)鍵技術(shù)

王發(fā)麟，郭 宇，查珊珊

(南京航空航天大學(xué)機(jī)電學(xué)院，江蘇 南京 210016)

針對(duì)傳統(tǒng)的基于實(shí)物樣機(jī)的線(xiàn)纜模擬裝配實(shí)驗(yàn)方法造成的效率低、精確度低、裝配質(zhì)量和可靠性難以得到保證等問(wèn)題，提出一種面向復(fù)雜機(jī)電產(chǎn)品的線(xiàn)纜虛實(shí)融合裝配方法。首先在分析了增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于線(xiàn)纜裝配的優(yōu)勢(shì)基礎(chǔ)上，構(gòu)建了基于增強(qiáng)現(xiàn)實(shí)的線(xiàn)纜虛實(shí)融合裝配體系；其次，對(duì)裝配體系中涉及到的關(guān)鍵技術(shù)進(jìn)行了介紹，重點(diǎn)對(duì)線(xiàn)纜三維注冊(cè)技術(shù)、線(xiàn)纜虛實(shí)遮擋技術(shù)、線(xiàn)纜虛實(shí)光照技術(shù)以及相機(jī)標(biāo)定與跟蹤技術(shù)等關(guān)鍵技術(shù)進(jìn)行了闡述；最后介紹了線(xiàn)纜虛實(shí)融合裝配研究?jī)?nèi)容，給出了基于增強(qiáng)現(xiàn)實(shí)的線(xiàn)纜虛實(shí)融合裝配系統(tǒng)運(yùn)行流程。

線(xiàn)纜虛擬裝配；增強(qiáng)現(xiàn)實(shí)；體系結(jié)構(gòu)；復(fù)雜機(jī)電產(chǎn)品

復(fù)雜機(jī)電產(chǎn)品的內(nèi)部結(jié)構(gòu)一般較為復(fù)雜，包含了大量的剛性結(jié)構(gòu)件、柔性線(xiàn)纜、電子元器件等若干零部件，這些零部件按照一定的裝配序列和裝配路徑裝配成一個(gè)復(fù)雜結(jié)構(gòu)的裝配體，具有質(zhì)量要求高、裝配周期長(zhǎng)、制造成本高等特點(diǎn)[1-2]。線(xiàn)纜作為一種柔性件主要用于能量和信號(hào)的傳輸，在航空、航天、船舶等各類(lèi)復(fù)雜機(jī)電產(chǎn)品中應(yīng)用較多，是電子設(shè)備與各分機(jī)模塊之間的連接紐帶。在眾多評(píng)價(jià)產(chǎn)品整機(jī)性能和可靠性的重要指標(biāo)當(dāng)中，線(xiàn)纜的裝配質(zhì)量顯得尤為重要[3-4]。線(xiàn)纜本身由于屬于柔性體并且存在捆扎、固定等特殊要求，連接器數(shù)量較多、布線(xiàn)空間狹窄、導(dǎo)線(xiàn)分布集中、布線(xiàn)操作比較困難。線(xiàn)纜拓?fù)浣Y(jié)構(gòu)的復(fù)雜性以及線(xiàn)纜在裝配操作中的柔性特性，使得目前線(xiàn)纜的裝配操作在很大程度上依賴(lài)于工作人員的經(jīng)驗(yàn)，這一特點(diǎn)嚴(yán)重影響了產(chǎn)品總裝的裝配效率[5]。因此，提高復(fù)雜機(jī)電產(chǎn)品線(xiàn)纜的裝配效率已經(jīng) 成為復(fù)雜機(jī)電產(chǎn)品裝配過(guò)程中一個(gè)亟待解決的 問(wèn)題。

目前，復(fù)雜機(jī)電產(chǎn)品的線(xiàn)纜裝配主要采用基于實(shí)物樣機(jī)的模擬裝配實(shí)驗(yàn)方法，該方法具有如下缺點(diǎn)[6]：①線(xiàn)纜裝配操作依賴(lài)于操作工人的經(jīng)驗(yàn)，最終的布線(xiàn)方案需要經(jīng)過(guò)多次模擬和修改才能確定，效率較低；②布線(xiàn)設(shè)計(jì)需要在產(chǎn)品實(shí)物樣機(jī)制造出來(lái)之后進(jìn)行，屬于典型的串行設(shè)計(jì)；③產(chǎn)品結(jié)構(gòu)設(shè)計(jì)問(wèn)題如線(xiàn)纜敷設(shè)空間的預(yù)留是否足夠、電連接器的安裝位置是否合理等難以早期發(fā)現(xiàn)，需要等到線(xiàn)纜模裝時(shí)才能暴露出來(lái)；④線(xiàn)纜在產(chǎn)品中的總體布局規(guī)劃因串行設(shè)計(jì)而較難確定。針對(duì)線(xiàn)纜模裝實(shí)驗(yàn)帶來(lái)的問(wèn)題，文獻(xiàn)[7]提出了基于產(chǎn)品數(shù)字樣機(jī)的線(xiàn)纜虛擬裝配方法，其主要思路為：依托于虛擬設(shè)計(jì)及裝配系統(tǒng)，產(chǎn)品數(shù)字化樣機(jī)的設(shè)計(jì)以產(chǎn)品設(shè)計(jì)規(guī)范、線(xiàn)纜布線(xiàn)規(guī)范等為設(shè)計(jì)約束條件，剛性結(jié)構(gòu)件的裝配設(shè)計(jì)和柔性線(xiàn)纜的布線(xiàn)設(shè)計(jì)并行開(kāi)展。剛性結(jié)構(gòu)件的裝配設(shè)計(jì)模塊按“剛性結(jié)構(gòu)件的裝配設(shè)計(jì)→剛性結(jié)構(gòu)件的裝配規(guī)劃→剛性結(jié)構(gòu)件的裝配組裝”步驟開(kāi)展，柔性線(xiàn)纜的敷設(shè)模塊按“柔性線(xiàn)纜三維布線(xiàn)設(shè)計(jì)→線(xiàn)纜三維路徑規(guī)劃→線(xiàn)纜敷設(shè)及仿真”步驟開(kāi)展，以并行設(shè)計(jì)的方式完成結(jié)構(gòu)裝配設(shè)計(jì)和線(xiàn)纜布線(xiàn)裝配設(shè)計(jì)。基于產(chǎn)品數(shù)字樣機(jī)的線(xiàn)纜虛擬裝配方法，由于其借助虛擬裝配技術(shù)將設(shè)計(jì)人員“沉浸”在計(jì)算機(jī)中完成虛擬線(xiàn)纜模型的裝配，雖然對(duì)于產(chǎn)品開(kāi)發(fā)前期的整體設(shè)計(jì)、裝配及驗(yàn)證有重要作用，但對(duì)于現(xiàn)場(chǎng)線(xiàn)纜的實(shí)際裝配操作的支持還存在局限性。郭洪杰等[8]研究了飛機(jī)管線(xiàn)交互式虛擬裝配技術(shù)，在借助數(shù)據(jù)衣、數(shù)據(jù)手套、ART(advanced realtime tracking)攝像頭和頭盔顯示器等人機(jī)交互設(shè)備的基礎(chǔ)上完成了飛機(jī)管線(xiàn)的裝配仿真，簡(jiǎn)化了人機(jī)仿真流程，比傳統(tǒng)仿真效率提高了65% 以上。

線(xiàn)纜虛擬裝配的實(shí)現(xiàn)需要解決的另一個(gè)關(guān)鍵問(wèn)題是虛擬裝配環(huán)境的感知技術(shù)。復(fù)雜機(jī)電產(chǎn)品模型和線(xiàn)纜裝配工藝的復(fù)雜性(單芯、多芯；低頻、高頻等)使得線(xiàn)纜虛擬裝配場(chǎng)景高度復(fù)雜，主要表現(xiàn)為虛擬裝配環(huán)境缺乏智能感知能力和對(duì)交互情景的分析能力[9]。情境感知裝配是結(jié)合上下文感知計(jì)算理論[10]而提出的一種虛擬裝配感知技術(shù)，采用該技術(shù)的目的在于分擔(dān)用戶(hù)對(duì)虛擬場(chǎng)景信息的認(rèn)知負(fù)擔(dān)，以便用戶(hù)在虛擬場(chǎng)景中可以準(zhǔn)確、便捷地進(jìn)行交互操作。如侯文君[11]引入了面向裝配體的小情境模型，給出了不同場(chǎng)景對(duì)象間的消息響應(yīng)模式和虛擬裝配環(huán)境的情境感知機(jī)制。宋晨和劉惠義[12]則為解決虛擬裝配系統(tǒng)普遍存在的人機(jī)交互不夠友好、配置文件復(fù)雜等問(wèn)題，提出了一種多Agent的情境裝配模型。該模型通過(guò)綜合考慮零件模型的狀態(tài)、位置、用戶(hù)操作歷史等情境信息，更全面地識(shí)別用戶(hù)意圖，從而對(duì)裝配活動(dòng)進(jìn)行引導(dǎo)。

增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)技術(shù)[13-15]作為虛擬現(xiàn)實(shí)(virtual reality，VR)技術(shù)的一個(gè)重要分支，將計(jì)算機(jī)生成的虛擬信息(圖形、文字注釋等)疊加到用戶(hù)所處的真實(shí)的裝配環(huán)境中，對(duì)人的視覺(jué)系統(tǒng)進(jìn)行影像增強(qiáng)或擴(kuò)張，從而達(dá)到支持人們獲得豐富信息、輔助工作的目的。自上世紀(jì)90年代早期開(kāi)始，AR技術(shù)就被使用于裝配支持系統(tǒng)原型和試驗(yàn)應(yīng)用程序中[16]，但其仍處于概念驗(yàn)證應(yīng)用階段，尤其是在用戶(hù)與工件交互的方式上還存在較多限制。近些年來(lái)，情境感知在線(xiàn)誤差檢測(cè)AR系統(tǒng)受到了較多關(guān)注[17]。日本大阪大學(xué)的KHUONG等[18]認(rèn)為許多基于AR的裝配支持系統(tǒng)很少在每一階段實(shí)時(shí)跟蹤裝配狀態(tài)和自動(dòng)識(shí)別裝配誤差及完成情況，并提出了兩種AR可視化模式：一種直接將引導(dǎo)信息疊加在物理模型上，另一種將引導(dǎo)信息渲染到與真實(shí)模型相鄰的虛擬模型上，據(jù)此形成基于AR的情境感知裝配支持系統(tǒng)。為理解在裝配情境下系統(tǒng)如何更好地輔助用戶(hù)，作者還對(duì)該系統(tǒng)在上述兩種AR可視化模式下的試驗(yàn)效果進(jìn)行了評(píng)估。澳大利亞科廷大學(xué)的HOU等[19]使用AR技術(shù)輔助管道裝配，任務(wù)完成時(shí)間、裝配誤差等均減少50%，以證實(shí)通過(guò)AR技術(shù)可降低用戶(hù)對(duì)虛擬場(chǎng)景信息的認(rèn)知負(fù)荷而使得裝配率及其績(jī)效得以提高。

美國(guó)波音公司的CAUDELL和MIZELL[20]首次將AR技術(shù)應(yīng)用到線(xiàn)纜的實(shí)際裝配中，在布線(xiàn)系統(tǒng)中將線(xiàn)纜的路徑走向與文字注釋信息等內(nèi)容疊加到布線(xiàn)工人的視野中，以輔助操作工人完成布線(xiàn)任務(wù)，這也是在裝配領(lǐng)域AR應(yīng)用最為著名的案例之一。歐洲航空防務(wù)與航天公司利用由德國(guó)教育研究部資助研發(fā)的Arvika系統(tǒng)對(duì)歐洲某型戰(zhàn)斗機(jī)進(jìn)行布線(xiàn)成為一個(gè)經(jīng)典案例，虛擬裝配信息通過(guò)專(zhuān)門(mén)設(shè)計(jì)的語(yǔ)音調(diào)用裝置提供給線(xiàn)纜裝配人員，據(jù)此提示信息逐步完成面板上高密度的布線(xiàn)工作[21]。芬蘭國(guó)家技術(shù)研究中心(Valtion Teknillinen Tutkimuskeskus，VTT)則開(kāi)發(fā)了一個(gè)增強(qiáng)裝配原型系統(tǒng)，用戶(hù)的裝配操作動(dòng)作在系統(tǒng)提示信息的指導(dǎo)下可逐步完成[22-23]。文獻(xiàn)[24]將AR技術(shù)應(yīng)用于機(jī)械產(chǎn)品的早期設(shè)計(jì)階段，真實(shí)裝配環(huán)境和虛擬零件通過(guò)所設(shè)計(jì)的AR接口融合在一起，從而輔助設(shè)計(jì)人員完成裝配特征的設(shè)計(jì)。國(guó)內(nèi)彭濤等[25]從提高人機(jī)交互效率角度出發(fā)，提出了基于增強(qiáng)人機(jī)交互技術(shù)的虛擬裝配方法，其主要圍繞視覺(jué)、信息和操作3個(gè)方面進(jìn)行研究，取得了一定效果。王峻峰等[26]建立了面向增強(qiáng)裝配過(guò)程的統(tǒng)一信息模型，裝配文字提示信息、裝配特征信息、產(chǎn)品幾何信息通過(guò)該模型集中管理，并結(jié)合注冊(cè)位置方式在裝配視頻環(huán)境中疊加相關(guān)引導(dǎo)信息，方便了現(xiàn)場(chǎng)工人的裝配操作。宋荊洲等[27]為彌補(bǔ)場(chǎng)景圖在AR裝配應(yīng)用中的不足，提出了一種將層次著色Petri網(wǎng)與圖靈機(jī)模型相結(jié)合的方法，將虛擬手的手勢(shì)代號(hào)與位姿矩陣作為所構(gòu)建系統(tǒng)模型的輸入、輸出具體操作事件更新場(chǎng)景圖，記錄系統(tǒng)的當(dāng)前內(nèi)部狀態(tài)并根據(jù)用戶(hù)輸入給出下一步的操作響應(yīng)。林一等[28]則提出了一套基于心智模型的VR與AR混合式移動(dòng)導(dǎo)覽系統(tǒng)，該系統(tǒng)可以實(shí)現(xiàn)VR與AR之間的切換，豐富了用戶(hù)的互動(dòng)體驗(yàn)方式。張國(guó)亮等[29]則對(duì)虛擬物體和物理實(shí)體的配準(zhǔn)誤差問(wèn)題進(jìn)行了研究，采用統(tǒng)計(jì)學(xué)和概率論的數(shù)學(xué)模型來(lái)提高配準(zhǔn)的穩(wěn)定性，通過(guò)簡(jiǎn)單視覺(jué)標(biāo)記降低了配準(zhǔn)模塊誤差。

綜合上述國(guó)內(nèi)外的研究現(xiàn)狀可知，國(guó)外較早開(kāi)展了基于AR的產(chǎn)品布線(xiàn)技術(shù)的研究，并開(kāi)發(fā)了可用于實(shí)際線(xiàn)纜布線(xiàn)的系統(tǒng)，取得了顯著效果。國(guó)內(nèi)該領(lǐng)域研究起步較晚，但也取得了一定的成果。然而，國(guó)內(nèi)的研究主要圍繞產(chǎn)品的剛性件進(jìn)行增強(qiáng)裝配和維修，而對(duì)于基于AR的柔性線(xiàn)纜虛實(shí)融合裝配技術(shù)的研究則開(kāi)展得非常少。鑒于上述原因，開(kāi)展基于AR的復(fù)雜機(jī)電產(chǎn)品線(xiàn)纜虛實(shí)融合裝配技術(shù)的研究，對(duì)于提高線(xiàn)纜的裝配精度和效率、縮短產(chǎn)品的研發(fā)周期、提升產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)力等都有重要的意義。本文在分析了AR技術(shù)應(yīng)用于線(xiàn)纜裝配的優(yōu)勢(shì)的基礎(chǔ)上，提出了基于AR的線(xiàn)纜虛實(shí)融合裝配體系，并對(duì)其中涉及到的研究?jī)?nèi)容和關(guān)鍵技術(shù)進(jìn)行了闡述。

1 傳統(tǒng)的線(xiàn)纜裝配流程及其問(wèn)題

線(xiàn)纜的裝配是一項(xiàng)復(fù)雜的工作，在整個(gè)布線(xiàn)設(shè)計(jì)過(guò)程中涉及大量的元器件、插件、不同類(lèi)型線(xiàn)纜(線(xiàn)纜尺寸、長(zhǎng)度、直徑、扎折彎角度等)的設(shè)計(jì)和線(xiàn)纜在設(shè)備內(nèi)部的空間布局，需要保證結(jié)構(gòu)件裝配要求及線(xiàn)纜的空間位置合理，同時(shí)連通各種部件、接插件和元器件，滿(mǎn)足設(shè)備的電氣和電磁兼容等性能指標(biāo)要求。復(fù)雜機(jī)電產(chǎn)品的線(xiàn)纜裝配需要遵循各種布線(xiàn)規(guī)范，滿(mǎn)足各環(huán)節(jié)的基本要求，如布局設(shè)計(jì)、敷設(shè)工藝、線(xiàn)纜功能、整機(jī)性能、維修以及檢測(cè)等，受到的物理約束主要是機(jī)械性能和電氣性能。傳統(tǒng)的布線(xiàn)設(shè)計(jì)與線(xiàn)纜裝配方法如圖1所示。

1.1 原理圖及線(xiàn)束分叉圖的生成

布線(xiàn)設(shè)計(jì)需要遵循相應(yīng)的電氣原理，而且產(chǎn)品整機(jī)是由各分機(jī)模塊組裝而成。利用AutoCAD軟件完成分機(jī)級(jí)原理圖、分機(jī)級(jí)線(xiàn)路圖、分機(jī)級(jí)線(xiàn)束分叉圖以及整機(jī)級(jí)線(xiàn)束分叉圖等的設(shè)計(jì)。在設(shè)計(jì)過(guò)程中需要參考相應(yīng)的電氣設(shè)計(jì)規(guī)范、電氣設(shè)計(jì)原理，確定電器設(shè)備連接關(guān)系、各分系統(tǒng)互連關(guān)系、選擇正確的接插件屬性和線(xiàn)纜屬性，通過(guò)減小整個(gè)線(xiàn)纜電路中的分布電容、雜散電感和雜散電磁場(chǎng)來(lái)滿(mǎn)足電磁兼容性要求。

1.2 設(shè)備目錄及接線(xiàn)表的生成

現(xiàn)場(chǎng)的線(xiàn)纜裝配工人需依據(jù)接線(xiàn)表的連接關(guān)系完成布線(xiàn)操作。利用Excel軟件生成原理圖設(shè)備目錄、分機(jī)級(jí)接線(xiàn)表、分機(jī)級(jí)導(dǎo)線(xiàn)表以及整機(jī)級(jí)接線(xiàn)表，為線(xiàn)纜模裝實(shí)驗(yàn)做準(zhǔn)備。接線(xiàn)表包括：線(xiàn)纜號(hào)、線(xiàn)號(hào)、電路特性、線(xiàn)纜(導(dǎo)線(xiàn))型號(hào)、線(xiàn)纜(導(dǎo)線(xiàn))規(guī)格、接出端Ⅰ(項(xiàng)目代號(hào)、端子代號(hào)、長(zhǎng)度等)和接入端Ⅱ(項(xiàng)目代號(hào)、端子代號(hào)、長(zhǎng)度等)。

圖1 傳統(tǒng)的布線(xiàn)設(shè)計(jì)與線(xiàn)纜裝配流程

1.3 線(xiàn)纜模裝實(shí)驗(yàn)及更改

為完成線(xiàn)纜路徑規(guī)劃、卡箍設(shè)置等任務(wù)，先按照1︰1的比例制造出產(chǎn)品實(shí)物樣機(jī)，然后布線(xiàn)操作工人根據(jù)分機(jī)級(jí)和整機(jī)級(jí)接線(xiàn)表進(jìn)行線(xiàn)纜裝配。若裝配過(guò)程中發(fā)現(xiàn)問(wèn)題，還需要返回到前期設(shè)計(jì)階段進(jìn)行相應(yīng)的更改。產(chǎn)品設(shè)計(jì)規(guī)范、設(shè)計(jì)原理、設(shè)計(jì)參數(shù)等是產(chǎn)品結(jié)構(gòu)設(shè)計(jì)時(shí)要考慮的因素，同時(shí)產(chǎn)品的技術(shù)性能、經(jīng)濟(jì)指標(biāo)、可靠性和可維修性等也必須滿(mǎn)足相應(yīng)的要求。進(jìn)行線(xiàn)纜模擬裝配時(shí)，需要參考設(shè)計(jì)布線(xiàn)序列準(zhǔn)則、線(xiàn)纜路徑規(guī)劃準(zhǔn)則、卡箍設(shè)置準(zhǔn)則以及線(xiàn)束防護(hù)準(zhǔn)則等。

上述傳統(tǒng)的布線(xiàn)設(shè)計(jì)與線(xiàn)纜裝配方法除了具有文獻(xiàn)[6]中的一些缺點(diǎn)外，電氣屬性不能在設(shè)備連接關(guān)系中得到反映也是其問(wèn)題所在。因此，傳統(tǒng)的布線(xiàn)設(shè)計(jì)與線(xiàn)纜裝配方法嚴(yán)重制約著產(chǎn)品的研發(fā)速度和質(zhì)量。

以沉浸性(immersion)、交互性(interactivity)和構(gòu)想性(imagination)為基本特征的VR技術(shù)通過(guò)模擬人的感覺(jué)器官功能(如觸覺(jué)、視覺(jué)、聽(tīng)覺(jué)等)來(lái)實(shí)現(xiàn)人與虛擬環(huán)境的實(shí)時(shí)交互[30]，而AR技術(shù)除了繼承VR技術(shù)的3I特性外，還具有虛實(shí)結(jié)合、三維注冊(cè)等新的特點(diǎn)。在進(jìn)行柔性線(xiàn)纜的布線(xiàn)設(shè)計(jì)和裝配仿真過(guò)程中，良好的人機(jī)交互環(huán)境是提高線(xiàn)纜敷設(shè)效率的一個(gè)前提條件。借助AR技術(shù)創(chuàng)建的三維沉浸式環(huán)境，布線(xiàn)設(shè)計(jì)人員在有限的裝配空間和布線(xiàn)規(guī)范約束下完成對(duì)線(xiàn)纜敷設(shè)路徑的規(guī)劃、線(xiàn)束分支布局、線(xiàn)纜捆扎和固定方式的確定等任務(wù)，并且在可視化的狀態(tài)下對(duì)不同的線(xiàn)纜敷設(shè)方案進(jìn)行評(píng)估，據(jù)此選擇最佳的線(xiàn)纜敷設(shè)方案。

由文獻(xiàn)[7]可知，傳統(tǒng)的線(xiàn)纜裝配操作主要是基于模裝實(shí)驗(yàn)方法，由于結(jié)構(gòu)緊湊、線(xiàn)纜數(shù)量多等特點(diǎn)，對(duì)于新的布線(xiàn)操作工人來(lái)說(shuō)，布線(xiàn)難度比較大，往往布完后的效果達(dá)不到預(yù)期的要求。用實(shí)際現(xiàn)場(chǎng)的布線(xiàn)方法對(duì)新的布線(xiàn)操作人員進(jìn)行培訓(xùn)，成本較高且耗時(shí)，培訓(xùn)效果也不是很理想。通過(guò)AR技術(shù)實(shí)現(xiàn)對(duì)新員工的布線(xiàn)培訓(xùn)操作，可彌補(bǔ)這方面的不足。因?yàn)樵谔摂M布線(xiàn)環(huán)境中，布線(xiàn)人員可以完全沉浸其中，通過(guò)交互的方式來(lái)完成布線(xiàn)操作，使得培訓(xùn)人員能夠更為直觀地了解線(xiàn)纜的敷設(shè)狀況對(duì)整機(jī)功能的影響，并達(dá)到快速培訓(xùn)的效果。同時(shí)，對(duì)于一些細(xì)微的布線(xiàn)區(qū)域，布線(xiàn)人員可以通過(guò)自身的構(gòu)想來(lái)布出在現(xiàn)實(shí)環(huán)境中難以實(shí)現(xiàn)的一些效果，充分地表達(dá)出布線(xiàn)設(shè)計(jì)人員的真正設(shè)計(jì)意圖。

2 基于AR的線(xiàn)纜虛實(shí)融合裝配體系

基于AR的線(xiàn)纜虛實(shí)融合裝配體系框架如圖2所示。

2.1 線(xiàn)纜增強(qiáng)裝配輔助平臺(tái)

該平臺(tái)主要包括各種開(kāi)展線(xiàn)纜虛實(shí)融合裝配所不可少的基礎(chǔ)軟件系統(tǒng)，如CAD軟件(如Pro/E、CATIA、UG等)，主要用于創(chuàng)建剛性結(jié)構(gòu)件、柔性線(xiàn)纜零件、管路零件等裝配對(duì)象；裝配工藝規(guī)劃軟件(如CHS等)，主要完成裝配序列規(guī)劃、裝配路徑規(guī)劃、確定工裝夾具使用方案等；用于進(jìn)行線(xiàn)纜平面分支圖的生成、材料清單的生成、裝配工藝的可行性驗(yàn)證等裝配過(guò)程仿真軟件(如IC.IDO等)；用于進(jìn)行線(xiàn)纜虛實(shí)融合裝配各種工藝數(shù)據(jù)管理的軟件(如PDMLink/Intralink等)。該平臺(tái)主要用來(lái)進(jìn)行前期的線(xiàn)纜布線(xiàn)設(shè)計(jì)、模擬安裝、可裝配性驗(yàn)證、操作工具的可達(dá)性檢查等。

圖2 基于AR的線(xiàn)纜虛實(shí)融合裝配體系框架

2.2 線(xiàn)纜增強(qiáng)裝配關(guān)鍵技術(shù)

線(xiàn)纜虛實(shí)融合裝配實(shí)現(xiàn)的前提條件之一是虛擬景物和真實(shí)景物要能夠精準(zhǔn)地融合，包括將虛擬零部件(虛擬線(xiàn)纜、虛擬結(jié)構(gòu)件等)融入到動(dòng)態(tài)或靜態(tài)的真實(shí)裝配場(chǎng)景中，以及將動(dòng)態(tài)或靜態(tài)的真實(shí)景物融入到虛擬裝配環(huán)境中。其關(guān)鍵技術(shù)的突破需要解決以下技術(shù)問(wèn)題：①虛實(shí)融合裝配零件的三維注冊(cè)技術(shù)，主要是通過(guò)坐標(biāo)系間的轉(zhuǎn)換實(shí)現(xiàn)虛擬線(xiàn)纜與真實(shí)裝配場(chǎng)景的正確融合；②攝像機(jī)標(biāo)定與跟蹤技術(shù)，攝像機(jī)的位置和朝向在線(xiàn)纜增強(qiáng)裝配過(guò)程中必須得到精確估算，虛擬的裝配對(duì)象和攝像機(jī)獲取的視頻圖像與跟蹤器的姿態(tài)信息實(shí)現(xiàn)精確配準(zhǔn)；③增強(qiáng)裝配對(duì)象虛實(shí)遮擋處理技術(shù)，主要解決待裝配虛實(shí)對(duì)象的正確遮擋關(guān)系問(wèn)題；④虛實(shí)融合裝配實(shí)空間的建模技術(shù)，主要解決幾何一致性和光照一致性的問(wèn)題，實(shí)現(xiàn)真實(shí)裝配對(duì)象與虛擬裝配對(duì)象的光照效果融合。

2.3 線(xiàn)纜增強(qiáng)裝配引導(dǎo)信息的疊加

裝配信息是線(xiàn)纜增強(qiáng)裝配過(guò)程中非常重要的環(huán)節(jié)。其主要可以分為線(xiàn)纜的幾何信息(如線(xiàn)纜的空間位置姿態(tài)、線(xiàn)纜分支特性、不同分支的空間路徑分布、線(xiàn)纜截面形狀和大小等)、線(xiàn)纜拓?fù)湫畔?如主干線(xiàn)纜與分支線(xiàn)纜的拓?fù)潢P(guān)系、單根導(dǎo)線(xiàn)與主干線(xiàn)纜的拓?fù)潢P(guān)系、單根導(dǎo)線(xiàn)與分支線(xiàn)纜之間的拓?fù)潢P(guān)系等)和線(xiàn)纜管理信息(如線(xiàn)纜名稱(chēng)、線(xiàn)纜代號(hào)等)。通過(guò)建立一個(gè)面向線(xiàn)纜增強(qiáng)裝配引導(dǎo)的信息模型，在增強(qiáng)裝配場(chǎng)景中疊加文字注 釋等信息，引導(dǎo)布線(xiàn)工人將線(xiàn)纜零件裝配到目標(biāo)位置。

2.4 線(xiàn)纜虛實(shí)融合裝配操作

線(xiàn)纜虛實(shí)融合裝配操作主要是在虛實(shí)融合裝配場(chǎng)景中，布線(xiàn)工人借助相應(yīng)的裝配工具在裝配引導(dǎo)信息的輔助下將線(xiàn)纜正確地裝配到目標(biāo)位置上。疊加的裝配引導(dǎo)信息包含了布線(xiàn)的路徑、文字注釋等信息。

圖3~4展示了AR技術(shù)在實(shí)際中的應(yīng)用情況。其中，圖3為Metaio公司提供的汽車(chē)線(xiàn)纜AR解決方案，當(dāng)汽車(chē)線(xiàn)纜(線(xiàn)束)發(fā)生故障時(shí)，工人只需用iPad對(duì)著故障區(qū)域，在iPad上就會(huì)直接給工人演示該如何操作[31]。圖4則通過(guò)AR技術(shù)將產(chǎn)品裝配的引導(dǎo)信息疊加在工人的裝配環(huán)境中，裝配工人根據(jù)疊加在眼前的裝配引導(dǎo)信息完成裝配任務(wù)[21]。

圖3 汽車(chē)線(xiàn)束故障診斷案例

圖4 虛實(shí)融合裝配案例

3 線(xiàn)纜虛實(shí)融合裝配的關(guān)鍵技術(shù)

VR技術(shù)給予用戶(hù)一種在虛擬世界中沉浸、封閉的效果，用戶(hù)(布線(xiàn)設(shè)計(jì)人員)所操作的對(duì)象完全是虛擬的，布線(xiàn)設(shè)計(jì)人員仍舊需要根據(jù)線(xiàn)纜虛擬敷設(shè)的過(guò)程和結(jié)果在現(xiàn)場(chǎng)對(duì)真實(shí)產(chǎn)品的結(jié)構(gòu)件進(jìn)行線(xiàn)纜裝配，所裝配出來(lái)的結(jié)果與虛擬環(huán)境下的線(xiàn)纜裝配效果并不是完全一致的。AR技術(shù)則將虛擬對(duì)象帶入到用戶(hù)的物理世界中，其依靠計(jì)算機(jī)技術(shù)構(gòu)建出文字、線(xiàn)纜拓?fù)鋱D片、裝配視頻、裝配過(guò)程解說(shuō)音頻、企業(yè)內(nèi)部網(wǎng)站鏈接、三維模型、三維動(dòng)畫(huà)、全景信息等和物理世界的結(jié)合，讓物理世界和虛擬對(duì)象合為一體。線(xiàn)纜敷設(shè)人員可以使用手部動(dòng)作與手勢(shì)控制所讀出的三維模型移動(dòng)和旋轉(zhuǎn)，以及通過(guò)語(yǔ)音、眼動(dòng)、體感等多種方式與虛擬對(duì)象交互，所裝配完的線(xiàn)纜即為實(shí)際產(chǎn)品線(xiàn)纜敷設(shè)結(jié)果。

AR技術(shù)的基礎(chǔ)包括：①虛實(shí)融合技術(shù)，對(duì)虛實(shí)環(huán)境進(jìn)行準(zhǔn)確地配準(zhǔn)，實(shí)現(xiàn)遮擋、陰影和光照一致性，同時(shí)支持自然的交互；②跟蹤定位技術(shù)，實(shí)時(shí)檢測(cè)觀察者的位置、視域方向、運(yùn)動(dòng)的情況，幫助系統(tǒng)決定顯示何種虛擬對(duì)象；③系統(tǒng)顯示技術(shù)，AR系統(tǒng)設(shè)計(jì)最基本的問(wèn)題就是實(shí)現(xiàn)虛擬信息和物理世界的融合；④用戶(hù)交互技術(shù)，實(shí)現(xiàn)用戶(hù)與物理環(huán)境中的虛擬對(duì)象之間更自然的交互。

為了詳細(xì)闡述AR技術(shù)用于線(xiàn)纜虛實(shí)融合裝配仿真需要解決以下4個(gè)關(guān)鍵技術(shù)。

(1) 虛實(shí)融合裝配零件的三維注冊(cè)。虛擬裝配對(duì)象在真實(shí)環(huán)境中的相應(yīng)位置上要實(shí)現(xiàn)精確地配準(zhǔn)，必須在線(xiàn)纜虛實(shí)融合裝配系統(tǒng)中建立虛擬空間與真實(shí)空間坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。虛實(shí)融合裝配零件的三維注冊(cè)能夠計(jì)算虛擬線(xiàn)纜在真實(shí)裝配環(huán)境的映射位置，為虛擬裝配環(huán)境與真實(shí)裝配環(huán)境之間的空間關(guān)聯(lián)關(guān)系及虛實(shí)融合效果奠定了基礎(chǔ)。注冊(cè)誤差達(dá)到一定數(shù)值會(huì)導(dǎo)致錯(cuò)誤的結(jié)果，線(xiàn)纜的最終裝配效果也會(huì)受到布線(xiàn)人員的觀測(cè)視差影響。因此，虛實(shí)景物的準(zhǔn)確三維注冊(cè) 是實(shí)現(xiàn)線(xiàn)纜虛實(shí)融合裝配要解決的一個(gè)關(guān)鍵技術(shù)問(wèn)題。

(2) 線(xiàn)纜虛實(shí)遮擋一致性的處理。遮擋一致性是AR系統(tǒng)中實(shí)現(xiàn)線(xiàn)纜虛實(shí)融合的一個(gè)重要方面，布線(xiàn)人員對(duì)線(xiàn)纜增強(qiáng)裝配環(huán)境的信服程度以及在合成場(chǎng)景中是否獲得合乎自然的空間感知直接取決于線(xiàn)纜遮擋關(guān)系的正確與否。在不考慮虛實(shí)遮擋關(guān)系的線(xiàn)纜增強(qiáng)裝配環(huán)境中，只是簡(jiǎn)單地將虛擬線(xiàn)纜零件疊加在真實(shí)裝配場(chǎng)景圖像上，將會(huì)造成虛擬線(xiàn)纜零件始終遮擋真實(shí)裝配場(chǎng)景中的情況，使布線(xiàn)人員易產(chǎn)生錯(cuò)覺(jué)。因此，線(xiàn)纜虛實(shí)裝配對(duì)象遮擋關(guān)系的正確處理具有重要意義。

(3) 線(xiàn)纜虛實(shí)融合光照的一致性處理。零件的三維注冊(cè)主要解決真實(shí)裝配對(duì)象與虛擬裝配對(duì)象的空間位置關(guān)系問(wèn)題，而兩者之間的光照效果融合則需要靠線(xiàn)纜虛實(shí)融合光照的一致性處理來(lái)實(shí)現(xiàn)。為使布線(xiàn)工人在感官上確信虛擬線(xiàn)纜對(duì)象是周?chē)h(huán)境的組成部分，則需要解決幾何一致性和光照一致性的問(wèn)題。陰影和光照一致性要能夠?qū)崟r(shí)的適應(yīng)真實(shí)裝配環(huán)境的光照變化，同時(shí)考慮真實(shí)零件和虛擬線(xiàn)纜零件之間的陰影，使得虛擬線(xiàn)纜零件產(chǎn)生如同真實(shí)線(xiàn)纜零件一樣的光照和陰影效果。

(4) 相機(jī)標(biāo)定與跟蹤技術(shù)。實(shí)現(xiàn)柔性線(xiàn)纜目標(biāo)的準(zhǔn)確跟蹤需要對(duì)攝像機(jī)的位置及朝向進(jìn)行 精確估算。相機(jī)跟蹤注冊(cè)可建立二維圖像(相機(jī) 連續(xù)觀測(cè)獲得)與虛擬三維場(chǎng)景之間空間投影 關(guān)系，完成虛擬眼睛的位置和姿態(tài)的實(shí)時(shí)參數(shù) 估計(jì)。線(xiàn)纜的主要特點(diǎn)之一是柔性大變形，在拖拽的情況下，線(xiàn)纜主體及其分支線(xiàn)束會(huì)在空中呈現(xiàn)出各種形狀，對(duì)于這種可變形物體的位姿跟蹤技術(shù)難度更大。研究具有實(shí)時(shí)性的攝像機(jī)標(biāo)定和跟蹤技術(shù)，在真實(shí)的裝配場(chǎng)景中嵌入虛擬線(xiàn)纜等零件，是實(shí)現(xiàn)線(xiàn)纜虛實(shí)融合裝配的又一重要關(guān)鍵技術(shù)。

虛擬物體和物理實(shí)體精確配準(zhǔn)是評(píng)價(jià)AR系統(tǒng)的一個(gè)重要指標(biāo)，配準(zhǔn)的精確度反映了虛擬模型疊加到現(xiàn)實(shí)世界的真實(shí)程度[29]。從上述對(duì)線(xiàn)纜虛實(shí)融合裝配關(guān)鍵技術(shù)的闡述可知，解決虛擬物體模型和真實(shí)裝配對(duì)象或?qū)崟r(shí)場(chǎng)景的圖像配準(zhǔn)問(wèn)題是眾多關(guān)鍵技術(shù)中的核心問(wèn)題。由圖2可知，虛擬模型的空間變換(坐標(biāo)系間的轉(zhuǎn)換)是實(shí)現(xiàn)圖像配準(zhǔn)首先需要解決的問(wèn)題，包括模型視角變換、投影變換以及視口變換(圖中的相關(guān)坐標(biāo)系為攝像機(jī)坐標(biāo)系、成像平面坐標(biāo)系、虛擬線(xiàn)纜坐標(biāo)系)。其次是虛實(shí)圖像配準(zhǔn)穩(wěn)定性的增強(qiáng)。在對(duì)非確定的裝配環(huán)境采用計(jì)算視覺(jué)進(jìn)行檢測(cè)和識(shí)別時(shí)，檢測(cè)設(shè)備和環(huán)境的微小變化等因素的存在會(huì)使得最終的檢測(cè)結(jié)果呈現(xiàn)出不穩(wěn)定的變化，直接影響到系統(tǒng)的配準(zhǔn)精度[29]。在解決虛擬模型空間變換和虛實(shí)圖像配準(zhǔn)穩(wěn)定性增強(qiáng)問(wèn)題后，需要將虛實(shí)融合后的效果輸出到顯示設(shè)備，虛擬模型的渲染是該階段需要解決的一個(gè)主要問(wèn)題。

4 線(xiàn)纜虛實(shí)融合裝配研究?jī)?nèi)容及系統(tǒng)運(yùn)行流程

4.1 線(xiàn)纜虛實(shí)融合裝配研究?jī)?nèi)容

基于AR的線(xiàn)纜虛實(shí)融合裝配借助VR技術(shù)來(lái)構(gòu)建線(xiàn)纜虛擬裝配場(chǎng)景和人機(jī)交互界面，同時(shí)為了顯示靜態(tài)的布線(xiàn)圖片或?qū)崟r(shí)的線(xiàn)纜敷設(shè)視頻，在所生成的虛擬裝配場(chǎng)景中再增開(kāi)一個(gè)真實(shí)裝配場(chǎng)景窗口。通過(guò)引入AR技術(shù)，實(shí)現(xiàn)將虛擬場(chǎng)景中的虛擬零件模型(待裝配的柔性線(xiàn)纜、剛性結(jié)構(gòu)件、管件等)、幾何特征模型、線(xiàn)纜裝配路徑、線(xiàn)纜裝配文字指導(dǎo)信息等實(shí)時(shí)地疊加到真實(shí)裝配場(chǎng)景中并同步顯示，在視覺(jué)體驗(yàn)與裝配導(dǎo)航方面為布線(xiàn)工人提供虛擬和真實(shí)的雙重感知。線(xiàn)纜虛實(shí)融合裝配研究的內(nèi)容主要包括以下3大部分：

(1) 線(xiàn)纜虛實(shí)融合裝配場(chǎng)景構(gòu)建。線(xiàn)纜虛實(shí)融合裝配場(chǎng)景是由布線(xiàn)工人看到的真實(shí)裝配場(chǎng)景和疊加于真實(shí)裝配場(chǎng)景上的計(jì)算機(jī)生成的虛擬對(duì)象(虛擬零件模型、布線(xiàn)路徑、指導(dǎo)性文字注釋信息等)組成，虛擬的裝配對(duì)象會(huì)對(duì)真實(shí)的裝配場(chǎng)景起到增強(qiáng)效果，布線(xiàn)人員對(duì)于真實(shí)裝配場(chǎng)景的感知和認(rèn)識(shí)將會(huì)得到提高。在線(xiàn)纜虛實(shí)融合裝配場(chǎng)景中，大量的真實(shí)環(huán)境信息蘊(yùn)涵其中，處在虛實(shí)融合裝配場(chǎng)景中的布線(xiàn)人員在各自的感知和交互區(qū)域中往往會(huì)呈現(xiàn)出不同的視點(diǎn)和交互形式，從而使得線(xiàn)纜虛實(shí)融合裝配場(chǎng)景需要描繪不斷變化的多方位真實(shí)環(huán)境。主要包括：獲取真實(shí)裝配環(huán)境的多方位信息，在此基礎(chǔ)上對(duì)所獲取的信息進(jìn)行表示，利用多個(gè)視頻序列描繪線(xiàn)纜虛實(shí)融合裝配場(chǎng)景的真實(shí)環(huán)境，最終構(gòu)建面向布線(xiàn)人員操作的虛實(shí)融合裝配場(chǎng)景。

(2) 線(xiàn)纜虛實(shí)融合裝配場(chǎng)景實(shí)時(shí)融合繪制。在虛實(shí)融合裝配場(chǎng)景中，深度信息的差異是線(xiàn)纜零件等裝配對(duì)象所固有的，布線(xiàn)工人視點(diǎn)的位置變化會(huì)造成裝配對(duì)象之間出現(xiàn)不同的遮擋關(guān)系。在線(xiàn)纜虛實(shí)融合裝配系統(tǒng)中，所繪制的每一個(gè)虛擬線(xiàn)纜零件在場(chǎng)景中的位置均需要被準(zhǔn)確地計(jì)算，同時(shí)與其他的零部件裝配對(duì)象進(jìn)行交互，確保正確地遮擋關(guān)系和交互關(guān)系。正確地遮擋關(guān)系能夠產(chǎn)生令布線(xiàn)工人信服的線(xiàn)纜增強(qiáng)裝配環(huán)境，并能夠使其在合成場(chǎng)景中獲得合乎自然的空間感知。主要包括：線(xiàn)纜增強(qiáng)裝配場(chǎng)景的虛實(shí)融合注冊(cè)技術(shù)，獲取場(chǎng)景中虛擬零件物體與周邊不同物體的深度信息并對(duì)場(chǎng)景深度作出實(shí)時(shí)估計(jì)，實(shí)現(xiàn)有效地遮擋處理和渲染繪制。

(3) 線(xiàn)纜增強(qiáng)裝配引導(dǎo)信息模型建立與疊加。裝配操作的順利進(jìn)行離不開(kāi)信息，裝配信息在線(xiàn)纜增強(qiáng)裝配過(guò)程中具有非常重要的作用。布線(xiàn)工人與系統(tǒng)在進(jìn)行人機(jī)交互時(shí)，要想對(duì)整個(gè)裝配任務(wù)實(shí)現(xiàn)更為準(zhǔn)確地理解，需要在虛實(shí)融合裝配場(chǎng)景中疊加所需的裝配信息，以引導(dǎo)布線(xiàn)工人進(jìn)行線(xiàn)纜裝配。主要包括：建立一個(gè)面向線(xiàn)纜增強(qiáng)裝配引導(dǎo)的信息模型，在虛擬線(xiàn)纜零件注冊(cè)信息的基礎(chǔ)上，疊加虛擬線(xiàn)纜零件的幾何模型；通過(guò)建立布線(xiàn)文字模型、三維信息框和文字貼圖的形式實(shí)現(xiàn)文字信息的疊加；疊加裝配特征信息，以幫助布線(xiàn)工人識(shí)別場(chǎng)景中的裝配約束，引導(dǎo)其將線(xiàn)纜零件裝配到目標(biāo)位置。

4.2 線(xiàn)纜虛實(shí)融合裝配系統(tǒng)運(yùn)行流程

線(xiàn)纜虛實(shí)融合裝配的實(shí)現(xiàn)主要借助AR技術(shù)構(gòu)建虛擬裝配場(chǎng)景和人機(jī)交互界面，同時(shí)在該場(chǎng)景中增開(kāi)一個(gè)用于顯示靜態(tài)線(xiàn)纜敷設(shè)效果圖片或?qū)崟r(shí)線(xiàn)纜裝配視頻(含解說(shuō)聲音)的真實(shí)裝配場(chǎng)景窗口。通過(guò)引入AR技術(shù)，將虛擬場(chǎng)景中的虛擬零件模型(柔性線(xiàn)纜、管件、剛性結(jié)構(gòu)件、工具等)、相關(guān)幾何特征模型、線(xiàn)纜布線(xiàn)空間路徑、裝配指導(dǎo)文字信息等實(shí)時(shí)地疊加到真實(shí)裝配場(chǎng)景中并同步顯示，在視覺(jué)體驗(yàn)與裝配導(dǎo)航方面為布線(xiàn)工人提供虛擬和真實(shí)的雙重感知?；贏R的線(xiàn)纜虛實(shí)融合裝配系統(tǒng)運(yùn)行流程如圖5所示，主要包括裝配環(huán)境場(chǎng)景信息采集模塊、虛擬場(chǎng)景生成模塊、相機(jī)跟蹤注冊(cè)模塊、線(xiàn)纜虛實(shí)融合模塊、人機(jī)交互與顯示模塊等。

裝配環(huán)境場(chǎng)景采集模塊主要利用真實(shí)攝像機(jī)對(duì)真實(shí)線(xiàn)纜裝配環(huán)境進(jìn)行信息的采集，如采集外部裝配環(huán)境的圖像及視頻信息等，并利用圖像/視頻處理器對(duì)所采集的信息進(jìn)行后處理，并將結(jié)果供虛實(shí)融合模塊調(diào)用。虛擬場(chǎng)景生成模塊主要完成虛擬線(xiàn)纜模型及其坐標(biāo)系的信息采集，獲取虛擬線(xiàn)纜的空間姿態(tài)和空間位置，實(shí)現(xiàn)虛擬線(xiàn)纜的空間位姿定位。相機(jī)跟蹤注冊(cè)模塊主要完成對(duì)布線(xiàn)人員頭部方位和視線(xiàn)方向的跟蹤，進(jìn)而實(shí)現(xiàn)虛實(shí)相機(jī)坐標(biāo)的對(duì)齊和虛實(shí)對(duì)象的配準(zhǔn)。虛實(shí)融合模塊基于上述裝配環(huán)境場(chǎng)景采集模塊、虛擬場(chǎng)景生成模塊以及相機(jī)跟蹤注冊(cè)模塊所生成的結(jié)果完成虛實(shí)場(chǎng)景的配準(zhǔn)，建立面向線(xiàn)纜虛實(shí)融合的增強(qiáng)裝配系統(tǒng)。人機(jī)交互與顯示模塊主要面向現(xiàn)場(chǎng)的布線(xiàn)人員，通過(guò)交互設(shè)備實(shí)現(xiàn)人與裝配場(chǎng)景的互動(dòng)，最終完成線(xiàn)纜的裝配操作。

需要指出的是，線(xiàn)纜虛實(shí)融合裝配系統(tǒng)通過(guò)在虛擬空間坐標(biāo)系與真實(shí)空間坐標(biāo)系之間建立正確的轉(zhuǎn)換關(guān)系，使得虛擬線(xiàn)纜能夠合并到真實(shí)裝配場(chǎng)景的正確位置上。由于在裝配過(guò)程中，布線(xiàn)工人的位置會(huì)不斷變化，系統(tǒng)要實(shí)時(shí)地根據(jù)布線(xiàn)工人的視場(chǎng)重建坐標(biāo)系的關(guān)系，相機(jī)跟蹤注冊(cè)模塊通過(guò)跟蹤布線(xiàn)人員頭部方位和視線(xiàn)方向來(lái)完成上述任務(wù)。線(xiàn)纜的三維敷設(shè)路徑和裝配過(guò)程的文字信息提示是疊加在布線(xiàn)人員視野中的主要內(nèi)容，布線(xiàn)人員根據(jù)所提供的上述信息完成線(xiàn)纜的裝配工作。

圖5 線(xiàn)纜虛實(shí)融合裝配系統(tǒng)運(yùn)行流程

5 結(jié)束語(yǔ)

復(fù)雜機(jī)電產(chǎn)品的線(xiàn)纜裝配需要考慮多項(xiàng)因素，如有限的裝配空間、柔性線(xiàn)纜的固定和捆扎、不同類(lèi)型的電氣元器件的分布情況等，整個(gè)裝配過(guò)程耗費(fèi)大量的時(shí)間和人力。當(dāng)前線(xiàn)纜的裝配主要借助布線(xiàn)工藝人員制定的表格化指導(dǎo)文件來(lái)完成布線(xiàn)任務(wù)，其容易導(dǎo)致線(xiàn)纜裝配隨意性較大，前后一致性和產(chǎn)品的可維護(hù)性差，在裝配質(zhì)量和可靠性方面都未能得到保證。本文在對(duì)傳統(tǒng)的布線(xiàn)設(shè)計(jì)與線(xiàn)纜裝配方法進(jìn)行分析的基礎(chǔ)上，提出了基于AR的復(fù)雜機(jī)電產(chǎn)品線(xiàn)纜虛實(shí)融合裝配方法，給出了線(xiàn)纜虛實(shí)融合裝配的體系框架和系統(tǒng)的運(yùn)行流程，并對(duì)該方法涉及到的研究?jī)?nèi)容和關(guān)鍵技術(shù)進(jìn)行了詳細(xì)闡述。本文方法為線(xiàn)纜裝配的研究提供了一種新的思路，下一步將在已有線(xiàn)纜敷設(shè)研究的基礎(chǔ)上，對(duì)本文所列出的研究?jī)?nèi)容和關(guān)鍵技術(shù)展開(kāi)深入研究。

[1] 鐘掘. 復(fù)雜機(jī)電系統(tǒng)耦合設(shè)計(jì)理論與方法[M]. 北京: 機(jī)械工業(yè)出版社, 2007: 1-4.

[2] 張根保, 曾海峰, 王國(guó)強(qiáng), 等. 復(fù)雜機(jī)電產(chǎn)品質(zhì)量特性解耦模型[J]. 重慶大學(xué)學(xué)報(bào), 2010, 33(5): 7-15.

[3] 寧汝新, 劉檢華, 唐承統(tǒng), 等. 虛擬裝配技術(shù)及其應(yīng)用[J]. 國(guó)防制造技術(shù), 2009, 4(2): 22-29.

[4] 尚煒, 寧汝新, 劉檢華, 等. 復(fù)雜機(jī)電產(chǎn)品中的柔性線(xiàn)纜裝配過(guò)程仿真技術(shù)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2012, 24(6): 822-831.

[5] 王同蘇, 杜寶瑞. 虛擬環(huán)境下飛機(jī)線(xiàn)纜裝配技術(shù)研究[J]. 航空制造技術(shù), 2015(19): 52-55.

[6] 王金芳. 基于Pro/E的線(xiàn)纜裝配規(guī)劃系統(tǒng)的研究與設(shè)計(jì)[D]. 南京: 南京航空航天大學(xué), 2008.

[7] 王發(fā)麟, 廖文和, 郭宇, 等. 線(xiàn)纜虛擬裝配關(guān)鍵技術(shù)研究現(xiàn)狀及其發(fā)展[J]. 中國(guó)機(jī)械工程, 2016, 27(6): 839-851.

[8] 郭洪杰, 石延波, 趙建國(guó), 等. 飛機(jī)管線(xiàn)交互式虛擬裝配技術(shù)研究及應(yīng)用[J]. 航空制造技術(shù), 2015(Z1): 77-80.

[9] 靳宇, 侯文君, 楊福興. 基于多Agent的虛擬裝配環(huán)境中情境感知的機(jī)制[J]. 東華大學(xué)學(xué)報(bào)：自然科學(xué)版, 2010, 36(4): 366-370, 396.

[10] 王立才, 孟祥武, 張玉潔. 上下文感知推薦系統(tǒng)[J]. 軟件學(xué)報(bào), 2012, 23(1): 1-20.

[11] 侯文君. 基于情境感知的智能虛擬裝配系統(tǒng)若干關(guān)鍵技術(shù)研究[D]. 北京: 北京郵電大學(xué), 2010.

[12] 宋晨, 劉惠義. 一種多Agent的情境裝配模型[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2016, 22(5): 1205-1210.

[13] AZUMA R, BAILLOT Y, BEHRINGER R, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[14] 朱淼良, 姚遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2004, 9(7): 3-10.

[15]趙沁平. 虛擬現(xiàn)實(shí)綜述[J]. 中國(guó)科學(xué)(F輯): 信息科學(xué), 2009, 39(1): 2-46.

[16] VAN KREVELEN D W F, POELMAN R. A survey of augmented reality technologies, applications and limitations [J]. The International Journal of Virtual Reality, 2010, 9(2): 1-20.

[17] MILLER A, WHITE B, CHARBONNEAU E, et al. Interactive 3D model acquisition and tracking of building block structures [J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(4): 651-659.

[18] KHUONG B M, KIYOKAWA K, MILLER A J, et al. The effectiveness of an AR-based context-aware assembly support system in object assembly [C]//IEEE Virtual Reality Conference. New York: IEEE Press, 2014: 57-62.

[19] HOU L, WANG X, TRUIJENS M. Using augmented reality to facilitate piping assembly: an experiment-based evaluation [J]. Journal of Computing in Civil Engineering, 2013, 29(1): 5014007-1/12.

[20] CAUDELL T P, MIZELL D. Augmented reality: an application of heads-up display technology to manual manufacturing processes [C]//Proceedings of the 25th Hawaii International Conference on System Sciences. Washington D C: IEEE Comput Society, 1992, 2(7/8/9/10): 659-669.

[21] SCHWALD B, DE LAVAL B. An augmented reality system for training and assistance to maintenance in the industrial context [J]. Journal of WSCG, 2003, 11(1): 425-432.

[22] SALONEN T, SA?A?SKI J, HAKKARAINEN M, et al. Demonstration of assembly work using augmented reality [C]//Proceedings of the 6th ACM International Conference on Image and Video Retrieval, CIVR 2007. New York: ACM Press, 2007: 120-123.

[23] SALONEN T, SA?A?SKI J, WOODWARD C, et al. Data pipeline from CAD to AR based assembly instructions [C]// Proceedings of the ASME/AFM 2009 World Conference on Innovative Virtual Reality. New York: ASME, 2009: 165-168.

[24] PANG Y, NEE A Y C, ONG S K, et al. Assembly feature design in an augmented reality environment [J]. Assembly Automation, 2013, 26(1): 34-43.

[25] 彭濤, 李世其, 王峻峰, 等. 基于增強(qiáng)人機(jī)交互技術(shù)的虛擬裝配[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2009, 21(3): 354-361, 368.

[26] 王峻峰, 徐遲, 李世其. 增強(qiáng)現(xiàn)實(shí)環(huán)境下的產(chǎn)品裝配引導(dǎo)技術(shù)[J]. 圖學(xué)學(xué)報(bào), 2012, 33(4): 114-120.

[27] 宋荊洲, 馬鐵軍, 孫漢旭, 等. 基于分層著色Petri網(wǎng)的增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)建模[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2012, 18(10): 2166-2174.

[28] 林一, 陳靖, 劉越, 等. 基于心智模型的虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)混合式移動(dòng)導(dǎo)覽系統(tǒng)的用戶(hù)體驗(yàn)設(shè)計(jì)[J]. 計(jì)算機(jī)學(xué)報(bào), 2015, 38(2): 408-422.

[29] 張國(guó)亮, 吳琰翔, 王展妮, 等. 基于視覺(jué)標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)建模及配準(zhǔn)誤差問(wèn)題研究[J]. 計(jì)算機(jī)科學(xué), 2015, 42(6): 299-302, 321.

[30] BURDEA G C, COIFFET P. Virtual reality technology [J]. Teleoperators and Virtual Environments, 2003, 12(6): 663-664.

[31] Metaion. 蘋(píng)果公司收購(gòu)增強(qiáng)現(xiàn)實(shí)領(lǐng)軍企業(yè)Metaion,或?qū)⒏淖兾覀兊奈磥?lái)生活[EB/OL]. [2017-05-10]. http://video.tudou.com/v/XMjQxMzE4NjU4NA==.html.

Assembly System Construction and Its Key Techniques of Cable Harness under Virtual and Real Scene Fusion for Complex Mechatronic Products

WANG Falin, GUO Yu, ZHA Shanshan

(College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing Jiangsu 210016, China)

In view of the problems of low efficiency, low accuracy, and assembling quality and reliability are difficult to guarantee which caused by the traditional cable simulation assembly experimental method based on physical prototype, this paper proposes an assembly method of cable harness under virtual and real scene fusion for complex mechatronic products. Firstly, we analyze the advantages of the augmented reality technology applied in the cable harness assembly, and construct the assembly system of cable harness under virtual and real scene fusion based on augmented reality. Secondly, we introduce the key technologies involved to the above assembly system, and elaborate the technologies of cable harness 3D registration, cable harness occlusion, cable harness illumination, and camera calibration and tracking. Finally, we introduce the research contents and give the assembly system running process of cable harness under virtual and real scene fusion based on augmented reality.

cable harness virtual assembly; augmented reality; architecture; complex mechatronic products

TP 391

10.11996/JG.j.2095-302X.2018010075

A

2095-302X(2018)01-0075-10

2017-05-12；

2017-07-27

國(guó)家自然科學(xué)基金項(xiàng)目(51575274)；國(guó)防基礎(chǔ)科研項(xiàng)目(A2620132010)

王發(fā)麟(1986–)，男，江西吉安人，博士研究生。主要研究方向?yàn)閿?shù)字化制造技術(shù)、線(xiàn)纜虛擬裝配。E-mail：wj54nh@sina.com