劉 睿，尹旭悅，范秀敏,2+，王 磊，何其昌

(1.上海交通大學 機械與動力工程學院智能制造與信息工程研究所，上海 200240；2.上海市網(wǎng)絡(luò)化制造與企業(yè)信息化重點實驗室，上海 200030；3.上海航天精密機械研究所，上海 201600)

0 引言

線纜在工業(yè)領(lǐng)域作為產(chǎn)品能量和信號傳輸?shù)妮d體，地位至關(guān)重要。航天精密產(chǎn)品由很多控制元器件組成，這些元器件涉及線纜和電連接器。在航天精密產(chǎn)品制造過程中，線纜敷設(shè)質(zhì)量一致性影響了產(chǎn)品的整機性能。但在線纜實際手工敷設(shè)時，由于產(chǎn)品的硬件結(jié)構(gòu)(體積小、結(jié)構(gòu)緊密等)和線纜敷設(shè)人員技能程度，線纜的敷設(shè)彎曲程度、彎曲方向等敷設(shè)質(zhì)量因人而異，這給質(zhì)量一致性保障帶來了挑戰(zhàn)。

隨著信息技術(shù)的發(fā)展，增強現(xiàn)實(Augumented Reality, AR)技術(shù)在游戲娛樂、教育、軍工、醫(yī)療等領(lǐng)域均有實際的應(yīng)用。最早將AR技術(shù)引入工業(yè)產(chǎn)品裝配的是波音公司90年代的飛機線纜布置項目，其開發(fā)了移動客戶端Boeing 737引擎裝配及故障檢修系統(tǒng)應(yīng)用[1]，將裝配效率提升了將近20%，正確率提高了24%。Servan等[2]開發(fā)了WI(work instruction)智能指導裝配系統(tǒng)，解決了復雜裝配過程中步驟繁瑣難記、普通裝配指導手冊難以統(tǒng)一更新、纜線裝配無整體概念等問題，使得裝配作業(yè)時間縮短了50%;Rice等[3-4]利用飛機設(shè)計的CAD模型及特征信息作為產(chǎn)品增強現(xiàn)實提示內(nèi)容，通過語音交互方式，將線纜裝配過程所需要的信息直接利用AR技術(shù)融合到工作現(xiàn)場，提高線纜的布線效率；Metaio公司[5]在處理汽車線纜故障時，提出線纜AR解決方案，操作工人利用iPad拍攝故障區(qū)域，iPad上會直接顯示正確的操作。

國內(nèi)外學者在增強現(xiàn)實輔助裝配研究上也取得了不少成果。芬蘭國家技術(shù)研究院的Mizell等[6]開發(fā)了面向工業(yè)產(chǎn)品裝配指導的AR輔助系統(tǒng)，使操作工人裝配作業(yè)時間平均縮短了16%，但對于工具提示和零件位置定位等裝配作業(yè)內(nèi)容指導上與紙質(zhì)操作說明書存在一定的偏差;趙陽[7]基于深度體感設(shè)備Kinect進行手勢識別和交互操作研究，開發(fā)增強現(xiàn)實裝配環(huán)境，用于汽車發(fā)動機裝配訓練。在移動增強現(xiàn)實應(yīng)用場景中，楊慶等[8]提出一種多marker標志物注冊方法，采用語音和手勢實時交互技術(shù)，開發(fā)一套AR裝配平臺，有力地支持某航空發(fā)動機設(shè)備裝配過程操作與訓練。

上述文獻在進行AR輔助裝配引導研究時，引導信息推送方式是被動的，一般通過手勢、語音和力反饋等方式觸發(fā)。并沒有考慮到分析產(chǎn)品的裝配質(zhì)量，通過產(chǎn)品裝配狀態(tài)，自主判斷是否需要及時推送增強現(xiàn)實引導內(nèi)容。

對于線纜敷設(shè)過程質(zhì)量檢測，首先要從線纜敷設(shè)圖像中提取線纜目標圖像，即感興趣區(qū)域(Region of Interest，ROI)。航天線纜扎成束狀，線纜敷設(shè)時拍攝出的圖像包括多段線纜(已敷設(shè)、正在敷設(shè)和未敷設(shè)狀態(tài)3種)，而處于正在敷設(shè)的線纜只是其中一小段，需要從圖像的多段線纜中分割出正敷設(shè)的線纜目標區(qū)域。經(jīng)過多年的探索，目標圖像分割研究已取得很大的進展。在分割彩色圖像目標區(qū)域時，可以根據(jù)色彩特征進行閾值分割[9-11],也可以利用分類器[12-15]進行ROI區(qū)域提取。Parmar[16]進行線纜檢測時，用RGB(red, green and blue)顏色空間進行閾值分割，同時利用高斯濾波平滑算法分割某一色彩線纜；Sun等[17]結(jié)合二維最大類間方差法和模擬退火遺傳算法分割覆雪的線纜圖像，既提升算法速度，又保證線纜分割效果。但是，文獻[16-17]均從圖像中分割同一顏色閾值的全部線纜區(qū)域。其次，在對線纜敷設(shè)的彎曲程度等質(zhì)量進行評估時，需要利用線纜圖像的骨架信息。目前，利用骨架信息提取特征參數(shù)的研究主要集中在農(nóng)業(yè)領(lǐng)域，而且集中在測量距離這方面。宗澤等[18]等從玉米圖形中提取玉米的骨架圖像特征點，結(jié)合圖像深度信息，計算玉米的株高、莖粗、葉傾角參數(shù)；Nakarmi等[19]為測量農(nóng)作物之間的生長間距，通過采集農(nóng)作物的深度圖像，分割農(nóng)作物莖稈區(qū)域并利用莖稈骨架的三維點信息，實現(xiàn)農(nóng)作物間距測量。對于航天線纜圖像，如何提取、分析骨架信息值得探討。

因此，本文結(jié)合手工裝配特點，利用計算機視覺圖像分割方法完成裝配過程中航天線纜目標圖像分割，然后提取航天線纜特征，分析其敷設(shè)質(zhì)量，同時結(jié)合增強現(xiàn)實輔助裝配技術(shù)，在航天線纜敷設(shè)質(zhì)量評估不合格時，及時推送預警信息和線纜敷設(shè)方法正確提示，保證航天線纜的敷設(shè)質(zhì)量一致性要求。

1 線纜目標圖像分割

對于手工裝配的航天線纜圖像，由于航天線纜結(jié)構(gòu)捆扎成樹狀，裝配過程中，圖像中可能出現(xiàn)多段線纜。為了獲取航天線纜目標圖像，在傳統(tǒng)閾值分割方法基礎(chǔ)上，本章實現(xiàn)線纜的快速分割和精確檢測。通過分割裝配圖像中雙手區(qū)域，提取手部拇指特征，然后判斷精確檢測的線纜區(qū)域與拇指信息的位置關(guān)系，準確定位出線纜目標區(qū)域，得到線纜目標區(qū)域包圍盒。最后根據(jù)線纜目標區(qū)域包圍盒，對圖像進行掩模處理，得到線纜目標圖像。如圖1所示為方法流程圖。

1.1 線纜檢測

針對線纜敷設(shè)圖像，利用中值濾波算法對線纜敷設(shè)原圖預處理，平滑圖像質(zhì)量。利用色調(diào)，飽和度，明度(Hue, Saturation, Value, HSV)顏色空間實現(xiàn)圖像中線纜區(qū)域的快速分割，即疑似線纜目標區(qū)域，閾值分割效果圖如圖2所示。

由圖2的線纜HSV分割圖可知，得到的疑似線纜目標區(qū)域出現(xiàn)孔或者小洞，這是由于圖像反光造成的。同時由于圖像中存在與線纜區(qū)域顏色特征相似的干擾區(qū)域，造成圖像閾值分割后出現(xiàn)一些小面積區(qū)塊。為保證實現(xiàn)線纜區(qū)域精確檢測，需要填充圖像中的孔或者小洞并去除干擾產(chǎn)生的小面積區(qū)塊。

根據(jù)閾值分割得到的二值圖，計算所有連通區(qū)域的輪廓，將輪廓內(nèi)像素值為0的像素(即圖像中的黑點)全部填充成像素值為1的白點。完成該操作后，計算填充孔或者小洞后的連通區(qū)域面積，設(shè)定雙邊面積閾值[TS1,TS2]，略去面積過大或者過小的區(qū)域，保留真實的線纜連通區(qū)域。最后，統(tǒng)計精確檢測的線纜區(qū)域并通過連通區(qū)域輪廓信息計算所有疑似線纜目標圖像區(qū)域的最小矩形，記作集合B={b1,…,bj,…,bn}，其中bj代表第j個疑似線纜目標圖像區(qū)域的最小矩形包圍盒，n為所有的疑似線纜目標圖像區(qū)域的個數(shù)。

利用上述方法，對線纜進行精確檢測。如圖3所示為線纜精確檢測的結(jié)果，其中圖3a表示填充后連通區(qū)域圖，圖3b中矩形框表示線纜連通區(qū)域包圍盒。

1.2 線纜目標圖像檢測

1.2.1 拇指信息提取

根據(jù)線纜敷設(shè)人員的操作特征，選擇YCbCr色彩空間下各顏色通道的閾值范圍，從線纜敷設(shè)圖像中分割手部區(qū)域，其中YCbCr色彩空間的三通道信息為Y、Cb、Cr，即亮度分量、藍色色度分量和紅色色度分量，得到的手區(qū)域二值圖如圖4a所示。利用雙手輪廓信息計算手區(qū)域的兩個質(zhì)心c1,c2,有

(1)

式中：(x,y)表示手區(qū)域的圖像像素點坐標，I(x,y)表示該點的圖像像素值。質(zhì)心結(jié)果如圖4b中的c1,c2點所示。

同時，根據(jù)手區(qū)域輪廓采取曲率分析法檢測“類拇指點”。對于輪廓上任一點p，沿輪廓順時針方向，取點p的前面第5個點r和后繼第5個點q，定義向量pq和向量pr的點積Dp=pq·pr和叉積Cp=pq×pr。設(shè)定點積雙邊閾值[TS3,TS4]，根據(jù)曲率分析法可知，當輪廓上點p滿足TS3≤Dp≤TS4和Cp符號為正兩個條件時，則將該p點當作類拇指點(如圖5a)。

此時，將距離手區(qū)域質(zhì)心最遠的類拇指點當作真實的拇指點，記為集合F={f1,f2}，其中，f1和f2分別代表雙手的拇指點，最后拇指點提取結(jié)果如圖5b所示。其中，圖5b中兩直線表示手區(qū)域質(zhì)心與拇指點的連線。

1.2.2 線纜目標包圍盒獲取

利用第1.1節(jié)中檢測的所有線纜區(qū)域矩形包圍盒和1.2.1節(jié)提取的拇指點信息，通過判定拇指點是否在矩形包圍盒內(nèi)或附近，得到線纜目標包圍盒。

對于任意給定的矩形包圍盒B和任一點P，其中矩形包圍盒的4個頂點按順時針依次記為P1,P2,P3,P4。以矩形包圍盒B相鄰2條正交邊(如邊P1P2和邊P1P4)分別作為投影軸S和T，從而得到矩形包圍盒在軸S和軸T上投影范圍[S1,S2]、[T1,T2]，點P在軸S和軸T上投影點Ps、Pt。若投影點Ps，Pt均分別位于投影范圍[S1,S2]、[T1,T2]內(nèi)，則該點P在矩形包圍盒內(nèi)，如圖6a所示；否則，定義點P到矩形包圍盒最近端點距離D，如果D小于設(shè)定的長度閾值，認為點P在包圍盒附近，如圖6b所示，反之認為點P不在包圍盒附近。

根據(jù)上述方法確定線纜區(qū)域目標包圍盒，即拇指點均在線纜區(qū)域包圍盒內(nèi)或附近，算法流程如圖7。

利用線纜目標包圍盒分割結(jié)果，確定線纜目標圖像邊緣輪廓，最后通過掩模處理原線纜敷設(shè)現(xiàn)場圖像，得到線纜區(qū)目標圖像，如圖8所示。

2 線纜敷設(shè)質(zhì)量特征提取與一致性匹配

2.1 線纜敷設(shè)彎曲曲率特征參數(shù)提取

2.1.1 線纜圖像彎曲骨架分割

根據(jù)第1章獲得的線纜目標圖像，對線纜的敷設(shè)彎曲曲率進行質(zhì)量分析。首先，利用細化算法處理線纜目標圖像，得到線纜敷設(shè)彎曲骨架。該細化過程通過對二值化后的線纜目標圖像輪廓點進行一層一層地剝離，得到線纜骨架。但是，因為存在圖像輪廓邊緣變化，線纜骨架信息中可能會產(chǎn)生一些細小分支(即毛刺)，所以有必要對該骨架進行操作，去除這些毛刺信息。

這里，定義骨架的端點和節(jié)點兩個概念，如圖9所示。骨架端點(如圖9a)滿足以下2個條件：

(1)N(P)≤2;

(2)R(P)≤2;

其中：N(P)為骨架點P的8-鄰域點中像素值非0的點數(shù)目;R(P)為以P0,P1,P2,P3,P4,P5,P6,P7為序時這些點像素值從0變化至1和從1變化至0的次數(shù)。同理，骨架節(jié)點(如圖9b)滿足以下2個條件：

(1)N(P)≥3;

(2)R(P)≥6;

從骨架端點處開始進行骨架跟蹤，骨架端點設(shè)為初始跟蹤種子點，在骨架跟蹤沒到骨架節(jié)點之前，將每一次追蹤到的骨架點設(shè)為下一次骨架跟蹤的種子點，循環(huán)進行骨架跟蹤，直至到達某一節(jié)點，統(tǒng)計該骨架段端點到節(jié)點的長度T，比較長度T與設(shè)定的長度閾值Tm的大小關(guān)系。若T

2.1.2 線纜圖像彎曲曲率計算

基于2.1.1節(jié)提取的線纜敷設(shè)彎曲骨架信息后，結(jié)合圖像的深度信息，通過攝像頭模型，將圖像的二維骨架點轉(zhuǎn)換成三維空間坐標信息，轉(zhuǎn)換過程如式(2)所示。

(2)

式中：Mint為攝像頭內(nèi)參;Mext為攝像頭外參；Zc為骨架點深度信息;(u,v)為二維骨架點坐標；(Xw,Yw,Zw)為骨架點三維空間坐標。本文采用RealSense D435深度攝像頭，直接獲取攝像頭的內(nèi)參矩陣和圖像像素點的Zc值。

得到骨架三維空間信息后，采用直接測量法計算線纜骨架彎曲曲率，其原理是：給定任意點p1(x1,y1,z1)和點p1(x1,y1,z1)前后的兩個點p2(x2,y2,z2)、p3(x3,y3,z3)，根據(jù)這3個點確定一個以p(x,y,z)為圓心的圓，將該圓的半徑R作為點p1(x1,y1,z1)在此處的曲率半徑，曲率半徑倒數(shù)即為曲率。

為了驗證上述線纜彎曲曲率計算結(jié)果的有效性，以4段線纜敷設(shè)圖像實例分析，如圖11所示。計算線纜的最小彎曲半徑和最大彎曲曲率，評估線纜的彎曲程度，該實驗圖像尺寸為640×480。表1所示為這4例線纜目標圖像的最大彎曲曲率、最小彎曲半徑。

表1 4例線纜目標圖像的彎曲程度對比

同時，通過描點法描繪線纜的實際彎曲形狀，然后取線纜形狀上的關(guān)鍵點估算線纜的最小彎曲半徑，并記該方法估算的線纜最小彎曲半徑為測量值，結(jié)果如表2所示。由表2可知，計算值與測量值差值在2 mm～3 mm之間。

表2 4例線纜目標圖像的彎曲半徑測量值

表3 4例線纜彎曲程度評估結(jié)果重合度

2.2 線纜敷設(shè)彎曲方向特征匹配

在評估線纜敷設(shè)的彎曲方向是否符合要求時，通過利用線纜敷設(shè)圖像的SURF特征進行圖像特征匹配來實現(xiàn)。首先，使用線纜模板圖像和線纜模板視頻文件進行離線訓練，線纜模板圖像即線纜敷設(shè)的樣本圖像，線纜模板視頻文件即線纜敷設(shè)過程錄制的樣本視頻。統(tǒng)計模板圖像與模板視頻匹配過程中在線纜目標區(qū)域內(nèi)的匹配點對總數(shù)，并按式(3)計算線纜模板特征點數(shù)目。

(3)

式中：num為線纜模板特征點數(shù)目;totalnums為匹配過程中在線纜目標區(qū)域內(nèi)的匹配點對總數(shù);frames為線纜模板視頻的總幀數(shù)。

將線纜敷設(shè)圖像提取的局部加速穩(wěn)健特征(Speeded Up Robust Features, SURF)特征點與線纜敷設(shè)模板圖像的特征點進行比對，統(tǒng)計在線纜模板圖像的目標區(qū)域內(nèi)的匹配點對總數(shù)，判斷匹配點對數(shù)目是否大于線纜模板特征點數(shù)目，同時累計大于線纜模板特征點數(shù)的匹配線纜敷設(shè)圖像幀數(shù)，當符合要求的圖像幀數(shù)達到數(shù)目T′時，表明線纜敷設(shè)彎曲方向合格，否則說明線纜敷設(shè)彎曲方向不合格。線纜敷設(shè)圖像特征匹配效果如圖12所示。

3 線纜產(chǎn)品信息建模

為了實現(xiàn)線纜敷設(shè)過程中的增強現(xiàn)實輔助裝配，需要針對產(chǎn)品進行線纜敷設(shè)過程信息建模，該產(chǎn)品模型信息由3類信息組成：①線纜敷設(shè)引導信息，包括線纜敷設(shè)工藝信息和線纜段信息，用于線纜敷設(shè)過程中引導內(nèi)容的完整檢索；②線纜敷設(shè)質(zhì)量檢測信息，包括線纜敷設(shè)走向模板信息和線纜敷設(shè)彎曲程度模板信息，用以為線纜敷設(shè)過程中的質(zhì)量診斷與評估提供相應(yīng)的模板信息；③線纜上的零件信息，用來智能化確定線纜敷設(shè)工序中的線纜段的ID號以及該段線纜是否需要進行質(zhì)量檢測。線纜產(chǎn)品信息模型如圖13所示。

4 原型系統(tǒng)開發(fā)及案例驗證

4.1 原型系統(tǒng)開發(fā)

根據(jù)上述研究目的，搭建實驗平臺如圖14所示。Intel Realsense D435深度攝像頭是線纜質(zhì)量檢測的圖像輸入設(shè)備，Logitech C270攝像頭是線纜上零件識別檢測的圖像輸入設(shè)備；Vuzix的STAR 1200XLD光學透視AR眼鏡用于增強現(xiàn)實顯示。

同時，在Windows 10操作系統(tǒng)下，以Visual Studio 2017作為開發(fā)平臺，基于標準的C++語言，結(jié)合Oracle 10g、OpenCV 2.4.8計算機視覺庫、ARToolKit、OSG(open scene graph)等，開發(fā)線纜敷設(shè)信息規(guī)劃、線纜敷設(shè)視覺檢測與AR引導輔助系統(tǒng)。

線纜敷設(shè)信息規(guī)劃系統(tǒng)，利用線纜的產(chǎn)品模型信息，制作線纜引導仿真文件和生成線纜目標圖像模板文件，用于支持線纜敷設(shè)過程的敷設(shè)質(zhì)量分析和信息引導。線纜敷設(shè)智能引導輔助系統(tǒng)，整合線纜上零件識別模塊、線纜敷設(shè)目標圖像分割模塊、線纜敷設(shè)質(zhì)量評估模塊等。通過衡量線纜敷設(shè)質(zhì)量，判斷是否需要進行線纜敷設(shè)過程智能引導提示，從而確保線纜敷設(shè)質(zhì)量一致性。該系統(tǒng)的具體實現(xiàn)流程如圖15所示。

4.2 案例驗證

根據(jù)圓筒狀航天產(chǎn)品的線纜敷設(shè)質(zhì)量要求，線纜的最小彎曲半徑應(yīng)大于線纜直徑的3倍(即線纜敷設(shè)彎曲程度系數(shù)為3)，線纜的彎曲方向應(yīng)保持一致，即彎曲方向應(yīng)與模板線纜彎曲方向一致。通過4.1中設(shè)計的實驗平臺進行系統(tǒng)驗證。

線纜敷設(shè)智能引導輔助系統(tǒng)界面如圖16所示，該系統(tǒng)里有4個主窗口，左上窗口表示線纜敷設(shè)彎曲方向匹配窗口，當特征匹配點數(shù)達到一定閾值時，顯示“Matched”字樣，否則顯示“UnMatched”字樣；左下窗口表示線纜敷設(shè)彎曲曲率分析窗口，若線纜彎曲程度符合標準時，顯示“Pass”字樣，否則顯示“Failed”字樣；中間的窗口表示場景增強現(xiàn)實引導窗口，當線纜敷設(shè)質(zhì)量不合格時，該窗口將出現(xiàn)線纜敷設(shè)正確狀態(tài)的引導仿真內(nèi)容，提示裝配工人進行正確的操作；右邊窗口是線纜上電連接器的識別窗口，只有識別到對應(yīng)線纜敷設(shè)工序上的電連接器時，才能進行線纜敷設(shè)過程智能引導。

下面以2段線纜實際敷設(shè)過程驗證該系統(tǒng)的性能。在線纜敷設(shè)過程中，采用基于支持向量機的零件智能分類方法[20]識別線纜末端處的電連接器，從而明確正在敷設(shè)的線纜段ID，然后對該段線纜敷設(shè)質(zhì)量實施評估，從而進行線纜敷設(shè)過程智能化引導。如表4所示為這2段線纜敷設(shè)的基本工藝信息。

表4 線纜敷設(shè)基本工藝信息

線纜段1敷設(shè)過程分為3個步驟，包括零件識別、線纜彎曲方向匹配和線纜曲率分析。

(1)零件識別 當識別到正確零件時，場景增強現(xiàn)實引導窗口右下處提示零件被識別標識，如圖17a所示。

(2)線纜彎曲方向匹配 通過4.1節(jié)的內(nèi)容可知，線纜段1敷設(shè)模板圖像目標區(qū)域特征點數(shù)目為6。當線纜敷設(shè)彎曲方向與模板不一致時(如圖17b)，即目標區(qū)域圖像匹配特征點數(shù)(線纜彎曲方向匹配窗口左側(cè)圖中匹配特征點數(shù)目)小于6，彎曲方向匹配窗口出現(xiàn)“UnMatched”字樣，同時場景增強現(xiàn)實引導窗口出現(xiàn)增強現(xiàn)實引導內(nèi)容，輔助線纜敷設(shè)；只有當線纜敷設(shè)彎曲方向與模板相同時，彎曲方向匹配窗口出現(xiàn)“Matched”字樣后才會對線纜敷設(shè)曲率進行分析，如圖17c所示。

(3)線纜曲率分析 經(jīng)測定，線纜段1直徑為8 mm。如圖17d所示，計算的線纜最小彎曲半徑為29.196 mm，此時線纜的最小彎曲半徑大于線纜直徑的3倍，評估線纜曲率合格，線纜曲率分析窗口出現(xiàn)“Pass”字樣，然后進入下一段線纜敷設(shè)過程質(zhì)量分析與預警提示。

同樣地，針對線纜段2敷設(shè)過程，也包括零件識別、線纜彎曲方向匹配和線纜曲率分析3個步驟。

(1)零件識別 如圖18a所示，識別到正確零件。

(2)線纜彎曲方向匹配 通過4.1節(jié)的內(nèi)容可知，線纜段2敷設(shè)模板圖像目標區(qū)域特征點數(shù)目為4(如圖18b)，當線纜敷設(shè)彎曲方向與模板相同時，即目標區(qū)域圖像匹配特征點數(shù)(線纜彎曲方向匹配窗口左側(cè)圖中匹配特征點數(shù)目)大于等于4，彎曲方向匹配窗口出現(xiàn)“Matched”字樣后，之后進行線纜敷設(shè)曲率分析。

(3)線纜曲率分析 經(jīng)測定，線纜段2直徑為5 mm。如圖18c所示，計算的線纜最小彎曲半徑為9.957 mm，此時線纜的最小彎曲半徑小于線纜直徑的3倍，評估線纜曲率不合格，線纜曲率分析窗口出現(xiàn)“Failed”字樣，此時場景增強現(xiàn)實引導窗口出現(xiàn)增強現(xiàn)實引導內(nèi)容，輔助線纜敷設(shè)，如圖18d所示。調(diào)整線纜姿態(tài)后，如圖18e所示，計算的線纜最小彎曲半徑為21.138 mm，線纜的最小彎曲半徑大于線纜直徑的3倍，線纜敷設(shè)曲率滿足要求，線纜曲率分析窗口出現(xiàn)“Pass”字樣，之后進入下一段線纜質(zhì)量檢測過程。

5 結(jié)束語

作為航天精密產(chǎn)品信號和能量傳輸?shù)募~帶，航天線纜敷設(shè)質(zhì)量直接影響產(chǎn)品的整機性能。本文提出一種線纜敷設(shè)質(zhì)量視覺檢測方法，基于AR輔助技術(shù)進行防錯，在檢測到線纜敷設(shè)有質(zhì)量問題時，主動推送線纜敷設(shè)的正確信息來保障線纜敷設(shè)質(zhì)量一致性。首先，利用面向手工裝配的線纜目標圖像分割算法，在復雜背景圖像中，從多段線纜區(qū)域中檢測到處于裝配狀態(tài)的線纜；然后，基于線纜目標圖像的二維骨架及其圖像深度信息，計算線纜最小彎曲半徑，評估線纜彎曲程度；同時，根據(jù)線纜敷設(shè)現(xiàn)場圖像SURF局部特征點，與線纜敷設(shè)模板圖像特征點進行匹配并統(tǒng)計匹配幀數(shù)，以此度量線纜敷設(shè)走向的一致性；建立線纜敷設(shè)過程檢測與引導的產(chǎn)品信息模型，用于線纜增強現(xiàn)實輔助裝配；最后，開發(fā)基于增強現(xiàn)實技術(shù)的線纜敷設(shè)引導信息規(guī)劃系統(tǒng)和線纜敷設(shè)智能引導輔助系統(tǒng)，在線纜敷設(shè)質(zhì)量不合格時進行預警提示。通過實驗表明，該方法能有效地為線纜敷設(shè)過程提供質(zhì)量檢測保障。為進一步提高AR輔助裝配技術(shù)在線纜敷設(shè)工業(yè)應(yīng)用的效率，下一步將考慮結(jié)合神經(jīng)網(wǎng)絡(luò)算法對線纜敷設(shè)走向進行識別，增強算法的魯棒性。