王曉東， 崔世鵬， 徐 征， 盧世勤

（大連理工大學 機械工程學院，遼寧 大連 116023）

1 引 言

高性能微系統(tǒng)是航空航天器等重大裝備中不可或缺的關鍵單元，其裝配精度和一致性對產品性能作用顯著[1］。在精密微裝配中，通過機器視覺精確獲取像素級微小特征的位置，引導機械手進行微小零件的拾取、搬運、對準等[2-3］是常用的模式。隨著對微系統(tǒng)性能和集成度要求的不斷提高，系統(tǒng)逐漸呈現多品種、小批量、異形異構等特點。在視覺引導的精密微裝配中，零件特征的提取普遍采用固定的、人工設計的算子在預設的感興趣區(qū)域（Region of Interest， ROI ）內進行，該方法能夠在較為理想的實驗環(huán)境中得到滿意的精度。但是，在實際批量裝配生產中，照明波動、零件表面差異、輕度離焦會導致此類算子無法提取到真實的有效特征，導致視覺引導任務失敗，嚴重影響裝配效率和儀表成活率。這就需要在兼顧精度的同時，提高視覺定位的穩(wěn)定性。

目前，在工業(yè)現場應用的視覺算法多是通過幾何形狀特征配準[4-6］或基于尺度不變特征轉換（Scale-Invariant Feature Transform，SIFT）[7-9］、方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征[10-11］等模板匹配的方式來實現，這類基于固定算子或模板的“硬核”方法均存在泛化性弱的問題，難以適應復雜裝配作業(yè)需求。近年來，人工智能的發(fā)展為提高定位算法的穩(wěn)定性帶來新契機，YOLO（You Only Look Once）[12-13］，SSD（Single Shot multibox Detector）[14］，R-CNN（Region CNN）[15］等目標框檢測算法在保持智能算法強穩(wěn)定性的前提下，具有速度快、精度高，便于部署的優(yōu)點。Shinde 等[16］利 用YOLO算法分類并定位晶圓缺陷。Li 等[17］結合YOLO 算法和雙目視覺定位球體、圓柱體等工件的空間關鍵點。Suzuki 等[18］結合孿生網絡與SSD定位最佳抓取位置。這類算法盡管具有強穩(wěn)定性，但總體上精度多局限在10 像素以上，這是樣本統(tǒng)計類算法本質決定的，雖然采用像素級分割可以進一步提高定位準確性，但標注繁瑣，對硬件要求也較高。

本文提出一種微小特征復合定位方法，該方法結合深度學習魯棒性強與幾何特征提取精度高的特點，先利用深度學習算法鎖定目標區(qū)域（粗定位），然后利用幾何輪廓精確定位特征（精定位）。建立面向實際裝配過程的自適應動態(tài)學習機制，根據精定位和粗定位結果差異，通過圖像自動標注與樣本增強進行再訓練，提高定位算法對零件差異的自適應能力。

2 原理與方法

2.1 基本過程

微小零件復合定位法包含目標框檢測算法（粗定位）與輪廓幾何特征配準算法（精定位）。如圖1 所示，目標框檢測算法用于初步定位零件特征區(qū)域，其流程包含原始圖像數據集建立、算法訓練及自動標注機制。憑借粗定位獲取的特征位置、類別等信息，精定位通過輪廓幾何特征配準法獲取零件特征準確位置，粗-精定位相互結合，引導精密裝配作業(yè)。

圖1 復合定位法的訓練及應用Fig.1 Training and application of composite positioning method

原始數據集建立及粗定位算法訓練步驟如下：

（1）采集多種光照亮度、位姿、離焦等狀態(tài)的零件特征圖片共1 000 張，特征輪廓包含圓形、矩形以及不規(guī)則輪廓，手工標注形成原始圖像數據集；

（2）按照9∶1 的比例將數據集劃分為訓練集與驗證集并訓練目標框檢測算法；

（3）對原始圖像數據集中的零件圖片進行亮度調整、旋轉，并添加椒鹽噪聲、高斯噪聲等操作，實現樣本增強，將原始圖像數據集增至4 000 張；

（4）利用原始圖像數據集訓練粗定位目標框檢測算法。若零件因變動批次導致表面狀態(tài)改變，粗定位目標框檢測算法定位成功率也隨之下降，則通過粗定位算法預測新批次零件，將預測所得零件的特征類別、位置等信息制作成標簽文件，通過Labelimg 軟件對其檢查并微調，完成原始圖像數據集的補充更新，利用更新的數據集重新訓練目標框檢測算法。

微小特征復合定位步驟如下：

（1）利用粗定位目標框檢測算法預測零件圖片，以目標框位置為基準提取ROI；

（2）根據預測信息中的特征類別是否符合裝配流程、目標置信度是否超過預定閾值、目標位置偏離量是否超差等情況判斷流程的可靠性；

（3）以預測的特征類別及位置為依據，對不同零件使用相應的輪廓配準算法，提取特征點并通過坐標轉換引導精密裝配動作。

2.2 復合定位方法的實現

粗定位旨在從圖像中快速提取ROI，為精定位提供有先驗約束的計算狀態(tài)。本文選用YOLOv5 作為特征粗定位算法。YOLOv5 由輸入端、主干網絡、頸部網絡和檢測頭組成，輸入端采用4 幅圖像隨機縮放、裁剪、排列的馬賽克拼接進行數據增強，主干網絡通過Darknet53 卷積網絡結構提取深度特征，頸部網絡采用特征金字塔網絡（Feature Pyramid Network， FPN）與像素聚合網絡（Pixel Aggregation Network， PAN）結構提取強語義特征與強定位特征，檢測頭用CIOU Loss 作為邊界框的損失函數[19］，零件圖像經過該算法處理后獲得所需零件包圍框的位置與類別。

精定位旨在從粗定位獲得的ROI 中獲取微小零件特征的準確位置，在排除干擾的條件下，采用幾何算子就可以精確定位特征。精定位算法采用最大類間方差法（OTSU）[20］對零件與背景進行分割。OTSU 將零件與圖像背景分為兩類，使兩類方差最大的閾值即為最佳分割閾值。假設ROI 中像素數為N，灰度值為i的像素個數為ni，則該灰度值像素的概率為：

若二值化閾值為T，ROI 中最大像素值為L，則前景與背景兩類出現的概率分別為：

那么兩類的灰度均值分別為：

整個ROI 區(qū)域的灰度均值為：

類間方差定義為：

式(5)中，σ2取最大值的閾值T即為最佳分割閾值。

二值化分割完成后進一步通過Canny 算子[21］提取零件輪廓幾何特征。圖2 所示為通過OTSU 法進行閾值分割以及通過Canny 算子提取圖像輪廓幾何特征的操作流程。

圖2 Canny 處理流程Fig. 2 Flowchart of Canny processing

為了進一步獲取像素級精度的輪廓位置信息，這里利用最小二乘算法擬合邊緣信息，即使擬合后的輪廓與數據點之間的誤差平方和最小。為了排除邊緣信息中離群點的干擾，設計多次迭代擬合方法。以圓形輪廓為例，在擬合過程中，本文選擇30 個像素作為初始閾值，即擬合出圓心坐標及半徑后，分別計算原始集合中各點與擬合出的圓之間的距離，如果距離超過閾值，則將該點從原始集合中剔除，隨后將閾值減小，重新擬合，如此迭代直至誤差小于要求的范圍。

3 實驗設備

實驗在課題組研制的精密膠連裝配設備上開展，該設備可通過視覺測量模塊定位微小零件，通過機械手完成上料、拾取、裝配等動作。其主要組成部分如圖3 所示：

圖3 精密裝配系統(tǒng)實物Fig.3 Photo of precision assembly system

（1）視覺測量模塊負責圖像采集工作，由工業(yè)相機、光學遠心鏡頭、光源以及精密位移滑臺組成，其中光源由八位數字輸出卡控制，可實現256 級光照強度變化，其余器件性能參數見表1；

表1 視覺測量模塊的技術參數Tab. 1 Technical parameters of visual measurement module

（2）工作臺模塊負責夾具的定位、鎖緊以及零件的位姿調整（重復精度0.3 μm）；

（3）上料模塊負責待裝配零件的上料；

（4）機械臂模塊是精密自動化裝配系統(tǒng)中的執(zhí)行模塊，完成零件的拾取、搬運、裝配等工作；

（5）工具庫模塊是裝配系統(tǒng)中不同零件吸附機構的存放模塊，配合作業(yè)機械臂模塊完成裝配工作。

4 實驗結果與分析

本文以查準率（Precision， P）、查全率（Recall， R）、平均精確度（Average Precision， AP）以及模型參數數量評價粗定位目標框檢測算法，以復合定位算法提取的特征位置波動情況評價整體算法。查準率為正確預測目標所占百分比，高查準率代表低誤檢概率，其計算公式為：

式中：TP代表正確預測的正向目標，FP代表錯誤預測的正向目標，FN為錯誤預測的負向目標。

查全率代表正確預測的目標在所有目標中所占的百分比，其計算公式如下：

AP 為查準率與查全率曲線下的面積值，其計算公式為：

式中：p（rn+1）為與查全率對應的查準率，mAP 為各類別AP的平均值。其中，mAP_0.5為當IOU閾值為0.5 時AP 的平均值，mAP_0.5∶0.95 為將IOU閾值從0.5到0.95間隔0.05計算mAP值并最后求得的平均值，此指標更加關注目標的位置精度。

4.1 復合定位方法對比

選擇近年來有代表性的3 種目標框檢測算法YOLO，Faster R-CNN 和SSD，與精定位輪廓配準算法組合成為復合定位方法后，進行對比實驗，對比指標包含平均精確度、平均消耗時間和參數數量。

實驗樣本采集自某導航傳感器的實際裝配流程，包含6 種零件共1 000 張圖像，將該圖像集進行樣本增強后獲得4 000 張零件圖像，并按照9∶1 的比例劃分為訓練集與測試集。實驗測試環(huán)境 為corei7-12700h CPU 和RTX3060 顯 卡，結 果見表2。

在對比實驗中，各算法的mAP 值均高于98%。其 中，YOLOv5 的mAP 值 與Faster RCNN 和SSD 相比分別降低0.76% 和0.66%?；赮OLOv5 算法構建的復合定位方法的耗時間最短。在模型參數數量方面，YOLOv5 算法最少，為7.065M，約為Faster R-CNN 算法的1/19和SSD 算法的1/3。由此可見，由YOLOv5 組成的復合定位方法在一定程度上能兼顧效率和精度，與其他算法相比，更適合應用在精密微裝配作業(yè)中。

4.2 穩(wěn)定性測試

4.2.1 亮度變化對復合定位算法穩(wěn)定性的影響

本文引入圖像對比度對所采集圖像進行定量評價，其計算公式為：

式中：δ(I，K)=|I-K|，為相鄰像素間的灰度差；Pδ(I，K)為相鄰像素間灰度差為δ的像素分布概率。

在0～200 光強等級內等間隔采集零件圖像，每個光強等級下采集2 種零件各10 張圖像。計算粗定位目標框檢測算法對應的P，R，mAP 等指標。為驗證復合定位法對圖像對比度波動的穩(wěn)定性，在相機與零件相對位置不變的條件下，采集不同等級光強的圖像，通過本文方法定位特征質心。

圖4 為2 種零件特征在不同光強等級時使用復合定位法的定位效果，圖5 為亮度變化對粗定位目標框檢測算法各項指標的影響，圖6 為通過復合定位法獲取的特征質心坐標。

圖4 不同光強等級下定位效果Fig. 4 Positioning results with different light intensities

圖5 亮度變化對粗定位的影響Fig.5 Influence of brightness on rough positioning

圖6 定位算法提取的特征坐標Fig.6 Extracted feature coordinates by positioning algorithm

當圖像對比度高于2.37（光強等級＞60）時，粗定位各指標均在90%以上。當圖像對比度降低至2.37（光強等級為60）時，P，R，mAP_0.5，mAP_0.5∶0.95 分別下降至83%，76%，81%，54%，此時復合定位方法的重復定位精度優(yōu)于2個像素；當圖像對比度繼續(xù)降低至1.1（光強等級為40）時，P，R，mAP_0.5，mAP_0.5∶0.95 降低至60%，65%，55% 和39%，特征2 定位出現異常，復合定位方法的重復定位精度超出2 個像素；當圖像對比度低于1.1（光強等級＜40）時，零件特征難以辨別，無法成功定位。因此，在圖像對比度高于2.37（光強等級＞60）時，本文所述方法有較高的定位穩(wěn)定性。

4.2.2 離焦度對復合定位算法穩(wěn)定性的影響

以鏡頭工作距離為基準，在遠離相機的方向間隔200 μm 采集零件圖像，每次拍攝2 種零件各10 張圖像，共拍攝11 組圖像并制成測試集。本文引入灰度差分法和Brenner 梯度算子實現離焦程度的定量評價[22-23］，計算公式如下：

式中I(i，j)為圖像像素值。將兩個函數結果歸一化后的均值作為離焦程度評價指標，記為F。

為驗證復合定位法對圖像離焦的穩(wěn)定性，保持零件固定并在不同離焦距離下采集圖像，通過復合定位算法定位零件特征質心坐標。圖7 為不同離焦距離下使用復合定位算法的定位效果。圖8 為離焦距離對粗定位檢測算法各項指標的影響，圖9 為復合定位算法在不同離焦距離下提取的特征質心坐標。

圖7 不同離焦距離下的復合定位效果Fig.7 Positioning results with various defocus distances

圖8 離焦距離對粗定位的影響Fig.8 Influence of defocus distances on rough positioning

當離焦距離≤800 μm（聚焦度≥0.56）時，粗定位目標框檢測算法的P，R，mAP_0.5 和mAP_0.5∶0.95 分 別 在88.2%，99.5%，99.5% 和83.1%以上，而復合定位方法的重復定位精度優(yōu)于2 個像素；當離焦距離增至1 000 μm（聚焦度=0.54）時，粗定位目標框檢測算法依然有較高的魯棒性，P，R，mAP_0.5 和mAP_0.5∶0.95 分別為94.0%，100.0%，99.5%，82.2%，但復合定位方法的重復定位精度降低至5 個像素（對應微裝配場景精度約為12 μm）；當離焦距離大于1 000 μm（聚焦度＜0.54）時，P，R，mAP_0.5 和mAP_0.5∶0.95 分 別 降 至94.3%，93.0%，99.5%，82.2%以下，復合定位方法中精定位過程因聚焦度過低而失敗。

4.2.3 位姿變化對復合定位算法穩(wěn)定性的影響

裝配設備中零件夾具有足夠的制造精度與安裝精度，零件不會有大角度偏差，在上百件小批量裝配實驗中，零件的實際旋轉角度為-3.4°～3.7°，因此，實驗樣本采集了2 種零件旋轉10°內的圖像，并以此來驗證復合定位法在目標零件位姿變化時的抗干擾能力。

圖10 為2 種零件在不同旋轉角度下使用復合定位算法的定位效果，圖11 為隨著零件轉動粗定位目標框檢測算法各項指標的變化情況。結果表明：隨著零件旋轉角度的變化，粗定位算法各項評價指標并無明顯變化，P，R，mAP_0.5 和mAP_0.5∶0.9 分 別 在92.3%，100%，99.5%，87.7% 以上，同時精定位過程也未受到干擾，定位成功率達到100%，即針對零件位姿變化本文所述復合定位法具有足夠的穩(wěn)定性。

圖11 位姿對粗定位的影響Fig.11 Influence of posture on rough positioning

4.3 準確性測試

以精密位移滑臺為參考展開復合定位算法準確性實驗。保持零件固定，精密位移滑臺帶動相機每移動100 μm 后拍攝圖片，重復5 次，分別使用YOLOv5 粗定位目標框檢測算法與本文方法定位零件在圖像中的坐標，計算相鄰兩次特征位置的歐氏距離并與滑臺移動距離進行比較。

圖12 為測試所用4 種微小零件特征，表3 與表4 分別為使用目標框檢測算法與本文所述方法定位上述4 種特征的測試數據。每種特征分別統(tǒng)計了5 次特征坐標移動距離與滑臺移動距離之差，其中目標框檢測算法定位特征的最大定位誤差為20.8 μm，重復定位精度為39.2 μm；復合定位法定位特征的最大定位誤差為1.0 μm，重復定位精度為1.3 μm。由測試數據可知，本文所述零件定位方法的定位精度顯著優(yōu)于直接使用目標框檢測算法，且定位精度與重復精度均優(yōu)于2 μm。

表3 目標框檢測算法定位誤差Tab.3 Error of target detection algorithm （μm）

表4 復合定位法定位誤差Tab.4 Error of composite positioning algorithm（μm）

圖12 零件特征Fig.12 Images of part features

4.4 自動標注及動態(tài)學習機制測試

為驗證動態(tài)學習機制的有效性，選擇某型號傳感器的引線基板作為測試對象，通過改變制造參數使該零件具有兩種不同表面狀態(tài)，如圖13 所示。采集零件圖像并分別建立測試圖像數據集，每個數據集包含40 張不同狀態(tài)的零件圖像。

選擇兩個測試數據集之一訓練原始粗定位目標框檢測算法，分別測試該粗定位算法在兩個測試數據集上的P，R指標，計算過程中置信度閾值與交并比閾值分別為0.25 和0.45。

測試結果表明：零件表面狀態(tài)改變后，原始粗定位目標框檢測算法定位與分類零件出現異?；蚴。琍和R分別下降至68.1%與72.7%，而通過自動標注流程并再次訓練，P和R提高至96.0%和99.2%，粗定位成功率達到改變前的水平。

4.5 裝配實驗

通過課題組研制的裝配設備進行實驗，待裝配組件由圖14 所示的兩個零件組成，零件以中心孔為基準，上下疊放完成裝配。裝配實驗使用幾何特征配準定位算法和復合定位法分別引導實驗設備裝配100 套不同批次的組件。裝配流程如圖15 所示，具體步驟如下：

圖14 待裝配零件Fig.14 Assembly parts

圖15 基于特征定位方法的裝配流程Fig.15 Assembly process based on feature positioning

（1）將零件2 放置于裝配工作臺上，視覺測量模塊調用定位算法定位零件；

（2）通過上料夾具對零件1 初步定位，視覺測量模塊調用定位算法精確定位；

（3）作業(yè)機械臂模塊通過真空吸附方式將零件1 搬運至裝配位置；

（4）對準上下兩個零件后執(zhí)行裝配，直至完成；

（5）裝配完成后通過最小二乘算法擬合零件中心孔邊緣，以兩個零件圓心在X，Y方向上的偏差表示裝配誤差。

使用特征定位方法引導實驗設備進行裝配工作，組件X方向的最大偏差為7.4 μm，均值為3.1 μm，Y方向的最大偏差為9.7 μm，均值為4.6 μm，圓心最大偏差為9.7 μm，滿足裝配精度要求。以單純使用幾何特征配準的定位算法引導完成的裝配任務中，裝配誤差與本文所述方法相當，但裝配成功率僅為69%，而應用本文定位方法后裝配成功率為97%。

5 結 論

本文提出了一種面向精密裝配的微小零件特征復合定位方法，通過粗定位與精定位兩步實現零件的準確定位。相比于傳統(tǒng)零件定位算法，該方法對光照變化、離焦和位姿變化等干擾因素有較高的穩(wěn)定性，同時該方法保留了傳統(tǒng)定位算法精度高的優(yōu)點。引入自動標注以及動態(tài)學習機制，解決了零件因批次變動而導致定位算法適應能力下降的問題。將該方法部署于精密裝配設備上進行裝配實驗，裝配精度小于2 μm,裝配成功率為97%，能夠滿足精密微裝配對精度與穩(wěn)定性的要求。