葉晗鳴，蘇 寧，王逍遙

（1. 北京航空航天大學 機械工程及其自動化學院，北京 100191；2. 江南造船（集團）有限責任公司，上海 201913）

0 引言

隨著數字化相關技術的快速發(fā)展，數字化裝配技術憑借其智能、高效、高精度的特點，在工業(yè)領域的應用日益廣泛[1]。目前針對數字化裝配過程中的目標位姿測量問題，主要的測量手段包括使用全站儀、激光跟蹤儀等大型測量設備進行測量和機器視覺位姿測量兩種。其中，使用全站儀、激光跟蹤儀等大型測量設備進行測量的目標位姿測量方法，測量范圍大，測量精度高，但均為接觸式測量方法，需要為此設計工裝以固定靶球，并在待測部件上安置工裝[2-3]，方法較為繁雜，且會對裝配過程造成一定的干擾，同時測量過程操作復雜，難以實現實時測量。而屬于非接觸測量的機器視覺位姿測量方法，以其系統(tǒng)結構簡單，測量過程操作方便，實時性強的特點，被廣泛應用于各種工業(yè)裝配過程的實時裝配測量中[4]。

根據位姿測量過程中是否使用人工靶標進行劃分，機器視覺位姿測量可以分為合作目標位姿檢測[5]和非合作目標位姿檢測[6]。合作目標檢測通過視覺測量單元識別人工設計靶標解算相對位姿，而非合作目標位姿檢測，通過解析物體的自然特征，給出相對位姿估計結果。合作目標位姿測量的精度一般較高，需要的圖像處理算法也較為簡單，但在機器人自動化裝配等復雜裝配場景下，由于場景復雜，裝配空間有限，并不一定具備安裝人工靶標的條件。在這種情況下，非合作目標位姿測量成為機器視覺位姿測量的最佳選擇。

傳統(tǒng)的非合作目標位姿視覺檢測方法大多依賴于圖像處理算法對物體自身低層次特征的提取效果，一般首先需要提取圖像中的低層次特征，如圖像邊緣點、角點、直線等顯著特征，再根據特征點自身的性質構造不同的特征描述子，對特征描述子進行匹配，在根據計算機視覺多視圖幾何的原理，解算目標的相對位姿。如P，David等人[7]將直線匹配問題和位姿問題有機結合，建立一個全局目標函數來解決位姿估計問題；張政等人[8]參照點特征的正交迭代方法，提出直線特征的位姿估計正交迭代方法求解目標位姿；Markus Ulrich[9]等通過獲取目標物體 CAD不同姿態(tài)下的成像以建立模板庫，然后將待測圖像與模板進行相似性匹配獲取目標位姿；桂陽[10]將目標的三維模型投影生成不同姿態(tài)下的二維圖像，計算圖像中目標輪廓的 MSA 矩，利用距離圖迭代最小二乘法得到最終的位姿參數。但是，依賴于圖像處理算法非合作目標位姿視覺檢測方法往往魯棒性不足，其具體算法實現與物體結構、顏色等相關，因此在實現上需對某種或某類物體定制算法，方法的普適性、泛化能力相對較低。當待檢測目標處于復雜背景或光照情況多變時，難以實現對特征的準確提取[11]。如何在復雜裝配場景下，實現對非合作目標特征的精確提取，成為相關研究人員研究的重點。

近年來，深度學習技術以其數據驅動、魯棒性較強、擬合能力強大、適用場景多樣的特點在機器視覺領域的應用愈加廣泛，并在圖像分類、目標檢測、目標跟蹤等領域取得了良好的效果。相比于傳統(tǒng)圖像處理算法，基于深度學習的視覺算法模型能夠提取圖像中高層次的語義特征，受背景條件或光照情況的影響較小，更適用于復雜裝配場景中待裝配目標的特征提取。為探究深度學習技術在視覺位姿檢測中的應用，本文提出了一種基于深度學習的裝配位姿非合作目標視覺檢測方法。利用SingleshotPose深度學習模型對待裝配目標的軸對齊包圍盒特征點的像素坐標進行估計，再結合Opencascade軟件對目標數字模型的軸對齊包圍盒特征點在目標坐標系下三維坐標的求解結果，進行PnP求解，得到裝配目標坐標系相對于相機坐標系的位姿關系，進而實現在裝配坐標系下對目標位姿的實時檢測。

1 基于深度學習的位姿檢測原理

1.1 裝配過程位姿視覺檢測原理

裝配過程中目標位姿檢測的目的是得到待裝配目標上裝配關鍵點在指定的裝配過程基坐標系下的坐標后執(zhí)行后續(xù)裝配操作，也即求得位姿轉換矩陣，使得下式成立：

式中Xtarget為裝配關鍵點在目標坐標系下的坐標Xbase為裝配關鍵點在基坐標系下的坐標。

根據相機成像過程，有：

式中，K為相機內參矩陣，Q為三維坐標的齊次化表示形式，r為尺度常量因子，q為二維像素坐標的齊次化形式，將上式寫為矩陣形式，即有：

內參矩陣K可由內參標定獲得，則由上式可知，中的12個未知參數，通過構建包含n≥6的3D-2D點對的PnP問題即可解出，進而結合標定得到的，求得，完成對目標位姿的檢測。

因此，解決目標位姿視覺檢測問題，關鍵在于找到n≥6的3D-2D點對。本方法是通過深度學習和數字模型結合的手段，找到9對3D-2D點對，構建PnP問題求出，實現目標位姿檢測。

1.2 非合作目標位姿視覺檢測方法

在非合作目標位姿的估算中，選擇目標的特征點構建PnP問題，決定了后續(xù)特征提取算法和位姿計算方法。一般可選擇的特征包括點特征、直線特征、邊緣特征等。由于實際生產過程中，不同待檢測目標的形狀尺寸各不相同，需要使用一種對不同形狀目標都適用的特征，作為進行非合作目標位姿估算的依據。為此，本文選擇目標物體的軸對齊包圍盒的8個角點和1個中心點，作為非合作目標特征。

軸對齊包圍盒采用一個長方體將物體包圍，長方體的各條棱均與坐標系的某個軸平行，因此稱其為軸對齊包圍盒。因此，在目標坐標系下，軸對齊包圍盒8個角點的三維坐標為：{xmin，ymin，zmin}，{xmin，ymin，zmax}，{xmin，ymax，zmin}，{xmin，ymax，zmax}，{xmax，ymin，zmin}，{xmax，ymin，zmax}，{xmax，ymax，zmin}，{xmax，ymax，zmax}:中 心點三維坐標為：。

在工業(yè)生產過程中，待檢測目標的三維數字模型一般是可以得到的。通過Opencascade對目標的三維模型進行離散網格化，再調用軸對齊包圍盒計算相關的功能函數，就可精確獲得目標坐標系下9個特征點的三維坐標。Opencascade獲取軸對齊包圍盒的算法流程及效果圖像如圖 1所示。

圖1 Opencascade生成軸對齊包圍盒流程及效果

設目標的軸對齊包圍盒8個角點及1個中心點在像素坐標系下的坐標為{ui，vi}，i=1，2，…，9。本文通過SingleShot關鍵點回歸模型[12]獲取9個三維特征點在圖像上的對應的二維點坐標，方法流程如圖 2所示。

圖2 相對位姿關系矩陣求取流程

SingleShot關鍵點回歸模型是在目標檢測模型YOLO的基礎上發(fā)展而來的，模型的輸入為RGB圖像，輸出為圖像中物體的類別編碼，以及該物體的軸對齊包圍盒8個角點和1個中心點的二維像素坐標。

在YOLO網絡中，由于預測量為2D包圍盒，因此，采用預測包圍盒和真實包圍盒的重疊區(qū)域分數（IoU Score）作為評判置信概率的標準。由于研究在三維的3D包圍盒的重疊區(qū)域分數難以計算，極大地影響了訓練速度。因此，本文采用如下置信函數：

式中，DT（x）表示預測的2D點x到其真實值的歐式距離值，a表示指數函數的陡峭程度，dth為閾值。預測點距離真實點越近，DT（x）越小，函數c（x）的值越大，預測的置信度越高；反之，DT（x）越大，函數c（x）的值越小。對所有預測的2D點都進行如上的計算，取其均值作為該次訓練的置信值。當DT（x）大于閾值時，令其置信度為0。

在通過SingleShot關鍵點回歸模型得到物體的3D包圍盒8個角點和1個中心點的二維像素坐標后，構建9對3D-2D點對進行 PnP求解，即可解得相機與目標之間的相對位姿關系矩陣，結合相機標定的結果，即可得到代表目標位姿的矩陣。

2 非合作目標位姿視覺檢測試驗

2.1 深度學習數據集制作

作為數據驅動的算法，深度學習算法模型需要規(guī)模較大的數據集才能達到理想的算法效果?？紤]到人工制作標注SingleShot關鍵點回歸模型數據集不僅費時費力，而且難以保證特征點標注的準確性，本文設計了一種自動化的標注方法，以RGBD相機采集數據，通過場景標志符的輔助，結合圖像信息與深度信息，通過算法自動標注各幀圖像中目標物體的軸對齊包圍盒。本文試驗的數據集制作實驗場景如圖 3所示。

圖3 SingleShot關鍵點回歸模型數據集采集場景

進行數據集采集時，首先要在轉臺平板上粘貼場景標志（共計13個），并將目標物體放置中央；將RGBD相機固定在平板上方，轉動轉臺，采集物體在不同角度的RGB圖像和點云數據；完成環(huán)繞物體360°的圖像采集之后，改變相機的俯仰角，重復以上操作，由此得到目標物體在不同視點下的RGBD數據。本文試驗共計采集了626組數據。

進行數據集自動標注時，通過識別每張圖片中的場景標志符，即可解算出各幀圖像相對于第一幀圖像的位姿變換矩陣。再通過拼接各幀圖像點云，得到第一幀圖像的場景點云，剔除場景點云中多余的點，即可得到較為完整的目標物體3D點云，如圖 4所示。

圖4 目標物體3D點云

根據目標物體目標點云，轉化為step格式文件，并使用Opencascade求取物體軸對齊包圍盒角點的三維坐標。根據第一幀圖像中的場景標志符，解算出RGBD相機的內參矩陣和在第一幀圖像下的外參矩陣；根據內參矩陣、外參矩陣，將包圍盒角點的三維坐標投影為第一幀圖像中的二維像素坐標；再根據已知的各幀圖像的位姿變換矩陣，可將軸對齊包圍盒角點投影至各幀圖像上，得到各幀圖像的標注結果，如圖 5所示。

圖5 軸對齊包圍盒標注效果圖

2.2 深度學習模型訓練

為了對深度學習模型進行訓練和測試，試驗將采集到的數據劃分為訓練集和測試集，其中訓練集包含500組數據，測試集包含126組數據。試驗設置了500個訓練周期，在每個周期只向SingleShot關鍵點回歸模型輸入訓練集中的樣本進行訓練，并保存該周期時SingleShot關鍵點回歸模型的權重文件。從第20個周期開始，每訓練10個周期，在測試集上對模型效果進行測試，通過計算軸對齊包圍盒9個特征點像素坐標預測值與真值的平均像素誤差來對模型效果進行評估。測試像素誤差曲線如圖 6所示。

圖6 軸對齊包圍盒特征點坐標測試像素誤差

由圖 6可知，自第100個訓練周期后，模型的特征點坐標平均像素誤差開始收斂，并在第220個訓練周期時達到了最小值，故選擇第220個訓練周期下模型的權重文件作為時SingleShot關鍵點回歸模型最佳權重，進行目標位姿檢測試驗。

2.3 目標位姿檢測試驗

利用訓練得到的SingleShot關鍵點回歸模型最佳權重，結合前文所述方法，進行目標位姿檢測試驗。SingleShot關鍵點回歸模型對軸對齊包圍盒特征點的輸出可視化如圖 7所示。其中，綠色框為軸對齊包圍盒8個角點連接得到的對軸對齊包圍盒在像素坐標系下的投影。

圖7 SingleShot模型輸出可視化結果

考慮到目標裝配位姿視覺檢測過程中，誤差主要來自相機與目標實時位姿解算的過程，即對的估計過程，而由標定得到，誤差一般較小。因此，可從相機與目標相對位姿估計誤差和相對位姿預測準確率兩方面評估的估計精度，進而評估目標位姿檢測的精度。對測試集數據進行分析和統(tǒng)計后，相機與目標相對位姿平均誤差結果見表 1，位姿估計準確率結果見表 2。

表 1 測試集相對位姿估計平均誤差統(tǒng)計表

表2 測試集相對位姿估計準確率統(tǒng)計表

由表 1和表 2可知，在測試集上，本方法的距離準確率達到了95.24%?？梢哉J為，本方法能夠對目標與相機間相對位姿進行較精確的檢測，即保證的精度；進而可以認為，在標定精度得到保證的情況下，本文方法能夠對目標裝配位姿進行較精確的檢測。

3 總結

本文以非合作目標的位姿估計問題為研究對象，提出一種基于深度學習方法的非合作目標相對位姿估計方法。本文的主要工作包括：

（1）提出了基于SingleShot關鍵點估計模型的非合作目標位姿估計方法，通過SingleShot模型輸出待裝配目標軸對齊包圍盒9個特征點的二維像素坐標，再利用Opencascade獲取目標軸對齊包圍盒特征點在目標坐標系下的三維坐標，求解PnP問題，得到目標和相機之間的相對位姿，進而完成目標在基坐標系下的位姿檢測。

（2）設計了一種基于RGBD相機的自動化標注算法，通過目標點云數據與三維模型的匹配和坐標系轉換，實現對SingleShot關鍵點估計模型所需數據集的自動標注。利用實驗室條件下采集和標注的數據集，對本文提出方法進行了試驗驗證。實驗結果表明，本文方法能夠在一定精度范圍內基本滿足位姿估計需求。

本研究目前仍存在一定不足，深度學習模型數據需求量較大，且位姿估計的精度仍有提升空間。未來的研究中，需要對本方法進行優(yōu)化，以盡量小的深度學習數據集，實現精度更高的目標位姿檢測。