楊靜宜，王靜紅，崔建弘

（1.河北工程技術(shù)學(xué)院人工智能與大數(shù)據(jù)學(xué)院，河北 石家莊 050091；2.河北師范大學(xué)計算機(jī)與網(wǎng)絡(luò)空間安全學(xué)院，河北 石家莊 050091）

1 引言

我國作為世界工業(yè)產(chǎn)品的主要生產(chǎn)國家，工業(yè)品出口數(shù)量極其龐大。隨著我國工業(yè)技術(shù)［1］的不斷發(fā)展，工業(yè)機(jī)器人［2］已逐步應(yīng)用在物流、倉儲、車間廠房等相關(guān)領(lǐng)域中，代替人工從事分揀工作。由此工業(yè)機(jī)器人智能化進(jìn)入人們的視野，成為人們一時間爭相熱議的話題。零件分揀機(jī)器人作為工業(yè)機(jī)器人類別中最常見種類，其生產(chǎn)結(jié)構(gòu)體現(xiàn)工業(yè)機(jī)器人的特性。當(dāng)分揀機(jī)器人的生產(chǎn)結(jié)構(gòu)越來越精密，傳統(tǒng)目標(biāo)識別方法無法有效地完成目標(biāo)識別時，提出新的機(jī)器人目標(biāo)識別方法就變得尤為重要。

文獻(xiàn)［3］方法提出農(nóng)業(yè)機(jī)器人全方位目標(biāo)識別方法。該方法依據(jù)MIMO-OFDM 信道編碼理論構(gòu)建機(jī)器人框架；通過魚眼鏡頭采集工作環(huán)境圖像，構(gòu)建機(jī)器人的全方位目標(biāo)識別系統(tǒng)；最后基于圖像處理技術(shù)以及濾波算法完成機(jī)器人的全方位目標(biāo)識別。

文獻(xiàn)［4］方法提出基于動態(tài)雙窗口的機(jī)器人視覺特征識別方法。該方法通過導(dǎo)航匹配結(jié)果與機(jī)器人位姿設(shè)定導(dǎo)航窗口，將采集的圖像顏色轉(zhuǎn)換成色調(diào)等參數(shù)；通過對圖像灰度處理建立圖像的直線模型；最后基于最小二乘法擬合機(jī)器人移動距離偏差識別目標(biāo)。

文獻(xiàn)［5］方法提出晶格式集群機(jī)器人矩陣成型方法及實驗。該方法依據(jù)離散化的晶格式群體系統(tǒng)以及離散化排列方式建立對稱分布矩陣；通過該矩陣計算元素的相似性；根據(jù)二維目標(biāo)幾何算法二值化處理分布式矩陣；最后基于計算結(jié)果的映射運算，實現(xiàn)對目標(biāo)的定位識別。由于上述方法未能詳細(xì)分析分揀機(jī)器人運動規(guī)律，導(dǎo)致上述方法進(jìn)行目標(biāo)識別時，平均置信度低、識別時間長、識別效果差。

為解決上述機(jī)器人目標(biāo)識別方法中存在的問題，提出深度學(xué)習(xí)的車間零件分揀機(jī)器人目標(biāo)識別方法，該方法結(jié)合深度學(xué)習(xí)，以此為基礎(chǔ)實現(xiàn)機(jī)器人目標(biāo)識別，以期為工業(yè)生產(chǎn)提供助力。

2 零件分揀機(jī)器人目標(biāo)特征分析

在對零件分揀機(jī)器人［6］開展目標(biāo)識別前，需要分析機(jī)器人運動規(guī)律提取目標(biāo)特征值向量。

2.1 分揀機(jī)器人運動規(guī)律分析

零件分揀機(jī)器人在工作時，設(shè)定機(jī)器人關(guān)節(jié)配置系數(shù)為p=(p1，p2，…，pa)，機(jī)器人關(guān)節(jié)的自由度數(shù)量用a標(biāo)記。

當(dāng)零件分揀機(jī)器人開展第i項任務(wù)時，設(shè)定機(jī)器人的笛卡爾位置為mi，引用標(biāo)記mi*形式，以此獲取該分揀機(jī)器人的任務(wù)誤差值，過程如下式所示：

式中：σi—獲取的分揀機(jī)器人的任務(wù)誤差值。機(jī)器人笛卡爾位置是由動力學(xué)函數(shù)fi以及機(jī)器人關(guān)節(jié)空間函數(shù)mi=fi(p) 決定，因此，需要計算任務(wù)誤差值與機(jī)器人機(jī)械臂關(guān)節(jié)角速度之間的關(guān)聯(lián)關(guān)系，結(jié)果如下式所示：

式中：Yi—機(jī)器人的任務(wù)雅可比系數(shù)，且Yi=αfi/αp；α—常數(shù)向量；關(guān)節(jié)角速度。

引入任務(wù)加權(quán)算法，設(shè)定機(jī)器人任務(wù)數(shù)量為a，以此定義關(guān)節(jié)角的表述形式，過程如下式所示：

式中：ωi—關(guān)節(jié)角速度的關(guān)聯(lián)權(quán)重向量；機(jī)器人關(guān)節(jié)的最小

配置系數(shù)。

由于機(jī)器人控制時間［7］變化無明顯波動，因此，在計算時，將上述設(shè)定成忽略項，并對關(guān)節(jié)角速度二次規(guī)劃，過程如下式所示：

式中：T—迭代函數(shù)；A—機(jī)器人任務(wù)數(shù)量集；β—規(guī)劃向量。為規(guī)避機(jī)器人運動時遭受機(jī)械損傷，需要制定機(jī)器人的關(guān)節(jié)約束條件，制定過程如下式所示：

式中：ps—分揀機(jī)器人關(guān)節(jié)角的上限標(biāo)記；px—分揀機(jī)器人關(guān)節(jié)角的下限標(biāo)記；關(guān)節(jié)角速度上限；關(guān)節(jié)角速度下限；Δt—關(guān)節(jié)臂的控制時間。

2.2 分揀機(jī)器人目標(biāo)特征提取方法

依據(jù)上述機(jī)器人運動規(guī)律分析結(jié)果，使用SIFT算法完成分揀機(jī)器人的目標(biāo)特征提取。具體流程如下：

（1）獲取機(jī)器人尺度空間極值點

設(shè)定零件分揀機(jī)器人工作環(huán)境的二維圖像為B(m)，n，以此獲取機(jī)器人的尺度空間表述形式，過程如下式所示：

式中：(mi，ni)—二維圖像的像素空間位置；*—卷積運算符號；C(m，n，δ)—尺度空間；B(m，n)—圖像函數(shù)；G(mi，ni，δ)—可變高斯函數(shù)；δ—坐標(biāo)尺度；exp—指數(shù)函數(shù)。依據(jù)上述計算結(jié)果建立圖像的高斯差分空間，過程如下式所示：

式中：E( )m，n，δ—獲取的高斯差分空間；k—常數(shù)。確定圖像空間極值點。

（2）分揀目標(biāo)的關(guān)鍵點定位

將確定的空間極值點作為機(jī)器人分揀目標(biāo)［8］的特征關(guān)鍵點，依據(jù)泰勒公式對其展開，過程如下式所示：

式中：m—機(jī)器人的尺度空間坐標(biāo)位置；ε—展開系數(shù)；E(m) —泰勒展開結(jié)果。求導(dǎo)運算上述泰勒展開結(jié)果，并依據(jù)確定的極值點剔除圖像中對比度低的邊緣點。

（3）匹配圖像關(guān)鍵點

使用像素梯度幅值算法確定機(jī)器人移動的主要方向，依據(jù)確定結(jié)果實現(xiàn)圖像的特征點匹配，提取目標(biāo)的特征點，過程如下式所示：

式中：?(m，n)—機(jī)器人的目標(biāo)關(guān)鍵點匹配結(jié)果；λ(m，n)—特征提取結(jié)果；γ—特征匹配系數(shù)；tan—正切函數(shù)。

（4）生成特征向量

依據(jù)上述獲取的圖像關(guān)鍵點為中心，在二維圖像中選定一個（8 × 8）窗口，通過計算圖像塊的梯度直方圖，獲取圖像的多維數(shù)據(jù)特征向量。

3 深度學(xué)習(xí)的機(jī)器人目標(biāo)識別方法

依據(jù)上述獲取的機(jī)器人目標(biāo)特征向量，明確識別目標(biāo)，建立基于深度學(xué)習(xí)［9］的目標(biāo)識別模型以及優(yōu)化模型，并且基于優(yōu)化模型完成機(jī)器人的目標(biāo)識別檢測。

3.1 確定編碼形式

基礎(chǔ)編碼器通常分成輸入層、隱含層以及重構(gòu)層三層架構(gòu)，并將其大致分為數(shù)據(jù)編碼以及數(shù)據(jù)解碼兩部分。

設(shè)定數(shù)據(jù)編碼的映射函數(shù)為f，輸入數(shù)據(jù)標(biāo)記f(m) 形式，以此計算編碼器的隱含層輸出數(shù)據(jù)，過程如下式所示：

式中：gf—激活函數(shù)用；η—權(quán)值矩陣；bn—偏置項。數(shù)據(jù)解碼時，通過逆映射函數(shù)重構(gòu)隱含層數(shù)據(jù)，完成編碼數(shù)據(jù)的重構(gòu)，過程如下式所示：

式中：ηTn—編碼器的權(quán)值轉(zhuǎn)置系數(shù)；θ—訓(xùn)練參數(shù)；m'—編碼的重構(gòu)數(shù)據(jù)；h(n) —重構(gòu)向量；bm'—偏置系數(shù)；Dx—訓(xùn)練數(shù)據(jù)集；σ—重構(gòu)誤差；?AE(θ) —數(shù)據(jù)的最小化表現(xiàn)。

3.2 車間零件分揀機(jī)器人目標(biāo)識別

基于上述確定的編碼器編碼形式，結(jié)合深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)，構(gòu)建零件分揀機(jī)器人的目標(biāo)識別模型。

3.2.1 模型結(jié)構(gòu)

目標(biāo)檢測模型的具體結(jié)構(gòu)，如圖1所示。

圖1 機(jī)器人目標(biāo)識別模型Fig.1 Robot Target Recognition Model

分析圖1可知，機(jī)器人目標(biāo)識別模型主要依據(jù)棧式壓縮自動編碼器堆疊而成。

由于該模型在識別目標(biāo)時，模型快速進(jìn)入擬合情況，因此，需要通過模型訓(xùn)練尋找模型最優(yōu)參數(shù)。

3.2.2 模型訓(xùn)練

使用自動編碼器訓(xùn)練模型時，模型會提前進(jìn)入擬合情況，從而降低模型的識別能力。因此，在自動編碼器中加入規(guī)則項，對模型實施權(quán)重懲罰。設(shè)定模型的權(quán)值衰減函數(shù)如下式所示：

式中：?AE(θ)—模型的權(quán)值衰減函數(shù)；τ‖W‖—規(guī)則項權(quán)重。

為增強(qiáng)輸入數(shù)據(jù)的魯棒性，需計算編碼的映射函數(shù)［10］與雅克比矩陣?f(m) 的范數(shù)平方根以及目標(biāo)函數(shù)，過程如下式所示：

式中：?cae(θ)—編碼器目標(biāo)函數(shù)；范數(shù)平方根。

模型訓(xùn)練時，目標(biāo)的隱含層輸入數(shù)據(jù)m偏導(dǎo)數(shù)為0，說明訓(xùn)練目標(biāo)與偏導(dǎo)數(shù)之間存在相關(guān)，模型隱含層不發(fā)生變化。最后通過上述目標(biāo)函數(shù)計算結(jié)果完成模型的訓(xùn)練。

分揀機(jī)器人的目標(biāo)識別流程如下：

（1）分析機(jī)器人相關(guān)運動規(guī)律，提取目標(biāo)特征向量。

（2）訓(xùn)練目標(biāo)特征，建立目標(biāo)識別模型，并在編碼器底部引入模態(tài)規(guī)則項。

（3）開展模型訓(xùn)練，還原數(shù)據(jù)輸入特征，完成樣本分類，通過傳播算法完成模型的參數(shù)尋優(yōu)。

（4）通過監(jiān)督學(xué)習(xí)方式，微調(diào)模型隱含層權(quán)重參數(shù)，獲取目標(biāo)最大似然函數(shù)，結(jié)果如下式所示：

ρ= arg maxρ

式中：ρ—目標(biāo)識別模型最佳參數(shù)；n—分類器輸入數(shù)據(jù)預(yù)測值；實際值；B—數(shù)據(jù)維度；f—規(guī)則化懲罰函數(shù)；μc—權(quán)重；

(Wc)—權(quán)重矩陣。

（5）通過目標(biāo)數(shù)據(jù)建立目標(biāo)的測試數(shù)據(jù)集，并將其放入模型中訓(xùn)練，依據(jù)輸出結(jié)果完成目標(biāo)的類型識別。

4 實驗

4.1 實驗環(huán)境

為了驗證上述目標(biāo)識別方法的整體有效性，設(shè)置對比分析實驗。分別采用深度學(xué)習(xí)的車間零件分揀機(jī)器人目標(biāo)識別方法、文獻(xiàn)［3］方法、文獻(xiàn)［4］方法進(jìn)行測試。實驗的操作系統(tǒng)為Ubuntu Server 16.04 LTS；開發(fā)框架為Tensorflow-gpu 1.3.0。

實驗檢測過程除機(jī)器人外，還主要涉及視覺設(shè)備和定位裝置，分別采用工業(yè)相機(jī)和位置傳感器。

實驗指標(biāo)為分揀目標(biāo)的關(guān)鍵點定位測試、識別準(zhǔn)確率、平均置信度以及識別時間。測以某企業(yè)車間內(nèi)的fanuc r-2000ic分揀機(jī)器人為實驗用的分揀機(jī)器人，機(jī)器人、控制參數(shù)和檢測設(shè)備參數(shù)，如表1～表3所示。

表1 車間零件分揀機(jī)器人參數(shù)Tab.1 Parameters of Workshop Parts Sorting Robot

表2 控制參數(shù)設(shè)定Tab.2 Control Parameter Settings

表3 實驗檢測設(shè)備Tab.3 Experimental Testing Equipment

4.2 實驗識別目標(biāo)

設(shè)計的實驗以某車間生產(chǎn)的汽車零件為實驗識別目標(biāo)，該目標(biāo)包含三類，分別是齒輪、彎管接頭、法蘭盤、濾芯和平衡軸，實驗過程是識別所有零件，并且分揀出接管彎頭。實驗場景，如圖2所示。

圖2 實驗場景Fig.2 Experimental Scene

通過在分揀機(jī)器人上應(yīng)用深度學(xué)習(xí)的車間零件分揀機(jī)器人目標(biāo)識別方法，對上述多個目標(biāo)進(jìn)行識別，并且分揀出設(shè)定的目標(biāo)彎管接頭，分揀結(jié)構(gòu)，如圖3、圖4所示。由圖3和圖4的分揀結(jié)果可知，應(yīng)用深度學(xué)習(xí)的車間零件分揀機(jī)器人目標(biāo)識別方法后，分揀機(jī)器人成功在多個目標(biāo)中分揀出了彎管接頭。

圖3 分揀機(jī)器人分揀結(jié)果圖Fig.3 Sorting Robot Sorting Results Diagram

圖4 分揀出的目標(biāo)Fig.4 Sorted out Targets

4.3 實驗標(biāo)定

實驗通過黑白棋盤的形式進(jìn)行標(biāo)定，標(biāo)定板棋盤格為（9×9），方格邊長2mm，圖案尺寸為（36×36）mm，外形尺寸為（50×50）mm，精度為±0.01mm。通過Auto CAD（AUTO COMPUTER AIDED DESIGN，自動計算機(jī)輔助軟件）繪制和激光打印機(jī)打印黑白棋盤，黑白格的交叉點為標(biāo)定點，設(shè)計的標(biāo)定樣板，如圖5所示。

圖5 標(biāo)定樣板Fig.5 Calibration Model

4.4 實驗性能測試

4.4.1 分揀目標(biāo)的關(guān)鍵點定位測試

車間零件分揀機(jī)器人想要精準(zhǔn)的分揀目標(biāo)，需要對目標(biāo)進(jìn)行關(guān)鍵點定位，如果定位準(zhǔn)確，可以快速完成分揀，因此，測試分揀目標(biāo)的關(guān)鍵點定位準(zhǔn)確性，將深度學(xué)習(xí)的車間零件分揀機(jī)器人目標(biāo)識別方法應(yīng)用后的定位結(jié)果和實際結(jié)果進(jìn)行對比分析，其與實際結(jié)果越接近，表示定位準(zhǔn)確性越高，X軸坐標(biāo)固定不變，測試以Y軸變化為研究對象，測試結(jié)果，如圖6所示。

圖6 分揀目標(biāo)的關(guān)鍵點定位測試Fig.6 Keypoint Location Test for Sorting Targets

根據(jù)圖6可知，所提方法的分揀目標(biāo)關(guān)鍵點定位結(jié)果基本與實際結(jié)果一致，僅在測試數(shù)為990個左右時，出現(xiàn)了小誤差，其他測試目標(biāo)定位結(jié)構(gòu)均與實際一致，因此，所提方法設(shè)計的關(guān)鍵點定位可以有效定位分揀目標(biāo)，有效提高分揀效果。

4.4.2 識別準(zhǔn)確率測試

目標(biāo)識別準(zhǔn)確率是分揀機(jī)器人的硬性指標(biāo)，該指標(biāo)值的高低直接影響機(jī)器人的應(yīng)用價值。因此，選定機(jī)器人分揀目標(biāo)為1000組，分析識別準(zhǔn)確率，實驗結(jié)果，如圖7所示。

圖7 不同識別方法的識別準(zhǔn)確率測試Fig.7 Identification Accuracy Test of Different Identification Methods

根據(jù)圖7可知，所提方法的分揀機(jī)器人分揀目標(biāo)識別準(zhǔn)確率均在97.5%以上，文獻(xiàn)［3］方法的識別準(zhǔn)確率最高為91.3%，文獻(xiàn)［4］方法的識別準(zhǔn)確率最高值為94.2%，雖然文獻(xiàn)［4］方法的最高準(zhǔn)確率較高，但是其運行不穩(wěn)定，識別準(zhǔn)確率曲線波動大，三者相比，所提方法的識別準(zhǔn)確率明顯高于文獻(xiàn)方法，因此，所提方法有效提高了識別準(zhǔn)確率，識別效果更佳。

4.4.3 識別效果測試

識別零件分揀機(jī)器人分揀目標(biāo)時，設(shè)定平均置信度、所需識別時間為識別方法的識別效果檢測指標(biāo)，以此檢測所提方法、文獻(xiàn)［3］方法以及文獻(xiàn)［4］方法的目標(biāo)識別效果。

平均置信度是驗證識別方法識別效果的重要參考指標(biāo)。設(shè)定識別方法的平均置信度為?，最佳置信區(qū)間為[ ]0，1，在該區(qū)間內(nèi)，識別方法的平均置信度越高說明識別方法的識別效果越好，基于上述三種識別方法識別分揀目標(biāo)時，測試三種方法的平均置信度，如圖8所示。

圖8 不同識別方法的平均置信度測試Fig.8 Average Confidence Test of Different Recognition Methods

分析圖8 實驗數(shù)據(jù)可知，所提方法的平均置信度在0.81 以上，但是文獻(xiàn)方法均低于0.75，因此，所提方法測試出的平均置信度結(jié)果高于文獻(xiàn)［3］方法以及文獻(xiàn)［4］方法平均置信度測試結(jié)果，其主要因為所提方法在目標(biāo)識別前詳細(xì)分析了分揀機(jī)器人運動規(guī)律，所以該方法識別分揀目標(biāo)時的平均置信度高。

4.4.4 識別時間測試

識別時間是檢測識別效果的重要檢測指標(biāo)，采用所提方法、文獻(xiàn)［3］方法以及文獻(xiàn)［4］方法識別機(jī)器人分揀目標(biāo)時，測試識別時間，如圖9 所示。識別時間是檢驗識別方法識別性能的重要依據(jù)。識別方法在識別目標(biāo)時，識別時間越長說明識別性能越差，識別時間越短說明識別性能越好。分析圖9可知，識別目標(biāo)數(shù)量越多，文獻(xiàn)方法的識別時間呈上升趨勢，并且文獻(xiàn)［3］方法的最低識別時間達(dá)到了100s，文獻(xiàn)［4］方法最低識別時間為78s，文獻(xiàn)方法的耗時均高于75s，而所提方法最高耗時僅為63s，并且其識別曲線波動小，未出現(xiàn)上升趨勢，因此，所提方法有效降低了識別時間，其識別性能高。

圖9 不同識別方法的識別時間測試Fig.9 Identification Time Test of Different Identification Methods

5 結(jié)束語

隨著工業(yè)機(jī)器人使用范圍的擴(kuò)大，機(jī)器人的目標(biāo)識別方法愈加多樣。針對傳統(tǒng)機(jī)器人目標(biāo)識別方法中存在的問題，提出深度學(xué)習(xí)的車間零件分揀機(jī)器人目標(biāo)識別方法。

（1）所提方法引入了深度學(xué)習(xí)算法，并且結(jié)合了其他算法，通過機(jī)器人目標(biāo)特征的提取，建立了目標(biāo)識別模型，從而通過模型的訓(xùn)練結(jié)果輸出實現(xiàn)機(jī)器人的目標(biāo)識別。

（2）通過實驗分析了所提方法的定位精度，以分揀目標(biāo)的關(guān)鍵點定位位置反映精度。所提方法的分揀目標(biāo)關(guān)鍵點定位結(jié)果基本與實際結(jié)果一致，僅在測試數(shù)為990個左右時，出現(xiàn)了小誤差，該方法可以有效定位分揀目標(biāo)的位置。

（3）分析了所提方法識別目標(biāo)的準(zhǔn)確率，該方法的分揀機(jī)器人分揀目標(biāo)識別準(zhǔn)確率均在97.5%以上，高出對比方法6.2%和3.3%，并且所提方法的識別準(zhǔn)確率波動小，因此，所提方法提高了識別準(zhǔn)確率，具備可行性。

（4）在驗證識別準(zhǔn)確率后，分析了所提方法的平均置信度，所提方法的平均置信度在0.81以上，但是文獻(xiàn)方法均低于0.75，因此，該方法識別分揀目標(biāo)時的平均置信度高。

（5）為了進(jìn)一步分析方法的有效性和應(yīng)用價值，驗證了所提方法識別目標(biāo)的時間，因此識別時間長，則說明該方法不具備應(yīng)用價值，實驗結(jié)果可知，該方法的最高識別時間僅為63s，其具備應(yīng)用價值和可行性。

（6）由于該方法在確定編碼器時還存在不足，今后將針對該項問題繼續(xù)優(yōu)化完善識別方法。