黃賢振,彭淑萍
(1.天津職業(yè)技術(shù)師范大學(xué) 機(jī)械工程學(xué)院,天津300222;2.江西冶金職業(yè)技術(shù)學(xué)院 制造工程學(xué)院,新余 338000)
機(jī)械臂抓取控制過程中,雖然在百年前已經(jīng)建立了完善的多坐標(biāo)系聯(lián)合控制算法,但相關(guān)控制至今仍停留在順序程序或基于反饋數(shù)據(jù)的半自動(dòng)化控制模式,機(jī)械臂智能化相關(guān)研究仍有巨大提升空間。 智能化控制領(lǐng)域中,文獻(xiàn)[1]指出的實(shí)驗(yàn)室研究已經(jīng)可以使用模糊神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)基于機(jī)器人自主視覺的智能化控制, 即對(duì)被切削工件不同節(jié)理、結(jié)核的反饋數(shù)據(jù),及時(shí)調(diào)整切削機(jī)器人機(jī)械臂的給進(jìn)量和給進(jìn)力度,實(shí)現(xiàn)基于機(jī)械手和機(jī)器人自主視覺的切削機(jī)器人控制。 文獻(xiàn)[2]認(rèn)為機(jī)械手抓取機(jī)構(gòu)的控制難度遠(yuǎn)大于機(jī)械手切削機(jī)構(gòu),每年全國(guó)大學(xué)生機(jī)器人大賽(RoboMaster)的保留競(jìng)賽項(xiàng)目為機(jī)械手撿雞蛋比賽,機(jī)械手抓取控制的難度和控制穩(wěn)定性直接決定了選手的勝負(fù)。
文獻(xiàn)[3]使用120°夾角的三眼識(shí)別控制機(jī)械手,即在3 個(gè)相互交叉視野的支持下使用Smart3D 軟件生成三維模型,將該模型的定位信息反饋到機(jī)器人控制系統(tǒng)中。 但三眼視覺的硬件系統(tǒng)僅能用于傳統(tǒng)固定式機(jī)械臂, 難以應(yīng)用到飛行機(jī)器人或行走機(jī)器人中。 近年來玉兔號(hào)月球車和祝融號(hào)火星車中使用的機(jī)器人雙眼自主視覺,使用2 個(gè)共軸的攝像頭仿生人眼定位功能實(shí)現(xiàn)機(jī)器人可移動(dòng)自主視覺。
文獻(xiàn)[4]認(rèn)為機(jī)器人雙眼視覺無(wú)法直接用于Smart3D 的三維建模解析,但可以形成不完備三維模型,利用元胞自動(dòng)機(jī)和互搏神經(jīng)網(wǎng)絡(luò)的結(jié)合算法,在智能化算法的基礎(chǔ)上實(shí)現(xiàn)高精度的基于雙眼視覺的三維建模。
雙眼視覺與三眼視覺相比, 三眼視覺可以給Smart3D 提供全角度的原始視頻信息, 而雙眼視覺只能獲得被觀測(cè)物體面向機(jī)器人一面,無(wú)法獲得被觀測(cè)物體的背面信息。 文獻(xiàn)[5]認(rèn)為需要使用元胞自動(dòng)機(jī)完成背面三維結(jié)構(gòu)的生成工作。 文獻(xiàn)[6]認(rèn)為元胞自動(dòng)機(jī)對(duì)三維結(jié)構(gòu)背面的建模過程具有隨機(jī)性,需要在其后通過機(jī)器學(xué)習(xí)算法進(jìn)行互搏判斷,當(dāng)機(jī)器學(xué)習(xí)算法給出較高評(píng)分時(shí), 才可以輸出三維模型,如果不能給出較高評(píng)分,則該模型被返回重生成。 上述數(shù)據(jù)邏輯如圖1 所示。
圖1 雙目視覺元胞自動(dòng)機(jī)互搏算法示意圖Fig.1 Schematic diagram of binocular vision cellular automata beat algorithm
攝像頭:機(jī)械臂的視覺傳感器,為機(jī)械臂提供影像信息;流媒體數(shù)據(jù):通過攝像頭拍攝所得數(shù)據(jù);原子鐘:高精度計(jì)時(shí)裝置;單幀提?。簩⒘髅襟w數(shù)據(jù)通過單幀方式進(jìn)行提?。籗mart3D: 全自動(dòng)傾斜攝影測(cè)量三維實(shí)景建模軟件;不完備三維模型:基于雙目視覺的機(jī)器人通過Smart3D 生成的未經(jīng)機(jī)器學(xué)習(xí)判斷模塊判斷的三維模型;隨機(jī)數(shù)生成器:生成隨機(jī)數(shù)的器件。
元胞自動(dòng)機(jī)的統(tǒng)計(jì)學(xué)任務(wù)是在隨機(jī)數(shù)生成器的驅(qū)動(dòng)下,在點(diǎn)陣式三維模型中計(jì)算自動(dòng)生成被遮擋點(diǎn)的坐標(biāo)位置,文獻(xiàn)[7]認(rèn)為其中依賴雙眼視覺中的單眼視覺獲得參照數(shù)據(jù),即雙眼視覺中支持元胞自動(dòng)機(jī)運(yùn)行的攝像頭被認(rèn)為為主視覺眼,另一個(gè)攝像頭作為輔助視覺眼。 機(jī)器學(xué)習(xí)判斷模塊的統(tǒng)計(jì)學(xué)任務(wù)是根據(jù)雙眼視覺圖像和待比較三維模型的三維點(diǎn)陣數(shù)據(jù)提供二值化判斷, 當(dāng)其輸出結(jié)果接近1.000 時(shí),將待比較三維模型輸出為最終模型,當(dāng)其數(shù)據(jù)結(jié)果接近0.000 時(shí),駁回待比較三維模型,重新發(fā)出隨機(jī)數(shù)重新生成待比較三維模型。 該機(jī)器學(xué)習(xí)判斷模塊的內(nèi)部結(jié)構(gòu)如圖2 所示。
圖2 機(jī)器學(xué)習(xí)判斷模塊數(shù)據(jù)邏輯圖Fig.2 Data logic diagram of machine learning judgment module
二維圖像:左右攝像機(jī)經(jīng)過單幀提取所輸出的二維圖像;空間卷積:為了加強(qiáng)邊界強(qiáng)化,二維圖像及三維模型需要經(jīng)過空間卷積進(jìn)行處理,以便用于模糊卷積;模糊卷積:神經(jīng)網(wǎng)絡(luò)模塊,在此用于處理空間卷積的輸出,以生成雙精度數(shù)據(jù)進(jìn)行二值化處理;二值化:提供二值化判斷,當(dāng)其輸出結(jié)果接近1.000 時(shí),將待比較三維模型輸出為最終模型,當(dāng)其數(shù)據(jù)結(jié)果接近0.000 時(shí),駁回待比較三維模型。
經(jīng)過攝像機(jī)單幀提取的二維圖像及帶比較三維模型需要經(jīng)過空間卷積進(jìn)行邊界強(qiáng)化,適用空間卷積基函數(shù)為
式中:g(x)為原始圖像;j(a-x)為卷積核;x 為遍歷變量;a 為輔助定位變量;y 為神經(jīng)網(wǎng)絡(luò)輸出值。
經(jīng)上式處理后的數(shù)據(jù)需要神經(jīng)網(wǎng)絡(luò)模塊處理成雙精度數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)模塊均采用多項(xiàng)式深度迭代回歸節(jié)點(diǎn)函數(shù),其基函數(shù)為
經(jīng)過神經(jīng)網(wǎng)絡(luò)模塊所輸出的雙精度數(shù)據(jù)需要進(jìn)行二值化判斷,針對(duì)每套方案設(shè)計(jì)一個(gè)獨(dú)立的二值化神經(jīng)網(wǎng)絡(luò)模塊, 形成二值化多列神經(jīng)網(wǎng)絡(luò),二值化神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)基函數(shù)為
式中:e 為自然常數(shù),此處取近似值e=2.718281828;其他數(shù)學(xué)符號(hào)含義同前文。
用于參照的三眼視覺機(jī)器人使用固定在機(jī)器人活動(dòng)空間的不少于3 個(gè)中軸相互交叉的攝像頭獲得的多眼視覺,數(shù)據(jù)分析系統(tǒng)采用相關(guān)文獻(xiàn)中使用較廣的空間卷積神經(jīng)網(wǎng)絡(luò)與模糊卷積神經(jīng)網(wǎng)絡(luò)綜合的機(jī)器學(xué)習(xí)系統(tǒng),受制于篇幅,此處不展開討論參照組的具體算法。 但近5年文獻(xiàn)中,機(jī)器人多眼視覺屬于較先進(jìn)機(jī)器人自主視覺實(shí)現(xiàn)方案。
比較算法中使用SPSS 統(tǒng)計(jì)軟件的雙變量t 校驗(yàn)獲得兩列數(shù)據(jù)的差異值。
t 檢驗(yàn),也叫做Student t 檢驗(yàn),是用t 分布理論來推論差異發(fā)生的概率,從而比較兩個(gè)平均數(shù)的差異是否顯著。主要適用于樣本量不大,總體標(biāo)準(zhǔn)差σ未知的正態(tài)分布。 t 值來自比較結(jié)果的Value 值,當(dāng)t<10.000 時(shí)認(rèn)為兩列數(shù)據(jù)存在統(tǒng)計(jì)學(xué)差異, 且t 值越小,數(shù)據(jù)差異性越大;P 值來自比較結(jié)果的Log值,當(dāng)P<0.05 時(shí)認(rèn)為比較結(jié)果擁有統(tǒng)計(jì)學(xué)信度,當(dāng)P<0.01時(shí)認(rèn)為比較結(jié)果存在顯著的統(tǒng)計(jì)學(xué)意義。
通過比較基于雙眼視覺的機(jī)器人和基于三眼視覺的機(jī)器人的移動(dòng)效率,可以掌握機(jī)器人在基于不同視覺模式下的行走靈活程度,詳細(xì)數(shù)據(jù)見表1。
表1 機(jī)器人移動(dòng)范圍及移動(dòng)效率比較結(jié)果表Tab.1 Comparison results of robot moving range and moving efficiency
表1 中,移動(dòng)范圍指可接受控制精度要求下機(jī)器人自主行走或程控行走的最大直線距離;移動(dòng)速度為相同行走機(jī)構(gòu)的機(jī)器人行走的平均速度;避障精度使用行走路線與行走路線測(cè)點(diǎn)的線性回歸結(jié)果的R2值,R2值指均值法距累加值與回歸法距累加值的比值。
從表1 中可以看出,基于雙眼視覺的機(jī)器人在移動(dòng)范圍方面要遠(yuǎn)大于基于三眼視覺的機(jī)器人,同時(shí)比較此時(shí)t 值與P 值可知其差異巨大且存在顯著統(tǒng)計(jì)學(xué)意義,這是由于基于三眼視覺的機(jī)器人無(wú)法離開外部傳感器所提供視野區(qū)域所限制;在機(jī)械臂移動(dòng)速度方面,基于雙眼視覺的機(jī)器人和基于三眼視覺的機(jī)器人相差無(wú)幾,此時(shí)t 值接近100 且P<0.05,說明結(jié)果可信;而對(duì)于避障精度方面,由表可知基于雙眼視覺的機(jī)器人的避障精度要優(yōu)于基于三眼視覺的避障精度,此時(shí)t<10.000,且P<0.001,說明避障精度結(jié)果具有統(tǒng)計(jì)學(xué)差異且存在顯著的統(tǒng)計(jì)學(xué)意義。
通過比較基于雙眼視覺的機(jī)器人和基于三眼視覺的機(jī)器人的機(jī)械手控制精度,可以掌握機(jī)器人在基于不同視覺模式下對(duì)于目標(biāo)識(shí)別的穩(wěn)定程度及抓取力度的控制程度,詳細(xì)數(shù)據(jù)見表2。
表2 機(jī)械手控制精度比較結(jié)果表Tab.2 Comparison results of manipulator control accuracy
表2 中,抓取力度指機(jī)械臂抓取物品時(shí)對(duì)物品所施加的壓力;定位精度指機(jī)械臂基準(zhǔn)坐標(biāo)的空間實(shí)體位置信息與機(jī)械臂真實(shí)位置之間的接近程度;而行走精度指機(jī)械臂按預(yù)設(shè)程序行走時(shí),機(jī)械臂與預(yù)設(shè)導(dǎo)軌基準(zhǔn)面之間的平行度。
從表2 中可以看出,在抓取力度、定位精度、行走精度方面針對(duì)三眼視覺機(jī)器人和雙眼視覺機(jī)器人進(jìn)行比較可知,基于雙眼視覺的機(jī)器人均要優(yōu)于基于三眼視覺的機(jī)器人。 在抓取力度、定位精度以及行走精度方面,比較三者的t 值和P 值發(fā)現(xiàn),此時(shí)t<10.000,且P<0.001,說明在抓取力度、定位精度以及行走精度方面的結(jié)果均具有統(tǒng)計(jì)學(xué)差異且存在顯著的統(tǒng)計(jì)學(xué)意義。 這也反映出基于雙眼視覺的機(jī)器人擁有更高的靈活度,這一點(diǎn)在定位精度及行走精度等方面上尤為明顯。 這是由于基于雙眼視覺的機(jī)械臂相比于三眼視覺的機(jī)械臂擁有更為靈活的視野,不用考慮三眼視覺機(jī)械臂的視野限制,從而在目標(biāo)識(shí)別部分可以更加靈活的進(jìn)行圖像預(yù)處理,獲得更好的識(shí)別穩(wěn)定性和算法執(zhí)行效率。
通過比較基于雙眼視覺的機(jī)器人和基于三眼視覺的機(jī)器人在“撿雞蛋”任務(wù)模式下的機(jī)械手工作效率,可以掌握機(jī)器人在基于不同視覺模式下在具體任務(wù)中的執(zhí)行任務(wù)能力及工作效率,詳細(xì)數(shù)據(jù)見表3。
表3 “撿雞蛋”任務(wù)模式下的機(jī)械手工作效率比較結(jié)果表Tab.3 Comparison results of manipulator’s work efficiency in “egg picking” task mode
表3 中,平鋪效率為每分鐘機(jī)械臂將雞蛋從一個(gè)平鋪狀態(tài)“撿入”至另一平鋪狀態(tài)的個(gè)數(shù);籃中效率為每分鐘機(jī)械臂將雞蛋從一個(gè)籃中狀態(tài) “撿入”至另一籃中狀態(tài)的個(gè)數(shù);損傷率為“撿雞蛋”任務(wù)模式下,損傷雞蛋的個(gè)數(shù)與所抓取雞蛋個(gè)數(shù)的比值。
通過比較可知,基于雙眼視覺的機(jī)械臂“撿雞蛋”的平鋪效率及籃中效率均大于基于三眼視覺的機(jī)械臂的平鋪效率和籃中效率。 比較t 值和P 值可知,此時(shí)基于雙眼視覺的機(jī)器人和基于三眼視覺的機(jī)器人的工作效率差異巨大且具有顯著統(tǒng)計(jì)學(xué)意義,這點(diǎn)在平鋪效率上尤為明顯。 而對(duì)于損傷率的比較中,基于雙眼視覺的機(jī)械臂在“撿雞蛋”任務(wù)中的雞蛋損傷率要遠(yuǎn)小于基于三眼視覺的機(jī)械臂的損傷率,此時(shí)P 值<0.01,認(rèn)為損傷率結(jié)果也具有顯著統(tǒng)計(jì)學(xué)意義。
通過對(duì)于機(jī)器人移動(dòng)范圍及移動(dòng)效率的比較、機(jī)械手控制精度的比較、以及“撿雞蛋”任務(wù)模式下的機(jī)械手工作效率的比較,結(jié)果顯示基于雙眼視覺的機(jī)器人相比基于三眼視覺的機(jī)器人擁有更為靈活的移動(dòng)精度、控制精度及工作效率。 分析造成這些結(jié)果的可能原因?yàn)榛陔p眼系統(tǒng)的機(jī)械手由于避免了因攝像機(jī)視野范圍的限制,從而在目標(biāo)識(shí)別部分可以更加靈活的進(jìn)行圖像預(yù)處理,在算法上獲得更好的識(shí)別穩(wěn)定性和算法執(zhí)行效率,進(jìn)一步影響對(duì)采集到的圖像的立體校正工作,以此獲得更為精確的目標(biāo)物體的形心位置,得到更好的算法效能結(jié)果。
本研究給出了元胞自動(dòng)機(jī)互博算法的模型流程,解釋了元胞自動(dòng)機(jī)對(duì)三維結(jié)構(gòu)背面的建模過程,從而得到基于雙眼視覺的機(jī)器人的模型構(gòu)建。 隨后進(jìn)行了雙眼視覺機(jī)器人與三眼視覺機(jī)器人的算法效能比較,結(jié)果顯示基于雙眼視覺的機(jī)器人相比基于三眼視覺的機(jī)器人擁有更為靈活的移動(dòng)精度、控制精度及工作效率。 本研究改善了在復(fù)雜工作環(huán)境及復(fù)雜工作任務(wù)下,機(jī)械臂的自主調(diào)整能力和交互能力,為未來機(jī)械臂自主作業(yè)的研究提供方向,對(duì)工業(yè)、醫(yī)療等領(lǐng)域自動(dòng)化水平的提升有顯著意義。