張建兵，周煜，王孝平，郝雯娟

（南京航空航天大學(xué)金城學(xué)院機(jī)電工程與自動(dòng)化學(xué)院，南京 211156）

0 引言

機(jī)器人對于運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤是計(jì)算機(jī)視覺、圖像處理的一個(gè)重要組成部分，其主要目的是獲取運(yùn)動(dòng)目標(biāo)在運(yùn)動(dòng)過程中的相關(guān)參數(shù)，從而進(jìn)行進(jìn)一步處理與分析，實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的行為理解。由大疆創(chuàng)新向全球發(fā)起的RoboMater 機(jī)甲大師超級(jí)對抗賽中，由步兵機(jī)器人、工程機(jī)器人、哨兵機(jī)器人、英雄機(jī)器人、空中機(jī)器人等組成的機(jī)器人戰(zhàn)隊(duì)與敵方機(jī)器人戰(zhàn)隊(duì)同場競技，通過機(jī)器人發(fā)射彈丸，以精確擊殺敵方機(jī)器人特定目標(biāo)而取勝，快速移動(dòng)的機(jī)器人的視覺識(shí)別與定位系統(tǒng)對敵方移動(dòng)特定目標(biāo)進(jìn)行自主視覺識(shí)別、定位，實(shí)現(xiàn)精確打擊尤為關(guān)鍵。

機(jī)器視覺為基礎(chǔ)的機(jī)器人識(shí)別定位系統(tǒng)主要包括控制系統(tǒng)和攝像機(jī)相關(guān)系統(tǒng)，通過計(jì)算機(jī)圖像采集及相關(guān)的視覺算法，結(jié)合伺服控制系統(tǒng)、伺服電機(jī)系統(tǒng)等完成機(jī)器人的視覺識(shí)別與定位［1-3］。機(jī)器人識(shí)別系統(tǒng)在識(shí)別敵方目標(biāo)同時(shí)，還要濾除己方移動(dòng)機(jī)器人目標(biāo)，防止對己方機(jī)器人造成傷害。因此，需要提出特定的視覺算法，實(shí)現(xiàn)對敵方目標(biāo)的精確識(shí)別與快速打擊。目前，國內(nèi)外科研人員針對視覺識(shí)別跟蹤定位，提出多種理論算法，常用的有SIFT［4］、SURF［5］、ORB［6］等算法，其中SIFT、SURF 算法雖然對目標(biāo)圖像識(shí)別精度高，但計(jì)算耗時(shí)長，無法滿足移動(dòng)機(jī)器人對目標(biāo)跟蹤定位實(shí)時(shí)性要求［7］。ORB算法降低了圖像精度，提取速度較快，可滿足定位實(shí)時(shí)性要求［8］。本文通過對光流法的ORB特征匹配算法進(jìn)行優(yōu)化，使用循環(huán)二值化閾值濾波算法，應(yīng)用在移動(dòng)機(jī)器人的目標(biāo)識(shí)別定位中，以提高機(jī)器人對目標(biāo)識(shí)別定位的精確性與實(shí)時(shí)性的目的。

1 系統(tǒng)識(shí)別算法設(shè)計(jì)

1.1 識(shí)別系統(tǒng)平臺(tái)搭建

本文采用C++結(jié)合OpenCV 進(jìn)行視覺算法研究，平臺(tái)搭載DJI 大疆創(chuàng)新的Manifold2-G 運(yùn)算器，通過Ubuntu 開源操作系統(tǒng)，使用高性能NVIDIA Jetson TX2圖像處理器進(jìn)行圖像處理。系統(tǒng)采用多線程進(jìn)行編程，即把整個(gè)視覺識(shí)別功能分為produce 線程、consume線程和sense串口線程，如圖1 所示的多線程系統(tǒng)流程圖。其中：produce線程負(fù)責(zé)攝像頭圖像的采集、解碼以及放入循環(huán)隊(duì)列以不斷更新與記錄最新圖像；Consume線程負(fù)責(zé)加載produce線程中記錄的最新圖像、處理并識(shí)別圖像中的目標(biāo)位置，并用PnP［9］角度解算記錄與更新其pitch軸和yaw軸的偏轉(zhuǎn)角度數(shù)據(jù)；sense串口線程負(fù)責(zé)接收下位機(jī)（STM32F427，意法半導(dǎo)體ST）發(fā)送過來的數(shù)據(jù)以控制視覺識(shí)別系統(tǒng)識(shí)別模式，在接收到下位機(jī)數(shù)據(jù)后再把打包好的視覺幀結(jié)構(gòu)體傳回到下位機(jī)中，完成一次完整的視覺識(shí)別系統(tǒng)與下位機(jī)的通信。

圖1 多線程系統(tǒng)流程圖

以步兵機(jī)器人比賽規(guī)則為例，機(jī)器人識(shí)別系統(tǒng)需要快速識(shí)別敵方機(jī)器人目標(biāo)，如圖2 所示的機(jī)器人4個(gè)麥克納姆輪之間的裝甲板處，視覺系統(tǒng)將敵方機(jī)器人相關(guān)信息（偏轉(zhuǎn)角，發(fā)射模式等）傳送至下位機(jī)STM32F427 控制器，控制步兵機(jī)器人云臺(tái)發(fā)射彈丸擊打敵方機(jī)器人目標(biāo)達(dá)到獲勝的目的。為了精確識(shí)別對方目標(biāo)（裝甲板），設(shè)計(jì)識(shí)別算法需要考慮到目標(biāo)裝甲板兩側(cè)燈條的亮度及顏色（燈條顏色用于區(qū)分?jǐn)?、我雙方目標(biāo)機(jī)器人）、裝甲板的形狀及傾斜位置、多個(gè)目標(biāo)裝甲板共存時(shí)的最優(yōu)化篩選等因素，最終篩選出最合適的裝甲板作為機(jī)器人射擊目標(biāo)。

圖2 步兵機(jī)器人識(shí)別系統(tǒng)機(jī)構(gòu)實(shí)物

1.2 系統(tǒng)識(shí)別算法設(shè)計(jì)

使用OpenCV函數(shù)庫處理圖像針對移動(dòng)機(jī)器人的目標(biāo)是被定位，常用的方法為基于稀疏光流法的ORB算法［10］，其用于求解空間運(yùn)動(dòng)物體在觀察成像平面的像素運(yùn)動(dòng)速度，具有計(jì)算速度快、頻率高的特點(diǎn)。其基本原理是在第1 幀圖像中找到一些特征點(diǎn)，然后第2幀圖像中找到相同的特征點(diǎn)，即假定在圖像I1中有特征點(diǎn)[δx，δy]T，在I2中找到相對應(yīng)的特征點(diǎn)，構(gòu)建出光度誤差和的方程ε（δ）并使其最小化，則可以得到特征點(diǎn)的光向量δ。即：

式中，x、y為圖像空間坐標(biāo)。

稀疏光流法能夠估計(jì)特征點(diǎn)在匹配圖像中大致二維位置。在對每幀圖像處理后，可以加入顯示函數(shù)查看處理效果，但僅通過光流法對復(fù)雜自然環(huán)境的目標(biāo)進(jìn)行檢測不可避免存在噪點(diǎn)，并不能完全滿足實(shí)際圖像處理需求。本文的系統(tǒng)視覺算法程序中增加了背景減除法，以精確消除復(fù)雜環(huán)境中噪點(diǎn)帶來的干擾。通過系統(tǒng)確定檢測目標(biāo)的背景圖像，在檢測識(shí)別過程中將目標(biāo)的每幀動(dòng)作與背景圖像進(jìn)行融合，尋找經(jīng)過處理的差分圖像，通過差分圖像的二值化閾值［11-12］處理運(yùn)動(dòng)目標(biāo)，實(shí)現(xiàn)無干擾圖像顯示。背景圖像差分二值化過程如下：

式中，D、F、B分別為背景中運(yùn)動(dòng)目標(biāo)圖像、背景圖像、預(yù)檢測圖像的位置坐標(biāo)區(qū)域。在實(shí)際的背景減除法目標(biāo)檢測中需要精確識(shí)別B值以及位置，其計(jì)算表達(dá)式為

式中：T為背景圖像的二值化閾值，將檢測目標(biāo)圖像的灰度值假定為1，在獲取圖像明亮度前，設(shè)目標(biāo)的前景圖像為目標(biāo)檢測區(qū)域，獲取圖像明亮度后，設(shè)目標(biāo)背景圖像為目標(biāo)檢測區(qū)域。通過背景圖像的二值化過程，可以獲得更加精確圖像匹配結(jié)果，以保證系統(tǒng)的精確識(shí)別與定位。

1.3 視覺目標(biāo)的特征參數(shù)處理及提取

通過識(shí)別系統(tǒng)的光流法對目標(biāo)亮度矢量因素進(jìn)行信息提取與跟蹤，分別計(jì)算出圖像中的光流密度，如圖3（a）所示；識(shí)別圖像有著較為復(fù)雜的環(huán)境光影響，需要將抓取的圖像進(jìn)行曝光處理，濾除周圍環(huán)境所帶來的噪點(diǎn)，保證圖像特征參數(shù)的有效性，如圖3（b）所示。在識(shí)別算法中，還需要濾除己方顏色（藍(lán)色）特征參數(shù)，將抓取到的RGB 圖像進(jìn)行通道分離，再進(jìn)行紅藍(lán)通道相減，即利用顏色特征匹配方法和背景減除檢測方法，進(jìn)行差分圖像的二值化閾值處理實(shí)現(xiàn)無干擾圖像顯示。

圖3 光流法二值化過程

圖片經(jīng)過二值化處理后，有效的剔除掉與藍(lán)色相近的環(huán)境光噪點(diǎn)，如圖3（c）、（d）所示；但諸如與目標(biāo)裝甲板燈條的亮度相近的環(huán)境光所引起的噪點(diǎn)無法取出，此時(shí)便需要對像素點(diǎn)進(jìn)行腐蝕和膨脹操作，該算法不僅進(jìn)一步剔除掉圖片中噪點(diǎn)，同樣把斷裂的二值化物體連接起來，如圖4（a）所示。

圖4 圖像二值化噪點(diǎn)濾除

在整個(gè)圖像二值化過程中，經(jīng)遍歷灰度圖和通道相減圖的所有輪廓，利用OpenCV 庫中VcontourArea函數(shù)和arcLength 函數(shù)在所設(shè)置的ROI（Region of Interest）區(qū)域進(jìn)行面積、周長篩選濾除。如圖5 所示，通過二維點(diǎn)集的橢圓擬合，用橢圓將輪廓包含起來以變成旋轉(zhuǎn)矩陣。經(jīng)過雙循環(huán)的方法遍歷所有候選目標(biāo)裝甲板，最終篩選出唯一的最佳目標(biāo)，如圖5（c）所示。

圖5 二維點(diǎn)集橢圓擬合

2 系統(tǒng)檢測定位設(shè)計(jì)

2.1 識(shí)別信息處理與定位分析

在機(jī)器人識(shí)別定位系統(tǒng)中，獲得有效的目標(biāo)二維信息參數(shù)導(dǎo)入角度解析函數(shù)，對目標(biāo)區(qū)域進(jìn)行精確定位。因此需要充分考慮到機(jī)器人視覺瞄準(zhǔn)的精確性和實(shí)時(shí)性，通過控制算法確保機(jī)器人云臺(tái)上固定的槍管始終瞄準(zhǔn)裝甲板。

鑒于識(shí)別系統(tǒng)攝像頭像素點(diǎn)與攝像頭偏轉(zhuǎn)的角度構(gòu)成是非線性關(guān)系，即使通過控制算法進(jìn)行PID調(diào)節(jié)，仍存在一定的誤差，導(dǎo)致機(jī)器人視覺識(shí)別定位系統(tǒng)精確性得不到有效地提高。通過研究發(fā)現(xiàn)小孔成像原理可以改善上述問題［13］，如圖6 可知，這種成像原理可以返回目標(biāo)物體相對于攝像頭圖像中心的偏轉(zhuǎn)角度，而不是返回像素差，極大地減少了因只返回像素差帶來的角度解算的控制算法冗余度。通過成像點(diǎn)至OF（OF為攝像頭焦距）的距離就可以計(jì)算得到角度偏差，系統(tǒng)可以通過攝像頭標(biāo)定來獲取攝像頭的內(nèi)參矩陣。本文采用Matlab的方法，對選取待測攝像頭拍攝16 張的標(biāo)定板圖片來進(jìn)行攝像頭標(biāo)定，由于攝像頭標(biāo)定共有5 個(gè)畸變參數(shù)［14-15］，其中徑向畸變3個(gè)，切向畸變2個(gè)，徑向畸變：

圖6 攝像頭成像點(diǎn)與實(shí)際物體關(guān)系圖（cm）

式中：r2＝x2+y2；k1k2k3為鏡像畸變系數(shù)。其中，切向畸變：

畸變系數(shù)排列：

式中，p1p2為切向畸變系數(shù)。

鑒于k3有劇烈的非線性，選擇3 個(gè)徑向畸變參數(shù)時(shí)，易產(chǎn)生畸變扭曲，所以在此可選用2 個(gè)徑向畸變參數(shù)。通過Matlab進(jìn)行攝像頭標(biāo)定后，便可以導(dǎo)出內(nèi)參矩陣參數(shù)和畸變參數(shù)。導(dǎo)出的內(nèi)參矩陣

而通過世界坐標(biāo)和像素點(diǎn)的關(guān)系可知：

圖片像素點(diǎn)對應(yīng)偏轉(zhuǎn)角通過反三角函數(shù)求解：

再通過世界坐標(biāo)和像素點(diǎn)的關(guān)系，即可得到像素點(diǎn)對應(yīng)偏轉(zhuǎn)角的關(guān)系［14-15］：

通過上述定位設(shè)計(jì)極大地簡化了裝甲板角度解算分析的流程，在實(shí)際操作過程中，由于存在攝像頭與槍管不在同一軸線的因素，以及彈丸在高速運(yùn)行中重力對其影響因素，導(dǎo)致雖然云臺(tái)攝像頭以及槍管對準(zhǔn)了裝甲板，仍出現(xiàn)實(shí)際發(fā)射彈丸并未打中的情況。因此機(jī)器人視覺識(shí)別定位系統(tǒng)的實(shí)時(shí)精確性還需要進(jìn)一步的提升。

圖7 圖像標(biāo)定

2.2 PnP（Perspective-n-Point）角度解算的設(shè)計(jì)

由于小孔成像方案的局限性，導(dǎo)致系統(tǒng)無法獲取目標(biāo)裝甲板角度解算的深度信息，機(jī)器人槍管因無法變換坐標(biāo)，遠(yuǎn)距離射擊裝目標(biāo)精度低。而在PnP 算法［9，16］中可以通過solvePnP函數(shù)得到目標(biāo)物體的旋轉(zhuǎn)向量和平移向量，在平移向量中獲取目標(biāo)物體的三維坐標(biāo)。如圖8 所示，PnP利用世界坐標(biāo)系下空間3D點(diǎn)的坐標(biāo)和圖像坐標(biāo)系下對應(yīng)2D 坐標(biāo)之間的幾何關(guān)系求解相機(jī)位姿關(guān)系，對目標(biāo)裝甲板角度進(jìn)行解算得出裝甲板所在方位的偏轉(zhuǎn)角度，以及裝甲板與攝像頭的距離；根據(jù)攝像頭內(nèi)參矩陣和畸變參數(shù)關(guān)系和裝甲板尺寸信息，最終得到裝甲板在世界坐標(biāo)系下的坐標(biāo)。

圖8 世界坐標(biāo)系和OpenCV坐標(biāo)系關(guān)系圖

在使用PnP 算法解算出裝甲板的偏轉(zhuǎn)角度以及深度信息后，獲得的深度信息來對彈道進(jìn)行相應(yīng)補(bǔ)償，可以很好地解決上文提到過的攝像頭與槍管不在同軸線導(dǎo)致?lián)舨恢袛撤窖b目標(biāo)甲板的問題。

3 實(shí)驗(yàn)結(jié)果與分析

所有實(shí)驗(yàn)搭載DJI 大疆創(chuàng)新的Manifold2-G 運(yùn)算平臺(tái)，通過Ubuntu開源操作系統(tǒng)，采用NVIDIA Jetson TX2 圖像處理器進(jìn)行圖像處理。系統(tǒng)經(jīng)過算法優(yōu)化后，處理器對串口通信模塊初始化配置，選擇合適的傳輸速度，識(shí)別定位系統(tǒng)將幀順序、發(fā)射模式、Pitch 軸偏轉(zhuǎn)角度、Yaw軸偏轉(zhuǎn)角度、目標(biāo)軌道速度等數(shù)據(jù)發(fā)送給下位機(jī)，下位機(jī)傳回給Manifold2 的幀結(jié)構(gòu)體中有控制模式、射速、所處軌道標(biāo)號(hào)、被擊打目標(biāo)等參數(shù)。

3.1 系統(tǒng)精確性結(jié)果分析

本文將機(jī)器人識(shí)別定位系統(tǒng)與待測目標(biāo)裝甲板在靜態(tài)和動(dòng)態(tài)的兩種環(huán)境下進(jìn)行準(zhǔn)確度分析測試，通過視覺識(shí)別程序在Qt Creator 終端，輸出每幀的機(jī)器人定位系統(tǒng)的識(shí)別狀態(tài)。在系統(tǒng)識(shí)別準(zhǔn)確度結(jié)果中，共截取2 333 幀識(shí)別效果圖，如圖9 可知：①幀數(shù)在Frames∈［0，1 250）時(shí)，識(shí)別定位系統(tǒng)機(jī)器人和被識(shí)別目標(biāo)機(jī)器人均處于靜止?fàn)顟B(tài)，其識(shí)別的準(zhǔn)確率達(dá)到100%；②幀數(shù)在Frames∈［1 250，1 785）時(shí)，識(shí)別定位系統(tǒng)機(jī)器人處于靜止?fàn)顟B(tài)，而被識(shí)別目標(biāo)機(jī)器人則是處于運(yùn)動(dòng)的狀態(tài)，識(shí)別準(zhǔn)確率達(dá)到99.6%～99.9%之間；③幀數(shù)在Frames∈［1 785，2 333）時(shí)，識(shí)別定位系統(tǒng)機(jī)器人和別目標(biāo)機(jī)器人均處于運(yùn)動(dòng)狀態(tài)，其準(zhǔn)確率快速下降，但識(shí)別準(zhǔn)確率也達(dá)到97.5%以上。由此表明，雙方機(jī)器人處于運(yùn)動(dòng)狀態(tài)時(shí)，系統(tǒng)識(shí)別定位精確性得到有效提高，可到97.5%，而處于靜止?fàn)顟B(tài)時(shí)精確性則更高。

圖9 系統(tǒng)準(zhǔn)確性結(jié)果

3.2 系統(tǒng)實(shí)時(shí)性結(jié)果分析

本文在提高系統(tǒng)識(shí)別定位的精確性同時(shí)，還對系統(tǒng)實(shí)時(shí)性情況做進(jìn)一步分析測試，實(shí)驗(yàn)共截取2 000幀識(shí)別效果圖進(jìn)行分析，如圖10 所示。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)對識(shí)別的圖形的運(yùn)算處理時(shí)間主要分布在3～10 ms之間；在2 000 幀的圖片中，大于10 ms的幀數(shù)僅有27幀，占比1.35%。系統(tǒng)的實(shí)時(shí)性達(dá)到預(yù)期目標(biāo)。

圖10 系統(tǒng)實(shí)時(shí)性數(shù)據(jù)過程分析

4 結(jié)語

通過對識(shí)別目標(biāo)的視覺元素、顏色特征及目標(biāo)形態(tài)利用光流法及差分圖像二值化閾值濾波算法，對目標(biāo)信息得到精確獲取。通過PnP 目標(biāo)解算方法對特征信息定位的準(zhǔn)確性了優(yōu)化。在提高視覺系統(tǒng)的實(shí)時(shí)性中，采用搭建多線程任務(wù)并發(fā)執(zhí)行框架來提高算法速度以及CPU利用率，將有效數(shù)據(jù)通過串口通信的方式發(fā)送給STM32 控制系統(tǒng)，有效改善了系統(tǒng)對圖像特征點(diǎn)提取速度和提取質(zhì)量。實(shí)驗(yàn)表明：通過優(yōu)化算法，提高了系統(tǒng)的定位實(shí)施性和匹配精度，使移動(dòng)機(jī)器人比賽中對敵方機(jī)器人的特定目標(biāo)識(shí)別的效率及定位的準(zhǔn)確性取得了有效的提升。