趙晨曦 陳海龍 唐為浩 付晨 劉鑫慧 傅懷梁

開發(fā)設(shè)計

基于OpenMV的四足巡線機器人算法設(shè)計*

趙晨曦1陳海龍2唐為浩1付晨1劉鑫慧1傅懷梁1

（1.南通大學張謇學院，江蘇 南通 226000 2.南通大學交通與土木工程學院，江蘇 南通 226000）

四足機器人是足式機器人的典型代表，其仿生性強、結(jié)構(gòu)簡單。針對四足巡線機器人運動過程中，路徑識別與跟蹤存在識別率低、易受干擾、解算周期長等問題，在圖像處理模塊OpenMV基礎(chǔ)上，提出特征點檢測與線性回歸法相結(jié)合的方法，對地面標識線進行識別與跟蹤控制，提高了四足機器人巡線的精度、速度及抗干擾性能。

四足巡線機器人；OpenMV；線性回歸；特征點檢測；路徑識別與跟蹤

0　引言

隨著工業(yè)4.0進程的不斷推進，能夠自主移動的各類機器人被廣泛應(yīng)用于工業(yè)生產(chǎn)及生活中，典型代表有工業(yè)AGV小車、餐廳送餐機器人、導游機器人等。四足機器人是一種典型的多足式機器人，具有結(jié)構(gòu)可變、機動性強、控制容易、運動靈活等特點，在跨越障礙、適應(yīng)地形方面有較大優(yōu)勢[1]；在巡檢、勘察、娛樂等領(lǐng)域有較大的發(fā)展空間。

為進一步拓展四足機器人的應(yīng)用領(lǐng)域，本文以四足機器人巡線送快遞為研究背景。目前，已有科研人員對機器人巡線進行研究：文獻[3]利用線性回歸算法進行路徑識別，并通過PID算法不斷修正無人機方向，從而實現(xiàn)路徑跟蹤；文獻[4]對目標路徑實行多段標記，通過權(quán)重加和算法與線性回歸得出小車偏移量，對彎道識別有較好效果；文獻[5]提出“連點成線”的巡線方法，通過中值濾波方法對圖像進行處理，去除地面噪點后，重新將有效路徑點連接成線并進行跟蹤，提高了系統(tǒng)的抗干擾性能。上述文獻對常規(guī)無人小車、無人機等巡線功能做了深入研究，并取得一定成果。但因四足機器人與無人小車及無人機在行進的結(jié)構(gòu)和方向上都存在不同，以上方法并不能完全適用于四足巡線機器人，因此本文針對四足巡線機器人行進時的路徑識別與跟蹤問題進行重點研究。

1　機器人總體搭建與構(gòu)成

本文采用的四足巡線機器人本體自主設(shè)計，結(jié)構(gòu)框圖如圖1所示。

圖1　機器人總體結(jié)構(gòu)框圖

其中，姿態(tài)控制器采用32位低成本處理器STM32控制器；機器人本體由12個舵機關(guān)節(jié)組成，并使用9軸陀螺儀進行姿態(tài)反饋，可實現(xiàn)原地踏步、小跑、前進后退，左右平移等動作，滿足機器人路徑跟蹤的基本要求。

1.1　機器人本體

四足巡線機器人站立高度為19.2 cm，整體重量為3.5 kg，機身采用PLA材質(zhì)3D打印而成，如圖2所示。

圖2　四足巡線機器人本體側(cè)視圖

四足巡線機器人每條腿都有3個自由度，可通過側(cè)擺關(guān)節(jié)、大腿關(guān)節(jié)、小腿關(guān)節(jié)的不同動作組合實現(xiàn)機器人前進、后退與轉(zhuǎn)彎等動作。

在四足巡線機器人腹部中間的固定板上安裝圖像處理模塊OpenMV，安裝高度約為15 cm。該安裝方式不僅能降低機身擺動對OpenMV的影響，還能保證四足巡線機器人獲得足夠的前瞻性視角，以識別5～25 cm范圍內(nèi)的清晰路徑圖像。

1.2　圖像處理單元

圖像處理單元采用開源的OpenMV，其集成了OV7725攝像頭芯片[4]，采集四足巡線機器人路徑圖像，并利用STM32H427CPU處理器進行圖像處理與分析。為減少計算量，圖像采集的分辨率為QQQVGA（80×60）。四足巡線機器人路徑采集圖像示例如圖3所示。

圖3　四足巡線機器人路徑采集圖像示例

2　算法設(shè)計

2.1　線性回歸算法

線性回歸算法對二值化后的圖像進行處理，首先，通過Otsu大津算法對四足巡線機器人路徑采集圖像中的關(guān)鍵色塊進行二值化預處理[7]；然后，利用findbloks算法搜索視野中所有符合閾值的色塊，并篩選出最大的色塊作為目標路徑；最后，對目標路徑線性回歸得出擬合直線方程，計算水平偏移量與角度偏移量，并將偏移量發(fā)給STM32控制器，實現(xiàn)對四足巡線機器人行進方向矯正。OpenMV線性回歸算法流程圖如圖4所示。

圖4　OpenMV線性回歸算法流程圖

線性回歸計算具體過程如下：

1）以四足巡線機器人視野左上角為坐標系原點建立坐標系，設(shè)四足巡線機器人視野中心點坐標為（0,0），待擬合直線角度為line.theta，目標路徑水平偏移量為，角度偏移量為theta_err，如圖5所示；

圖5　四足巡線機機器人視野示意圖

2）利用get_regression函數(shù)得到line.theta()角度值及擬合直線的2個頂點坐標（1,1）、（2,2）；

3）通過坐標變換得到擬合直線相對于視野中心垂直豎線的角度即角度偏移量theta_err，角度變換過程如下：

if line.theta()>90:

else:

theta_err = line.theta()

4）根據(jù)擬合直線的2個頂點坐標（1,1）、（2,2），計算擬合直線點斜式的方程為

該算法易受光線及路面反光影響，且當視野中有多條路徑或有“人”字形路徑時，容易出現(xiàn)路徑提取錯誤，因此，需結(jié)合特征點檢測算法進行路徑識別。

2.2　特征點檢測算法

既定目標的檢測和提取常用模板匹配和特征點檢測2種算法。機器人行進是一個動態(tài)過程，受環(huán)境影響較大，且每次到達目標位置時，攝像頭與之距離和角度均不一致。模板匹配算法，需提前對同一特征保存多種角度圖像，降低了OpenMV運行速度，影響巡線效果。特征點檢測算法對圖像角度、亮度等依賴性較小，因此，本文采用特征點檢測算法輔助機器人進行路徑識別。

首先，提取四足巡線機器人路徑特征點，即利用find_keypoints函數(shù)的Fast角點檢測器提取路徑的關(guān)鍵點（路徑角點），并用空心圓圈標出，如圖6所示；然后，利用save_descriptor函數(shù)將提取關(guān)鍵點后的路徑圖像保存至OpenMV的SD卡中；接著，在機器人行進過程中，OpenMV不斷拍攝當前視野中的圖像，并對圖像進行特征點檢測，與之前保存在SD卡中的圖像進行特征點比對，利用match_ count（）函數(shù)輸出2幅圖像的近似特征點個數(shù)，當個數(shù)大于設(shè)定值3時，判定當前圖像為目標路徑；最后，與線性回歸算法相結(jié)合，對目標路徑進行回歸、擬合處理，得出偏移量，控制機器人正確運動。特征點檢測流程如圖7所示。

圖6　十字路口的特征點提取

圖7　特征點檢測流程

在利用find_keypoints函數(shù)提取路徑特征點過程中，需要對參數(shù)Scale_factor進行調(diào)整，Scale_factor越大，OpenMV運行越快；Scale_factor越小，則OpenMV運行越慢，但圖像匹配度會相應(yīng)變好。因此，選擇合適的Scale_factor值，在兼顧幀率的同時可提高特征點檢測精度。經(jīng)實驗發(fā)現(xiàn)，Scale_factor取1.4左右時，OpenMV圖像處理達到最佳狀態(tài)。

特征點檢測算法可直接對四足巡線機器人路徑原始采集圖像進行處理，能避免地面反光、噪點等干擾。但特征點檢測算法無法實現(xiàn)路徑的偏差分析，因此，本文利用特征點檢測算法與線性回歸算法相結(jié)合的方式實現(xiàn)路徑識別。

2.3　基于特征點檢測的線性回歸算法

基于特征點檢測的線性回歸算法的主要思想：首先，利用特征點檢測算法，快速定位四足巡線機器人視野中的直線、彎道、十字路口、人形分岔口等關(guān)鍵路徑元素，并利用方框?qū)ο嚓P(guān)元素進行框選；然后，將目標框在視野坐標系中的偏移量與框內(nèi)路徑元素的線性回歸偏移量進行疊加后，得到機器人相對路徑的實際偏移量，以實現(xiàn)機器人對不同路徑的識別與篩選，具體流程如下：

1）四足巡線機器人啟動前，利用OpenMV拍攝目標路徑各路段的具體特征，并保存至OpenMV；

2）四足巡線機器人啟動后，利用特征點檢測算法掃描視野中的目標路徑；

3）對目標路徑進行色塊框選，得到色塊方框在視野坐標系中的坐標；

4） 對方框內(nèi)的色塊線性回歸，得到框內(nèi)路徑的偏移量；

5）將方框坐標與路徑偏移量疊加，由OpenMV通過串口向STM32控制器發(fā)送圖像處理結(jié)果，控制四足巡線機器人運動。

3　算法測試與分析

為驗證基于特征點檢測的線性回歸算法的可行性，定制具有直道、彎道、十字路口的地圖，并在地圖上設(shè)置簡易樓梯、紙團以及與路徑顏色類似的干擾物。將四足巡線機器人置于地圖中，觀察OpenMV攝像頭返回的圖像處理情況與機器人實際巡線效果，并測試燈光、顏色對四足巡線機器人路徑識別的影響。

3.1　算法測試

針對巡線功能，若僅采用線性回歸算法，在視野局限下，識別簡單路徑可得到不錯效果。但隨著路徑復雜化，機器人移動速度加快，當視野中出現(xiàn)多條路徑，且有障礙物時，僅采用線性回歸算法易造成視覺誤判，誤將所有符合設(shè)定閾值的像素點均進行線性回歸，使擬合直線與實際路徑大相徑庭。

針對上述問題，運用特征點檢測算法，能有效排除形狀不符合要求的色塊，避免視野中其他物體的干擾，降低了燈光、顏色對四足巡線機器人的影響。采用線性回歸算法與基于特征點檢測的線性回歸算法的路徑識別效果對比如圖8所示。

由圖8可知，結(jié)合了特征點檢測的線性回歸算法能夠更精準地識別路徑，排除干擾物，達到較好效果。

3.2　實驗對比與分析

在測試路徑識別算法過程中，遇到的主要問題是丟線和無法正確識別路徑。針對丟線問題，在每拍攝一幅圖像后，便將其返回的偏差量與角度值保存在數(shù)組中，一旦發(fā)現(xiàn)視野中沒有色塊，便繼續(xù)聽從上一幅圖像指揮，直至出現(xiàn)色塊。

針對由于反光以及周圍干擾因素過多，導致機器人無法正確識別路徑的問題，在OpenMV的攝像頭中增加濾光片，并調(diào)整攝像頭位置，使路徑識別效果有顯著提升，實驗測試效果如圖9、圖10所示。

圖9　四足巡線機器人實際路徑識別效果圖

圖10　四足巡線機器人總體測試效果圖

由圖9、圖10可知，算法優(yōu)化后，硬件設(shè)計也會對四足巡線機器人路徑識別的效果產(chǎn)生影響。雖然采用基于特征點檢測的線性回歸算法可以識別路徑，但是需增加濾光片才能有效解決光線干擾問題。

4　結(jié)語

本文根據(jù)四足巡線機器人行進特點提出基于特征點檢測的線性回歸算法。實驗結(jié)果表明：先在視野中尋找最大色塊再線性回歸可有效避免干擾物影響；結(jié)合特征點檢測算法可提高四足巡線機器人路徑識別與跟蹤的準確性。

[1] 汪世慶,單鑫,劉逸馳.四足機器人的發(fā)展現(xiàn)狀及趨勢[J].造紙裝備及材料,2020,49(4):227-228.

[2] 陳超,鄭彥寧,江鵬,等.基于兩自由度模塊化關(guān)節(jié)的巡線機器人設(shè)計[J].儀器儀表學報,2014,35(S2):28-35.

[3] 劉軒宇,李浩陽,胡子琨.基于OpenMV的自動巡線無人機研究[J].電子測試,2021(12):18-19.

[4] 李思熠,王少坤.基于OpenMV和Arduino的智能巡線機器人[J].科技與創(chuàng)新,2020(22):50-53.

[5] 歐寒芝,匡盈霏,丁慧玉,等.一種機器視覺巡線避障小車的設(shè)計[J].電腦與信息技術(shù),2022,30(2):13-17.

[6] 張文青,龍奕帆.基于OpenMV視覺模塊的智能小車巡線系統(tǒng)設(shè)計[J].集成電路應(yīng)用,2021,38(10):232-233.

[7]沈中坤,徐勁節(jié).基于OpenMV視覺模塊和MPU6050角度傳感器的智慧尋路小車[J].電子制作,2022,30(3):28-30,19.

[8]張宇成,王潮涌.基于STM32和OpenMV的圖形識別與測量系統(tǒng)[J].電子測試,2021(15):43-46.

[9] 夏勝杰,楊昊,艾偉清.基于Arduino單片機和OpenMV的顏色目標定位與跟蹤小車的設(shè)計與實現(xiàn)[J].常熟理工學院學報,2021,35(5):59-64.

[10] 易靜,李光,薛晨慷,等.四足機器人Trot步態(tài)偏航分析及其控制[J].機械與電子,2022,40(3):58-64.

[11] 張偉,譚文浩,李貽斌.基于深度強化學習的四足機器人運動控制發(fā)展現(xiàn)狀與展望[J].山東大學學報(醫(yī)學版), 2020,58(8):61-66.

[12] 李琳,薛澤浩,蔡蒂,等.管道內(nèi)壁四足爬壁機器人的運動學與步態(tài)規(guī)劃[J].浙江大學學報(工學版),2021,55(12): 2286-2297.

[13] 張良安,唐鍇,李鵬飛,等.基于復合擺線軌跡的四足機器人穩(wěn)定性分析[J].江蘇大學學報(自然科學版),2022, 43(1):62-66,74.

[14] 毛先胤,呂黔蘇,馬曉紅,等.基于雙目視覺的電力線巡檢機器人障礙物定位測距[J].自動化與儀器儀表,2021(9): 244-248.

[15] 毛先胤,劉宇,馬曉紅,等.基于SSD算法的電力巡線機器人障礙物識別[J].自動化與儀器儀表,2020(5):45-48.

[16] 縱懷志,張軍輝,張堃,等.液壓四足機器人元件與液壓系統(tǒng)研究現(xiàn)狀與發(fā)展趨勢[J].液壓與氣動,2021,45(8):1-16.

Algorithm Design of Quadruped Line Inspection Robot Based on OpenMV

ZHAOChenxi1CHENHailong2TANGWeihao1FUChen1LIUXinhui1FUHuailiang1

(1.Zhang Jian College, Nantong University, Nantong 226000, China 2.School of Transportation and Civil Engineering, Nantong University, Nantong 226000, China)

Quadruped robot is a typical representative of quadruped robot, which has strong bionics and simple structure. Aiming at the problems of low recognition rate, easy interference and long calculation cycle of path recognition and tracking during the movement of quadruped line patrol robot, a method combining feature point detection and linear regression is proposed on the basis of image processing module OpenMV to recognize and track the ground marking line, which improves the accuracy, speed and anti-interference performance of quadruped line patrol robot.

quadruped line patrol robot; OpenMV; linear regression; feature point detection; path recognition and tracking

趙晨曦,陳海龍,唐為浩,等.基于OpenMV的四足巡線機器人算法設(shè)計[J].自動化與信息工程,2022,43(3):31-36.

ZHAO Chenxi, CHEN Hailong, TANG Weihao, et al. Algorithm design of quadruped line inspection robot based on OpenMV[J]. Automation & Information Engineering, 2022,43(3):31-36.

TP242.6

A

1674-2605(2022)03-0006-06

10.3969/j.issn.1674-2605.2022.03.006

江蘇省高等學校省級創(chuàng)新創(chuàng)業(yè)訓練計劃項目（202010304181H）

趙晨曦，女，2000年生，本科，學生，主要研究方向：電氣工程及其自動化。E-mail: 1328464346@qq.com

陳海龍（通信作者），男，1986年生，工學碩士，實驗師，主要研究方向：電氣自動化控制，嵌入式，智能機器人。E-mail: hilong521@163.com

唐為浩，男，2001年生，本科，學生，主要研究方向：電氣工程及其自動化。E-mail: 1739055918@qq.com

付晨，男，2001年生，本科，學生，主要研究方向：電氣工程及其自動化。E-mail: 1713952775@qq.com

劉鑫慧，女，2002年生，本科，學生，主要研究方向：電氣工程及其自動化。E-mail: 2364132501@qq.com

傅懷梁，男，1979年生，博士，副研究員，主要研究方向：凝聚態(tài)物理學。E-mail:16807901@qq.com