李 海，王星馳，田英杰

基于STM32F4的智能分揀機器人設(shè)計與實現(xiàn)

李 海，王星馳，田英杰

（電子科技大學(xué)成都學(xué)院 微電子技術(shù)系，四川 成都 611731）

為實現(xiàn)對快遞包裹進行智能分揀和精準(zhǔn)定位，設(shè)計了一款基于STM32F4+STM32F7的智能分揀機器人。采用OpenMV3攝像頭進行物體信息搜索，使用STM32F7單片機進行圖像數(shù)據(jù)信息處理以及信息發(fā)送，采用STM32F4作為機器人主控芯片，用來進行小車電機控制、自動避障、自動規(guī)劃路線、串口數(shù)據(jù)接收和舵機控制，雙CPU之間采用串口通信，使用四舵機機械臂進行物體的抓取以及搬運。經(jīng)過多次實測，該系統(tǒng)可以精準(zhǔn)識別目標(biāo)物體，然后搬運到指定位置，并且速度快、精度高，可進行大量包裹智能分揀工作。

智能分揀機器人；單片機；傳感器；STM32F4；OpenMV3

隨著電子商務(wù)的飛速發(fā)展，快遞業(yè)成為快速成長的行業(yè)。為降低快遞企業(yè)的人力資源成本、提高快遞包裹的分揀速度、減少人員勞動強度，本文設(shè)計了快遞包裹智能分揀和搬運機器人系統(tǒng)[1]。該系統(tǒng)運用單片機、攝像頭、驅(qū)動電機、四舵機機械臂以及自動控制識別等技術(shù)，實現(xiàn)了道路環(huán)境的檢測、路線的自動規(guī)劃、對目標(biāo)物體的抓取以及自動搬運等功能。經(jīng)過多次實測，該機器人系統(tǒng)抓取精確度高、搬運速度快、抗干擾性強、成本較低，適用于倉庫分揀、物品搬運、全自動人工智能餐廳等作業(yè)。

目前市面上的搬運機器人大多需要有固定的軌道。配套軌道不但增加了設(shè)備成本，而且在物品意外掉落軌道外時，機器人難以處理。本文開發(fā)的機器人系統(tǒng)使用攝像頭進行物體識別，不需要固定的行走路線，對于環(huán)境適應(yīng)性強，對于意外突發(fā)情況的處理能力強[2]。

1 系統(tǒng)的模塊化設(shè)計

智能分揀機器人在軟件和硬件上均采用模塊化設(shè)計，主要由主控模塊、視頻采集模塊、電機驅(qū)動模塊、電源模塊、機械臂模塊組成。系統(tǒng)總體框圖如圖1所示。

1.1 主控制模塊

采用STM32F407單片機作為主控芯片，STM32F765作為輔助控制芯片。由STM32F765控制OpenMV3攝像頭進行圖像數(shù)據(jù)采集，并將數(shù)據(jù)通過串口傳送給STM32F407主控芯片[3]，然后由STM32F407規(guī)劃最佳路線、控制電機實現(xiàn)前進至目標(biāo)物體位置，控制機械臂抓取目標(biāo)物體，并將其放至指定位置。

圖1 系統(tǒng)總體框架圖

1.2 視頻采集模塊

采用OpenMV3攝像頭進行視頻數(shù)據(jù)采集，使用python語言對STM32F765進行編程。OpenMV3攝像頭易于使用，并有大量庫函數(shù)供調(diào)用和修改。視頻數(shù)據(jù)處理原理是：采集的圖像經(jīng)攝像頭內(nèi)的感光組件電路進行處理，轉(zhuǎn)化成為數(shù)字信號供計算機識別[4]，然后由軟件進行圖像還原。在獲取圖像之后，通過查找目標(biāo)物體的形狀和顏色進行目標(biāo)物體識別，在找到目標(biāo)物體之后，在圖片上建立坐標(biāo)系，并將目標(biāo)物體坐標(biāo)經(jīng)串口發(fā)送給STM32F407主控芯片。

1.3 自動避障模塊

智能分揀機器人采用單目攝像頭和紅外對管組成雙避障系統(tǒng)，可以最大限度地發(fā)現(xiàn)和識別障礙物并進行避讓。自動避障模塊可以選用參考物，利用參考物的尺寸比例計算與目標(biāo)物體的距離[5]。紅外對管測距原理是通過改變電位器修改紅外線反射距離，通過改變單片機引腳電平來傳遞障礙物信息[6]。

1.4 電機驅(qū)動模塊

選用帶編碼器的直流減速電機，通過調(diào)節(jié)PWM波的占空比來控制電機的轉(zhuǎn)速。電機與STM32F4之間的連接如圖2所示。

圖2 電機驅(qū)動電路圖

1.5 機械臂模塊

使用四舵機機械臂，第一個舵機控制機械臂爪的豎直轉(zhuǎn)向，第二個舵機控制機械臂爪的彎曲程度，第三個舵機控制機械臂爪的水平轉(zhuǎn)向，第四個舵機控制機械臂爪的開合。

1.6 電源模塊

電源模塊為單電源供電模式，采用16.8 V的航模電池供電，通過2個LM2596降壓模塊將電壓降至5 V和3.3 V，分別給傳感器和單片機供電[7]。該供電方式可以保證機器人有一定的續(xù)航時間。如果要增加機器人的工作時間，可以用更大容量的電池替換航模電池，并且替換快捷、方便。降壓電路如圖3所示。

2 軟件系統(tǒng)的設(shè)計

智能分揀機器人軟件設(shè)計主要包含攝像頭圖像采集、目標(biāo)距離識別、舵機控制、電機驅(qū)動和自動避障等模塊的編程。

2.1 攝像頭測距算法

攝像頭有兩方面的作用：一是監(jiān)測物體，測出物體與小車之間的距離；二是識別物體的形狀和大小。

圖3 降壓電路

攝像頭測距原理如圖4所示。

在攝像頭與鏡頭中，m是鏡頭與攝像頭的距離

根據(jù)式（1）和式（2）可以得到：

在真實環(huán)境中，幾何關(guān)系為：

圖4 攝像頭測距原理圖

將公式（4）代入式（3），得：

即：實際距離和攝像頭里的像素成反比，簡化后，距離等于一個常數(shù)與直徑的像素的比值。通過這種算法可以得到機器人與目標(biāo)物體之間的實際距離。根據(jù)對目標(biāo)距離的計算可以得出測距的核心Python源碼。

2.2 物體形狀和顏色識別算法

首先，攝像頭獲取要分揀和搬運的目標(biāo)物體的圖像，然后對目標(biāo)物體進行LAB顏色識別，獲取目標(biāo)物體的顏色組合。獲得顏色組合后再由攝像頭獲取目標(biāo)物體的形狀，將獲得的目標(biāo)圖像通過9×9均值濾波器進行去噪[8]，然后二值化圖像，得到對應(yīng)圖像的數(shù)據(jù)進行編程計算。二值化圖像和二值化算法Python源碼如圖5所示。

(a) 目標(biāo)原始圖像(b) 目標(biāo)二值化圖像(c) 二值化算法源碼

其中image.binary(thresholds[,invert=False[,zero= False[,mask=None[,to_bitmap=False[,copy=False]]]]])函數(shù)根據(jù)像素是否在閾值列表thresholds的閾值內(nèi)，將圖像中的所有像素設(shè)置為黑色或白色。thresholds 必須是[(lo, hi), (lo, hi), …, (lo, hi)]定義要追蹤的顏色范圍。對于灰度圖像，每個元組需要包含最小灰度值和最大灰度值。本文僅考慮落在這些閾值之間的像素區(qū)域。對于RGB565圖像，每個元組需要有6個值(l_lo，l_hi，a_lo，a_hi，b_lo，b_hi)，分別是 L、A和B通道的最小值和最大值。為方便使用，此功能將自動修復(fù)交換的最小值和最大值。

如果元組大于6個值，則忽略其余值；相反，如果元組太短，則假定其余閾值處于最大范圍。然后提取目標(biāo)邊框信息，采集棱角數(shù)量、直線數(shù)量以及分布在像素點上的相對坐標(biāo)。在記錄目標(biāo)圖形特征之后，使用攝像頭重新獲取圖片，與目標(biāo)物體進行相同的算法處理，然后記錄所獲得的棱角數(shù)量、直線數(shù)量以及分布在像素點上的相對坐標(biāo)。如果與之前記錄的數(shù)據(jù)成比例，則識別成功。

2.3 機器人控制與檢測

運用狀態(tài)機的編程思路，設(shè)立狀態(tài)標(biāo)志位。小車有尋找目標(biāo)、抓取目標(biāo)和搬運3種狀態(tài)。在系統(tǒng)初始化結(jié)束后，默認標(biāo)志位為1，定義為尋找目標(biāo)狀態(tài)；在找到目標(biāo)之后更改標(biāo)志位為2，定義為抓取目標(biāo)狀態(tài)；在抓取目標(biāo)成功后，狀態(tài)標(biāo)志位修改為3，定義為搬運目標(biāo)狀態(tài)。

2.4 程序流程圖

智能分揀機器人系統(tǒng)工作流程如圖6所示。

圖6 系統(tǒng)流程圖

系統(tǒng)上電后先進行初始化，機器人原地旋轉(zhuǎn)尋找目標(biāo)物體。在發(fā)現(xiàn)目標(biāo)物體后，向目標(biāo)物體行進，在到達離物體設(shè)定距離時，使用機械臂抓取目標(biāo)物體，然后將物體放到指定位置。機器人在行進途中遇到非目標(biāo)物體障礙物時，將重新規(guī)劃路線以繞過障礙物。

2.5 電機驅(qū)動調(diào)速代碼

本設(shè)計通過調(diào)節(jié)PWM波的占空比來調(diào)節(jié)電機轉(zhuǎn)速[9-10]，通過控制兩個電機的轉(zhuǎn)速來控制機器人左轉(zhuǎn)右轉(zhuǎn)。機器人行駛控制代碼如下：

3 實物測試與結(jié)果

3.1 測試方案

（1）先進行硬件電路的檢測，確保電路無虛焊、漏焊；然后進行模塊測試，確保各個模塊的參數(shù)傳送正確。各個模塊的功能確保無誤后，進行系統(tǒng)的整體軟硬件聯(lián)調(diào)，確保各個整體系統(tǒng)連接的正確性。

（2）設(shè)定目標(biāo)物體，將符合算法的顏色及形狀的物體進行無規(guī)則位置擺放，并指定最終目標(biāo)區(qū)域；在機器人行進路徑上放置障礙物，檢測機器人自動避障功能；設(shè)立干擾目標(biāo)物，檢測機器人識別抓取目標(biāo)的準(zhǔn)確性。

3.2 測試結(jié)果

經(jīng)過多次測試，智能分揀機器人總體性能良好，OpenMV3攝像頭獲取圖片后可以準(zhǔn)確提取有效信息，精準(zhǔn)識別目標(biāo)物體并且排除干擾項，成功建立平面直角坐標(biāo)系并將目標(biāo)物體坐標(biāo)通過串口傳送至主控芯片。主控芯片能夠準(zhǔn)確地控制電機，使機器人行進至距離目標(biāo)物體指定的位置，并控制機械臂進行目標(biāo)物抓取，抓取目標(biāo)后通過識別標(biāo)志物將物體放置在指定位置。機器人在行進途中遇到障礙物可以重新規(guī)劃路線并成功避開障礙物[11-12]。

4 結(jié)語

基于STM32F4的智能分揀機器人采用OpenMV3攝像頭，可以實現(xiàn)目標(biāo)追蹤，采用STM32F407和STM32F765雙處理器處理數(shù)據(jù)，使數(shù)據(jù)的處理不會互相干擾。通過實驗測試，該智能機器人可以良好地實現(xiàn)分揀功能，且運行穩(wěn)定性好、抗干擾能力強。

[1] 金琦淳，任俊，袁明新，等.復(fù)雜競賽任務(wù)中的自動分揀搬運機器人系統(tǒng)設(shè)計[J]. 輕工機械，2019, 37(2): 17–23, 28.

[2] 馬文凱，吳耀華，吳穎穎，等. 基于進化算法的跨巷道多層穿梭車倉儲系統(tǒng)的研究[J]. 機械工程學(xué)報，2019, 55(8): 216–224.

[3] 賈英輝，耿濤，徐光憲，等. 基于STM32的多氣體傳感器檢測光傳輸創(chuàng)新實驗系統(tǒng)設(shè)計[J]. 實驗技術(shù)與管理，2018, 35(7): 31–33.

[4] 宮浩，張秀再，胡敬鋒. 一種基于深度學(xué)習(xí)的遙感圖像分類及農(nóng)田識別方法[J]. 現(xiàn)代電子技術(shù)，2019(8): 179–182, 186.

[5] 韓團軍. 基于STM32RCT6的無線地面智能排障小車的設(shè)計[J]. 實驗技術(shù)與管理，2018, 35(6): 151–155.

[6] 杜青，喬延華，韓淼，等. 基于金屬檢測的智能循跡小車設(shè)計[J]. 現(xiàn)代電子技術(shù)，2018, 41(17): 119–122.

[7] 艾皖東，盧浩，陳振斌，等. 基于導(dǎo)航系統(tǒng)的自動尋跡智能小車研究[J]. 汽車技術(shù)，2018(5): 1–5.

[8] 顏珂斐，杜娥. 物聯(lián)網(wǎng)智能家居的遠程視頻監(jiān)控系統(tǒng)設(shè)計[J]. 實驗技術(shù)與管理，2018, 35(3): 151–153.

[9] 楊建民，趙玫，楊洪勇，等. 電磁導(dǎo)航智能尋跡小車方向控制算法的分析與應(yīng)用[J]. 科學(xué)技術(shù)與工程，2016, 16(33): 71–78.

[10] 劉龍，李建奇，魏光宇，等. 基于圖像識別的自主尋跡智能小車設(shè)計[J]. 湖南文理學(xué)院學(xué)報（自然科學(xué)版），2016, 28(3): 62–66, 70.

[11] 陳小中，冒志建. 高校智能視頻監(jiān)控實訓(xùn)平臺設(shè)計探究[J]. 實驗室研究與探索，2019, 38(1): 128–132.

[12] 湯知日，常勝. 機器學(xué)習(xí)FPGA硬件實驗設(shè)計[J]. 實驗技術(shù)與管理，2018, 35(12): 152–155.

Design and realization of intelligent sorting robot based on STM32F4

LI Hai, WANG Xingchi, TIAN Yingjie

(Department of Microelectronics Technology, Chengdu University of Electronic Science and Technology, Chengdu 611731, China)

In order to realize the intelligent sorting and precise positioning of parcels,an intelligent sorting robot based on STM32F4+STM32F7 is designed. The OpenMV3 camera is used for object information search, and the STM32F7 SCM is adopted for image data processing and information transmission, STM32F4 is used as the main control chip of the robot, which is used for car motor control, automatic obstacle avoidance, automatic route planning, serial data reception, steering gear control, and serial communication between two CPUs. Four steering gear manipulators are applied to grasp and carry objects. After many tests, the system can accurately identify the target object and then move it to the designated location. It has high speed and precision and can carry out a large amount of intelligent parcel sorting work.

intelligent sorting robot; SCM; sensor; STM32F4; OpenMV3

TN02-34

A

1002-4956(2019)10-0155-04

10.16791/j.cnki.sjg.2019.10.037

2019-04-16

四川省教育廳2018年科研項目（18ZB0245）

李海（1986—），男，四川通江，碩士，講師，主要從事人工智能和智能控制的研究工作。