郭小沛, 雷 斌, 樊 力, 韓 曉

(武漢科技大學(xué) 機(jī)械自動(dòng)化學(xué)院,湖北 武漢 430081)

0 引 言

目前的智能機(jī)器獲取外界信息的主要方式是紅外線[1～3]、雷達(dá)[4]、超聲波[5]等，這些方式在動(dòng)態(tài)環(huán)境下的處理能力有限，復(fù)雜的背景、移動(dòng)的物體、快速變化的環(huán)境光為機(jī)器人的自主運(yùn)行帶來困難，產(chǎn)生的大量噪聲使其喪失實(shí)時(shí)處理和快速反應(yīng)的能力。在不需要對(duì)場景進(jìn)行詳細(xì)的內(nèi)部表征的情況下，視覺可以在與系統(tǒng)相關(guān)的視覺行為的背景下得到最好的理解[6]。然而，將視覺系統(tǒng)廉價(jià)高效地應(yīng)用于智能機(jī)器上，尤其是微型機(jī)器，依然是一件不容易的事。

生物視覺神經(jīng)網(wǎng)絡(luò)在自然界中已經(jīng)進(jìn)化了數(shù)百萬年，并且在現(xiàn)實(shí)世界中運(yùn)行完美，它可能是設(shè)計(jì)人工視覺系統(tǒng)的理想模型。視覺能為自然界中的動(dòng)物提供大量環(huán)境信息，同樣也為移動(dòng)機(jī)器人在非結(jié)構(gòu)化環(huán)境下的避碰帶來靈感[7]。自然界中的昆蟲視覺系統(tǒng)相對(duì)于人類而言結(jié)構(gòu)簡單，卻依然可以為其避開天敵以及同類提供有效線索。例如，蝗蟲視覺系統(tǒng)中的小葉巨型運(yùn)動(dòng)探測器(lobula giant movement detector,LGMD)[8]能對(duì)接近的物體產(chǎn)生快速的反應(yīng)，經(jīng)過數(shù)百萬年的進(jìn)化，對(duì)動(dòng)態(tài)環(huán)境的應(yīng)對(duì)是可靠而有效的。近幾十年，隨著對(duì)LGMD網(wǎng)絡(luò)電生理學(xué)的研究[9]以及傳入通路的揭示，使得模型的建立成為可能。1996年，Rind F C和Bramwell D I首次開發(fā)了基于LGMD輸入通路的功能神經(jīng)網(wǎng)絡(luò)[8]，其具有與蝗蟲視覺系統(tǒng)相似的特性，并于2000年在仿真軟件IQR421上進(jìn)行了離線測試[10]。2006年，Yue S G和Rind F C[11]在LGMD網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，引入特征增強(qiáng)的GD層，通過分組激勵(lì)來增>強(qiáng)檢測目標(biāo)的擴(kuò)展邊緣,提升了LGMD膜電位的區(qū)分度。2009年，Yue S G等人[12]將LGMD應(yīng)用于雙目視覺系統(tǒng)，每一個(gè)攝像頭對(duì)寬視場中的一部分進(jìn)行處理，最后比較左右LGMD網(wǎng)絡(luò)的輸出，并將其轉(zhuǎn)換為可執(zhí)行的電機(jī)命令，然而，該網(wǎng)絡(luò)是采用MathWorks編寫，利用PC計(jì)算的。2014年，Hu C等人[13]將基于分組激勵(lì)的LGMD網(wǎng)絡(luò)應(yīng)用于嵌入式微系統(tǒng)STM32F4上，進(jìn)行了離線和實(shí)物測試，并于2016年擴(kuò)展了實(shí)驗(yàn)，提升了系統(tǒng)的魯棒性[14],然而，其成本和耗費(fèi)資源依然較高。

本文設(shè)計(jì)了一種低成本視覺系統(tǒng)，通過簡化LGMD模型，降低輸入圖像的灰度等級(jí)，并采用更加緊湊的存儲(chǔ)方式，使其占用的空間和資源更小，并成功應(yīng)用于STM32F1嵌入式系統(tǒng)上，進(jìn)一步降低了微機(jī)器人應(yīng)用視覺網(wǎng)絡(luò)的成本。通過離線測試，檢測了LGMD網(wǎng)絡(luò)的關(guān)鍵膜電位，分析了相互關(guān)系，驗(yàn)證了該系統(tǒng)的魯棒性、實(shí)時(shí)性和有效性。為視覺系統(tǒng)的低功耗、低成本應(yīng)用奠定了基礎(chǔ)，有利于微機(jī)器人動(dòng)態(tài)環(huán)境下的自主運(yùn)行，同時(shí)可用于群機(jī)器人實(shí)驗(yàn)平臺(tái)研究。

1 簡化的LGMD算法

圖1為本文所采用的LGMD網(wǎng)絡(luò)架構(gòu),該神經(jīng)網(wǎng)絡(luò)模型由5層神經(jīng)元細(xì)胞(P層，E層，I層，S層，G層)，LGMD神經(jīng)元，前饋抑制(feedforward inhibitory,FFI)神經(jīng)元構(gòu)成，在物體靠近時(shí)，其擴(kuò)張邊緣不斷增加，LGMD神經(jīng)元能夠靈敏捕捉這一變化，產(chǎn)生碰撞檢測的信號(hào)。為了降低算法運(yùn)算耗費(fèi)的資源，在P層去掉了需要大量指數(shù)運(yùn)算的部分[15]。

圖1 LGMD網(wǎng)絡(luò)架構(gòu)

1)P層

P層是LGMD網(wǎng)絡(luò)的輸入層，即光感受器細(xì)胞層，代表著輸入圖像相鄰幀的亮度變化。P層每一個(gè)像素點(diǎn)模擬自然界中蝗蟲的一個(gè)視覺元細(xì)胞。定義如式(1)

Pf(x,y)=Lf(x,y)-Lf-1(x,y)

(1)

式中f為視頻幀數(shù),L為灰度圖像的灰度值,(x,y)為像素點(diǎn)的位置坐標(biāo)。

2)E層，I層

P層細(xì)胞的輸出作為下一層細(xì)胞的輸入，它們分別是E層(興奮細(xì)胞層)和I層(抑制細(xì)胞層)。當(dāng)前幀P層的輸出，直接傳遞給E層，如式(2),上一幀P層輸出進(jìn)行卷積運(yùn)算后得到 I層,計(jì)算方式如式(3)

Ef(x,y)=Pf(x,y)

(2)

[I]f=[P]f?[w]I

(3)

(4)

式中Ef(x,y)為E層膜電位，[I]f為I層膜電位,[w]I為局部抑制權(quán)重。

3)S層

S層是合并細(xì)胞層，將I層抑制效果作用于E層上，削減E層膜電位如式(5)，其中,Sf(x,y)為S層抑制系數(shù)，WI為抑制權(quán)重系數(shù)

Sf(x,y)=Ef(x,y)-If(x,y)×WI

(5)

4)G層

G層是分組細(xì)胞層，通過組效應(yīng)強(qiáng)化擴(kuò)展邊緣，使孤立的像素點(diǎn)退化，提升LGMD膜電位判別準(zhǔn)確度與分辨率。G層膜電位計(jì)算方式如(6)

Gf(x,y)=Sf(x,y)Cef(x,y)ω-1

(6)

式中Gf(x,y)為G層膜電位,Sf(x,y)為S層膜電位，Cef(x,y)為單位細(xì)胞傳遞系數(shù),ω為一個(gè)標(biāo)量,傳遞系數(shù)Cef(x,y)為S層膜電位和[w]e卷積核共同作用的結(jié)果,傳遞系數(shù)，卷積核和標(biāo)量的定義如式(7)～式(9)

[Ce]f=[S]f?[w]e

(7)

(8)

(9)

(10)

5)LGMD

LGMD的膜電位是G層細(xì)胞膜電位的總和，Kf的計(jì)算如式(11)，其刺激值采用Sigmoid激活函數(shù)，映射范圍在[0.5,1],如式(12)所示

(11)

(12)

若Kf大于設(shè)定閾值Ts,則視為接收到一個(gè)刺激值Sf,如式(13),若連續(xù)nts幀檢測到刺激值，則視為即將發(fā)生碰撞，判別方式如式(14)

(13)

(14)

6)FFI神經(jīng)元

FFI神經(jīng)元起到對(duì)G層膜電位的抑制作用，當(dāng)機(jī)器人的瞬間轉(zhuǎn)動(dòng)和電機(jī)噪聲導(dǎo)致成像畫面發(fā)生劇烈抖動(dòng)，也會(huì)使G層達(dá)到觸發(fā)閾值，為了提升系統(tǒng)魯棒性，引入FFI神經(jīng)元對(duì)于誤檢測的碰撞進(jìn)行判斷并取消刺激，計(jì)算細(xì)胞的整體閾值變化Ff，如式(15)，若超過設(shè)定值TFFI,則視為發(fā)生一次碰撞誤檢測，如式(16)

(15)

(16)

2 低成本視覺系統(tǒng)硬件設(shè)計(jì)

2.1 總體設(shè)計(jì)

LGMD系統(tǒng)硬件主要包含移動(dòng)機(jī)器人底盤和視覺模塊兩個(gè)部分。Hu C等人[13]采用ATMEL AVR控制微型移動(dòng)機(jī)器人的底盤，采用STM32F4控制器控制視覺模塊。本文采用單個(gè)微處理器STM32F103對(duì)兩個(gè)模塊進(jìn)行控制，提高了系統(tǒng)的集成度，進(jìn)一步降低功耗與成本。圖2(a)為微機(jī)器人整體。

圖2 LGMD視覺系統(tǒng)硬件設(shè)計(jì)

2.2 底盤部分

底盤部分為微機(jī)器人提供了基本的運(yùn)動(dòng)功能，主要包含N 20減速電機(jī)和驅(qū)動(dòng)模塊。減速電機(jī)尺寸12 mm×10 mm×25 mm，對(duì)稱分布于直徑為50 mm的印刷電路板(printed circuit board,PCB)上，適合于緊湊的結(jié)構(gòu)設(shè)計(jì)，工作電壓為3 V。驅(qū)動(dòng)模塊采用TB6612FNG芯片，高性能，體積小，可以達(dá)到20 cm/s的運(yùn)行速度。電機(jī)的控制方式采用脈沖寬度調(diào)制(PWM)技術(shù),采用差速原理來控制微機(jī)器人的轉(zhuǎn)向。

2.3 視覺部分

為了適配小型移動(dòng)機(jī)器人的體積，采用了緊湊的相機(jī)模塊OV7725。OV7725是一種低電壓CMOS設(shè)備，在一個(gè)小內(nèi)存包中提供了單片機(jī)VGA攝像頭和圖像處理器的全部功能[15]。相機(jī)尺寸26 mm×27 mm，相機(jī)采用SCCB接口協(xié)議，工作電壓2.45～3.0 V，功耗120 mW,可輸出RGB565和YUV等多種圖像格式，相機(jī)的水平視角為70°。綜合考慮圖像的質(zhì)量和內(nèi)存空間，采用了80×80分辨率30幀/s的視頻流，以及8位的灰度圖像。

主要的微處理器以ARM-CortexM3作為處理器架構(gòu)，選擇了STM32F103進(jìn)行微機(jī)器人的控制。STM32F103的工作頻率為72 MHz,可以滿足實(shí)時(shí)圖像處理的需求和N 20電機(jī)的控制,內(nèi)存SRAM為64 kB,最大耗散功率434 mW。OV7725攝像頭通過嵌入式I/O口將將采集到的視頻流數(shù)據(jù)返回單片機(jī)，通過調(diào)節(jié)I/O口的狀態(tài)可以復(fù)用輸入與輸出?；赟TM32F103的LGMD硬件架構(gòu)如圖2(b)所示。

2.4 功耗特性

微機(jī)器人采用DC5V供電，功耗特性分析如表1所示，在原有功耗上得到了大幅降低，處理器頻率以及微型電機(jī)的型號(hào)是主要影響因素。

表1 功耗特性 mW

3 低成本視覺系統(tǒng)內(nèi)存分配

如前所述，LGMD視覺網(wǎng)絡(luò)適合微型機(jī)器人的視覺避碰，然而，在SRAM為64 kB的STM32f103芯片上實(shí)現(xiàn)圖像的存儲(chǔ)依然不是一件容易的事，采用壓縮算法也耗費(fèi)了芯片大量的計(jì)算資源。故本文提出灰度等級(jí)降低，采用4位來表示一幀圖片，使得SRAM總耗費(fèi)34 kB,滿足微型機(jī)器人圖像處理的需求。本文中LGMD網(wǎng)絡(luò)的內(nèi)存分配如圖3,L1,L2,L3表示3幀連續(xù)的視頻流，OV7725傳輸圖像格式為16位的RGB圖像，通過灰度轉(zhuǎn)換公式定義如式(17)

gray=0.299R+0.587G+0.114B

(17)

為了降低雙精度浮點(diǎn)數(shù)對(duì)于低功耗芯片計(jì)算資源的耗費(fèi)，采用移位運(yùn)算，故公式轉(zhuǎn)換如式(18)

gray=(38R+75G+15B)?7

(18)

為進(jìn)一步降低內(nèi)存消耗，轉(zhuǎn)換公式如式(19)，讀取對(duì)灰度值影響較大的高4位，按小端順序存儲(chǔ)在Lf數(shù)組中，每一個(gè)字節(jié)存儲(chǔ)2個(gè)像素值，根據(jù)幀數(shù)標(biāo)志位Frame_flag判斷存儲(chǔ)區(qū)域,將OV7725返回的視頻數(shù)據(jù)流發(fā)送到不同的數(shù)組進(jìn)行存儲(chǔ)，如式(20)

gray=(38R+75G+15B)?11?4

(19)

(20)

整個(gè)圖像存儲(chǔ)流程如圖3(a)，這種方式可以將8位灰度值轉(zhuǎn)換為4位進(jìn)行存儲(chǔ)。

總體的內(nèi)存分配如圖3(b)，圖中灰色箭頭代表圖3(a)的存儲(chǔ)流程，總耗費(fèi)34 kB,僅占用整體SRAM的50 %,無需外加可變靜態(tài)存儲(chǔ)器FSMC,節(jié)省了整體硬件資源所占用的結(jié)構(gòu)空間，滿足了在微機(jī)器人平臺(tái)上實(shí)現(xiàn)視覺算法的需要。

圖3 低成本視覺系統(tǒng)內(nèi)存分配

4 結(jié)果與分析

4.1 圖像處理流程

整個(gè)基于LGMD網(wǎng)絡(luò)的圖像處理流程如圖4，系統(tǒng)上電復(fù)位后，初始化設(shè)備，包括USART串口，時(shí)鐘，定時(shí)器，外部中斷和OV7725攝像頭等。當(dāng)檢測到攝像頭開始傳輸數(shù)據(jù)，系統(tǒng)進(jìn)入100 ms的反復(fù)循環(huán)來不斷更新視頻流數(shù)據(jù)，使其存放于內(nèi)存數(shù)組Lf和Lf—1中，同時(shí)進(jìn)行當(dāng)前幀LGMD膜電位計(jì)算與判斷，若連續(xù)多幀檢測到刺激值，則視為檢測到前方碰撞物，單片機(jī)給N 20電機(jī)發(fā)出避碰指令，差速電機(jī)差速旋轉(zhuǎn)改變行進(jìn)方向，微機(jī)器人產(chǎn)生避碰動(dòng)作。

圖4 微機(jī)器人平臺(tái)軟件架構(gòu)

4.2 圖像分析

基于MATLAB對(duì)采集到的圖片進(jìn)行處理，設(shè)置LGMD網(wǎng)絡(luò)算法的相關(guān)參數(shù)如表2。

表2 GMD網(wǎng)絡(luò)參數(shù)

為了分析不同層之間的算法特性，在室內(nèi)通過布置如圖5場景對(duì)微機(jī)器人接近字母P圖標(biāo)的過程進(jìn)行離線測試，得到各層的圖像如下,第一行(a),(b),(c)代表連續(xù)視頻流中的三幀;第二行中，(d)代表P1層，(e)代表P2層，(f)代表I層;第三行中，(g)代表S層，(h)代表Ce層，(i)代表G層。實(shí)驗(yàn)結(jié)果表明， I層和P1，Ce層和S層相比均產(chǎn)生了模糊效果，符合卷積濾波過程。G層相對(duì)于S層顏色變淺，噪聲減弱，符合組效應(yīng)保留邊緣，降低刺激值的特性。綜上可得，基于STM32f103設(shè)計(jì)的微機(jī)器人LGMD系統(tǒng)對(duì)圖像的處理正常。

圖5 LGMD不同層圖像顯示

4.3 膜電位分析

為了量化LGMD網(wǎng)絡(luò)的避碰性能，同時(shí)布置如圖6(a)場景進(jìn)行避碰測試,在照度約為100 lx的室內(nèi)環(huán)境布置微機(jī)器人和水杯，使微機(jī)器人以10 cm/s的速度接近藍(lán)色水杯，檢測其LGMD網(wǎng)絡(luò)Kf刺激值，LGMD膜電位和FFI膜電位。

圖6 膜電位分析

整個(gè)實(shí)驗(yàn)過程持續(xù)90幀，通過串口RS—232實(shí)時(shí)返回幀間圖像處理值，其中，圖6(b)為LGMD Kf值隨時(shí)間的變化；圖6(c)為LGMD細(xì)胞膜電位隨時(shí)間的變化，閾值0.85;圖6(d)為LGMD FFI值隨時(shí)間的變化，閾值40。

微型機(jī)器人在40～45幀持續(xù)4幀檢測到LGMD刺激值，并產(chǎn)生了避碰動(dòng)作。由于電機(jī)震蕩以及機(jī)器人回轉(zhuǎn)導(dǎo)致圖像畫面整體亮度劇烈變化，F(xiàn)FI神經(jīng)元在機(jī)器人起步(第9幀)以及避碰響應(yīng)之后(第47幀)發(fā)揮了抑制作用，防止誤判以及持續(xù)響應(yīng)。實(shí)驗(yàn)測試與算法的預(yù)期一致，驗(yàn)證了基于STM32f103搭建的 LGMD網(wǎng)絡(luò)的穩(wěn)定性，魯棒性和可靠性。

4.4 避碰軌跡分析

為了分析速度對(duì)于微機(jī)器人避碰的影響，設(shè)置場景如圖7(a)所示，采用光流法，通過串口攝像頭捕捉微機(jī)器人的運(yùn)行軌跡如圖7(b)～(d),微機(jī)器人的速度分別為10,15,20 cm/s。隨著速度的增加，微機(jī)器人的避碰響應(yīng)距離也在增加，圖7(d)中，機(jī)器人在較遠(yuǎn)的距離已經(jīng)產(chǎn)生了避碰響應(yīng)，并且軌跡平滑，回轉(zhuǎn)角度變小。綜上所述，微機(jī)器人能對(duì)不同接近速度作出及時(shí)響應(yīng)，驗(yàn)證了實(shí)際動(dòng)態(tài)場景下避碰的準(zhǔn)確性。

圖7 微機(jī)器人避碰軌跡分析

5 結(jié) 論

本文設(shè)計(jì)了一種基于LGMD網(wǎng)絡(luò)的低成本視覺系統(tǒng)，利用仿生技術(shù)和成像傳感器實(shí)現(xiàn)了微機(jī)器人的自主避碰，在硬件上減少了模塊層級(jí)，通過降低灰度等級(jí)的方式減小了網(wǎng)絡(luò)所需的內(nèi)存空間，并且在不同的環(huán)境場景下作了測試，對(duì)于LGMD膜電位進(jìn)行了詳細(xì)的記錄。實(shí)驗(yàn)表明:系統(tǒng)具有良好的可靠性和魯棒性，進(jìn)一步降低了視覺應(yīng)用于微機(jī)器人的成本與功耗，有利于非結(jié)構(gòu)化環(huán)境下的自主運(yùn)行，為視覺算法在群體機(jī)器人中的應(yīng)用奠定了基礎(chǔ)。