趙 崇，遲蒙蒙，儲(chǔ) 聰，張 鵬

(1.昆明理工大學(xué) 機(jī)電工程學(xué)院,云南 昆明 650500;2.大連工業(yè)大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院,遼寧 大連 116034;3.大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,遼寧 大連 116034)

相比于生物導(dǎo)盲犬訓(xùn)練難度大、耗時(shí)長、成本高等缺點(diǎn)，仿生機(jī)械導(dǎo)盲犬的開發(fā)與應(yīng)用有著更為廣泛的前景。經(jīng)過簡單行走、低智能化和高智能化[1]3個(gè)階段的仿生機(jī)械的研發(fā)，研究人員已取得了一定的理論基礎(chǔ)和實(shí)踐應(yīng)用成果。同濟(jì)大學(xué)的研究人員利用能力風(fēng)暴機(jī)器人的紅外傳感器、碰撞傳感器、直流電機(jī)以及喇叭的測控功能設(shè)計(jì)的導(dǎo)盲機(jī)器人為商業(yè)化生產(chǎn)提供了參考依據(jù)[2]。與之相對(duì)應(yīng)的導(dǎo)盲犬控制系統(tǒng)以及設(shè)計(jì)開發(fā)流程也更加高智能化[3-4]，但設(shè)計(jì)成本與生產(chǎn)成本也大幅度增加。導(dǎo)盲犬的行走機(jī)構(gòu)由履帶設(shè)計(jì)演變?yōu)槎嘧銠C(jī)構(gòu)[5-8]，可以更加靈活地適應(yīng)多種路況的行進(jìn)，其爬坡能力也優(yōu)于履帶設(shè)計(jì)的結(jié)構(gòu)?；谄踟愔x夫連桿機(jī)構(gòu)的六足軍用機(jī)器人將曲柄搖桿機(jī)構(gòu)改為曲柄雙搖桿機(jī)構(gòu)，可有效增加機(jī)構(gòu)的剛度和強(qiáng)度，也將行走機(jī)構(gòu)改為二自由度，但是可實(shí)現(xiàn)路程差，使得機(jī)器人實(shí)現(xiàn)轉(zhuǎn)彎，因此這種方式仍有待在實(shí)踐中應(yīng)用[9]?；贘ansen-leg機(jī)構(gòu)標(biāo)準(zhǔn)型研制的小型八足仿生機(jī)器人機(jī)構(gòu)控制簡單，運(yùn)動(dòng)協(xié)調(diào)性好，仿生度高，且可以實(shí)現(xiàn)零半徑轉(zhuǎn)彎。該機(jī)器人的爬坡能力和非結(jié)構(gòu)環(huán)境的適應(yīng)性得到了試驗(yàn)樣機(jī)的驗(yàn)證，具有良好的優(yōu)化價(jià)值[10]。本文基于Jansen機(jī)構(gòu)的行走機(jī)構(gòu)設(shè)計(jì)，采用單一的步進(jìn)電機(jī)實(shí)現(xiàn)動(dòng)力驅(qū)動(dòng)與行走控制，加上紅外線傳感器和視覺圖像識(shí)別系統(tǒng)的控制，不僅具有一定的智能化功能，也降低了設(shè)計(jì)和制造成本。

1 導(dǎo)盲犬的Jansen行走機(jī)構(gòu)

導(dǎo)盲犬的行走機(jī)構(gòu)采用標(biāo)準(zhǔn)型Jansen機(jī)構(gòu)。本文設(shè)置了一個(gè)步進(jìn)電機(jī)驅(qū)動(dòng)四足行走機(jī)構(gòu)，并對(duì)其機(jī)構(gòu)復(fù)雜程度進(jìn)行簡化，使其更加接近于導(dǎo)盲犬的真實(shí)行走姿態(tài)。Jansen行走機(jī)構(gòu)如圖1所示。

圖1 Jansen行走機(jī)構(gòu)Figure 1. Jansen walking mechanism

如圖2所示，件號(hào)1為機(jī)體前面的右腳；件號(hào)2為紅外線傳感器，用于探知行走前方的障礙物，其功能為回避或者繞行傳感器；件號(hào)3為攝像頭，用于視覺識(shí)別系統(tǒng)的圖像采集；件號(hào)4為機(jī)體，內(nèi)置驅(qū)動(dòng)電動(dòng)機(jī)以及齒輪機(jī)構(gòu)的傳動(dòng)，實(shí)現(xiàn)單電機(jī)驅(qū)動(dòng)，導(dǎo)盲犬機(jī)體兩側(cè)驅(qū)動(dòng)同步，搖臂方向相反，從而實(shí)現(xiàn)四肢按照行走的步伐運(yùn)行；件號(hào)5為行走機(jī)構(gòu)搖臂，左右各一個(gè)，與驅(qū)動(dòng)電機(jī)的輸出軸聯(lián)結(jié)，用于輸出電機(jī)轉(zhuǎn)速，驅(qū)動(dòng)行走機(jī)構(gòu)運(yùn)動(dòng)；件號(hào)6為機(jī)體后面右腳；件號(hào)7為機(jī)體前面左腳；件號(hào)8為機(jī)體后面左腳，四足末端均為仿真數(shù)據(jù)采集點(diǎn)?；贘ansen機(jī)構(gòu)的行走機(jī)構(gòu)也可以使導(dǎo)盲犬在更加復(fù)雜的路況下行走。

圖2 導(dǎo)盲犬機(jī)體Figure 2. Guide dog body

2 行走機(jī)構(gòu)的運(yùn)動(dòng)仿真

為了驗(yàn)證行走機(jī)構(gòu)的非結(jié)構(gòu)環(huán)境適應(yīng)性，對(duì)導(dǎo)盲犬行走機(jī)構(gòu)四肢末端的位移進(jìn)行運(yùn)動(dòng)仿真。將三維實(shí)體模型導(dǎo)入到Admas軟件中，固定導(dǎo)盲犬機(jī)體，將電機(jī)輸出點(diǎn)的轉(zhuǎn)速參數(shù)設(shè)置為0.1 rad·s-1，運(yùn)行時(shí)間為10 s，計(jì)算出4個(gè)仿真數(shù)據(jù)采集點(diǎn)相對(duì)于基準(zhǔn)地面法向方向上的位移。參數(shù)設(shè)置如表1所示，運(yùn)行計(jì)算得到的數(shù)據(jù)結(jié)果如圖3所示。

表1 行走機(jī)構(gòu)運(yùn)動(dòng)仿真參數(shù)設(shè)置

圖3 導(dǎo)盲犬四肢末端相對(duì)于地面法向位移仿真數(shù)據(jù)曲線Figure 3. Simulation data curve of the normal displacement of the limbs of the guide dog relative to the ground

從以上分析數(shù)據(jù)可以得出，導(dǎo)盲犬四肢末端(即行走機(jī)構(gòu)的四足)相對(duì)地面的法向方向位移具有相似的位移運(yùn)動(dòng)曲線，4個(gè)仿真數(shù)據(jù)采集點(diǎn)有規(guī)律地交替上升、交替落地，使其整機(jī)在較為復(fù)雜的非結(jié)構(gòu)環(huán)境下能夠平穩(wěn)運(yùn)行。

3 導(dǎo)盲犬視覺識(shí)別算法

目前，仿生機(jī)械導(dǎo)盲犬對(duì)周圍環(huán)境的感知主要通過紅外傳感器[11]、避障傳感器和超聲波測距儀[12]等實(shí)現(xiàn)，對(duì)導(dǎo)盲犬視覺系統(tǒng)的研究較少。隨著科技的發(fā)展和深度學(xué)習(xí)日益廣泛的應(yīng)用[13]，促進(jìn)了機(jī)械導(dǎo)盲犬向工業(yè)化和智能化發(fā)展。本文提出了一種基于YOLO(You Only Look Once)的仿生導(dǎo)盲犬視覺識(shí)別算法，以人行橫道的交通信號(hào)燈為例，判斷當(dāng)前信號(hào)燈狀態(tài)是否可通行，為盲人過馬路提供指導(dǎo)。實(shí)驗(yàn)具體流程為：(1)采集實(shí)驗(yàn)數(shù)據(jù)，標(biāo)注圖像，建立紅綠燈的目標(biāo)檢測數(shù)據(jù)集；(2)將數(shù)據(jù)集輸入到網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，評(píng)價(jià)模型性能；(3)驗(yàn)證模型的性能，輸出紅綠燈的類別信息和位置信息。

3.1 數(shù)據(jù)集的建立

選擇適用于本研究場景的數(shù)據(jù)集是紅綠燈識(shí)別和定位的關(guān)鍵[14]。目前，該領(lǐng)域有很多公開的數(shù)據(jù)集。巴黎高等礦業(yè)學(xué)校機(jī)器人中心TLR(Traffic Lights Recognition)數(shù)據(jù)集在人口稠密的城市環(huán)境中采集圖像，包含紅燈、黃燈、綠燈3種交通信號(hào)燈。伍斯特理工學(xué)院嵌入式計(jì)算實(shí)驗(yàn)室公開的WPI (Worcester Polytechnic Institute)交通信號(hào)燈數(shù)據(jù)集是在美國馬薩諸塞州伍斯特市收集訓(xùn)練數(shù)據(jù)。上述數(shù)據(jù)集適合無人駕駛汽車領(lǐng)域交通信號(hào)燈的識(shí)別，不適用于盲人出行場景交通信號(hào)燈的識(shí)別。本實(shí)驗(yàn)使用自建數(shù)據(jù)集，在遼寧省北鎮(zhèn)市城市道路采集。為了減少光照對(duì)實(shí)驗(yàn)結(jié)果的影響，選擇早中晚3個(gè)時(shí)間段采集圖像共計(jì)300張。為了增加數(shù)據(jù)集數(shù)量，模擬真實(shí)場景錄制視頻，通過取幀得到圖像193張。該數(shù)據(jù)集共計(jì)493張圖像，圖像格式為jpg，圖片分辨率為416×416像素。該實(shí)驗(yàn)部分?jǐn)?shù)據(jù)集如圖4所示。

圖4 本實(shí)驗(yàn)部分?jǐn)?shù)據(jù)集Figure 4. Part of the dataset

采用YOLO_Mark標(biāo)注工具，使用矩形框標(biāo)注圖像中的紅燈、綠燈，為后續(xù)訓(xùn)練提供真實(shí)值。該數(shù)據(jù)集需要Green lighted light兩個(gè)標(biāo)簽，標(biāo)注后可自動(dòng)生成包含目標(biāo)類別、目標(biāo)中心點(diǎn)坐標(biāo)(x,y)、矩形框?qū)挾葁、高度h的文本文件。

在訓(xùn)練有監(jiān)督的機(jī)器學(xué)習(xí)模型時(shí)，為了能夠得到識(shí)別效果好、泛化能力強(qiáng)的模型，需要將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練集擬合模型，通過設(shè)置分類器的參數(shù)訓(xùn)練分類模型。驗(yàn)證集用于調(diào)整模型的超參數(shù)并初步評(píng)估模型性能。測試集用于評(píng)估模型的泛化能力。本實(shí)驗(yàn)數(shù)據(jù)集參數(shù)如表2所示。

表2 數(shù)據(jù)集參數(shù)表

3.2 紅綠燈識(shí)別模型的訓(xùn)練

3.2.1 YOLO網(wǎng)絡(luò)

YOLO[15]是一種2016年提出的目標(biāo)檢測算法。該算法將物體檢測任務(wù)作為回歸問題來解決，其核心思想是將整張圖像輸入到神經(jīng)網(wǎng)絡(luò)中，然后在輸出層預(yù)測物體邊界框(Bounding Box)的位置、物體的類別和置信度分?jǐn)?shù)。

YOLO網(wǎng)絡(luò)結(jié)構(gòu)由24個(gè)卷積層與兩個(gè)全連接層構(gòu)成。首先將圖像縮放到固定尺寸，將輸入圖像劃分成7×7的網(wǎng)格，每個(gè)網(wǎng)格預(yù)測兩個(gè)邊框。將圖片劃分為7×7網(wǎng)格的方法較為粗糙，會(huì)影響邊界框的回歸，從而影響定位誤差，導(dǎo)致YOLO v1物體檢測精度較低。YOLO v1每個(gè)網(wǎng)格只能識(shí)別一個(gè)物體，對(duì)密集的小物體檢測效果不佳。

YOLO v2[16]是對(duì)YOLO v1網(wǎng)絡(luò)的改進(jìn)，增加批歸一化，提高模型的收斂速度，減少過擬合提高平均檢測精度(mAP)。通過引入錨點(diǎn)框(Anchor Boxes)機(jī)制預(yù)測，提升了召回率。在網(wǎng)絡(luò)結(jié)構(gòu)中添加跨層連接，將高分辨率特征和低分辨率特征結(jié)合，提高了小物體的檢測性能。YOLO v2在提高精度的同時(shí)也提升了檢測速度，但是仍無法解決重疊分類等問題。

YOLO v3[17]網(wǎng)絡(luò)使用了darknet-53的前52層。該網(wǎng)絡(luò)主要由一系列1×1和3×3的卷積層組成，每個(gè)卷積層后面會(huì)有一個(gè)BN(Batch Normalization)層和LeakyReLU層。YOLO v3網(wǎng)絡(luò)將Softmax層換成邏輯回歸層實(shí)現(xiàn)目標(biāo)的多標(biāo)簽分類。相較于YOLO v1和YOLO v2網(wǎng)絡(luò)，YOLO v3采用了多尺度融合的方法，通過上采樣和特征融合的方式，將3個(gè)尺度進(jìn)行融合，提高了小目標(biāo)的檢測性能。當(dāng)盲人站立在人行橫道一側(cè)準(zhǔn)備過馬路時(shí)，相對(duì)盲人的位置紅綠燈屬于遠(yuǎn)目標(biāo)，在圖像中成像較小，所以選擇YOLO v3作為本研究的目標(biāo)檢測方法。

3.2.2 錨框優(yōu)化

本文在YOLO v3的基礎(chǔ)上優(yōu)化錨框的尺寸和數(shù)量，對(duì)數(shù)據(jù)集中的目標(biāo)邊界框進(jìn)行K-means聚類分析，獲得適用于本模型的先驗(yàn)框。錨框數(shù)量與平均交并比關(guān)系如圖5所示。綜合考慮模型的復(fù)雜度和平均交并比(Intersection Over Union,IOU)，選擇錨框數(shù)量為4，平均交并比為79.06%進(jìn)行后續(xù)實(shí)驗(yàn)。

圖5 錨框數(shù)量與平均交并比的關(guān)系Figure 5. Relationship between the number of anchor boxes and average IOU

根據(jù)目標(biāo)對(duì)象邊界框的寬高比優(yōu)化錨框尺寸，圖6(a)為YOLO v3根據(jù)VOC和COCO數(shù)據(jù)集聚類得到的先驗(yàn)框。為了減少模型的計(jì)算量，加快模型的計(jì)算速度，本文分別采用anchors=7,14,10,20,16,34,57,98的錨框進(jìn)行后續(xù)實(shí)驗(yàn)。該尺寸的錨框在寬高比和尺度上與數(shù)據(jù)集中目標(biāo)對(duì)象匹配程度高，其尺寸如圖6(b)所示。

(a) (b)圖6 優(yōu)化前后錨框尺寸對(duì)比(a)先驗(yàn)框 (b)優(yōu)化后錨框尺寸Figure 6. Anchor box size comparison(a)Prior box size (b)Anchor box size after optimization

3.2.3 YOLO參數(shù)選擇

本文使用Windows 版本的darknet框架進(jìn)行YOLO v3版本的訓(xùn)練和測試。為了使網(wǎng)絡(luò)達(dá)到所需性能，需要合理地設(shè)置YOLO v3網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)[14]。YOLO v3模型參數(shù)主要包括學(xué)習(xí)率、動(dòng)量和權(quán)值衰減系數(shù)。在選擇參數(shù)的時(shí)候，需要考慮硬件的GPU性能。本實(shí)驗(yàn)在筆記本電腦上進(jìn)行，電腦型號(hào)為神州戰(zhàn)神Z7-KP7EC，內(nèi)存為16 GB，處理器為Intel Core i7-8750H，顯卡為 NVIDIA GTX 1060。為了充分利用實(shí)驗(yàn)設(shè)備并且達(dá)到相對(duì)高的性能，本次實(shí)驗(yàn)設(shè)置batch=64，subdivision=32。該參數(shù)說明網(wǎng)絡(luò)在訓(xùn)練時(shí)，訓(xùn)練迭代包含了32組，每組包含了2張圖片，減少了內(nèi)存的占用，減輕了GPU的運(yùn)行壓力。為了提高收斂速率，避免過擬合現(xiàn)象，將動(dòng)量設(shè)置為0.9，學(xué)習(xí)率設(shè)置為0.001。模型的參數(shù)選擇如表3所示。

表3 YOLO v3訓(xùn)練參數(shù)

3.3 實(shí)驗(yàn)

本實(shí)驗(yàn)共對(duì) YOLO v3 模型進(jìn)行了 7 500 次迭代，網(wǎng)絡(luò)的損失函數(shù)[18]圖像如圖7所示。從圖中可以看出，在前240次的迭代中平均損失迅速下降；在240～800次迭代中平均損失下降速度減慢；在800～2 000次迭代中，平均損失緩慢下降；2 000 次后損失函數(shù)達(dá)到收斂；到達(dá)7 500次時(shí)，平均損失保持平穩(wěn)不再減少，所以停止訓(xùn)練。

圖7 模型的損失函數(shù)圖Figure 7. Loss function of the model

在訓(xùn)練中，模型會(huì)因?yàn)榈螖?shù)的增加而出現(xiàn)過擬合的現(xiàn)象，即模型能在訓(xùn)練集上達(dá)到良好的效果，但無法檢測其他圖像的目標(biāo)[19-20]。對(duì)比多個(gè)模型的權(quán)重，選擇最優(yōu)模型。設(shè)置每迭代 100次輸出一個(gè)模型，記錄模型的交并比(IOU)、綠燈、紅燈準(zhǔn)確度(Average Precision，AP)、模型召回率(Recall)和平均準(zhǔn)確率(Mean Average Precision，mAP)等模型評(píng)價(jià)指標(biāo)。不同迭代次數(shù)的模型性能指標(biāo)如圖8所示。

圖8 不同迭代次數(shù)的模型性能對(duì)比Figure 8. Performance comparison of models with different iterations

本算法的目的是區(qū)分紅燈和綠燈，并減小漏檢率。為分析算法的性能，定義TP(True Positives)為被正確識(shí)別的正樣本，TN(True Negatives)為被正確識(shí)別的負(fù)樣本，F(xiàn)P(False Positives)為被錯(cuò)誤識(shí)別的正樣本實(shí)際為負(fù)樣本，F(xiàn)N(False Negatives)為被錯(cuò)誤識(shí)別的負(fù)樣本實(shí)際為正樣本。

交并比IOU的計(jì)算方式是模型的預(yù)測框和手動(dòng)標(biāo)注的真實(shí)框交集部分與并集部分的比值，反映了預(yù)測框是否更加接近物體的真實(shí)位置。

召回率Recall是被正確識(shí)別出來的紅、綠燈個(gè)數(shù)與測試集中所有真實(shí)紅、綠燈的個(gè)數(shù)的比值。

(1)

查準(zhǔn)率Precision是模型在識(shí)別的所有對(duì)象中，正確識(shí)別的比率，衡量了模型在單一類別上的性能。mAP則衡量了模型在所有類別上的性能。

(2)

根據(jù)實(shí)際情況分析，針對(duì)盲人出行場景紅綠燈的識(shí)別，正確識(shí)別出紅綠燈的類別比識(shí)別紅綠燈位置準(zhǔn)確性重要，所以選擇準(zhǔn)確率高的優(yōu)化模型。

經(jīng)對(duì)比發(fā)現(xiàn)，迭代次數(shù)為5 000時(shí)，模型達(dá)到最優(yōu)性能。實(shí)驗(yàn)表明，該模型平均精度為88.67%，綠燈準(zhǔn)確率為87.96%，紅燈準(zhǔn)確率為89.38%，召回率為88%。網(wǎng)絡(luò)模型的檢測速度為23.5 frame·s-1，本文方法能實(shí)時(shí)檢測并區(qū)分人行橫道紅綠燈。

3.4 結(jié)果分析

為了檢驗(yàn)?zāi)Ｐ蛯?duì)人行橫道上紅綠燈的識(shí)別效果，本文選擇部分拍攝圖片和網(wǎng)絡(luò)圖片來對(duì)模型進(jìn)行驗(yàn)證。圖9展示了部分紅綠燈圖像的預(yù)測結(jié)果。圖9(a)和圖9(b)來源于自建數(shù)據(jù)集中的驗(yàn)證集，網(wǎng)絡(luò)對(duì)該圖像紅綠燈的識(shí)別概率為100%。圖9(c)和圖9(d)來源于網(wǎng)絡(luò)。圖9(c)沒有在人行橫道上拍攝，但是網(wǎng)絡(luò)識(shí)別紅綠燈的概率分別為51%和81%，圖中兩個(gè)綠燈均被正確識(shí)別，說明模型具有一定的泛化能力。由于圖像拍攝角度的原因，圖9(d)預(yù)測的實(shí)際位置與真實(shí)位置有一定的偏差，識(shí)別概率為40%。圖9(e)為原圖，圖9(f)為預(yù)測圖，網(wǎng)絡(luò)對(duì)該圖像中目標(biāo)存在誤檢，圖中的綠燈被重復(fù)檢測，圖像下方公交車的質(zhì)檢標(biāo)志被識(shí)別為紅燈。

(a) (b)

(c) (d)

(e) (f)圖9 訓(xùn)練后模型檢測效果(a)自建數(shù)據(jù)集紅燈預(yù)測結(jié)果 (b)自建數(shù)據(jù)集綠燈預(yù)測結(jié)果(c)其它場景圖像綠燈預(yù)測結(jié)果 (d)其它場景圖像紅燈預(yù)測結(jié)果(e)自建數(shù)據(jù)集待檢圖像 (f)自建數(shù)據(jù)集錯(cuò)誤預(yù)測示例Figure 9. Model detection effects after training(a) Red light prediction result of self-built data set(b) Green light prediction result of self-built data set(c) Green light prediction results of images of other scenes (d) Red light prediction results of images of other scenes(e) Image of self-built data set to be checked(f) Examples of self-built data sets with false predictions

4 結(jié)束語

Jansen行走機(jī)構(gòu)的導(dǎo)盲犬機(jī)械裝置具有緊湊的結(jié)構(gòu)。機(jī)構(gòu)運(yùn)動(dòng)仿真的結(jié)果表明，相對(duì)于地面的法相位移，其四足可以有規(guī)律地進(jìn)行交替的上升下降，與自然界生物運(yùn)動(dòng)機(jī)理有著較高的仿生度。因此，可以較好地適應(yīng)復(fù)雜非結(jié)構(gòu)環(huán)境下的行走?；赮OLO的視覺識(shí)別系統(tǒng)能夠判斷當(dāng)前信號(hào)燈狀態(tài)是否可以通行，識(shí)別紅綠燈的平均精度為88.67%，綠燈準(zhǔn)確率為87.96%，紅燈準(zhǔn)確率為89.38%，網(wǎng)絡(luò)模型的檢測速度為23.5 frame·s-1。未來將進(jìn)一步改進(jìn)算法，提高模型的準(zhǔn)確性和泛化能力，并針對(duì)盲道和臺(tái)階等標(biāo)識(shí)物進(jìn)行識(shí)別，提高機(jī)械導(dǎo)盲犬的智能化和實(shí)用性。