收稿日期：2023-04-28

基金項(xiàng)目：國(guó)家級(jí)大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目（202110537027）

DOI：10.19850/j.cnki.2096-4706.2023.21.024

摘" 要：當(dāng)前我國(guó)盲人數(shù)量超1 700萬，而對(duì)盲道場(chǎng)景進(jìn)行實(shí)時(shí)檢測(cè)是確保盲人出行安全的重要前提。文章針對(duì)目前盲人出行的實(shí)際場(chǎng)景，采用基于邊緣計(jì)算的YOLOv3算法，實(shí)現(xiàn)對(duì)盲道場(chǎng)景的實(shí)時(shí)識(shí)別。首先，引入了邊緣計(jì)算模型保證盲道數(shù)據(jù)處理的實(shí)時(shí)性；然后，采用YOLOv3算法對(duì)盲道障礙物進(jìn)行檢測(cè)，通過進(jìn)行數(shù)據(jù)增強(qiáng)來提高算法對(duì)盲道障礙物的檢測(cè)性能；最后將YOLOv3部署在邊緣計(jì)算設(shè)備上進(jìn)行訓(xùn)練，通過GPU的并行計(jì)算來提高算法的實(shí)時(shí)檢測(cè)效果；實(shí)驗(yàn)結(jié)果表明，該方法在盲道場(chǎng)景識(shí)別的檢測(cè)效率上相比于傳統(tǒng)的盲道識(shí)別方法有著大幅度的提升，經(jīng)實(shí)際應(yīng)用可滿足盲人出行的導(dǎo)航需求。

關(guān)鍵詞：YOLOv3；邊緣計(jì)算；盲道識(shí)別；數(shù)據(jù)增強(qiáng)

中圖分類號(hào)：TP391.4" 文獻(xiàn)標(biāo)識(shí)碼：A" 文章編號(hào)：2096-4706（2023）21-0102-04

Blind Road Recognition Method Based on Edge Computing and YOLOv3

JIA Cunnan， LIU Xinchun， LI Yunjun， CHEN Gang

（College of Information and Intelligence， Hunan Agricultural University， Changsha" 410128， China）

Abstract： At present， there are more than 17 million blind people in China， and real-time detection of blind road scenes is an important prerequisite to ensure the safety of blind people. Aiming at the actual scene of the blind travel， this paper uses the YOLOv3 algorithm based on Edge Computing to realize the real-time recognition of blind road scenes. Firstly， the Edge Computing model is introduced to ensure the real-time performance of blind road data processing. Then， YOLOv3 algorithm is used to detect blind road obstacles， and data enhancement is performed to improve the detection performance of the algorithm for blind road obstacles. Finally， YOLOv3 is deployed on Edge Computing devices for training， and the real-time detection effect of the algorithm is improved by GPU parallel computing. The experimental results show that the detection efficiency of blind road scene recognition of the method is greatly improved compared with the traditional blind road recognition method， and the practical application can meet the navigation needs of the blind travel.

Keywords： YOLOv3; Edge Computing; blind road recognition; data enhancement

0" 引" 言

我國(guó)是全世界盲人數(shù)量最多的國(guó)家，中國(guó)盲人協(xié)會(huì)的統(tǒng)計(jì)數(shù)據(jù)顯示，我國(guó)視障人數(shù)目前已達(dá)1 731萬人[1]。由于道路不規(guī)范、盲道被占用等多種原因，使得傳統(tǒng)的導(dǎo)盲設(shè)備無法有效地對(duì)盲人出行進(jìn)行精確導(dǎo)航，近年來國(guó)內(nèi)外許多專家和學(xué)者對(duì)新型導(dǎo)盲工具進(jìn)行了廣泛深入的研究。當(dāng)前的電子導(dǎo)盲方案主要分為自主式導(dǎo)盲器和引導(dǎo)式導(dǎo)盲器。自主式導(dǎo)盲器的共同點(diǎn)是利用傳感器對(duì)路況信息進(jìn)行檢測(cè)，從而幫助視障人士對(duì)路況情況進(jìn)行判斷；而引導(dǎo)式導(dǎo)盲器會(huì)裝備GPS芯片進(jìn)行實(shí)時(shí)導(dǎo)航，它可以實(shí)現(xiàn)對(duì)路線的記憶功能，引導(dǎo)視障人士完成出行計(jì)劃。美國(guó)威斯康星州Wicab公司研究出一款名為BrainPort V100的導(dǎo)盲設(shè)備，它通過攝像頭捕捉圖像，并且能通過裝備在攝像頭機(jī)上的電極器械將圖像信息轉(zhuǎn)換為電脈沖，通過電極傳遞到用戶的舌頭上。經(jīng)過系統(tǒng)的訓(xùn)練，用戶可以通過信號(hào)的傳遞與變化信息來確定障礙物的大小、位置和形狀。但是該設(shè)備的成本較高，無法在視障人群中得到推廣。在2011年的時(shí)候，日本通信大學(xué)制造了第三代機(jī)器導(dǎo)盲犬NR003，該導(dǎo)盲犬使用了3D體感攝影機(jī)Kinect，通過實(shí)時(shí)動(dòng)態(tài)捕捉和陰影識(shí)別來感知前方路況。但這些設(shè)備的體積過大、反應(yīng)較遲鈍，所以沒得到廣泛應(yīng)用。

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展與信息化時(shí)代數(shù)據(jù)的飛速增長(zhǎng)，基于深度學(xué)習(xí)的圖像處理模型被提出。其中目前被廣泛使用的為YOLO系列算法，在2020年，Redmon [2]提出的YOLOv3算法在識(shí)別精度與速度得到了較好的均衡，文獻(xiàn)[3]中使用YOLOv3算法進(jìn)行盲道識(shí)別，通過YOLOv3的訓(xùn)練迭代實(shí)現(xiàn)了對(duì)盲道的準(zhǔn)確識(shí)別，但是檢測(cè)效率較低，對(duì)盲道數(shù)據(jù)的實(shí)時(shí)處理效果不理想。

針對(duì)上述問題，本文采用了基于邊緣計(jì)算的YOLOv3算法，通過YOLOv3算法與邊緣計(jì)算模型的結(jié)合來進(jìn)行盲道的實(shí)時(shí)識(shí)別，并將Jetson Xavier Nx開發(fā)板作為邊緣設(shè)備來實(shí)行邊緣計(jì)算，既能確保算法對(duì)盲道數(shù)據(jù)處理的實(shí)時(shí)性，也可以提高算法對(duì)盲道識(shí)別的準(zhǔn)確度，為盲道識(shí)別提供了新的思路。

1" 邊緣計(jì)算的引入

研究發(fā)現(xiàn)，以往的盲道識(shí)別算法通常是利用不同的目標(biāo)檢測(cè)算法對(duì)盲道障礙物進(jìn)行識(shí)別，雖然這些算法可以通過對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)增加網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確度，但同時(shí)也增加了網(wǎng)絡(luò)的計(jì)算量，導(dǎo)致算法檢測(cè)的實(shí)時(shí)性下降，為了改善這一情況，本文通過引入邊緣計(jì)算來保證算法對(duì)數(shù)據(jù)處理的實(shí)時(shí)性。首先在圖1中給出傳統(tǒng)的云計(jì)算模型，該模型是由用戶在發(fā)送端將數(shù)據(jù)傳送至云端終端設(shè)備向云中心發(fā)送請(qǐng)求，云計(jì)算在處理數(shù)據(jù)時(shí)占用的計(jì)算資源量較大，已經(jīng)不適用于當(dāng)前的高速設(shè)備通信與萬物互聯(lián)的要求。

而引入邊緣計(jì)算可以節(jié)省大量的網(wǎng)絡(luò)帶寬資源，邊緣計(jì)算進(jìn)行數(shù)據(jù)交換的對(duì)象為源數(shù)據(jù)設(shè)備和邊緣設(shè)備，它會(huì)將處理好的數(shù)據(jù)進(jìn)行上傳，本文給出邊緣計(jì)算的三大優(yōu)勢(shì)[4]。

1.1" 實(shí)時(shí)性

實(shí)時(shí)性是邊緣計(jì)算模型中最基本最重要的一個(gè)特性，在傳統(tǒng)的云計(jì)算中心進(jìn)行數(shù)據(jù)上傳時(shí)，大量的網(wǎng)絡(luò)帶寬會(huì)被占用，會(huì)造成網(wǎng)絡(luò)的延遲并導(dǎo)致數(shù)據(jù)丟失。邊緣計(jì)算則能夠?qū)?shù)據(jù)的計(jì)算遷移到邊緣設(shè)備上，既能減少云計(jì)算中心的計(jì)算工作量，又能減少帶寬消耗，滿足實(shí)時(shí)處理的要求。

1.2" 安全性

邊緣計(jì)算是指在邊緣設(shè)備上對(duì)數(shù)據(jù)進(jìn)行處理和分析，而傳統(tǒng)云計(jì)算是指將生成的所有數(shù)據(jù)上傳到云計(jì)算平臺(tái)進(jìn)行處理和分析。上傳過程中存在一定的安全風(fēng)險(xiǎn)，容易導(dǎo)致數(shù)據(jù)丟失和系統(tǒng)崩潰等問題。因此，邊緣計(jì)算在安全性能上具有絕對(duì)優(yōu)勢(shì)。

1.3" 降低帶寬成本

前文已經(jīng)指出，在云計(jì)算中心進(jìn)行數(shù)據(jù)計(jì)算時(shí)會(huì)占用網(wǎng)絡(luò)帶寬。例如，一個(gè)監(jiān)控系統(tǒng)需要大量的監(jiān)控圖像。當(dāng)系統(tǒng)中多個(gè)數(shù)據(jù)源設(shè)備（攝像機(jī)）同時(shí)上傳視頻數(shù)據(jù)時(shí)，會(huì)造成網(wǎng)絡(luò)擁塞，增加網(wǎng)絡(luò)帶寬壓力。邊緣計(jì)算通過在邊緣設(shè)備上進(jìn)行計(jì)算，大大降低了網(wǎng)絡(luò)帶寬。

文獻(xiàn)[5]中指出，邊緣計(jì)算相比云計(jì)算模型最大的改進(jìn)點(diǎn)就是將計(jì)算任務(wù)遷移到了數(shù)據(jù)源。對(duì)于盲道識(shí)別而言，邊緣計(jì)算的實(shí)時(shí)性能夠很大程度地提高網(wǎng)絡(luò)對(duì)盲道數(shù)據(jù)的處理效率，便于導(dǎo)盲設(shè)備在極短的時(shí)間內(nèi)將獲取的信息進(jìn)行輸出，在盲人出行時(shí)能夠使盲人及時(shí)感知前方障礙物信息并做出反應(yīng)。當(dāng)前的許多目標(biāo)檢測(cè)算法都兼顧著檢測(cè)精度與速度，適合在邊緣設(shè)備上進(jìn)行部署，故將邊緣計(jì)算與目標(biāo)檢測(cè)算法進(jìn)行結(jié)合是對(duì)盲人進(jìn)行導(dǎo)航的有效方法。

2" 盲道檢測(cè)算法研究

2.1" YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3中使用的主干網(wǎng)絡(luò)結(jié)構(gòu)為Darknet53[2]。本文對(duì)Darknet53的簡(jiǎn)化結(jié)構(gòu)圖如圖2所示，Darknet53中對(duì)特征提取的方式主要是通過FPN特征金字塔進(jìn)行特征提取，預(yù)測(cè)得到三個(gè)特征層，并且每一個(gè)特征層的感受野不同，較大的感受野適合對(duì)大目標(biāo)進(jìn)行檢測(cè)，而較小的感受野包含的圖像信息較少，適合進(jìn)行小目標(biāo)檢測(cè)。

在YOLOv3論文給出的源代碼中，通過對(duì)三個(gè)特征層進(jìn)行處理并利用YOLO Head進(jìn)行預(yù)測(cè)，在VOC數(shù)據(jù)集上得到的輸出層的大小分別為13×13×75、26×26×75、52×52×75。最后一個(gè)維度為75和VOC數(shù)據(jù)集的特性有關(guān)，因?yàn)槠漭敵龅姆诸愵悇e數(shù)為20，而YOLOv3針對(duì)每一層中的每個(gè)特征點(diǎn)的候選框個(gè)數(shù)為3，對(duì)于圖像中的每個(gè)候選框，在目標(biāo)檢測(cè)算法中常用x、y、w、h四個(gè)值來確定目標(biāo)所在的位置，而confidence表示先驗(yàn)框中是否有目標(biāo)，所以75可以表示為3×（20 + 4 + 1），這也正是YOLOv3設(shè)計(jì)的核心思想。

實(shí)現(xiàn)更高的準(zhǔn)確度和速度是目標(biāo)檢測(cè)領(lǐng)域一直在追求的目標(biāo)。但是上述的YOLOv3模型無法達(dá)到很好的均衡，由于對(duì)盲道障礙物的檢測(cè)屬于小目標(biāo)檢測(cè)，并且小目標(biāo)的分辨率低且覆蓋區(qū)域小，給目標(biāo)的檢測(cè)帶來了困難，通過文獻(xiàn)[6]的啟發(fā)，本文通過平移、翻轉(zhuǎn)、裁剪、顏色空間轉(zhuǎn)換等方法對(duì)輸入圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，解決數(shù)據(jù)集分布不理想這一情況，并且也能增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)圖像特征的提取能力。

2.2" 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)也稱為數(shù)據(jù)擴(kuò)增，是一種擴(kuò)充數(shù)據(jù)規(guī)模的有效方法[7]。該技術(shù)在深度學(xué)習(xí)中常被用作對(duì)數(shù)據(jù)集的補(bǔ)充，常被用于解決數(shù)據(jù)集分布不均勻和訓(xùn)練樣本數(shù)過小的情況，通過數(shù)據(jù)增強(qiáng)的技術(shù)能夠?qū)⑿颖緮?shù)據(jù)轉(zhuǎn)換為大樣本數(shù)據(jù)，更好地適應(yīng)深度卷積網(wǎng)絡(luò)的特性。

在目標(biāo)檢測(cè)算法選取數(shù)據(jù)集的過程中，若不同類型的目標(biāo)樣本數(shù)和尺寸相差較大，將會(huì)導(dǎo)致網(wǎng)絡(luò)無法適應(yīng)目標(biāo)。小目標(biāo)的不同密度使得很難使用統(tǒng)一的方法來提高小目標(biāo)的檢測(cè)效果。故我們對(duì)輸入圖像進(jìn)行平移、翻轉(zhuǎn)、裁剪和顏色空間的變換，如圖3所示，使正樣本和負(fù)樣本的數(shù)量達(dá)到平衡，并且也能夠增大樣本數(shù)，更利于網(wǎng)絡(luò)的訓(xùn)練。

3" 實(shí)驗(yàn)與結(jié)果分析

3.1" 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證本文方法在實(shí)時(shí)盲道檢測(cè)中的效果，將YOLOv3模型部署于邊緣計(jì)算設(shè)備中進(jìn)行測(cè)試與驗(yàn)證，邊緣計(jì)算的測(cè)試設(shè)備選用英偉達(dá)的Jetson Xavier Nx開發(fā)板，Jetson Xavier Nx是一款致力于深度學(xué)習(xí)的開發(fā)板，它集成了128核Maxwell GPU，4 GB LPDDR4和四核ARM A57 64-bit CPU內(nèi)存，也支持PCIe Gen2高速I/O和MIPI CSI-2接口攝像頭的接入，設(shè)備實(shí)物圖如圖4所示。

3.2" 實(shí)驗(yàn)數(shù)據(jù)集與訓(xùn)練過程

由于沒有公開使用的盲道圖像數(shù)據(jù)集，本文通過實(shí)地拍攝與網(wǎng)絡(luò)爬取得到了368張包含障礙物的盲道圖像，借助數(shù)據(jù)增強(qiáng)技術(shù)共獲得1 256張圖片。將數(shù)據(jù)集中的60%用作訓(xùn)練集，25%用作測(cè)試集，15%用作驗(yàn)證集?？紤]到數(shù)據(jù)的局限性，本文設(shè)置初始epoch為500，由于圖片中目標(biāo)物體的種類不一，故本文為盲道物體設(shè)置統(tǒng)一的標(biāo)簽Labelm，在網(wǎng)絡(luò)訓(xùn)練的過程中，在訓(xùn)練開始時(shí)設(shè)置學(xué)習(xí)率為1×10-6，設(shè)置每一組batch_size為12，經(jīng)過100次epoch后學(xué)習(xí)率調(diào)整為1×10-3，采用Aadm進(jìn)行優(yōu)化處理，在經(jīng)過200個(gè)epoch后學(xué)習(xí)率變?yōu)?×10-4，且損失函數(shù)保持穩(wěn)定，至此模型收斂，訓(xùn)練過程結(jié)束。訓(xùn)練中得到的訓(xùn)練誤差及檢測(cè)實(shí)時(shí)比變化曲線圖如圖5所示。

3.3" 實(shí)驗(yàn)結(jié)果

通過網(wǎng)絡(luò)的訓(xùn)練與邊緣計(jì)算設(shè)備的部署，本文所提出的盲道識(shí)別方法對(duì)于不同分辨率的圖像均有著不錯(cuò)的表現(xiàn)，檢測(cè)準(zhǔn)確度能夠保持在90%以上，檢測(cè)實(shí)時(shí)比能達(dá)到20 frame/s以上，相比與使用YOLO算法進(jìn)行盲道檢測(cè)的傳統(tǒng)盲道識(shí)別方法，本文的盲道識(shí)別方法在條形障礙物的檢測(cè)性能上表現(xiàn)突出，檢測(cè)實(shí)時(shí)速率有著大幅度的提升，能夠滿足日常盲道識(shí)別的場(chǎng)景需求。

4" 結(jié)" 論

本文針對(duì)盲人出行以及目標(biāo)檢測(cè)算法在進(jìn)行盲道檢測(cè)的實(shí)際場(chǎng)景，提出了一種新的盲道識(shí)別方法。首先引入邊緣計(jì)算模型保證盲道數(shù)據(jù)處理的實(shí)時(shí)性，接著在YOLOv3算法的基礎(chǔ)上，通過數(shù)據(jù)增強(qiáng)的方式來完成對(duì)YOLOv3網(wǎng)絡(luò)的搭建，最后使用Jetson Xavier Nx開發(fā)板對(duì)算法進(jìn)行訓(xùn)練與測(cè)試，實(shí)驗(yàn)結(jié)果表明，本文的盲道識(shí)別方法與傳統(tǒng)盲道識(shí)別方法相比，在檢測(cè)精確度與實(shí)時(shí)速率上都有著一定的提升。下一步的研究重點(diǎn)是將算法應(yīng)用于更多特殊的場(chǎng)景，進(jìn)一步提高算法的魯棒性和適應(yīng)性，減小模型的計(jì)算量，做到與嵌入式設(shè)備的搭建使用。

參考文獻(xiàn)：

[1] 王建藝，馬國(guó)棟.保障盲人無障礙出行的對(duì)策研究 [J].現(xiàn)代商貿(mào)工業(yè)，2021，42（20）：38-39.

[2] REDMON J，F(xiàn)ARHADI A. Yolov3： An incremental improvement [J/OL].arXiv：1804.02767 [cs.CV].（2018-04-08）.https：//arxiv.org/abs/1804.02767.

[3] 袁揚(yáng)，馬浩文，葉云飛，等.基于YOLOv3算法的盲道識(shí)別研究 [J].河南科技，2022，41（6）：20-23.

[4] 齊自強(qiáng).基于邊緣計(jì)算的客流檢測(cè)跟蹤系統(tǒng)研究 [D].北京：北方工業(yè)大學(xué)，2020.

[5] 施巍松，孫輝，曹杰，等.邊緣計(jì)算：萬物互聯(lián)時(shí)代新型計(jì)算模型 [J].計(jì)算機(jī)研究與發(fā)展，2017，54（5）：907-924.

[6] 段中興，王劍，丁青輝，等.基于深度學(xué)習(xí)的盲道障礙物檢測(cè)算法研究 [J].計(jì)算機(jī)測(cè)量與控制，2021，29（12）：27-32.

[7] 朱曉慧，錢麗萍，傅偉.圖像數(shù)據(jù)增強(qiáng)技術(shù)研究綜述 [J].軟件導(dǎo)刊，2021，20（5）：230-236.

作者簡(jiǎn)介：賈存南（2002—），男，漢族，湖南邵陽人，本科在讀，主要研究方向：電子信息工程；通訊作者：陳剛（1979—），男，漢族，湖南長(zhǎng)沙人，講師，碩士，主要研究方向：物聯(lián)網(wǎng)應(yīng)用。