馬再蓉，樓旭鋒，吳茂念,2，鄭 博,2

（1.湖州師范學(xué)院 信息工程學(xué)院，浙江 湖州 313000；2.浙江省現(xiàn)代農(nóng)業(yè)資源智慧管理與應(yīng)用研究重點(diǎn)實(shí)驗(yàn)室，浙江 湖州 313000）

0 引 言

根據(jù)世衛(wèi)組織的統(tǒng)計(jì)，2006 年中國(guó)的盲人大概有500 萬(wàn)；到了2010 年，這一數(shù)字攀升到了824.8 萬(wàn)；而在2016 年，失明者更是增加到了1 731 萬(wàn)；截至2021 年底，我國(guó)盲人數(shù)量達(dá)1 730 萬(wàn)，占世界盲人總數(shù)的18%。盲人群體的生存狀況是我國(guó)政府和社會(huì)長(zhǎng)期關(guān)注的焦點(diǎn)。中國(guó)盲人協(xié)會(huì)官方網(wǎng)站發(fā)布數(shù)據(jù)顯示，我國(guó)目前現(xiàn)有的盲人數(shù)量居世界第一，是不可忽視的殘疾人群體。

2017 年，山東建筑大學(xué)對(duì)省內(nèi)65 個(gè)公共場(chǎng)所的調(diào)查發(fā)現(xiàn)，有46%的盲道被占用[1]；同年，石家莊的一份調(diào)查顯示：盲道被占率約為11%[2]；2018 年一份對(duì)寧波市79 個(gè)社區(qū)的調(diào)查發(fā)現(xiàn)，在危險(xiǎn)地段設(shè)置警示性、提示性盲道的合格率僅為12%，合格率甚至低于商場(chǎng)[3]。由于城市建設(shè)規(guī)范對(duì)自行車(chē)、電瓶車(chē)的停放考慮欠佳，導(dǎo)致人行道被大量車(chē)輛占用，設(shè)置在人行道上的盲道也被殃及。這并不是“少數(shù)人素質(zhì)低下亂停亂放”的問(wèn)題，這一問(wèn)題在全國(guó)都很常見(jiàn)。

盲人出行除了在盲道方面遇到很多問(wèn)題外，在輔助盲人出行工具這一方面也存在諸多困難。幫助盲人出行的方式通常有三種：導(dǎo)盲犬、盲杖和智能導(dǎo)盲裝置[4]。導(dǎo)盲犬?dāng)?shù)量極少，在盲人群體中擁有者并不普遍；盲杖由于檢測(cè)路面范圍不全面，在使用過(guò)程中會(huì)遇到對(duì)前方障礙物認(rèn)知不清、無(wú)法察覺(jué)懸空的障礙物等問(wèn)題；現(xiàn)存的智能導(dǎo)盲設(shè)備大多分為超聲波導(dǎo)盲設(shè)備、紅外導(dǎo)盲設(shè)備、引導(dǎo)式導(dǎo)盲設(shè)備。在使用超聲波導(dǎo)盲設(shè)備時(shí)，超聲波在途中會(huì)被反射或吸收，導(dǎo)致采集的信息不完整、檢測(cè)出現(xiàn)盲區(qū)等；紅外導(dǎo)盲設(shè)備在室外時(shí)太陽(yáng)光會(huì)對(duì)紅外線(xiàn)造成影響，導(dǎo)致測(cè)距出現(xiàn)一定程度的誤差；導(dǎo)盲機(jī)器人存在開(kāi)發(fā)成本高和不易攜帶維護(hù)等缺點(diǎn)，因此無(wú)法進(jìn)行大范圍推廣應(yīng)用。

如今，隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展與深度學(xué)習(xí)在圖像識(shí)別與檢測(cè)領(lǐng)域的廣泛應(yīng)用，機(jī)器能夠自動(dòng)從大量圖像數(shù)據(jù)中提取圖像或?qū)?yīng)物體的特征進(jìn)行識(shí)別與判斷，達(dá)到了極高的準(zhǔn)確率。例如，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法利用AlexNet[5]、VGG[6]、GooleNet[7]、ResNet[8]及ResNext[9]等卷積神經(jīng)網(wǎng)絡(luò)[10]作為提取圖像特征的主干網(wǎng)絡(luò)，實(shí)現(xiàn)了高精確率的檢測(cè)模型?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)從早期最具代表性的Fast-RCNN[11]、SPP-Net[12]、Faster-RCNN[13]等到近三年的SNIPER[14]、NAS-FPN[15]等檢測(cè)算法，多以高表征能力的CNN（Convolutional Neural Network, CNN）為主干網(wǎng)絡(luò)實(shí)現(xiàn)了較高的檢測(cè)精度。因此可將計(jì)算機(jī)視覺(jué)技術(shù)與硬件結(jié)合，應(yīng)用于導(dǎo)盲設(shè)備中。

為了讓盲人出行更加便捷，更加安全，本項(xiàng)目設(shè)計(jì)了一款能夠完整采集信息，不易受環(huán)境影響，可察覺(jué)前方障礙物種類(lèi)，且易攜帶的盲人專(zhuān)用智能眼鏡，借助圖像分類(lèi)與超聲波測(cè)距等技術(shù)，賦予盲人一雙“慧眼”。開(kāi)發(fā)的計(jì)算機(jī)視覺(jué)技術(shù)與深度學(xué)習(xí)算法相結(jié)合的盲人專(zhuān)用智能眼鏡，綜合超聲波導(dǎo)盲和引導(dǎo)式導(dǎo)盲方式，將微處理器安裝在眼鏡架上，通過(guò)超聲波與云端相配合對(duì)數(shù)據(jù)進(jìn)行處理。在盲道上行走遇到障礙物時(shí)該智能眼鏡會(huì)發(fā)出聲音提醒盲人，引導(dǎo)盲人，幫助盲人在盲道上安全行走。

1 系統(tǒng)總體設(shè)計(jì)

本項(xiàng)目的控制系統(tǒng)以V831 開(kāi)發(fā)板為核心控制器（以下稱(chēng)V831 開(kāi)發(fā)板核心控制器為主控），數(shù)據(jù)處理中心（ESP-32開(kāi)發(fā)板）將超聲波測(cè)距模塊采集的信息經(jīng)處理后傳輸至主控，攝像頭模塊采集的數(shù)據(jù)經(jīng)圖像識(shí)別模塊分類(lèi)后，將分類(lèi)結(jié)果傳輸至主控，主控將得到的數(shù)據(jù)進(jìn)行整理，根據(jù)所得結(jié)果控制語(yǔ)音模塊的播報(bào)信息。系統(tǒng)總框圖如圖1 所示。

圖1 智能眼鏡控制系統(tǒng)總框圖

系統(tǒng)主要包括基于深度學(xué)習(xí)算法的圖像識(shí)別模塊、超聲波測(cè)距模塊和語(yǔ)音模塊，系統(tǒng)整體應(yīng)用流程如圖2 所示。打開(kāi)開(kāi)關(guān)為設(shè)備通電，系統(tǒng)啟動(dòng)后進(jìn)行模型加載，模型加載完成后超聲波模塊和攝像頭模塊開(kāi)始采集數(shù)據(jù)。通過(guò)對(duì)攝像頭采集的盲人在盲道上行走時(shí)所獲取的圖像信息與超聲波測(cè)距模塊采集的當(dāng)前設(shè)備與前方路面的距離信息進(jìn)行同步分析，判斷所得數(shù)據(jù)是否在設(shè)定的正常范圍內(nèi)，若數(shù)據(jù)異常表明前方遇到障礙物，系統(tǒng)將獲取圖像識(shí)別模塊檢測(cè)的障礙物種類(lèi)、超聲波測(cè)距模塊檢測(cè)的當(dāng)前位置與障礙物間的距離數(shù)據(jù)，將數(shù)據(jù)整理后語(yǔ)音播報(bào)給使用者，然后繼續(xù)檢測(cè)；若數(shù)據(jù)在正常值范圍內(nèi)，系統(tǒng)將不做提醒并繼續(xù)檢測(cè)。

圖2 系統(tǒng)總體應(yīng)用流程數(shù)據(jù)采集與傳輸

本項(xiàng)目將VR 眼鏡作為基礎(chǔ)結(jié)構(gòu)，在此基礎(chǔ)上放置所需模塊及電路，并與電池連接，大體形狀如圖3 所示。此款VR 眼鏡長(zhǎng)度為172 mm、寬度為89 mm、高度為93 mm，完全滿(mǎn)足本項(xiàng)目模塊對(duì)空間的需求。將攝像頭模塊放置于左眼位置處，將測(cè)距模塊放置于右眼位置處；電池放在眼鏡后部，減輕面部壓力，如圖4 所示。

圖3 智能眼鏡模型

圖4 智能眼鏡電池放置位置

本眼鏡所用測(cè)距傳感器為A21 超聲波傳感器模塊，其具備高精度、盲區(qū)?。^(qū)≤0.03 m、探測(cè)量程0.02 ～5 m）、雙FOV 探測(cè)角（水平角度40°～65°，垂直角度60 ～80°）、響應(yīng)時(shí)間短、過(guò)濾同頻干擾、體積小、安裝適配性高、防塵防水、壽命長(zhǎng)、可靠性高等優(yōu)點(diǎn)；此傳感器的雙角度探測(cè)有不同等級(jí)可選，根據(jù)本眼鏡應(yīng)用情況，選取水平角度25°，垂直角度40°；不同身高、不同視角對(duì)于距離的測(cè)量準(zhǔn)確度影響不大。具體測(cè)量區(qū)域如圖5 所示。

圖5 超聲波傳感器測(cè)量區(qū)域

本眼鏡采用的攝像頭模塊為與V831 開(kāi)發(fā)板配套的攝像頭模塊，該模塊的攝像頭具有200 萬(wàn)像素的固定焦點(diǎn)圖像傳感器，所拍攝的圖片分辨率為1 600×1 200，攝像頭模塊以每秒20 幀的速度抓取圖片，并傳到主控，可以較真實(shí)且迅速地拍攝環(huán)境圖片。

數(shù)據(jù)傳輸流程如圖6 所示。一方面，超聲波模塊采集前方距離信息，ESP-32 開(kāi)發(fā)板將超聲波模塊采集的數(shù)據(jù)加工處理后傳給主控；另一方面，攝像頭采集當(dāng)前盲道情況的圖像數(shù)據(jù)，后將圖片傳給主控。主控接收并處理數(shù)據(jù)得到結(jié)果，若遇到非正常結(jié)果，便根據(jù)當(dāng)前情況對(duì)使用者進(jìn)行語(yǔ)音播報(bào)提醒。

圖6 數(shù)據(jù)傳輸流程

2 基于深度學(xué)習(xí)的盲道路況檢測(cè)識(shí)別

2.1 數(shù)據(jù)集構(gòu)建

基于數(shù)字圖像處理技術(shù)對(duì)盲道路況進(jìn)行識(shí)別分類(lèi)這一課題在深度學(xué)習(xí)領(lǐng)域?qū)儆谛滦脱芯宽?xiàng)目，采用的訓(xùn)練集和驗(yàn)證集是團(tuán)隊(duì)成員由以下方式獲得：

（1）團(tuán)隊(duì)成員實(shí)地拍攝；

（2）在百度、谷歌、必應(yīng)等大型網(wǎng)站上搜集下載，具體情況見(jiàn)表1 所列。

表1 數(shù)據(jù)集詳情

將每一類(lèi)預(yù)留出20%作為測(cè)試集，其余作為訓(xùn)練集。具體分類(lèi)實(shí)例如圖7 所示。

圖7 盲道圖片分類(lèi)部分示例

2.2 盲道路況識(shí)別算法

現(xiàn)在較為經(jīng)典的深度學(xué)習(xí)模型是VGG 和ResNet。但這兩種網(wǎng)絡(luò)模型的參數(shù)量與計(jì)算量較大，效率較低，占用內(nèi)存較大。為提升卷積層網(wǎng)絡(luò)效率，研究人員在卷積層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了輕量化卷積神經(jīng)網(wǎng)絡(luò)。

本項(xiàng)目的分類(lèi)模型采用基于MobilenetV1[16]的圖像分類(lèi)模型。MobilenetV1 模型是Google 針對(duì)手機(jī)等嵌入式設(shè)備提出的一種輕量級(jí)深層神經(jīng)網(wǎng)絡(luò)，該模型的核心思想是使用深度可分離卷積塊（Depthwise Separable Convolution）。深度可分離卷積塊是由深度可分離卷積和普通1*1 卷積組成。其中，深度可分離卷積的卷積核一般為3*3，通常用于特征提取，而普通1*1 卷積可以完成通道數(shù)調(diào)整。使用深度可分離卷積塊的目的是使用更少的參數(shù)來(lái)代替普通的3*3 卷積。深度可分離卷積塊如圖8 所示。MobilenetV1 網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)表2 所列。

表2 MobilenetV1 網(wǎng)絡(luò)結(jié)構(gòu)

圖8 深度可分離卷積塊

運(yùn)用現(xiàn)有的數(shù)據(jù)集，訓(xùn)練并使用分類(lèi)模型，將在盲道上所遇障礙物分為石墩、墻、消防栓、樹(shù)、桿、電瓶車(chē)、車(chē)七類(lèi)，當(dāng)所遇環(huán)境檢測(cè)出為以上七類(lèi)的其中一種，并且概率大于35%時(shí)，就認(rèn)為其所遇障礙物為該障礙物；但當(dāng)其所遇環(huán)境被分類(lèi)為以上七種的其中一種，但概率低于35%，則認(rèn)為該環(huán)境為正常盲道。運(yùn)用訓(xùn)練好的模型對(duì)測(cè)試集進(jìn)行測(cè)試：盲道識(shí)別算法先讀取測(cè)試集圖片，然后依次對(duì)圖片進(jìn)行檢測(cè)，并輸出障礙物具體種類(lèi)。共測(cè)試10 組，每組340 張圖片，檢測(cè)結(jié)果正確率約為95.02%。表3 所列為部分測(cè)試結(jié)果的分析記錄。

表3 模型測(cè)試結(jié)果

通過(guò)對(duì)分類(lèi)錯(cuò)誤的圖片進(jìn)行分析，發(fā)現(xiàn)分類(lèi)錯(cuò)誤的圖片主要分為兩種：一種是圖片內(nèi)包含要素過(guò)多，另一種是圖片內(nèi)要素展露不充分。圖片檢測(cè)失敗的原因主要是圖片內(nèi)容影響圖片信息的讀取，由此得出，盲道路況識(shí)別算法在障礙物較少且展露充分的情況下識(shí)別穩(wěn)定并且準(zhǔn)確率較高；但在障礙物種類(lèi)較多和障礙物展露不充分的情況下，系統(tǒng)識(shí)別正確率下降，偏差數(shù)值范圍為0.1%～0.9%。通過(guò)以上評(píng)估，認(rèn)為此算法已經(jīng)具備一定的盲道路況障礙物識(shí)別能力。

在模型訓(xùn)練完成后，生成onnx 深度學(xué)習(xí)網(wǎng)絡(luò)文件。調(diào)用onnx2ncnn 轉(zhuǎn)換工具，將生成的onnx 模型轉(zhuǎn)換為ncnn 模型。同時(shí)，為使得生成的ncnn 模型可以被V831 開(kāi)發(fā)板直接使用，將該模型量化，轉(zhuǎn)換成V831 開(kāi)發(fā)板可直接使用的awnn 模型，模型轉(zhuǎn)化、移植完成且經(jīng)過(guò)調(diào)試后，即可使用。本項(xiàng)目在深度學(xué)習(xí)圖像識(shí)別算法選擇上，嘗試了多種經(jīng)典的通用圖像識(shí)別算法，首先在運(yùn)算服務(wù)器端對(duì)比測(cè)試了不同模型的處理識(shí)別速度，最終將效果優(yōu)良且輕量級(jí)的Mobilenet 模型移植入嵌入式設(shè)備。實(shí)踐結(jié)果見(jiàn)表4 所列。

表4 3 個(gè)模型結(jié)果對(duì)比

通過(guò)對(duì)實(shí)踐結(jié)果的分析，可以得知：傳統(tǒng)的VGG、ResNet 算法模型精度優(yōu)良但模型參數(shù)量過(guò)大，在嵌入式設(shè)備或移動(dòng)設(shè)備上使用效果較差，MobilenetV1 模型效果優(yōu)良且參數(shù)量較少，在嵌入式設(shè)備上應(yīng)用效果極佳。因此本項(xiàng)目采用了目前在圖像分類(lèi)領(lǐng)域較為常用及輕量級(jí)，同時(shí)針對(duì)嵌入式設(shè)備開(kāi)發(fā)的MobilenetV1 網(wǎng)絡(luò)模型。

3 測(cè)試結(jié)果

本設(shè)計(jì)經(jīng)過(guò)電路實(shí)現(xiàn)后，進(jìn)行了相應(yīng)的模擬實(shí)驗(yàn)，將組裝完成的眼鏡（如圖9 所示）拿到實(shí)地現(xiàn)場(chǎng)做定量測(cè)試，選擇多段直線(xiàn)盲道作為測(cè)試路段，路途設(shè)置靜止障礙物，定義試驗(yàn)者初始位置到障礙物的距離為起始距離，實(shí)際停止位置與障礙物之間的距離為終止距離，以障礙物處為起點(diǎn)，放置米尺。設(shè)定起始距離為5 m，指引試驗(yàn)者沿盲道行走，通過(guò)記錄揚(yáng)聲器播報(bào)障礙物種類(lèi)及距離（即終止距離），并于設(shè)定障礙物種類(lèi)及米尺上顯示距離進(jìn)行對(duì)比，若播報(bào)終止距離與實(shí)際終止距離的誤差在實(shí)際終止距離的±5%（±10%）范圍內(nèi)，即為測(cè)試成功；另外，將障礙物種類(lèi)和與障礙物之間的距離數(shù)據(jù)在V831 的屏幕中顯示，若語(yǔ)音播報(bào)功能出現(xiàn)故障，則將直接記錄V831 屏幕中的數(shù)據(jù)，并將語(yǔ)音播報(bào)功能記為失敗。多次重復(fù)試驗(yàn)后，所得結(jié)果見(jiàn)表5 所列。

表5 眼鏡試驗(yàn)測(cè)試結(jié)果

圖9 智能眼鏡實(shí)物

試驗(yàn)結(jié)果表明，在實(shí)際測(cè)試中，本眼鏡對(duì)“石墩”和“樹(shù)”這兩類(lèi)障礙物識(shí)別效果較好，成功率分別約為96.67%和95%，對(duì)“桿”和“墻”這兩類(lèi)障礙物識(shí)別效果較差，成功率分別約為78.33%和71.43%，識(shí)別效果較差的原因是由于模擬環(huán)境中使用的圖片較為單一，而實(shí)際環(huán)境中，環(huán)境嘈雜、圖片要素過(guò)多或光線(xiàn)過(guò)亮，曝光度過(guò)高導(dǎo)致識(shí)別效果較差；語(yǔ)音播報(bào)功能效果良好，成功率約為96.75%；在與障礙物間的距離測(cè)量方面，誤差小于5%，成功率約為93.75%，若誤差小于10%，成功率約為99.25%，可以對(duì)距離進(jìn)行較為準(zhǔn)確地測(cè)量。

4 結(jié) 語(yǔ)

本項(xiàng)目通過(guò)對(duì)智能眼鏡的設(shè)計(jì)，結(jié)合Python 對(duì)于V831開(kāi)發(fā)板的控制、圖像分類(lèi)識(shí)別算法及超聲波測(cè)距模塊的配合，實(shí)現(xiàn)了對(duì)盲人出行過(guò)程進(jìn)行實(shí)時(shí)路況識(shí)別的功能，達(dá)到較好的輔助盲人日常出行的效果。該眼鏡分類(lèi)系統(tǒng)的精度還不夠高，分類(lèi)種類(lèi)還可以更多，模型需要進(jìn)一步優(yōu)化升級(jí)，使其更接近人眼感知效果。