摘 要：為了解決傳統(tǒng)基于超聲波或者紅外傳感器技術(shù)設(shè)計(jì)的導(dǎo)盲杖難以應(yīng)用于復(fù)雜多變的環(huán)境、實(shí)用性不強(qiáng)的問題，設(shè)計(jì)了基于視覺感知技術(shù)的智能導(dǎo)盲杖?？紤]到使用場(chǎng)景的復(fù)雜性，通過采集大量真實(shí)場(chǎng)景中各種形態(tài)的盲道、紅綠燈、斑馬線、馬路邊緣和路面障礙物等圖像制作了道路信息圖像數(shù)據(jù)集，并將訓(xùn)練好的YOLO模型部署到邊緣計(jì)算平臺(tái)Jetson Xavier NX上，實(shí)現(xiàn)多傳感器數(shù)據(jù)融合。實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)識(shí)別精度高，穩(wěn)定性好，平均實(shí)時(shí)檢測(cè)處理速度達(dá)到了20.61 FPS，能夠及時(shí)有效地反饋信息，引導(dǎo)盲人正常出行。

關(guān)鍵詞：深度學(xué)習(xí)；圖像處理；STM32F103；多傳感器融合；邊緣計(jì)算；YOLO模型

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）02-0-04

0 引 言

隨著盲人群體生活水平和教育水平的提升，導(dǎo)盲市場(chǎng)將逐步擴(kuò)大。盡管智能化和自動(dòng)化產(chǎn)品不斷涌現(xiàn)，定向行走輔具種類豐富，但成本高、使用復(fù)雜和受眾小的特點(diǎn)限制了導(dǎo)盲產(chǎn)品的大規(guī)模生產(chǎn)。目前市場(chǎng)主要使用超聲波測(cè)距輔助導(dǎo)盲，未來(lái)還將加大對(duì)盲人產(chǎn)品的研究開發(fā)[1]。目前市面上尚未出現(xiàn)具有高科技水平且使用方便友好的電子導(dǎo)航設(shè)備為盲人提供服務(wù)。盲人出行仍然主要依賴于盲杖。文獻(xiàn)[2-4]基于多傳感器融合，設(shè)計(jì)了具有超聲波測(cè)距、語(yǔ)音播報(bào)、振動(dòng)反饋、倒地檢測(cè)等功能的電子導(dǎo)盲杖，文獻(xiàn)[5-6]從導(dǎo)航功能入手，設(shè)計(jì)集成了具有GPS定位和GSM短信功能的導(dǎo)盲杖，文

獻(xiàn)[7-11]利用圖像處理識(shí)別盲道，拓寬了導(dǎo)盲杖的應(yīng)用場(chǎng)景。然而，深度學(xué)習(xí)與邊緣計(jì)算端的研究雖然對(duì)盲道分割和障礙物檢測(cè)進(jìn)行了探索，但算法復(fù)雜，在移動(dòng)設(shè)備中難以應(yīng)用。

因此本文設(shè)計(jì)了一款擁有實(shí)時(shí)探測(cè)掃描路況、盲道識(shí)別、紅綠燈識(shí)別、語(yǔ)音振動(dòng)提示功能的導(dǎo)盲杖。該導(dǎo)盲杖具有攜帶方便、續(xù)航能力強(qiáng)、實(shí)用性強(qiáng)、安全性高的特點(diǎn)。本文在前人研究的基礎(chǔ)上，從系統(tǒng)的穩(wěn)定性、實(shí)用性和安全性方面做了深入論證，利用深度學(xué)習(xí)的強(qiáng)大能力，設(shè)計(jì)制作了基于視覺感知的智能導(dǎo)盲杖。

本文的貢獻(xiàn)主要有3個(gè)方面：

（1）將深度學(xué)習(xí)與傳感器檢測(cè)融合，使得導(dǎo)盲杖具備視覺導(dǎo)盲、傳感器導(dǎo)盲以及視覺-傳感器導(dǎo)盲3種導(dǎo)盲模式，使導(dǎo)盲效果更好，應(yīng)用場(chǎng)景更為廣泛。

（2）構(gòu)建了一個(gè)盲人行走時(shí)所需的地面圖像數(shù)據(jù)集，該數(shù)據(jù)集包括了盲道、交通標(biāo)識(shí)（紅綠燈和斑馬線）、馬路邊緣、路面積水、車輛等圖像。

（3）采用GhostNet輕量化主干網(wǎng)絡(luò)作為Backbone的基礎(chǔ)結(jié)構(gòu)優(yōu)化深度學(xué)習(xí)模型，在保證檢測(cè)性能的同時(shí)，將網(wǎng)絡(luò)輕量化，使其能運(yùn)行在小型邊緣計(jì)算平臺(tái)上，讓人工智能造福盲人群體成為了可能。

1 系統(tǒng)設(shè)計(jì)方案

1.1 總體結(jié)構(gòu)設(shè)計(jì)思路

盲人出行需要實(shí)時(shí)獲取周圍情況并傳遞信息，包括障礙物、道路邊緣、積水、盲道、斑馬線，以及能夠發(fā)送GPS位置、求助信息等。為此，本文設(shè)計(jì)開發(fā)了一套基于視覺感知的智能導(dǎo)盲輔助系統(tǒng)，旨在滿足以上需求，讓盲人出行更加輕松便捷[12]。

1.2 系統(tǒng)功能概述

本文將深度學(xué)習(xí)技術(shù)應(yīng)用于導(dǎo)盲杖，使盲人在出行時(shí)能更全面地了解周圍環(huán)境。模型部署在小型邊緣計(jì)算設(shè)備上，為移動(dòng)端應(yīng)用深度學(xué)習(xí)和圖像處理技術(shù)提供了硬件支持。通過對(duì)攝像頭進(jìn)行實(shí)時(shí)分析，實(shí)現(xiàn)盲道、紅綠燈、斑馬線識(shí)別，上下臺(tái)階、GPS通信、路面障礙物檢測(cè)及距離測(cè)量、積水檢測(cè)、環(huán)境光強(qiáng)檢測(cè)、摔倒報(bào)警等功能。

考慮到系統(tǒng)的魯棒性與安全性，本文在算法上也設(shè)計(jì)了3種模態(tài)，并且3種模態(tài)可以自由切換，具體模態(tài)如下：

（1）圖像模式下，系統(tǒng)使用攝像頭采集圖像進(jìn)行導(dǎo)盲，檢測(cè)盲道、斑馬線和其他交通標(biāo)志物，并在遇到障礙物時(shí)提醒盲人避讓；

（2）圖像與傳感器模式下，在光照較差時(shí)，系統(tǒng)借助傳感器數(shù)據(jù)判斷障礙物位置和路面情況；

（3）傳感器模式下，當(dāng)攝像頭損壞或環(huán)境惡劣時(shí)，系統(tǒng)依靠超聲波、GPS、GSM等傳感器導(dǎo)盲。在極端情況下，盲人可借助系統(tǒng)向路人求助或按下系統(tǒng)面板上的“一鍵求助”按鈕，發(fā)送位置信息給家人。

這3種模式覆蓋了各種導(dǎo)盲場(chǎng)景，并能有效保障盲人安全出行。導(dǎo)盲系統(tǒng)實(shí)物結(jié)構(gòu)如圖1所示。

2 系統(tǒng)設(shè)計(jì)

系統(tǒng)硬件部分主要從Jetson邊緣計(jì)算開發(fā)板、STM32最小系統(tǒng)、語(yǔ)音識(shí)別與播放模塊、攝像頭模塊以及電源設(shè)計(jì)

4個(gè)方面闡釋了相關(guān)電路設(shè)計(jì)，將視覺數(shù)據(jù)和傳感器數(shù)據(jù)分開處理，最后通過串口通信整合在一起，以提高系統(tǒng)的抗干擾能力。嵌入式軟件部分主要包括串口數(shù)據(jù)的接收、解析、執(zhí)行[13]。系統(tǒng)整體框架如圖2所示。

2.1 系統(tǒng)硬件設(shè)計(jì)

考慮到實(shí)際應(yīng)用場(chǎng)景，在前人研究的基礎(chǔ)上，本文采用STM32F103C8T6作為傳感器采集控制器，通過串口通信與Jetson主控板進(jìn)行數(shù)據(jù)交換[14]。

（1）環(huán)境光強(qiáng)檢測(cè)：利用光敏電阻檢測(cè)周圍環(huán)境光強(qiáng)，以達(dá)到及時(shí)開燈的目的。

（2）積水檢測(cè)：利用積水傳感器檢測(cè)道路是否有積水，其原理是將水的電阻轉(zhuǎn)變?yōu)殡妷盒盘?hào)，當(dāng)路面有積水時(shí)，兩根導(dǎo)線之間的水充當(dāng)電阻，進(jìn)而產(chǎn)生電壓信號(hào)傳送給單片機(jī)做出判斷。

（3）傾斜檢測(cè)：利用滾珠的移動(dòng)獲得信號(hào)，判斷人體是否傾倒。傾倒時(shí)滾珠滾動(dòng)到一端（正常時(shí)滾珠在另一端），當(dāng)檢測(cè)到摔倒后能及時(shí)發(fā)送求救短信，并且通過語(yǔ)音向路人求助。

（4）GSM與GPS：盲人出行時(shí)會(huì)使用GPS來(lái)定位和導(dǎo)航，遇到緊急情況時(shí)利用GSM模塊發(fā)送求救信息，并且每隔一段時(shí)間發(fā)送一次定位信息，便于家人獲得盲人的位置及其軌跡，若遇到緊急情況可以一鍵短信報(bào)警。

（5）語(yǔ)音振動(dòng)提醒：利用三極管驅(qū)動(dòng)振動(dòng)馬達(dá)，當(dāng)遇到障礙物等情況時(shí)由主控發(fā)送控制信號(hào)驅(qū)動(dòng)電機(jī)振動(dòng)，同時(shí)通過串口發(fā)送語(yǔ)音播放命令，進(jìn)行語(yǔ)音提醒。本系統(tǒng)采用的語(yǔ)音模塊還能對(duì)特定的語(yǔ)句進(jìn)行識(shí)別，并執(zhí)行對(duì)應(yīng)的操作，極大地方便了盲人使用。

（6）超聲波測(cè)距功能：障礙物距離測(cè)量采用低成本、高精度的HC-SR04超聲波測(cè)距模塊。根據(jù)發(fā)射信號(hào)與回響信號(hào)的時(shí)間間隔計(jì)算距離，見式（1）：

（1）

式中：Th表示超聲波傳感器輸出高電平的時(shí)間；V表示聲波在空氣中的傳播速度。為了使測(cè)距更加準(zhǔn)確穩(wěn)定，該系統(tǒng)采用了3個(gè)超聲波傳感器，3個(gè)傳感器分別從正前方、左前方、右前方3個(gè)方向探測(cè)障礙物，并根據(jù)與障礙物間的距離提醒用戶避讓。傳感器探測(cè)示意圖如圖3所示。

2.2 數(shù)據(jù)集制作與訓(xùn)練

導(dǎo)盲系統(tǒng)對(duì)圖像質(zhì)量要求不高，只要能判斷出物體類型、物體位置即可，結(jié)合超聲波傳感器等獲得的數(shù)據(jù)便可輕松引導(dǎo)盲人行走，故系統(tǒng)采用常見的USB攝像頭獲取圖像，并將采集到的圖像制作成數(shù)據(jù)集，數(shù)據(jù)集包含盲道、車輛、斑馬線、樹木、馬路邊緣、紅綠燈、行人等16類目標(biāo)，共2 666張圖片。

3 系統(tǒng)算法

3.1 軟件開發(fā)與應(yīng)用環(huán)境

算法開發(fā)的整個(gè)過程在Windows 11環(huán)境下完成，選用的CUDA版本為11.7，OpenCV版本為4.6，使用的深度學(xué)習(xí)框架為PyTorch 1.11。算法應(yīng)用環(huán)境Jetson Xavier NX 16 GB是一款外形小巧的SOM（System-on-Module），尺寸比信用卡還小，高效節(jié)能的模組可提供服務(wù)器級(jí)性能，算力高達(dá)21 TOPS，使得Jetson Xavier NX能夠并行運(yùn)行多個(gè)現(xiàn)代神經(jīng)網(wǎng)絡(luò)[15]。

3.2 系統(tǒng)算法流程

本系統(tǒng)利用Jetson開發(fā)板、采集的圖像和傳感器數(shù)據(jù)實(shí)現(xiàn)相應(yīng)功能，實(shí)時(shí)提醒盲人注意周圍環(huán)境中的障礙物，從而引導(dǎo)盲人安全出行。導(dǎo)盲系統(tǒng)主程序算法流程如圖4所示。

系統(tǒng)運(yùn)行后，會(huì)根據(jù)盲人當(dāng)前周圍狀況指導(dǎo)盲人行走，并實(shí)時(shí)檢測(cè)路邊、障礙物、斑馬線、盲道等目標(biāo)?？梢詫⑾到y(tǒng)分為3個(gè)階段：

（1）自由階段：根據(jù)周圍狀況提醒盲人前進(jìn)，引導(dǎo)盲人走到盲道或斑馬線。

（2）盲道行走階段：引導(dǎo)盲人在盲道上行走，提醒盲人是否走偏或轉(zhuǎn)向，遇到障礙物則返回自由階段。

（3）過馬路階段：提示盲人斑馬線的位置，檢測(cè)紅綠燈，指示盲人是否可以過馬路，盲人在斑馬線上行走時(shí)提醒其是否偏離。

3.3 實(shí)驗(yàn)結(jié)果與分析

本文在不同場(chǎng)景下測(cè)試了邊緣計(jì)算端的實(shí)時(shí)處理速度和識(shí)別精度，結(jié)果表明，系統(tǒng)在不同情境下都能通過語(yǔ)音提醒盲人避障，如偏離盲道、行走在馬路邊緣、通過斑馬線、在菜市場(chǎng)購(gòu)物等。在盲道和馬路邊緣行走時(shí)，圖像處理速度較快，但在復(fù)雜場(chǎng)景如十字路口、菜市場(chǎng)和超市等地，速度有所下降。平均實(shí)時(shí)檢測(cè)處理速度達(dá)到20.61 FPS，已滿足盲人導(dǎo)航需求。同時(shí)，在不影響正常使用的情況下，系統(tǒng)可以對(duì)畫面進(jìn)行抽幀檢測(cè)，平均速度甚至能達(dá)到35.45 FPS。針對(duì)這些場(chǎng)景的識(shí)別與提醒，使盲人的生活出行更加方便與安全。不同場(chǎng)景下導(dǎo)盲杖的可視化結(jié)果如圖5所示，不同場(chǎng)景下導(dǎo)盲杖的實(shí)時(shí)檢測(cè)速度見表1。

4 結(jié) 語(yǔ)

本文設(shè)計(jì)制作的基于視覺感知的智能導(dǎo)盲杖系統(tǒng)可以在圖像模態(tài)、傳感器模態(tài)和雙模態(tài)中自動(dòng)切換，并實(shí)現(xiàn)語(yǔ)音提醒和振動(dòng)反饋，滿足盲人導(dǎo)航和提醒需求，為盲人提供更便捷和安全的出行方式。本文采用GhostNet輕量化網(wǎng)絡(luò)結(jié)構(gòu)替換復(fù)雜的C3網(wǎng)絡(luò)結(jié)構(gòu)，大幅降低了模型計(jì)算量，提高了檢測(cè)速度，在保證檢測(cè)性能的同時(shí)提高了運(yùn)行效率，具有較高的實(shí)用價(jià)值和應(yīng)用前景。

參考文獻(xiàn)

[1]徐誼涵，賈瓊瓊，鐘有朋，等.現(xiàn)代盲人出行產(chǎn)品市場(chǎng)與可行性研究綜述[J].現(xiàn)代商貿(mào)工業(yè)，2019，40（21）：76-77.

[2]杜宇崧，袁嘯宇，馬雪嬌.基于多傳感器融合技術(shù)的智能導(dǎo)盲杖的設(shè)計(jì)[J].電子制作，2021（7）：80-81.

[3] DEY N， PAUL A， GHOSH P， et al. Ultrasonic sensor based smart blind stick [C]// 2018 International Conference on Current Trends towards Converging Technologies. Coimbatore， India： IEEE， 2018： 1-4.

[4] KUMAR M， KABIR F， ROY S. Low cost smart stick for blind and partially sighted people [J]. International journal of advanced engineering and management， 2017， 2（3）： 65-68.

[5]錢鵬飛.基于多傳感器融合的新型智能導(dǎo)盲杖設(shè)計(jì)[J].科技創(chuàng)新與應(yīng)用，2022，12（7）：78-79.

[6]陳艷，胡廣，羅厚澄，等.基于STM32芯片的智能導(dǎo)盲杖設(shè)計(jì)[J].電子技術(shù)，2022，51（10）：10-11.

[7] AGUSUTRISNO， WIRYADINATA R， NOVIANTO M N R. Development of guide stick navigation for blind person using digital compass and global positioning system [C]// IOP Conference Series： Materials Science and Engineering. Bali， Indonesia： IOP， 2019， 673（012053）.

[8]左炳輝，范志文，邱宇.基于機(jī)器視覺的智能導(dǎo)盲杖[J].自動(dòng)化技術(shù)與應(yīng)用，2022，41（3）：150-152.

[9]王政博，唐勇，陳國(guó)棟，等.基于機(jī)器視覺的智能導(dǎo)盲機(jī)器人系統(tǒng)設(shè)計(jì)[J].河北水利電力學(xué)院學(xué)報(bào)，2021，31（4）：17-22.

[10]何騰鵬，張榮芬，劉超，等.基于機(jī)器視覺的智能導(dǎo)盲眼鏡設(shè)計(jì)[J].電子技術(shù)應(yīng)用，2017，43（4）：58-61.

[11]楊馥語(yǔ)，陳娟.基于嵌入式圖像處理及路徑規(guī)劃的智能導(dǎo)盲儀[J].流體測(cè)量與控制，2022，3（3）：65-68.

[12]張贏，陳佳藝，童星，等.基于導(dǎo)盲杖智能圖像處理與識(shí)別的研究[N].山西科技報(bào)，2022-05-23（B03）.

[13]金煒杰.面向Android平臺(tái)基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)關(guān)鍵技術(shù)研究和實(shí)現(xiàn)[D].杭州：杭州電子科技大學(xué)，2020.

[14]董冠廷，胡昊迪，吳澤琨，等.基于異構(gòu)計(jì)算與深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)設(shè)計(jì)[J].電子技術(shù)與軟件工程，2018（14）：101-102.

[15] KASILINGAM G， RAMALINGAM M. A survey of voice aided electronic stick for visually impaired people [J]. Computer science， 2014（1）.

作者簡(jiǎn)介：高順強(qiáng)（1996—），男，在讀碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)圖像處理。

王智文（1969—），男，湖南邵陽(yáng)人，教授，研究方向?yàn)槿斯ぶ悄堋?/p>

趙文志（1997—），男，在讀碩士研究生，研究方向?yàn)閳D像處理。

李 娜（1997—），女，在讀碩士研究生，研究方向?yàn)闄C(jī)器視覺。

收稿日期：2024-01-18 修回日期：2024-02-29

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（62466004）；國(guó)家自然科學(xué)基金資助項(xiàng)目（61962007）；國(guó)家自然科學(xué)基金資助項(xiàng)目（62266009）；廣西自然科學(xué)基金重點(diǎn)項(xiàng)目（2018GXNSFDA294001）；廣西財(cái)經(jīng)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室開放基金項(xiàng)目資助（FEDOP2022A06）；廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目（2022KY1697）；廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目教育信息化專項(xiàng)（2022XXH0019）；2023年廣西科技大學(xué)研究生教育創(chuàng)新計(jì)劃項(xiàng)目（GKYC202323）