張廣昊 朱炳禎 費靖凱

摘? 要：文章基于互聯(lián)網(wǎng)和云端技術(shù)提出一種全新的鏡路協(xié)同（Mirror Path Collaboration， MPC）技術(shù)，用以智能識別信號燈狀態(tài)，進(jìn)而設(shè)計一款集信號燈識別、道路障礙檢測、語音提醒等功能于一體的智能盲人眼鏡。采用YOLOv4算法使眼鏡中的顏色傳感器實時監(jiān)測信號燈的燈態(tài)，借助無線通信模塊將所有數(shù)據(jù)上傳云端，經(jīng)主控模塊處理后篩選出有價值的信息，通過眼鏡中的語音模塊反饋給盲人使用者，最終達(dá)到幫助盲人準(zhǔn)確判斷和了解信號燈信息的目的。

關(guān)鍵詞：鏡路協(xié)同；YOLOv4；信號燈識別

中圖分類號：TP39； TP183? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）15-0174-05

Design of Blind Glasses for Intelligent Recognition of Signal Lights Based on Mirror Path Collaboration Technology

ZHANG Guanghao， ZHU Bingzhen， FEI Jingkai

（Shandong Huayu University of Technology， Dezhou? 253034， China）

Abstract： This paper proposes a new Mirror Path Collaboration （MPC） technology based on Internet and cloud technology to intelligently recognize the status of signal lights， and then designs an intelligent blind glasses that integrates functions such as signal light recognition， road obstacle detection， and voice reminder. The YOLOv4 algorithm is used to enable color sensors in glasses to monitor the light status of signal lights in real-time. With the help of wireless communication modules， all data is uploaded to the cloud， after being processed by the main control module， valuable information is filtered out. Through the voice module in the glasses， feedback is given to blind users， ultimately achieving the goal of helping blind people accurately judge and understand signal light information.

Keywords： Mirror Path Collaboration; YOLOv4; signal light recognition

0? 引? 言

在傳統(tǒng)的盲人輔助設(shè)備中，盲人眼鏡主要用于美化盲人因自身疾病或各種意外情況而導(dǎo)致失明的雙眼，產(chǎn)品功能過于單一。盲人出行只能通過陪同的親屬或手中的盲杖對前方信息進(jìn)行簡單粗略的判斷，盲人在面對信號燈時更是毫無辦法，這無疑增大了盲人出行的風(fēng)險。加之國內(nèi)盲道被占用的情況屢見不鮮，為盲人的出行提出了更為嚴(yán)峻的考驗。如何運用科技手段幫助盲人群體安全地通過信號燈路口是一個亟待解決的社會問題。

隨著助盲技術(shù)的日趨完善與快速發(fā)展，智能盲人輔助設(shè)備逐漸進(jìn)入大眾視野，這在一定程度上解決了盲人出行所遇到的個別問題，提高了盲人出行的安全性。但是絕大多數(shù)設(shè)備僅僅局限在對前方道路障礙物的識別上，國內(nèi)外目前還沒有一款可以幫助盲人準(zhǔn)確識別信號燈信息的輔助設(shè)備。

據(jù)統(tǒng)計，我國大約有1 700萬視障群體，其中盲人數(shù)量更是超過800萬，而國內(nèi)導(dǎo)盲犬的數(shù)量卻只有200只左右，導(dǎo)盲犬的普及率僅有0.001%。據(jù)權(quán)威機構(gòu)分析，從我國的盲人基數(shù)來看，最少需要有17萬只服役的導(dǎo)盲犬才能滿足需求，而培養(yǎng)一只導(dǎo)盲犬的成本在15萬～20萬，對于大多數(shù)盲人來說認(rèn)養(yǎng)一只導(dǎo)盲犬并不現(xiàn)實。

本項目中搭載“鏡路協(xié)同”技術(shù)的智能盲人眼鏡旨在幫助盲人群體快速、準(zhǔn)確地識別信號燈信息，聯(lián)合大數(shù)據(jù)對其燈色、時長、倒計時做出準(zhǔn)確判斷，智能提醒盲人是否可以通過前方路口?？稍谝欢ǔ潭葘崿F(xiàn)低成本、高效率的盲人出行，同時運用高能量密度的電池并借助工程技術(shù)提升設(shè)備的續(xù)航能力。

1? 國內(nèi)外發(fā)展現(xiàn)狀

1.1? 國內(nèi)發(fā)展現(xiàn)狀

我國擁有數(shù)量龐大的盲人群體，人數(shù)超800萬，占世界失明人數(shù)的20%，如圖1所示。我國視障、盲用輔具企業(yè)長期以低科技、低成長性企業(yè)為主?！稓埣踩嘶据o助器具指導(dǎo)目錄（2020版）》中所涉的視障人群助視器僅限于放大鏡、低視力眼鏡、電子助視器等，呈現(xiàn)出低技術(shù)附加值的特點。盲人群體能夠使用的智能產(chǎn)品更是極度稀缺，相關(guān)自主知識產(chǎn)權(quán)較少。

我國的盲人數(shù)量龐大，但國內(nèi)無障礙設(shè)施建設(shè)規(guī)范化不足，盲人幾乎無法獨立出行。隨著我國人民生活水平的不斷提高，盲人對優(yōu)質(zhì)生活的需求愈發(fā)強烈，進(jìn)而帶動智能盲人輔助設(shè)備市場的發(fā)展。2020年，我國智能助視器市場規(guī)模約16.2億元，隨著智能助視器技術(shù)的逐漸成熟，預(yù)計到2025年市場規(guī)模將達(dá)到76.7億元。

在人口老齡化背景下，隨著盲人數(shù)量的增長以及生活和醫(yī)療水平的提高，盲人群體對智能輔助設(shè)備的需求必將持續(xù)攀升，盲人智能輔助設(shè)備市場具有巨大的發(fā)展空間。

1.2? 國外發(fā)展現(xiàn)狀

國外對智能盲人輔助設(shè)備的研究早于國內(nèi)，掌握的技術(shù)也更為成熟，目前部分西方國家已經(jīng)實現(xiàn)了相應(yīng)產(chǎn)品的量產(chǎn)。

瑞士Eyra公司發(fā)明一款盲人用耳機Horus，當(dāng)前方有障礙物時，距離障礙物越近耳機發(fā)出的警報聲越大，可幫助盲人大致判斷障礙物的位置。日本為了解決盲人出行問題，在信號燈旁安裝“附音響裝置信號機”，通過發(fā)出的不同聲音讓盲人感知是否可以通行。美國斯坦福大學(xué)的一個科研團(tuán)隊研發(fā)一款智能輔助盲杖，可代替導(dǎo)盲犬進(jìn)行自動導(dǎo)航，但受傳感器技術(shù)的限制，該款手杖既昂貴又沉重，并沒有得到很好的普及。以色列的OrCam公司研發(fā)一款名為OrCam MyEye的盲人輔助設(shè)備，采用了可區(qū)別文字結(jié)構(gòu)的光學(xué)字符識別系統(tǒng)，可解析視覺輸入元素，捕捉任何平面上涵蓋的印刷或數(shù)碼文字。但其并不是以“眼鏡”的方式使用，而是作為小型設(shè)備，通過磁鐵附著在用戶自己的眼鏡框上，更適合在閱讀報紙、菜單或書本的場景中使用。

盡管國外的研究在時間上更早且取得了較好的成果，但是截至目前還沒有一款設(shè)備能夠幫助盲人準(zhǔn)確地識別信號燈信息。

2? “鏡路協(xié)同”系統(tǒng)設(shè)計

鏡路協(xié)同系統(tǒng)（Mirror Road Collaboration System， MRCS）是基于傳感識別、無線通信、GPS定位等技術(shù)獲取盲人使用者信息和周圍環(huán)境信息，通過云端處理和計算使各項信息實現(xiàn)交互和共享，實現(xiàn)盲人使用者和基礎(chǔ)設(shè)施之間智能的協(xié)調(diào)與配合，達(dá)到準(zhǔn)確識別信號燈、障礙物的目的。

根據(jù)眼鏡的功能定位，設(shè)計如圖2所示的系統(tǒng)框架圖。由圖2可以看出，鏡路協(xié)同系統(tǒng)主要包含顏色傳感器（TCS34725）、GPS定位、語音模塊技術(shù)、無線通信等技術(shù)。其中，STM32單片機作為整個系統(tǒng)的核心控制器，通過與TCS32725模組、定位芯片、無線通信模塊、語音模塊以及外圍電路之間的配合，分別構(gòu)成信號燈檢測系統(tǒng)、GPS系統(tǒng)、無線通信系統(tǒng)和語音交互系統(tǒng)，以此實現(xiàn)識別信號燈主體功能的目的。同時還輔以其他模組，達(dá)到眼鏡全部功能的實現(xiàn)。

2.1? 系統(tǒng)組成

2.1.1? 主控模塊設(shè)計

當(dāng)前智能設(shè)備上的主控模塊主要有STC89C52、STM32、STC89C51等，其中STC89C52與STM32分別為8位單片機和32位單片機，使用keil MDK進(jìn)行編程，具有開發(fā)簡單和價格低廉等特點。本項目采用STM32主控模塊，雖然市面上有很多芯片可供選擇，并且價格低廉，但是這些主控模塊可供用戶使用的I/O較少，而此次設(shè)計需要使用較多的I/O口，這些單片機都不能滿足需要，所以選擇如圖3所示的STM32作為此次設(shè)計的主控模塊。

2.1.2? 顏色傳感器設(shè)計

系統(tǒng)工作期間，位于眼鏡中框處的攝像頭需要隨時捕捉信號燈信息，借助顏色傳感器對信號燈顏色進(jìn)行判斷。本項目選擇TCS34725顏色識別傳感器，TCS34725是一款低成本、高性價比的RGB全彩色識別傳感器，傳感器通過光學(xué)感應(yīng)識別物體的顏色。支持紅、綠、藍(lán)（RGB）三基色，支持明光感應(yīng)，可以輸出對應(yīng)的具體數(shù)值，還原真實色彩。

顏色傳感器在系統(tǒng)整體設(shè)計中具有承上啟下的作用，需要完成復(fù)雜的傳感過程。為了提高精度，防止受周邊環(huán)境干擾，本設(shè)計特意在傳感器底部添加一塊紅外遮光片，最大限度減小入射光的紅外頻譜成分，讓顏色捕捉更加準(zhǔn)確。如圖4所示為顏色傳感器工作原理的簡易流程圖。

2.1.3? 無線通信模塊設(shè)計

城市信號燈的燈態(tài)信息并不同步，每一個信號燈都有自己的時長程序，如何準(zhǔn)確得知當(dāng)前所面對信號燈的燈態(tài)信息是鏡路協(xié)同技術(shù)的關(guān)鍵一環(huán)。應(yīng)用無線通信技術(shù)可實時獲取云端大數(shù)據(jù)平臺中各個信號燈的實時燈態(tài)信息，借助GPS模塊讓系統(tǒng)更加準(zhǔn)確地獲知當(dāng)前路口的信號燈狀態(tài)，通過主控模塊的處理使盲人使用者能夠準(zhǔn)確得知前方信號燈的燈態(tài)信息。

本項目中的無線通信模塊通過獲取大量信號燈運行數(shù)據(jù)、交通系統(tǒng)數(shù)據(jù)，實現(xiàn)對“鏡路協(xié)同”系統(tǒng)的核心化管理，支撐互聯(lián)網(wǎng)基礎(chǔ)設(shè)施建設(shè)區(qū)域信號燈狀態(tài)實時展現(xiàn)、信號燈狀態(tài)大數(shù)據(jù)分析等功能，實現(xiàn)智能化、互聯(lián)化、精細(xì)化的信號燈識別。

2.1.4? GPS系統(tǒng)設(shè)計

該系統(tǒng)主要由GPS模塊、STM32主控模塊、語音模塊組成。其中GPS模塊采用AT6558R芯片，AT6558R是一款高性能BDS/GNSS多模衛(wèi)星導(dǎo)航接收機SOC單芯片，支持多種衛(wèi)星導(dǎo)航系統(tǒng)（包括中國的北斗衛(wèi)星導(dǎo)航系統(tǒng)BDS、美國的GPS、俄羅斯的GLONASS），并實現(xiàn)多系統(tǒng)聯(lián)合定位。通過GPS模塊獲取信號燈物理信息，經(jīng)AT6558R芯片處理為數(shù)字信號后再由STM32主控模塊進(jìn)行處理，最終由語音模塊通過語音播報的方式將信息反饋給盲人使用者，使盲人使用者能夠準(zhǔn)確得知前方信號燈信息。GPS系統(tǒng)流程圖如圖5所示。

2.1.5? 語音模塊設(shè)計

本設(shè)計中語音模塊采用WTK6900H-24SS作為本地語音辨別芯片，具有成本低、可靠性高、通用性強的特點，可實現(xiàn)更高的喚醒識別率、更強的抗噪性能、更低的延遲。通過STM32主控模塊和GPS模塊的處理，系統(tǒng)可以清楚獲知盲人使用者的行進(jìn)速度與信號燈燈態(tài)信息之間的關(guān)系，通過計算提出合理的建議并由語音模塊及時反饋給盲人使用者，使其能夠做出合理的判斷。

2.1.6? 電池設(shè)計

當(dāng)前，智能盲人輔助設(shè)備的續(xù)航時間普遍較低，難以滿足盲人長時間出行的待機時長需要。若要提高設(shè)備的續(xù)航時間，需要提高電池容量和電池能量密度。顯然，要想在“寸土寸金”的鏡框內(nèi)提高電池容量并不現(xiàn)實，工程化技術(shù)是一種在不改變鋰離子電池的材料和化學(xué)體系的情況下提高其能量密度的一種技術(shù)，主要以影響電池能量密度的各因素為切入點，通過改變電池的整體尺寸、集流體和隔膜的厚度、電解液注液量、N/P占比及涂層厚度等，顯著影響鋰離子電池的能量密度。為此，本項目運用工程技術(shù)，采用一塊高能量密度鋰電池來提高設(shè)備的整體續(xù)航時間，使盲人出行不再伴有電量耗盡的焦慮。

2.2? YOLOv4算法

如何保證顏色傳感器識別到的顏色信息是來自信號燈而不是來自其他干擾因素，是“鏡路協(xié)同”技術(shù)的關(guān)鍵一環(huán)，也是檢驗這項技術(shù)是否成功的最重要因素。本項目采用改進(jìn)后的YOLOv4算法，實現(xiàn)準(zhǔn)確識別信號燈及其倒計時數(shù)字的目的。

YOLOv4是Alexey Bochkovskiy等人提出的目標(biāo)檢測算法，YOLOv4在YOLOv3的基礎(chǔ)上進(jìn)行了特征提取網(wǎng)絡(luò)、激活函數(shù)、特征金字塔、網(wǎng)絡(luò)訓(xùn)練等方面的改進(jìn)，在保證準(zhǔn)確率的同時也降低了計算量。該算法被廣泛應(yīng)用于無人駕駛領(lǐng)域，在交通信號燈的檢測方面有著良好的效果，但傳統(tǒng)的YOLOv4算法對于倒計時這類小目標(biāo)的檢測效果較差，因此還需要對YOLOv4算法進(jìn)行改進(jìn)以達(dá)到對信號燈倒計時的識別。

3? “鏡路協(xié)同”技術(shù)流程

“鏡路協(xié)同”技術(shù)的基礎(chǔ)架構(gòu)主要包含主控系統(tǒng)、信號燈檢測系統(tǒng)、GPS系統(tǒng)、無線通信系統(tǒng)和語音交互系統(tǒng)，在改進(jìn)后YOLOv4算法的加持下，各分系統(tǒng)協(xié)調(diào)配合，使搭載該項技術(shù)的智能盲人眼鏡能夠完成對信號燈信息的識別，助力于盲人群體出行。其具體技術(shù)流程如圖6所示。

4? 實驗測試

針對YOLOv4算法對小目標(biāo)檢測效果較差的問題，通過對YOLOv4主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，將其中的CSPDarkNet53網(wǎng)絡(luò)替換為CSPResNet50vd網(wǎng)絡(luò)，并將stage4中的3×3標(biāo)準(zhǔn)卷積替換為可變形卷積（DCN）。經(jīng)實驗可知，改進(jìn)后模型的平均精度（mean Average Precision， mAP）達(dá)到79.37%，超過YOLOv4，且其檢測速度相比YOLOv4快4.11 ms，實驗結(jié)果如表1所示。

改進(jìn)后YOLOv4算法在置信度為0.5時三類信號燈燈態(tài)的mAP如圖7所示。

捕捉識別的特征圖輸出后進(jìn)入后續(xù)的檢測模塊操作，通過改進(jìn)后的YOLOv4算法得到如圖8所示的檢測效果圖。

可變形卷積可以提高模型對形變目標(biāo)的建模能力，可集中于人們感興趣的區(qū)域或目標(biāo)。即在卷積核中每個采樣點的位置都增加了偏移量，可以實現(xiàn)在當(dāng)前位置附近（而不是局限于常規(guī)卷積的規(guī)則采樣點）隨意采樣。當(dāng)盲人使用者行至信號燈較多的路口時，可變形卷積可以同時對多個信號燈進(jìn)行觀測，這對保證盲人順利通過復(fù)雜路段有著十分重要的作用。其與常規(guī)卷積的對比如圖9所示。

通過以上圖表可知，在改進(jìn)YOLOv4算法的加持下設(shè)備整體可識別范圍更廣，識別精度更高，能夠滿足設(shè)備準(zhǔn)確識別信號燈燈態(tài)的需求，達(dá)到保證盲人使用者安全出行的目的。

5? 結(jié)? 論

科學(xué)技術(shù)的進(jìn)步極大地促進(jìn)了世界的發(fā)展，許多新興的技術(shù)也在各個領(lǐng)域?qū)崿F(xiàn)跨界融合。本項目將“鏡路協(xié)同”技術(shù)應(yīng)用于盲人眼鏡，實現(xiàn)了科技與生活的完美交互。顧名思義，“鏡路協(xié)同”就是眼鏡和道路信息相互協(xié)調(diào)，同頻同步。這項技術(shù)旨在幫助盲人群體快捷、準(zhǔn)確地識別前方路口信號燈的燈態(tài)信息，聯(lián)合大數(shù)據(jù)對其燈色、時長、倒計時做出準(zhǔn)確判斷，幫助盲人群體安全通過信號燈路口。本項目使盲人眼鏡功能過于單一的現(xiàn)狀得以改善，提高盲人群體出行的安全性、可靠性，降低盲人出行的風(fēng)險，保障這一社會特殊群體的切身利益，促進(jìn)社會和諧、穩(wěn)定地發(fā)展。

參考文獻(xiàn)：

[1] 吳倩倩，余正發(fā)，歐元博.智能眼鏡設(shè)計 [J].電子制作，2022，30（15）：80-82.

[2] 顏玲，倪杰，王岳，等.智能眼鏡設(shè)計 [J].福建電腦，2021，37（3）：77-79.

[3] 謝亮.嵌入式系統(tǒng)低功耗設(shè)計 [D].上海：上海交通大學(xué)，2011.

[4] 鄭德立.高能量密度鋰離子電池結(jié)構(gòu)工程化技術(shù)研究 [J].石油石化物資采購，2022（23）：177-179.

[5] 金紹晨.車路協(xié)同技術(shù)在城市交通中的應(yīng)用研究 [J].城市道橋與防洪，2022，279（7）：160-163+172+21-22.

[6] 劉洋，姜濤，段學(xué)鵬.基于YOLOv3的復(fù)雜天氣條件下人車識別方法的研究 [J].長春理工大學(xué)學(xué)報：自然科學(xué)版，2020，43（6）：57-65.

[7] 周昆陽，鄭澤斌，向陽，等.基于改進(jìn)YOLOv4的交通信號燈倒計時數(shù)字檢測與識別 [J].電腦知識與技術(shù)：學(xué)術(shù)版，2022，18（4）：7-9+21.

[8] 曹梓銘.基于YOLOv4的多場景小目標(biāo)檢測 [D].南京：南京郵電大學(xué)，2022.

[9] 黃鳳琪，陳明，馮國富.基于可變形卷積的改進(jìn)YOLO目標(biāo)檢測算法 [J].計算機工程，2021，47（10）：269-275+282.