蔡一帆 呂思雄 陳遠(yuǎn)霞

摘 ? 要：文章介紹了一種基于在線語音識(shí)別及翻譯技術(shù)的智能警用隨身字幕馬甲產(chǎn)品。可以解決民警在夜間、雨雪天、高噪音等戶外環(huán)境下執(zhí)行指揮交通、疏散群眾等任務(wù)時(shí)通過語音難以準(zhǔn)確向民眾實(shí)時(shí)傳遞信息的痛點(diǎn)。系統(tǒng)主控模塊采用ESP32微處理器，在警用反光馬甲前后各配置一個(gè)柔性LED顯示屏。使用者說出的實(shí)時(shí)語音信息上傳到云服務(wù)器通過百度語音識(shí)別和語音翻譯技術(shù)返回相應(yīng)文字信息，最終把字幕信息滾動(dòng)顯示在馬甲的LED屏上。產(chǎn)品接入了百度文心一言大語言模型可以作為警用智能助手輔助民警日常工作，可翻譯多國語言（英語、日語、韓語等）做到邊說邊翻譯幫助民警與外國人溝通。系統(tǒng)可與城市智慧交通指揮調(diào)度系統(tǒng)連接，具有定位功能可通過微信小程序后臺(tái)遠(yuǎn)程控制顯示屏播放。該系統(tǒng)具有結(jié)構(gòu)簡單、成本低、識(shí)別準(zhǔn)確率高、易擴(kuò)展等特點(diǎn)，還可以為消防員、護(hù)林員等高噪音環(huán)境下特殊工種提供可視化交流工具。

關(guān)鍵詞：ESP32微處理器；非特定語音識(shí)別；百度云語音識(shí)別引擎；LED柔性顯示屏

引言

對于人類來說語音交互具有天然的便捷性和高效性，因此在許多領(lǐng)域中具有廣泛的應(yīng)用前景。然而，語音交流也存在一些問題，例如在聲音傳播與接收受干擾的情況下信息難以被快速準(zhǔn)確地記錄和理解。此外，信息的可視化程度不足也限制了語音交流在一些特殊場景下的應(yīng)用。

本文利用麥克風(fēng)、揚(yáng)聲器、ESP32微處理器模塊[ 1 ]和柔性點(diǎn)陣式LED顯示屏模組設(shè)計(jì)制作一款基于在線語音識(shí)別轉(zhuǎn)文字技術(shù)[ 2 ]的智能馬甲控制系統(tǒng)，產(chǎn)品接入百度文心一言大語言模型可以通過自然語言對話獲取網(wǎng)絡(luò)數(shù)據(jù)庫信息，具有多國語言實(shí)時(shí)翻譯能力，可連接城市智能交通系統(tǒng)[ 3 ]獲取實(shí)時(shí)路況信息，實(shí)現(xiàn)城市道路交通狀態(tài)全息精準(zhǔn)感知和分析研判，根據(jù)交警位置自動(dòng)發(fā)布交管引導(dǎo)信息，協(xié)助交警實(shí)時(shí)通報(bào)路況及交通管制信息。

1 ?系統(tǒng)方案設(shè)計(jì)

本智能馬甲的系統(tǒng)結(jié)構(gòu)框圖如圖1所示，主要由麥克風(fēng)、信號處理模塊（VAD）、主控模塊（ESP32 MCU）、電源部分（ LDO ） 、喇叭、柔性LED顯示屏等組成 ，硬件設(shè)計(jì)上實(shí)現(xiàn)了語音信號采集 、語音信號預(yù)處理 、語音信息存儲(chǔ) 、語音包上傳/下載、語音識(shí)別結(jié)果顯示、語音播放等功能，如圖1所示。

1.1 ?MCU 選擇

采用ESP32微處理器ESP32-WROOM-32開發(fā)板（圖2）是一款通用型Wi-Fi+BT+BLE MCU模組，功能強(qiáng)大，用途廣泛，可以用于低功耗傳感器網(wǎng)絡(luò)和要求高的任務(wù)，例如語音編碼、音頻流和MP3解碼等。此款模組的核心是ESP32-D0WDQ6芯片，兩個(gè)Xtensao 32-bit LX6 CPU核可以被單獨(dú)控制，運(yùn)算能力高達(dá)600 MIPS。時(shí)鐘頻率的調(diào)節(jié)范圍為80 MHz到240 MHz，448 KB ROM · 520 KB SRAM?；緷M足本項(xiàng)目所需功能支持。

1.2 音頻采集模塊/語音播放模塊

對于戶外嘈雜場景采用3.5接口領(lǐng)夾式高清降噪麥克風(fēng)，高保真智能降噪屏蔽設(shè)計(jì)，具有ATDA動(dòng)態(tài)噪音抑制處理電路，自適應(yīng)調(diào)節(jié)聲音強(qiáng)度和瞬間沖擊音，有效防止語音失真與衰減拾音效果極佳。音頻采樣電路選用差分放大電路[ 4 ]，抑制共模干擾 ，放大有用信號 ，有效地解決采樣噪聲硬件預(yù)處理的問題 。揚(yáng)聲器采用4歐3W喇叭，可外接藍(lán)牙音箱擴(kuò)音，如圖3 。

1.3 ?LED顯示屏模組

第一代樣機(jī)采用LED點(diǎn)陣式串口屏，點(diǎn)陣規(guī)格16x64（圖4）。

第二代樣機(jī)采用彩色柔性LED顯示屏（圖5），防水防刮可彎折，更加貼近民警日常實(shí)際使用需求。

1.4 ?電源模塊

系統(tǒng)所有分立模塊采用5 V電壓標(biāo)準(zhǔn)，設(shè)計(jì)單節(jié)3.7 V鋰電池充放電及升壓電路。自帶過充、過放、過流保護(hù)功能滿足系統(tǒng)供電需求。

1.5 ?警用馬甲

采用目前警察通用多功能反光馬甲作為系統(tǒng)載體，前胸及后背通過魔術(shù)貼各粘貼一個(gè)防水柔性LED顯示屏。目前已與國內(nèi)多家警服反光馬甲企業(yè)聯(lián)系達(dá)成定制合作，為后期產(chǎn)品量產(chǎn)做準(zhǔn)備。

2 ?系統(tǒng)軟件設(shè)計(jì)

2.1 ?軟件設(shè)計(jì)整體思路

軟件系統(tǒng)的設(shè)計(jì)主要由以下四部分構(gòu)成：

（1）語音芯片底層驅(qū)動(dòng)。語音芯片接口定義，方便主程序調(diào)用。

ESP32 MCU主程序。本次系統(tǒng)開發(fā)采用 Arduino IDE 編 程 環(huán) 境[ 5 ]。Esp32 開 發(fā) 板 通 過麥克風(fēng)錄制人聲音頻文件。開發(fā)板再與百度語音識(shí)別及翻譯云平臺(tái)建立連接，通過 HTTP 協(xié)議發(fā)送音頻文件上傳到云平臺(tái)，最后云平臺(tái)返回識(shí)別后的文本。再通過數(shù)據(jù)結(jié)構(gòu)ESP32 內(nèi)部建立動(dòng)態(tài)鏈表，與返回的文字進(jìn)行一一匹配。

（2）AI智能警務(wù)助手。對接百度文心一言大語言模型平臺(tái)[ 6 ]，將文心一言API接口集成到ESP32主程序中，通過調(diào)用接口實(shí)現(xiàn)自然語言處理，文本分析處理，警務(wù)知識(shí)問答等核心功能。

（3）實(shí)時(shí)字幕翻譯。采用百度翻譯開放平臺(tái)的通用翻譯API[ 7 ]進(jìn)行語音識(shí)別及中文翻譯英語、韓語、日語等多種語言，這種在線翻譯解決方案，基于百度提供的后臺(tái)云服務(wù)，具有功能強(qiáng)大、翻譯速度快、準(zhǔn)確率高、翻譯質(zhì)量高等特點(diǎn)。

2.2 ?語音識(shí)別算法

2.2.1 ?離線語音識(shí)別框架

作為嵌入式應(yīng)用，語音識(shí)別默認(rèn)會(huì)一直開啟，需要通過諸如：“你好，小智！”“翻譯模式”“檢查系統(tǒng)狀態(tài)”等預(yù)先設(shè)定語音喚醒系統(tǒng)方能響應(yīng)不同功能。這個(gè)只能采用本地識(shí)別的方式，這就離不開算法模型和識(shí)別模型，而ESP32-A15是基于第三方esp_sr庫為基礎(chǔ)的。而esp_sr提供語音識(shí)別相關(guān)方向算法模型。

2.3 ?AI警務(wù)助手

本系統(tǒng)可接入百度文心一言大模型，實(shí)現(xiàn)智能回答問題。用戶可以通過語音指令向系統(tǒng)提出問題，系統(tǒng)可以利用百度大模型進(jìn)行語義分析和回答。這一功能使得本系統(tǒng)更具有智能性和實(shí)用性，尤其體現(xiàn)在警員在執(zhí)行任務(wù)過程中可以通過語音提問方式獲取法律、法條、管理規(guī)定、道路景點(diǎn)位置等知識(shí)，更好更快地為群眾提供幫助。

2.4 ?城市交管信息移動(dòng)發(fā)布屏

本系統(tǒng)可接入城市級交通管理智慧大腦云平臺(tái)[ 8 ]讓交警的馬甲屏作為一個(gè)移動(dòng)的交管信息發(fā)布提示牌，根據(jù)交警位置后臺(tái)自動(dòng)推送附近道路的停車、擁堵、施工占道、交通管制信息，提醒所有可以注意到提示牌的駕駛員及時(shí)變道。功能架構(gòu)如圖7所示。

3 ?系統(tǒng)整機(jī)調(diào)試及功能測試

3.1 ?樣機(jī)軟件調(diào)試及語音識(shí)別效果測試

為了驗(yàn)證本系統(tǒng)語音識(shí)別的實(shí)用性和準(zhǔn)確性，樣機(jī)完成后我們設(shè)計(jì)并進(jìn)行了一系列實(shí)驗(yàn)。首先，對在線語音識(shí)別技術(shù)進(jìn)行了測試，將識(shí)別結(jié)果與標(biāo)準(zhǔn)答案進(jìn)行對比。下面以 “ 天氣不錯(cuò)、心情很好、注意安全、突破、完成、檢查系統(tǒng)狀態(tài) ”這 6 個(gè)隨機(jī)設(shè)定詞為例 ，分別在安靜環(huán)境和火車站 ，抽取 20 位不同性別、不同年齡 和不同地域的人對本系統(tǒng)進(jìn)行測試。測試結(jié)果 如表 1 所示。

實(shí)驗(yàn)結(jié)果表明 ，安靜環(huán)境下平均識(shí)別時(shí)間在 0.77 s左右 ，滿足一定的實(shí)時(shí)性要求， 系統(tǒng)響應(yīng)時(shí)間較快 。在安靜環(huán)境下系統(tǒng)對孤立詞的識(shí)別率達(dá)到了90%以上（個(gè)別2-3個(gè)詞匯的短名詞，因?yàn)榇嬖诙嘁糇职俣日Z音識(shí)別無法判斷使用者具體想表達(dá)的文字） ，在環(huán)境噪聲較強(qiáng)的火車站 ，系統(tǒng)的識(shí)別率下降 3% ～5% ，嘈雜環(huán)境的誤識(shí)率較高 ，可以通過改善麥克風(fēng)硬件設(shè)備以及進(jìn)一步優(yōu)化算法提高識(shí)別率。

其次，我們對柔性LED顯示屏的顯示效果進(jìn)行了測試，發(fā)現(xiàn)該顯示屏亮度高、色彩鮮艷、能夠滿足室外日間/夜間環(huán)境下的使用需求。

最后，我們對整個(gè)系統(tǒng)進(jìn)行了測試，將使用者的語音指令通過ESP32傳輸?shù)絃ED顯示屏上，并實(shí)時(shí)顯示文字信息，結(jié)果表明該系統(tǒng)響應(yīng)速度快、穩(wěn)定性高、可靠性好，能夠滿足系統(tǒng)設(shè)定的使用要求。

4 ?結(jié)束語

本智能警用馬甲的嵌入式語音識(shí)別系統(tǒng)是一種基于ESP32在線語音識(shí)別技術(shù)的LED顯示屏系統(tǒng)。不僅可以為民警日常工作帶來更加便捷、安全、智能的體驗(yàn)，更在其他多種應(yīng)用場景具有重要的應(yīng)用價(jià)值和發(fā)展前景，可以廣泛應(yīng)用于移動(dòng)LED廣告背包、導(dǎo)游解說LED導(dǎo)覽牌、明星演唱會(huì)應(yīng)援牌、車載后窗LED顯示屏、馬甲廣告屏等產(chǎn)品的改造提升。也可為消防員、護(hù)林員等高噪音環(huán)境下特殊工種提供可視化交流工具。

參考文獻(xiàn)：

［1］ 范鎮(zhèn)業(yè)，王福順，段曉瑞，等. 基于esp32的智能便攜語音識(shí)別系統(tǒng)的淺略研究[J]. 電腦高手（電子刊），2020（1）：559.

［2］ 楊煥崢，楊國華，徐玲，等. 云端AI與本地相結(jié)合的嵌入式語音識(shí)別系統(tǒng)[J]. 寧波職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2019，23（1）：86-89.

［3］ 樊晟姣. 新型智慧城市建設(shè)背景下智能交通系統(tǒng)設(shè)計(jì)分析[J]. 電子制作，2022，30（2）：29-32.

［4］ 李鴻，趙亞冬. 數(shù)字音頻功率放大器優(yōu)化設(shè)計(jì)[J]. 電子設(shè)計(jì)工程，2011，19（14）：101-103，106.

［5］ 陳眾賢. 用Arduino玩轉(zhuǎn)掌控板（ESP32）Siri語音識(shí)別讀取傳感器數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器應(yīng)用示例2[J]. 無線電，2020（10）：28-32. ［6］ 李登峰，王雷鳴，徐雪潔. 基于云平臺(tái)的自然語言識(shí)別系統(tǒng)的設(shè)計(jì)[J]. 信息技術(shù)，2017（11）：117-120.

［7］ 郝二偉. 基于百度云服務(wù)的在線翻譯軟件實(shí)現(xiàn)技術(shù)研究[J]. 數(shù)字通信世界，2019（12）：106，7.

［8］ 謝一明. 城市交通大腦應(yīng)用現(xiàn)狀與業(yè)務(wù)體系研究[J]. 中國科技信息，2022（11）：136-138.