摘" 要：為了提高行人過街的安全性和效率，避免安全事故的發(fā)生，設(shè)計一種可以實時檢測行人過街行為以及車輛往來的行人過街安全警示系統(tǒng)。該系統(tǒng)采用圖像處理技術(shù)和嵌入式系統(tǒng)技術(shù)，能夠?qū)崟r監(jiān)測行人、車輛和交通信號燈狀態(tài)，能準(zhǔn)確快速地提醒過街行人注意出行及安全，提高城市交通秩序，有助于推進(jìn)智慧城市建設(shè)和交通安全領(lǐng)域的技術(shù)創(chuàng)新，具有一定的理論和實踐價值。

關(guān)鍵詞：圖像處理；行人過街行為；安全警示

中圖分類號：TP311" 文獻(xiàn)標(biāo)識碼：A" 文章編號：2096-4706（2024）12-0096-05

Design and Research on Pedestrian Crossing Safety Warning System Based on Image Processing

JIANG Hui1， LI Shan1， HUANG Yangxiang1， WU Yuxia2， LIAO Qiuli1

（1.School of Electronic Engineering and Automation， Guilin University of Electronic Technology， Guilin" 541004， China;

2.School of Architecture and Transportation Engineering， Guilin University of Electronic Technology， Guilin" 541004， China）

Abstract： In order to improve the safety and efficiency of pedestrian crossing the street and avoid potential accidents， the paper designs a pedestrian crossing safety warning system that can detect pedestrian crossing behavior and vehicle traffic in real-time. The system adopts image processing technology and embedded system technology. It can monitor the status of pedestrians， vehicles and traffic lights in real-time， and accurately and quickly remind pedestrians crossing the street to pay attention to their travel and safety. It improves urban traffic order， helps promote smart city construction and technological innovation in the field of traffic safety， and has certain theoretical and practical value.

Keywords： image processing; behavior of pedestrian crossing the street; safety warning

0" 引" 言

行人作為交通系統(tǒng)的弱勢群體，在交通參與者中數(shù)量最多、范圍最廣，但是目前我國對行人的重視和研究與行人在交通活動中的地位難以匹配[1]。據(jù)統(tǒng)計，行人事故傷亡率約占所有交通事故傷亡人數(shù)的20%，而行人過街時的傷亡人數(shù)占其中的50%以上[2]。而行人過街設(shè)施不健全、行人過街行為不規(guī)范等因素是其重要原因[3]。如何保障行人過街的安全，減少傷亡，目前已成為道路交通安全專家們主要思考解決的熱點、難點問題[4]。因此，設(shè)計一種具有高效、準(zhǔn)確、快速警示作用的行人過街安全警示系統(tǒng)具有重要的現(xiàn)實意義和社會價值。

目前，國內(nèi)外對于行人過街安全警示系統(tǒng)的研究已經(jīng)取得了一定的成果。上海警方在2018年啟用了全國首套新型行人過街提示系統(tǒng)[5]，該系統(tǒng)能夠自動檢測行人在紅燈下的不當(dāng)行為，不僅可以通過屏幕現(xiàn)場顯示，還可以發(fā)出語音進(jìn)行警告，同時，還能夠為公安交警部門處理違規(guī)行為提供記錄，供其進(jìn)行后續(xù)的處理和調(diào)查。深圳旗揚(yáng)在2022年打造出人工智能斑馬線安全預(yù)警系統(tǒng)，智慧斑馬線[6]通過AI人工智能視覺算法和多種新興技術(shù)，可有效提醒過街行人注意安全，警示來往車輛注意禮讓行人，可及時有效避免過街人車沖突、人車闖紅燈現(xiàn)象頻發(fā)、行人過街效率低下等交管痛點。澳大利亞政府在2016年試點了一種專為低頭族設(shè)計的地面紅綠燈，有效地提醒他們紅綠燈的變化，從而提升了通行安全。盡管國內(nèi)外行人過街安全警示系統(tǒng)的研究已經(jīng)取得了一定的成果，但仍然存在局限性，在系統(tǒng)實時性、可行性和可擴(kuò)展性等方面仍需做進(jìn)一步研究。

1" 系統(tǒng)總體設(shè)計

本文設(shè)計一款基于全志V831芯片的具有實時檢測行人過街行為以及車輛往來的系統(tǒng)。該系統(tǒng)具有緊湊小巧、易安裝、性價比高，且支持嵌入式Linux、硬件AI加速等特點。該系統(tǒng)分人行道模式和非人行道模式兩種狀態(tài)。在人行道模式下，檢測紅綠燈狀態(tài)以及行人與斑馬線的坐標(biāo)位置，通過檢測行人是否在斑馬線上，判斷行人是否闖紅燈。如果紅燈狀態(tài)下，行人沒在斑馬線上，則判斷行人闖紅燈，立即對行人進(jìn)行語音燈光警示。在非人行道模式下，攝像頭同時檢測到車輛和行人時，就進(jìn)行語音燈光預(yù)警。

系統(tǒng)總體框圖如圖1所示，由模型建立、圖像處理、語音燈光報警以及圖像顯示幾個模塊組成。本文的核心技術(shù)是模型建立和圖像處理，使用深度神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行訓(xùn)練，以YOLOv2為模型網(wǎng)絡(luò)，ResNet18為主干網(wǎng)絡(luò)，通過算法優(yōu)化和參數(shù)調(diào)整實現(xiàn)行人闖紅燈檢測的準(zhǔn)確率和實時性。語音燈光報警在檢測到行人闖紅燈時可以及時進(jìn)行提醒，圖像顯示則為監(jiān)控人員提供了更直觀的檢測結(jié)果和管理依據(jù)。

2" 系統(tǒng)硬件設(shè)計

由于行人過街檢測需要低功耗和高算力的硬件支持，傳統(tǒng)的PC機(jī)在實際道路交叉口的部署中并不適用。綜合考慮實際道路環(huán)境的要求和成本，需要能夠提供緊湊的設(shè)計、低功耗且具備足夠的算力來支持深度學(xué)習(xí)模型的部署和運(yùn)算嵌入式平臺來進(jìn)行行人過街檢測。根據(jù)系統(tǒng)總體結(jié)構(gòu)的設(shè)計，本系統(tǒng)硬件分為兩個部分，主要由基于全志V831的M2dock開發(fā)板和基于存儲電路、燈光電路的底板組成，底板使用立創(chuàng)EDA繪制。

Maix-II-Dock定位于高性價比的AIOT開發(fā)板，支持常規(guī)Linux開發(fā)的同時，有特有的AI硬件加速特性，配合Sipeed提供的完整的軟件生態(tài)，能夠快速實邊緣AI應(yīng)用。硬件上以核心板+底板的形式組成開發(fā)板，可以直接使用開發(fā)板，也可以只使用核心板，根據(jù)需求自行設(shè)計底板，方便快速完成開發(fā)。軟件上除了可以直接使用全志提供的資料進(jìn)行開發(fā)外，也可以非常方便地使用Sipeed提供的Python SDK（MaixPy3）以及CSDK（libmaix），借助Python編程可以簡單快速地應(yīng)用人工智能技術(shù)。M2dock支持U盤、IDE、ADB終端等多種交互方式，可以選擇簡單易用的Python編程，也可以是較好性能的SDK開發(fā)，可以快速地驗證功能效果。

實物圖如圖2所示，以M2dock開發(fā)板和底板的形式組成，采用SP2305攝像頭采集圖像，1.3寸IPS屏幕顯示，喇叭語音示警，LED燈燈光提醒。

3" 系統(tǒng)軟件設(shè)計

該系統(tǒng)的軟件設(shè)計分為數(shù)據(jù)集的制作、模型訓(xùn)練、目標(biāo)檢測、語音燈光預(yù)警和系統(tǒng)保護(hù)五個部分。該系統(tǒng)需要進(jìn)行目標(biāo)檢測，目標(biāo)檢測需要大量的數(shù)據(jù)集來進(jìn)行訓(xùn)練。因此，數(shù)據(jù)集的制作是非常關(guān)鍵的步驟。高質(zhì)量數(shù)據(jù)集的制作，需要進(jìn)行精細(xì)的樣本圖片采集、樣本圖片標(biāo)注等操作。在數(shù)據(jù)集制作完成之后，需要進(jìn)行模型訓(xùn)練。模型訓(xùn)練需要使用深度學(xué)習(xí)框架對數(shù)據(jù)集進(jìn)行訓(xùn)練，從而得到目標(biāo)檢測算法的模型，是整個系統(tǒng)中的核心部分。在這一階段中，需要選擇適合該問題的深度學(xué)習(xí)模型，并對其進(jìn)行訓(xùn)練、尋優(yōu)，以得到更好的檢測效果。最后，需要將訓(xùn)練好的模型部署到系統(tǒng)中，進(jìn)行目標(biāo)檢測，并通過語音和燈光等方式進(jìn)行預(yù)警。

3.1" 數(shù)據(jù)集的采集與標(biāo)注

訓(xùn)練模型之前需要建立訓(xùn)練數(shù)據(jù)集[7]，數(shù)據(jù)集的建立分為圖像采集和圖像標(biāo)注兩部分。使用的數(shù)據(jù)集包含了BDD100K數(shù)據(jù)集中具有車輛和行人的部分圖像，所在城市的十字路口、人行橫道實際采集到的圖像，以及通過網(wǎng)上爬蟲獲取的圖像。盡可能地采集了符合實際應(yīng)用場景的多樣化目標(biāo)圖像，且在不同的光照、天氣、距離、角度等條件下進(jìn)行拍攝，以保證模型具有較好的泛化能力，提高深度模型的置信度。數(shù)據(jù)集圖片如圖3所示。

數(shù)據(jù)集中包含訓(xùn)練目標(biāo)圖像和目標(biāo)在圖像中標(biāo)注的位置信息文件。數(shù)據(jù)集的制作需要在圖像上標(biāo)記出系統(tǒng)所需要識別的特征信息，以提供給計算機(jī)視覺模型特定的圖像信息。如圖4所示，使用Labelimg軟件進(jìn)行圖像標(biāo)注，標(biāo)注的目的是確定目標(biāo)在圖像中的位置信息。在本系統(tǒng)中數(shù)據(jù)標(biāo)記了5個標(biāo)簽，分別為person、car、crossing、red和green這5個類，分別對應(yīng)了需要識別的人、車、人行道、紅燈和綠燈5個要素。每個圖像完成所有標(biāo)注后，會生成一個對應(yīng)的xml文件，文件里面記錄了物體的包圍矩形的位置。該標(biāo)簽文件具有folder、filename、path、size、name和bndbox等要素，可以很方便地對目標(biāo)進(jìn)行準(zhǔn)確的識別和定位，為后續(xù)的模型訓(xùn)練和目標(biāo)檢測提供了必要的數(shù)據(jù)基礎(chǔ)。

數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集，其中訓(xùn)練數(shù)據(jù)集用于訓(xùn)練模型，驗證數(shù)據(jù)集用于驗證模型的性能和調(diào)整超參數(shù)。數(shù)據(jù)集采用了隨機(jī)抽樣的方法進(jìn)行劃分，可以有效避免數(shù)據(jù)集的偏差性。并且為了保證數(shù)據(jù)集的隨機(jī)性和均衡性，按照9：1的比例劃分為訓(xùn)練集和驗證集。

3.2" 模型訓(xùn)練

系統(tǒng)是基于PyTorch框架[8]搭建的訓(xùn)練模型。PyTorch框架是由Facebook公司開發(fā)并維護(hù)的一種基于Python語言的開源機(jī)器學(xué)習(xí)框架，具有易于使用和動態(tài)計算圖等優(yōu)點。PyTorch框架依賴于Python，搭建訓(xùn)練環(huán)境首先需要安裝Python環(huán)境，然后根據(jù)安裝相關(guān)軟件包和依賴項。由于PyTorch不能直接將模型導(dǎo)出成ncnn格式，因此使用onnx2ncnn轉(zhuǎn)換工具進(jìn)行轉(zhuǎn)換。

為了達(dá)到最優(yōu)的訓(xùn)練效果，在訓(xùn)練目標(biāo)檢測模型之前，需要對學(xué)習(xí)率、訓(xùn)練批次、輸入圖片大小等參數(shù)進(jìn)行適當(dāng)?shù)脑O(shè)置和調(diào)整。為了方便在訓(xùn)練過程中進(jìn)行模型驗證和調(diào)整，還需要準(zhǔn)備好訓(xùn)練數(shù)據(jù)集和標(biāo)簽，以及驗證數(shù)據(jù)集和標(biāo)簽。在訓(xùn)練過程中，為了防止過擬合或欠擬合等問題的發(fā)生，還需要監(jiān)控模型的訓(xùn)練損失和驗證精度等指標(biāo)，及時調(diào)整參數(shù)。在本次訓(xùn)練中，使用的是YOLOv2模型。YOLOv2是一種使用神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行端到端處理的目標(biāo)檢測算法，能夠在單個網(wǎng)絡(luò)中直接從原始圖像檢測出多個物體。YOLOv2采用了基于深度神經(jīng)網(wǎng)絡(luò)的特征提取方式，使用卷積層和池化層來提取圖像的特征，并采用全連接層對特征進(jìn)行分類和定位。YOLOv2相比YOLOv1做了一些改進(jìn)，使用更深的ResNet或DarkNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)。本系統(tǒng)使用ResNet-18 [9]作為YOLOv2的主干網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有更好的特征提取能力、更強(qiáng)的泛化能力、更好的模型可訓(xùn)練性等多方面的優(yōu)勢，可以提高特征提取能力和精度。同時，由于YOLOv2采用了單階段[10]（single-stage）檢測方法，因此與ResNet-18等主干網(wǎng)絡(luò)結(jié)合使用時，可以避免兩階段（two-stage）檢測方法中煩瑣的區(qū)域提取和配準(zhǔn)操作，從而提高檢測速度。輸入圖片大小為224×224，迭代次數(shù)為200次，批量大小為12，學(xué)習(xí)率為0.001，啟用圖像增強(qiáng)。訓(xùn)練得到的模型結(jié)構(gòu)如圖5所示。

3.3" 目標(biāo)檢測及語音燈光報警

在本系統(tǒng)設(shè)計中，采用了YOLOv2模型進(jìn)行目標(biāo)檢測。當(dāng)系統(tǒng)開始工作，攝像頭采集一幀圖像傳輸?shù)街骺匦酒M(jìn)行處理，主控采用YOLO算法對圖像進(jìn)行目標(biāo)檢測得到目標(biāo)位置和置信度。若在人行橫道模式下檢測到有行人闖紅燈，或者在非人行橫道模式檢測到車輛和行人同時出現(xiàn)，就立即進(jìn)行語音燈光警告并繼續(xù)采集下一幀圖像，否則先關(guān)閉語音燈光警告繼續(xù)采集下一幀圖像進(jìn)行目標(biāo)檢測。

3.4" 系統(tǒng)保護(hù)

行人過街安全警示系統(tǒng)安裝在戶外，當(dāng)系統(tǒng)出現(xiàn)故障或死鎖等問題需要重啟系統(tǒng)時，手動重啟就會非常不便且困難。因此為了防止出現(xiàn)故障，采用看門狗來保護(hù)系統(tǒng)。看門狗[11]（watchdog）是一種硬件或軟件設(shè)備，用于監(jiān)視計算機(jī)系統(tǒng)或嵌入式設(shè)備的運(yùn)行狀況，以確保其正常工作。它可以在系統(tǒng)停止響應(yīng)或發(fā)生故障時自動重啟系統(tǒng)，從而提高系統(tǒng)的穩(wěn)定性和可靠性。系統(tǒng)啟動后，初始化看門狗并設(shè)置喂狗時間為10秒，然后每過10秒都要進(jìn)行一次喂狗，當(dāng)超過設(shè)置時間沒有進(jìn)行喂狗時，判定系統(tǒng)出現(xiàn)故障，對系統(tǒng)進(jìn)行重新啟動操作。

4" 系統(tǒng)測試

4.1" 目標(biāo)識別測試

從數(shù)據(jù)集中隨機(jī)選擇100張含有行人、綠燈、紅燈、車輛和人行道的圖像進(jìn)行測試。為了更全面地測試系統(tǒng)的性能，這些圖像既包含正常情況下的交通場景，也包含一些異常情況，例如天氣惡劣、光線不足等情況。通過對行人、綠燈、紅燈、車輛和人行道100份的數(shù)據(jù)測試，得出了系統(tǒng)的識別準(zhǔn)確率。

測試結(jié)果如表1所示，在正常情況下的交通場景下，系統(tǒng)的平均準(zhǔn)確率為92%，識別率較高。同時還分析了系統(tǒng)在檢測速度和穩(wěn)定性方面的表現(xiàn)，通過計算處理一張圖片需要的時間得到該系統(tǒng)的幀率，結(jié)果顯示系統(tǒng)的檢測速度平均為12幀/秒，檢測速度能夠達(dá)到要求。在穩(wěn)定性上，讓系統(tǒng)檢測大量復(fù)雜場景和長時間進(jìn)行檢測，雖然系統(tǒng)發(fā)熱量較大但仍然具有較好的穩(wěn)定性，基本沒有出現(xiàn)系統(tǒng)崩潰或死機(jī)等異常情況。

4.2" 燈光預(yù)警測試

在進(jìn)行燈光預(yù)警測試時，選取50份行人闖紅燈的圖片和50份車輛與行人同時出現(xiàn)的圖片進(jìn)行測試。通過計算預(yù)警成功次數(shù)得出如表2所示結(jié)果。根據(jù)測試結(jié)果，該系統(tǒng)預(yù)警平均預(yù)警成功率為95%，響應(yīng)時間為100 ms，預(yù)警成功率高，響應(yīng)快。

5" 結(jié)" 論

在城市化進(jìn)程不斷推進(jìn)的今天，行人過街安全保障是城市道路交通優(yōu)化的重要組成部分，確保行人安全和提升交叉口通行效率已經(jīng)成為一個突出的社會問題。在智慧城市建設(shè)的背景下，需要開發(fā)一種非接觸、安全、高效、智能化的行人過街需求檢測裝置，以滿足實際需求。

本次的研究主要設(shè)計了一款緊湊小巧、易安裝的具有實時檢測行人過街行為以及車輛往來的裝置。設(shè)計提供了一個邊緣AI應(yīng)用的硬件平臺，以實現(xiàn)道路上行人和車輛的智能監(jiān)控和警示。相比傳統(tǒng)的視頻監(jiān)控系統(tǒng)，它能夠?qū)崿F(xiàn)更快速、更準(zhǔn)確的目標(biāo)檢測并進(jìn)行預(yù)警，并通過硬件AI加速提高了檢測效率和能耗效率。該設(shè)計的應(yīng)用前景非常廣闊，可以應(yīng)用在城市交通管理、學(xué)校校園等領(lǐng)域，為人們的生活帶來更多便利和安全。

參考文獻(xiàn)：

[1] 尹巖，馬社強(qiáng).過街行人的交通特性及對策研究 [J].交通科技與經(jīng)濟(jì)，2013，15（6）：18-22+26.

[2] 何永明，尚慶鵬，王爽.城市行人過街交通安全警示系統(tǒng)研究 [J].交通科技與經(jīng)濟(jì)，2018，20（4）：9-12.

[3] 何賞璐，鄭長江，過秀成，等. 路段感應(yīng)式信號控制行人過街系統(tǒng)設(shè)計 [J]. 交通信息與安全，2012，30（3）： 110-113+117.

[4] 翟良貴，丁靖艷，章金根. 行人過街特征分析及自我保護(hù)對策 [J]. 遼寧警專學(xué)報，2004（4）：61-63.

[5] 上海警方啟用全國首套新型人過街提示系統(tǒng) [J].上海安全生產(chǎn)，2018（11）：19-20

[6] 山東創(chuàng)安交通預(yù)警工程有限公司.智慧斑馬線裝置：CN202220366585.9[P]. 2022-06-21.

[7] 呂軒軒.基于監(jiān)控視頻的訓(xùn)練數(shù)據(jù)集標(biāo)注方法研究 [D].東營：中國石油大學(xué)（華東），2019.

[8] 李蔣.基于深度學(xué)習(xí)PyTorch框架下YOLOv3的交通信號燈檢測 [J].汽車電器，2022（6）：4-7.

[9] 高明宇，倪海明，張博洋，等.一種基于GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的木節(jié)缺陷識別方法 [J].森林工程，2021，37（4）：66-70.

[10] 朱豪，周順勇，劉學(xué)，等.基于深度學(xué)習(xí)的單階段目標(biāo)檢測算法綜述 [J].工業(yè)控制計算機(jī)，2023，36（4）：101-103.

[11] 劉宵辰，趙剛，劉衛(wèi)華.一種嵌入式計算機(jī)系統(tǒng)的看門狗設(shè)計 [J].山西電子技術(shù)，2021（1）：32-33.

作者簡介：姜輝（1987—），男，漢族，湖南張家界人，實驗師，碩士，研究方向：圖像處理、物聯(lián)網(wǎng)、智能控制；通訊作者：李珊（1986—），女，漢族，河北邯鄲人，實驗師，碩士，研究方向：模式識別、智能控制。