孫嘉鑫，吳琳

（北方工業(yè)大學(xué)信息工程學(xué)院，北京100144）

0 引言

根據(jù)相關(guān)的調(diào)查表明，我國(guó)有著六百萬(wàn)盲人，出行問題一直困擾著盲人群體。盡管國(guó)家建設(shè)了許多有關(guān)盲人輔助的設(shè)施，但設(shè)施的管理，大眾的保護(hù)意識(shí)缺乏依然對(duì)他們的出行產(chǎn)生了極大的干擾，如在盲道上停放車輛、盲道上有瓶子等，給盲人出行帶來了困難。所以本文希望通過圖像識(shí)別技術(shù)，幫助盲人在出行時(shí)識(shí)別前方障礙物。

相比于傳統(tǒng)的檢測(cè)算法通過提取目標(biāo)特征來實(shí)現(xiàn)檢測(cè)，近年來基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法可以有效地提高準(zhǔn)確度和識(shí)別速度。本文將基于回歸的檢測(cè)方法中的YOLOv3算法實(shí)現(xiàn)通過單目攝像頭實(shí)時(shí)檢測(cè)障礙物。

1 相關(guān)工作

近年來人工智能技術(shù)快速發(fā)展，其中有關(guān)計(jì)算機(jī)視覺方面的YOLOv3算法憑借其優(yōu)秀的性能引起了廣大研究員的興趣。2018年王殿偉等人[1]，通過改進(jìn)YOLOv3，利用K-means聚類方法選取目標(biāo)候選框個(gè)數(shù)和寬高比維度，調(diào)整網(wǎng)絡(luò)參數(shù)并提高輸入圖像分辨率，多尺度訓(xùn)練出最優(yōu)檢測(cè)模型，提升了紅外檢測(cè)行人的準(zhǔn)確度并降低了漏檢率。2019年張富凱等人[2]實(shí)現(xiàn)基于改進(jìn)YOLOv3的快速車輛檢測(cè)方法，通過增強(qiáng)深度殘差網(wǎng)絡(luò)提取特征，設(shè)計(jì)不同尺度的卷積特征圖，最終實(shí)現(xiàn)車輛預(yù)測(cè)任務(wù)。2019年趙德安等人[3]，基于YOLOv3實(shí)現(xiàn)在不同光線環(huán)境下對(duì)遮擋、粘連和套袋等多種情況下的蘋果定位方法，其方法可以為機(jī)器人快速長(zhǎng)時(shí)間高效率在復(fù)雜環(huán)境下識(shí)別蘋果提供理論基礎(chǔ)。

2 關(guān)鍵技術(shù)

2.1 YOLOv3算法

YOLOv3[3]是以YOLOv1和YOLOv2為基礎(chǔ)的改進(jìn)版。YOLOv3采用Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，Darknet-53借鑒了ResNet的殘差思想[3]，在基礎(chǔ)網(wǎng)絡(luò)中大量使用殘差連接，因此將網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)地更深，解決了梯度爆炸以及梯度消失的問題。YOLOv3通過使用上采樣與Concat操作，融合了深、淺層的特征，最終輸出了3種尺寸的特征圖。分為應(yīng)深層、中層和淺層的特征。深層的特征圖尺寸小，感受野大，利于檢測(cè)大尺度的物體，淺層的特征圖便于檢測(cè)小尺度的物體。

YOLOv3的另一種改進(jìn)是將對(duì)象分類功能函數(shù)用Logistic取代了Softmax，Logistics可以實(shí)現(xiàn)多類別的預(yù)測(cè)，并且準(zhǔn)確率不會(huì)下降。在輸出時(shí)可以顯示出一個(gè)物體的多重標(biāo)簽。

2.2 盲道障礙物識(shí)別技術(shù)

圖1為一張常見的盲道圖片，顏色與周圍道路明顯不同，將原始圖片轉(zhuǎn)化到Lab色彩空間后，提取盲道圖片的b色彩分量，其對(duì)應(yīng)的b分量圖片如圖1所示。

圖1盲道處理對(duì)比圖

獲取到b分量圖片之后，為了提取盲道，使用Otsu算法對(duì)b分量圖像進(jìn)行二值化。所獲取的二值化圖像中有很多干擾，為了消除干擾，對(duì)圖像進(jìn)行開操作，消除圖像中的零碎像素點(diǎn)，同時(shí)盡量保留盲道部分圖像信息。

獲取了盲道的二值圖之后，利用Canny算法對(duì)圖像進(jìn)行輪廓提取，再利用Hough算法獲取盲道邊緣的直線數(shù)據(jù)。

2.3 算法運(yùn)行流程

算法的運(yùn)行順序如圖2所示，先將圖片中的盲道提取出來，再通過YOLO檢測(cè)器進(jìn)行障礙物檢測(cè)，最后得到結(jié)果圖片。

圖2完整流程

3 實(shí)現(xiàn)過程

3.1 圖像數(shù)據(jù)集處理

考慮到真實(shí)行走過程中會(huì)遇到的障礙，我們將類型分為自行車、摩托車、汽車、人、動(dòng)物。在圖片的選取上，我們挑選不同時(shí)間、不同光照、不同地點(diǎn)、不同天氣的照片共2000張，其內(nèi)容為真實(shí)出行會(huì)遇到的各種路況。識(shí)別過程如圖3所示。

圖3 YOLO訓(xùn)練流程圖

3.2 圖像特征處理

YOLO檢測(cè)過程：輸入YOLOv3模型的圖片大小為（416,416,3），分辨率不同的圖像將在輸入后被轉(zhuǎn)化為此分辨率。主干網(wǎng)絡(luò)為Darknet-53，Darknet-53網(wǎng)絡(luò)通過不斷的下采樣，降低分辨率，圖片通道數(shù)在不斷增加，從中提取shape為（52,52,256）、（26,26,512）、（13,13,1024）的圖片作為特征層提取特征。

獲取特征層之后，一部分用于物體檢測(cè)，一部分經(jīng)過上采樣之后與其他特征層結(jié)合后用于物體檢測(cè)。其中52×52的特征層用于大物體的檢測(cè)，26×26和13×13的特征層用于檢測(cè)中小物體。

3.3 圖像識(shí)別

YOLO利用上述三個(gè)特征層提取特征并用于檢測(cè)，由于本算法的數(shù)據(jù)集類別可識(shí)別8個(gè)種類，因而檢測(cè)結(jié)束后將輸出三個(gè)shape分別為（52,52,39）,（26,26,39）,（13,13,39）的檢測(cè)結(jié)果，其中包括了檢測(cè)的分類結(jié)果classes，檢測(cè)物體的中心位置（x,y），檢測(cè)出來方框的寬高w,h和最后檢測(cè)物體的置信度。

訓(xùn)練過程：訓(xùn)練時(shí)，將YOLO的輸出結(jié)果與實(shí)際結(jié)果進(jìn)行計(jì)算loss，其中包括真實(shí)框與預(yù)測(cè)框iou的loss，（x,y）和寬高的loss和分類結(jié)果的loss，再利用優(yōu)化器調(diào)整參數(shù)，經(jīng)過不斷地迭代訓(xùn)練，不斷地降低損失，并對(duì)訓(xùn)練圖像進(jìn)行縮放、旋轉(zhuǎn)等操作，提高YOLO識(shí)別模型的識(shí)別準(zhǔn)確度。

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)需要的硬件環(huán)境為處理器Intel Corei5-8400，GPU為NVIDIA GTX1050Ti，操作系統(tǒng)為Windows 10，深度學(xué)習(xí)框架為PyTorch。實(shí)驗(yàn)結(jié)果如圖4，盲道的檢測(cè)算法將圖片要檢測(cè)的部分提取出來，有效地減少圖像的識(shí)別范圍，減少無效識(shí)別，提升識(shí)別速率。經(jīng)過有效區(qū)域提取，YOLO檢測(cè)器依舊可以檢測(cè)出物體的輪廓以及物體類別。實(shí)驗(yàn)結(jié)果表明經(jīng)過處理可以有效識(shí)別出存在于盲道上的物體。

本實(shí)驗(yàn)中，mAP數(shù)值為96%左右如圖5，識(shí)別物體準(zhǔn)確度高。正常人的行走速度為1m/s，YOLO的檢測(cè)速率為每秒15幀左右，盲道提取的速率為每秒33幀左右，該運(yùn)算速率滿足常人步行速度需求，達(dá)到實(shí)時(shí)檢測(cè)的目的。

通過單目攝像頭實(shí)現(xiàn)實(shí)時(shí)測(cè)障具有價(jià)格低的特點(diǎn)，其產(chǎn)品受眾更廣，使用簡(jiǎn)單。在日常的出行中，將攝像頭佩戴在身上，可以很好地輔助盲人的行走，躲避并識(shí)別前方物體。極大地提高了盲人出行的安全性，可以鼓勵(lì)更多的盲人走出家門。

圖4實(shí)驗(yàn)結(jié)果圖

圖5 mAP圖

5 結(jié)語(yǔ)

本文基于YOLOv3目標(biāo)檢測(cè)算法實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)物體，結(jié)合盲道提取算法識(shí)別出盲道上的障礙物，實(shí)現(xiàn)輔助盲人出行的效果。結(jié)果表明，在運(yùn)算速度上和精準(zhǔn)度上都可以為盲人的出行提供有效幫助。對(duì)于基數(shù)如此之大的盲人群體，該系統(tǒng)擁有著廣闊的應(yīng)用前景。

由于實(shí)際情況中的復(fù)雜性，該系統(tǒng)存在對(duì)于重疊物體識(shí)別不完整的問題，下一步的工作將是提升疊放物體的識(shí)別準(zhǔn)確率，以應(yīng)對(duì)實(shí)際路況中出現(xiàn)的特殊情況。