張晴晴 林強(qiáng)強(qiáng)

摘要：針對(duì)視障人群出行時(shí)盲道區(qū)域中的靜動(dòng)態(tài)障礙物可能對(duì)盲人造成困擾，本文提出一種方法。通過(guò)構(gòu)建可穿戴式的單目視覺(jué)導(dǎo)盲系統(tǒng)，建立各坐標(biāo)系的關(guān)系。將視覺(jué)系統(tǒng)獲取的圖像由RGB模型轉(zhuǎn)換到Lab顏色空間模型，提取b分量，采用最大類(lèi)間方差法和Hough變換獲得盲道區(qū)域信息。對(duì)盲道區(qū)域中的靜動(dòng)態(tài)障礙物采用三幀差法及“與”運(yùn)算來(lái)提取障礙物輪廓信息，同時(shí)對(duì)幀差圖像融合灰度投影算法，消除背景噪聲等干擾，提高障礙物檢測(cè)精度。實(shí)驗(yàn)結(jié)果表明，對(duì)靜態(tài)的地面障礙物和懸掛障礙物的檢測(cè)本文方法有著較好的效果，對(duì)動(dòng)態(tài)障礙物的檢測(cè)也更加可靠。

Abstract： This paper proposes a method to solve the problem that the static and dynamic obstacles in the blind area may cause trouble to the blind when the visually impaired people travel. Through the construction of wearable monocular vision guidance system， the relationship between coordinate systems is established. The image acquired by visual system is transformed from RGB model to Lab color space model， and the B component is extracted. The information of blind area is obtained by using the method of maximum inter-class variance and Hough transform. For static and dynamic obstacles in blind area， three-frame difference method and "and" operation are used to extract the contour information of obstacles. At the same time， gray projection algorithm of frame difference image fusion is used to eliminate background noise and other interference， so as to improve the accuracy of obstacle detection. The experimental results show that the method proposed in this paper can detect static ground obstacles and suspended obstacles effectively， and the detection of dynamic obstacles is more reliable.

關(guān)鍵詞：視覺(jué)導(dǎo)盲;Lab空間模型;三幀差法;灰度投影;障礙物檢測(cè)

Key words： visual guidance;Lab space model;three frame difference method;gray projection;obstacle detection

中圖分類(lèi)號(hào)：TP273.5 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)：1006-4311（2019）09-0148-04

0 ?引言

人類(lèi)獲取外界信息主要通過(guò)視覺(jué)[1]。隨著我國(guó)視障人群的增加，該群體的安全出行也受關(guān)注[2]。傳統(tǒng)的視障人群出行輔具主要為盲杖和導(dǎo)盲犬[3]，但是盲杖功能單一，對(duì)障礙物檢測(cè)空間有限，而導(dǎo)盲犬訓(xùn)練學(xué)習(xí)時(shí)間較長(zhǎng)、成本高，均難以滿足視障人群的需求[4]。近年來(lái)，傳感器技術(shù)、機(jī)器人技術(shù)在導(dǎo)盲領(lǐng)域中得到了應(yīng)用，代一平等設(shè)計(jì)了一種基于RFID的導(dǎo)盲手杖，通過(guò)RFID技術(shù)能夠檢測(cè)出部分空間信息量，輔助視障人群安全出行[5];張志美等設(shè)計(jì)一種履帶式導(dǎo)盲機(jī)器人，通過(guò)超聲波傳感器、顏色傳感器和光電傳感器增強(qiáng)機(jī)器人的感知功能[6]。Shraga Shoval和Johann Borenstein 等開(kāi)發(fā)可以幫助視障人群躲避障礙物的NavBelt系統(tǒng)，該系統(tǒng)具有規(guī)劃最優(yōu)路線的功能[7，8]。R.Nagarajian及Roentgen Uta R等設(shè)計(jì)開(kāi)發(fā)的NAVI系統(tǒng)和UtraCane系統(tǒng)，通過(guò)語(yǔ)音控制視覺(jué)傳感器進(jìn)行目標(biāo)的識(shí)別及提醒功能[9，10]。邱晶晶設(shè)計(jì)了一種多功能導(dǎo)盲裝置，可進(jìn)行障礙物、斑馬線、交通指示燈、盲人行道等的識(shí)別[11]，徐潔等提出基于機(jī)器視覺(jué)的Audio Man 系統(tǒng)，通過(guò)分析道路圖像信息，并以語(yǔ)音提示將信息傳遞給視障人群[12]。范坤提出了一種基于結(jié)構(gòu)光的視覺(jué)導(dǎo)盲杖系統(tǒng)，不僅可以獲得前方實(shí)時(shí)的障礙物距離與形狀信息，而且可以獲得前方障礙物的類(lèi)別信息[13]。

各類(lèi)導(dǎo)盲裝置為視障人群的出行提供了一定的安全保障，但是在實(shí)際生活中，視障人群的出行多借助于盲道，因此盲道中的各類(lèi)靜態(tài)障礙物及隨機(jī)出現(xiàn)的動(dòng)態(tài)障礙物是視障人群行走的最大安全隱患，針對(duì)盲道區(qū)域中出現(xiàn)的障礙物，本文在提取盲道基礎(chǔ)上，提出一種融合幀差與灰度投影的障礙物檢測(cè)方法。

1 ?單目視覺(jué)導(dǎo)盲系統(tǒng)及其坐標(biāo)系的建立

單目視覺(jué)導(dǎo)盲系統(tǒng)如圖1所示，單目視覺(jué)系統(tǒng)穿戴在視覺(jué)障礙者的頭部[13]，相機(jī)的光軸與地面平行，在行走過(guò)程中，視覺(jué)系統(tǒng)隨視覺(jué)障礙者運(yùn)動(dòng)，采用幀頻為60fps的相機(jī)，則頭部的轉(zhuǎn)動(dòng)和人體的運(yùn)動(dòng)均可看作平移運(yùn)動(dòng)。世界坐標(biāo)系與相機(jī)坐標(biāo)系（O-XYZ）重合，其中OZ軸與相機(jī)光軸重合，平行于地面，OY軸垂直指向地面，OX軸指向水平方向。相應(yīng)的圖像坐標(biāo)系為（o-uv），其中，ou軸與OX軸平行，ov軸與OY軸平行。設(shè)P（X，Y，Z）為三維空間中任意一點(diǎn)，其在圖像平面中的成像為p（u，v）。

單目視覺(jué)導(dǎo)盲系統(tǒng)所面向的對(duì)象為視障人群，為了方便視障人群更加安全、舒適的出行。

2 ?盲道區(qū)域的提取

盲道在顏色和紋理特征上與周?chē)缆穮^(qū)域有著明顯的不同，如圖2（a）所示的盲道圖像，黃色標(biāo)識(shí)比較顯著，通過(guò)對(duì)盲道圖像顏色特征的識(shí)別，可獲取視障人群出行所在的盲道信息。

對(duì)黃色將盲道圖像由RGB轉(zhuǎn)換到Lab顏色空間中，其中分量b對(duì)黃色特征的識(shí)別程度相對(duì)比較高，其線性關(guān)系為：

圖2（a）為常見(jiàn)的盲道圖像，顏色和紋理與周?chē)缆访黠@不同，盲道的b分量特征如圖2（b）所示，其黃色分量特征更加突出，利用黃色特征分量采用最大類(lèi)間方差法對(duì)盲道圖像進(jìn)行分割。在此基礎(chǔ)上采用Hough變換獲取圖像中盲道的邊緣信息如圖2（c）所示。

3 ?融合幀差和灰度投影的障礙物檢測(cè)方法

視障人群出行大多在盲道區(qū)域中行走，不論是盲道區(qū)域內(nèi)的靜態(tài)障礙物及進(jìn)入到盲道中的動(dòng)態(tài)障礙區(qū)均影響到視障人群的出行安全[14]。針對(duì)盲道區(qū)域中所存在的靜態(tài)、動(dòng)態(tài)障礙物進(jìn)行檢測(cè)。

3.1 序列圖像的三幀差法

視障人群在行走過(guò)程中，與障礙物之間均存在著相對(duì)運(yùn)動(dòng)，本文基于單目視覺(jué)系統(tǒng)獲取的序列圖像，采用三幀差法進(jìn)行障礙物的檢測(cè)。三幀差分算法是在兩幀差分算法的基礎(chǔ)上，對(duì)序列圖像中連續(xù)的第k-1、k、k+1幀圖像作差分計(jì)算，得到的幀差圖像為

3.2 基于灰度投影的全局運(yùn)動(dòng)補(bǔ)償

由于單目視覺(jué)系統(tǒng)隨視障者同步運(yùn)動(dòng)，所得到的序列圖像會(huì)發(fā)生全局運(yùn)動(dòng)，從而導(dǎo)致幀間差分算法檢測(cè)的障礙物受到全局背景變化的影響[15]。對(duì)序列圖像中第k幀圖像按公式（6）進(jìn)行圖像行、列像素灰度值的累加投影，得到兩條行與列的灰度投影曲線。

通過(guò)融合幀差和灰度投影算法對(duì)盲道區(qū)域中的行人進(jìn)行檢測(cè)，全局補(bǔ)償后利用幀差法得到如圖5（a）所示的圖像;再通過(guò)對(duì)盲道區(qū)域的識(shí)別，得到在盲道區(qū)域內(nèi)的行人障礙物，見(jiàn)如圖5（b）。

4 ?實(shí)驗(yàn)分析

為驗(yàn)證本文方法的有效性，采用單目視覺(jué)系統(tǒng)在天氣晴朗條件下，對(duì)盲道區(qū)域內(nèi)的靜態(tài)障礙物和兩側(cè)橫穿盲道的動(dòng)態(tài)障礙物進(jìn)行圖像獲取，并對(duì)圖像進(jìn)行算法驗(yàn)證。

4.1 導(dǎo)盲系統(tǒng)硬件設(shè)備

系統(tǒng)采用USB接口進(jìn)行圖像輸入和輸出。該系統(tǒng)的優(yōu)點(diǎn)：①佩戴方便;②分辨率高;③工作環(huán)境范圍廣;④體積較小;⑤有效像素：800萬(wàn);⑥傳感器類(lèi)型：CMOS;⑦電池：1160mAh內(nèi)置鋰電池。

在獲取圖像之后，在Windows7系統(tǒng)Matlab2018的環(huán)境條件下對(duì)圖像進(jìn)行下一步的檢測(cè)。

4.2 盲道區(qū)域內(nèi)靜態(tài)障礙物檢測(cè)

盲道區(qū)域內(nèi)正前方的障礙物如圖6所示，圖6為停放在盲道上的電動(dòng)車(chē)，這些不確定的隨機(jī)障礙物影響著視障人群的安全出行，通過(guò)本文算法，在檢測(cè)出盲道區(qū)域的基礎(chǔ)上，檢測(cè)是否含有障礙物信息。

由圖6可知，綠色邊緣為盲道區(qū)域，紅色方框中標(biāo)識(shí)為該區(qū)域內(nèi)的障礙物。通過(guò)獲取大量圖像信息進(jìn)行驗(yàn)證，對(duì)于盲道區(qū)域內(nèi)所出現(xiàn)的地面上或半空中懸掛的靜態(tài)障礙物有著良好的檢測(cè)效果。

4.3 動(dòng)態(tài)障礙物檢測(cè)

對(duì)于突然出現(xiàn)在盲道區(qū)域內(nèi)的動(dòng)態(tài)障礙物，如圖7所示盲道上行走的行人在各幀圖像中的位置是動(dòng)態(tài)的，通過(guò)算法進(jìn)行處理，融合幀差和灰度投影算法，提高了動(dòng)態(tài)障礙物的檢測(cè)精度。在與光流法和背景差分法進(jìn)行實(shí)驗(yàn)分析，障礙物輪廓與實(shí)際障礙物區(qū)域輪廓吻合誤差為9.2%，小于光流法的11%和背景差分法的15.6%。

5 ?結(jié)論

為了保障視障人群的出行安全，結(jié)合機(jī)器視覺(jué)技術(shù)提出了一種盲道區(qū)域中障礙物的視覺(jué)檢測(cè)方法。

①構(gòu)建單目視覺(jué)導(dǎo)盲系統(tǒng)，建立了各坐標(biāo)系之間的關(guān)系，在獲取了盲道圖像的基礎(chǔ)上，基于Lab顏色空間提取b分量，以最大類(lèi)間方差法對(duì)盲道區(qū)域進(jìn)行分割，利用Hough變換提取盲道邊界特征，以確定盲道區(qū)域。

②針對(duì)視障人群出行過(guò)程中盲道區(qū)域中存在的的靜動(dòng)態(tài)障礙物進(jìn)行檢測(cè)，對(duì)序列圖像進(jìn)行灰度投影算法進(jìn)行全局運(yùn)動(dòng)估計(jì)對(duì)圖像進(jìn)行校正，同時(shí)融合三幀差算法，提取障礙物的邊緣輪廓信息，確定障礙物的位置信息，通過(guò)實(shí)驗(yàn)驗(yàn)證了單個(gè)障礙物和多個(gè)障礙物均有效定位。

③實(shí)驗(yàn)結(jié)果表明本文方法對(duì)盲道區(qū)域中地面或空中懸掛的靜動(dòng)態(tài)障礙物具有較好的識(shí)別效果，但是對(duì)于地面盲道的狀態(tài)、較多目標(biāo)的檢測(cè)率還有待于算法的改進(jìn)。

參考文獻(xiàn)：

[1]王海，鄭正揚(yáng)，蔡英鳳，陳龍.基于四線激光雷達(dá)的無(wú)人車(chē)障礙物檢測(cè)算法[J].中國(guó)機(jī)械工程，2018，29（15）：1884-1889.

[2]張克華，王書(shū)平，尹曉紅，等.復(fù)雜室內(nèi)環(huán)境下的單一Kinect導(dǎo)盲系統(tǒng)[J].光學(xué)精密工程，2015，23（8）：2419-2427.

[3]謝德勝，徐友春，王任棟，蘇致遠(yuǎn).基于三維激光雷達(dá)的無(wú)人車(chē)障礙物檢測(cè)與跟蹤[J].汽車(chē)工程，2018，40（8）：952-959.

[4]梁燦杰，楊馥彰，林楷濤，陳俊填.萬(wàn)智萍.基于Arduino的智能導(dǎo)盲系統(tǒng)[J].電腦知識(shí)與技術(shù)，2018，14（24）：190-193.

[5]代一平，鄒傳云，何軍，等.基于RFID的交互式盲杖設(shè)計(jì)[J].微型機(jī)與應(yīng)用，2015，34（21）：61-63.

[6]張志美，程立英，趙以恒，等.基于模糊PID 控制算法的導(dǎo)盲機(jī)器人研究[J].沈陽(yáng)師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，33（1）：81-85.

[7]S. Shoval， ?J. Borenstein， ?et al. ?Mobile robot obstacle avoidance in a comrized travel aid for the blind[C]//Proceedings ?of the ?1994 IEEE International Conference on ?Robotics ?and ?Automation， San ?Diego（CA）：IEEE， 1994， 3： 2023-2028.

[8]S.Shoval， J. Borenstein， ?etal. ?Auditory ?guidance ?with the ?NavBelt-acomputerized travel aid for the blind[J]， IEEE Transactions on Systems， ?Man and Cybernetics， ?1998， ?28（3）： 459-467.

[9]R. Nagarajan， S. Yaacob， et al. Role of object identification in sonification system for visually impaired[C]//IEEE TENCON 2003： Conference on Convergent Technologies for the Asia-Pacific Region， Bangalore（India）：IEEE Region 10，2003， 2：735-739.

[10]Roentgen Uta R， Gelderblom Gert Jan， etal. User evaluation of two electronic mobility aids for persons who are visually impaired： a quasi-experimental study using a standardized mobilitycourse[J]， Assistive Technology 2012，24（2）：110-120.

[11]邱晶晶.多功能導(dǎo)盲裝置的若干問(wèn)題研究[D].鄭州：鄭州大學(xué)，2010：44-47.

[12]徐潔，方志剛，鮑福良，張麗紅.AudioMan：電子行走輔助系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)圖象圖形學(xué)報(bào)，2007（07）：1249-1253.

[13]范坤.基于結(jié)構(gòu)光與視覺(jué)檢測(cè)的虛擬導(dǎo)盲杖系統(tǒng)研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2018：52-53.

[14]王勇強(qiáng)，黃曉輝，沈曉峰，代柱，徐龍瀟，柴亞闖.路口導(dǎo)盲及馬路障礙物檢測(cè)提醒系統(tǒng)的設(shè)計(jì)[J].測(cè)控技術(shù)，2018，37（10）：114-123.

[15]劉銳，陳鳳翔，陳科羽，劉勝南.基于雙目視覺(jué)的障礙物檢測(cè)方法研究[J].計(jì)算機(jī)測(cè)量與控制，2018，26（12）：67-71.

[16]吳開(kāi)華，王文杰.植保無(wú)人機(jī)結(jié)構(gòu)光視覺(jué)的障礙物檢測(cè)方法[J].光電工程，2018，45（4）：170613.