陳 鵬，陳智利，李龐躍，牛 恒，周 泉

(西安工業(yè)大學(xué) 光電工程學(xué)院，西安 710021)

據(jù)統(tǒng)計(jì)，中國擁有世界最大的盲人群體。2018年，我國視力殘疾患者人數(shù)達(dá)到1700多萬，每年新增盲人數(shù)量達(dá)到45萬左右[1]，盲人的出行問題越來越受到社會(huì)的重視。傳統(tǒng)的導(dǎo)盲手段如手杖，其攜帶方便成本低，但其提供的信息有限，往往只能夠探測距離較近、位置較低的簡單障礙物。導(dǎo)盲犬的訓(xùn)練成本高，培養(yǎng)周期長，遠(yuǎn)遠(yuǎn)不能滿足我國龐大盲人群體的需求[2]。近年來，計(jì)算機(jī)軟硬件技術(shù)的快速發(fā)展，一些現(xiàn)代化的導(dǎo)盲手段不斷被提出，為盲人的出行提供了更多的選擇。文獻(xiàn)[3]提出了一種包含GPS定位與超聲波導(dǎo)盲的拐杖，可以為盲人提供位置信息，文獻(xiàn)[4]設(shè)計(jì)了一款基于超聲波的導(dǎo)盲眼鏡，其體積小、便于攜帶，但其探障功能僅僅采用超聲波，并不能很好的獲取障礙物信息和環(huán)境信息。文獻(xiàn)[5]提出了基于圖像處理的導(dǎo)盲設(shè)備，采用傳統(tǒng)圖像處理方法構(gòu)建分類器，能夠識(shí)別紅綠燈和斑馬線，文獻(xiàn)[6]通過灰度變換等圖像處理方法能夠?qū)β访娼Y(jié)構(gòu)進(jìn)行分析，可以有效提取路沿信息，引導(dǎo)盲人在正確的道路上行走。上述基于圖像的導(dǎo)盲系統(tǒng)很好的避免了由單超聲避障帶來的缺陷，但不足的是只能夠識(shí)別某些特定的場景信息，魯棒性不強(qiáng)。為了解決盲人在小區(qū)等結(jié)構(gòu)化道路上的出行問題，以及上述設(shè)備中的不足之處，本文基于樹莓派3B+設(shè)計(jì)了一款包含導(dǎo)航、避障、一鍵呼叫、語音播報(bào)等功能的導(dǎo)盲系統(tǒng)，整套系統(tǒng)由盲人采用小挎包進(jìn)行背負(fù)，極輕的重量不會(huì)給盲人產(chǎn)生負(fù)擔(dān)，能夠更好的方便盲人出行，解決盲人生活中的實(shí)際困難。

1 系統(tǒng)工作原理與設(shè)計(jì)方案

1.1 工作原理

系統(tǒng)通過GPS模塊對盲人實(shí)現(xiàn)定位[7]，將位置信息通過3G模塊傳到服務(wù)器，通過語音模塊獲得盲人所說的目的地信息，在服務(wù)器上通過由高德地圖API改制的地圖軟件生成導(dǎo)航信息，將導(dǎo)航信息發(fā)送至樹莓派，并語音播報(bào)至盲人。在盲人按照導(dǎo)航指令行走的過程中，避障模塊工作，一個(gè)超聲波傳感器用來探測前方的障礙物距離信息，另一個(gè)超聲波傳感器探測由盲人手持，用來探測所需方向的障礙物距離信息。與此同時(shí)，攝像頭間隔采集前方圖像信息，用來探測超聲波模塊無法準(zhǔn)確探測的環(huán)境信息，給盲人提供全方位的保障。

1.2 硬件設(shè)計(jì)

系統(tǒng)的核心主體為樹莓派3B+，樹莓派是由英國樹莓派基金會(huì)研發(fā)的一種只有卡片大小的單板機(jī)電腦，具有優(yōu)秀的擴(kuò)展性和易于開發(fā)的特性，并且隨著其版本的一代代更新，其計(jì)算能力也在逐漸增強(qiáng)。本文所使用的樹莓派3B+為64位四核ARM處理器，主頻為1.4 GHz，運(yùn)行內(nèi)存1 GB，搭載官方的Raspbian系統(tǒng)，其計(jì)算能力相當(dāng)可觀，可以用來處理較為復(fù)雜的計(jì)算任務(wù)[8]。定位模塊由GPS傳感器ATK1218-BD組成，通訊模塊由3G模塊組成，避障模塊外部傳感器由兩個(gè)HC-SR04超聲波傳感器和一個(gè)500萬像素的樹莓派攝像頭構(gòu)成，系統(tǒng)整體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)

本文主要研究導(dǎo)盲系統(tǒng)中的避障模塊，即通過超聲波傳感器和攝像頭探別前方障礙物信息，通過內(nèi)置軟件進(jìn)行處理，生成避障信息，并語音播報(bào)至盲人，引導(dǎo)盲人行走。對樹莓派安裝相關(guān)支持?jǐn)?shù)據(jù)，安裝相機(jī)后，需要使用配置工具激活攝像頭，并配置OpenCV庫來調(diào)用和控制攝像頭[9]，配置Tensorflow進(jìn)行圖像識(shí)別，所有軟件均使用Python開發(fā)。

1.3 避障模塊原理

超聲波測距的公式Od=v·t/2，其中v為聲音在空氣中的傳播速度，約為340 m/s，t為聲波發(fā)出去到接收到聲波所用的時(shí)間[10]。本文采用HC-SRO4超聲波模塊，其超聲波從發(fā)出到接收所需的時(shí)間即為指引腳的高電平時(shí)間。

卷積神經(jīng)網(wǎng)絡(luò)是近幾年興起的進(jìn)行圖像識(shí)別與分類的方法，在其出現(xiàn)之前，人們多用SIFT和HOG等算子來提取圖像特征，再結(jié)合SVM等機(jī)器學(xué)習(xí)算法來進(jìn)行圖像分類和識(shí)別，但SIFT算法是有其局限性的，需要進(jìn)行繁瑣的數(shù)據(jù)操作。而卷積神經(jīng)網(wǎng)絡(luò)可以直接使用圖像的原始像素作為輸入，通過卷積操作可以提取圖像的各種特征，再進(jìn)行網(wǎng)絡(luò)訓(xùn)練，自動(dòng)提取最有效的特征。簡單的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層，池化層，非線性激活層，全連接層,在全連接層后面通常連接Softmax層來進(jìn)行分類,通過反向傳播對代價(jià)函數(shù)的優(yōu)化以達(dá)到選擇最優(yōu)參數(shù)的目的[11-12]。

由于樹莓派的計(jì)算能力有限，網(wǎng)絡(luò)不能過于復(fù)雜，網(wǎng)絡(luò)采用經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。網(wǎng)絡(luò)參數(shù)在電腦上進(jìn)行訓(xùn)練，將保存好的訓(xùn)練模型移至樹莓派進(jìn)行圖像識(shí)別。

2 軟件設(shè)計(jì)及測試分析

2.1 超聲波模塊

超聲波模塊包括兩個(gè)超聲波傳感器，在程序中對各引腳做出定義，其中Trig引腳為S，Echo引腳為R，將兩個(gè)超聲波的Trig引腳和Echo引腳初始化為低電平。超聲波模塊核心代碼為：

def HCSRO4(S,R):

GPIO.output(S,GPIO.HIGH)

Time.sleep(0.000015)

GPIO.output(S,GPIO.LOW)//Ttig引腳持續(xù)發(fā)射15毫秒的超聲波

While GPIO.input(R)==0:

t1=time.time//記錄Echo引腳為高電平的時(shí)間t1

While GPIO.input(R)==1:

t2=time.time//記錄Echo引腳為低電平的時(shí)間t2

distance=(t2-t1)*340/2*100//計(jì)算距離

樹莓派對Trig引腳發(fā)射一個(gè)持續(xù)15 ms的脈沖，超聲波模塊會(huì)發(fā)射一個(gè)持續(xù)15 ms的超聲波，記錄檢測到Echo端口高電平的時(shí)間t1，檢測到其為低電平的時(shí)間t2，(t2-t1)即為超聲波傳播的時(shí)間，帶入距離公式d=v·t/2中，即可得到前方障礙物的距離。

2.2 攝像模塊

本文將盲人在路上行走所遇到的場景簡單分為四類，如圖2所示。分別為圖2(a)所示的前方路上無障礙物，可以行走，圖2(b)所示的前方為斑馬線，圖2(c)所示的處在路邊，圖2(d)所示的前方有行人或車輛，需要謹(jǐn)慎行走，并提醒盲人注意避障信息。

圖2 場景分類

在程序中導(dǎo)入Opencv模塊后，利用VideoCapture函數(shù)來調(diào)用攝像頭，用Read函數(shù)獲得圖像.但由于網(wǎng)絡(luò)計(jì)算耗時(shí)較長，而Read函數(shù)只能一幀一幀的來讀取，因此將VideoCapture函數(shù)和Read函數(shù)放到圖像處理函數(shù)內(nèi)部，即每執(zhí)行完一次圖片預(yù)測，再重新打開攝像頭，取出當(dāng)前幀作為網(wǎng)絡(luò)的輸入，由于攝像頭剛打開時(shí)前幾幀圖像質(zhì)量較差，因此需要舍去前幾幀圖像。攝像頭采集的圖片分辨率為640×640，需要對圖片進(jìn)行預(yù)處理，利用Resize函數(shù)將其改為32×32大小后再發(fā)送神經(jīng)網(wǎng)絡(luò)，以減少計(jì)算量。

網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，每個(gè)卷積層都包含卷積，池化和非線性激活，其中卷積核大小都為3×3，步長為1，池化層大小為，將數(shù)據(jù)量減小為原來的一半。網(wǎng)絡(luò)的輸入是1張RGB三通道圖片，設(shè)置第二層節(jié)點(diǎn)數(shù)為64，第三層節(jié)點(diǎn)數(shù)為32，第四層節(jié)點(diǎn)數(shù)為16，其后全連接層的隱含節(jié)點(diǎn)數(shù)為128，最后一層為Softmax回歸層，將輸入圖片分成四類，整個(gè)學(xué)習(xí)過程學(xué)習(xí)率均為0.0001。

通過拍攝某高校道路場景，共收集每類圖像三百張，共一千二百張作為訓(xùn)練集，另有每類圖片五十張作為測試集。先在電腦上進(jìn)行訓(xùn)練，共迭代了2 500次，損失函數(shù)與準(zhǔn)確率曲線如圖4所示。

從圖4中可看出,在迭代2 100次后損失函數(shù)趨近于0，準(zhǔn)確率也接近于1，說明模型各參數(shù)已經(jīng)訓(xùn)練完成。訓(xùn)練完成后得到四個(gè)文件，將其拷貝至樹莓派后，將Checkpoint文件中的地址改為Raspbian系統(tǒng)下剛剛保存的地址即可在樹莓派上運(yùn)用該模型。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 損失函數(shù)和準(zhǔn)確率

2.3 測試及分析

在某高校內(nèi)道路上對系統(tǒng)進(jìn)行整體測試，在通過斑馬線時(shí)，樹莓派的輸出見表1。測試中發(fā)現(xiàn)圖像模塊識(shí)別較慢，并會(huì)與超聲波模塊發(fā)生沖突，通過給兩個(gè)模塊分配不同的線程，運(yùn)行時(shí)間大幅減少，超聲波模塊和攝像頭模塊也可以同時(shí)運(yùn)行。

圖像模塊的測試中，每類圖片的測試集包含50幅圖像，測試結(jié)果見表2。從表2中可看到，對于斑馬線這類特征明顯的圖像識(shí)別率較高，而在實(shí)際測試中由于特征比較相似，前方無障礙物與處在路邊容易混淆。限于樹莓派3B+的運(yùn)算速度以及網(wǎng)絡(luò)復(fù)雜度，識(shí)別單幅圖片平均耗時(shí)為10.6 s。

表1 整體測試結(jié)果

表2 圖像模塊測試結(jié)果

3 結(jié) 論

本文以樹莓派3B+為主體，設(shè)計(jì)了一款包含導(dǎo)航、避障、一鍵呼叫、語音播報(bào)等功能的導(dǎo)盲系統(tǒng),并針對其中避障模塊進(jìn)行了軟硬件設(shè)計(jì)，避障模塊通過兩個(gè)超聲波傳感器實(shí)現(xiàn)對近處障礙物距離進(jìn)行探測，而通過圖像模塊獲取并分類前方環(huán)境信息。最終攜帶設(shè)備在校園道路上實(shí)際測試表明，超聲波模塊可以識(shí)別前方0.02～3.5 m處障礙物的距離信息，而圖像模塊對前方場景的識(shí)別正確率為89%，平均耗時(shí)10.6 s，兩模塊能夠并行運(yùn)行。表明在樹莓派上運(yùn)行神經(jīng)網(wǎng)絡(luò)為盲人實(shí)現(xiàn)導(dǎo)盲的可行性，為整體導(dǎo)盲系統(tǒng)提供了可靠的基礎(chǔ)。隨著卷積神經(jīng)網(wǎng)絡(luò)的改良和樹莓派運(yùn)算速度的提升，在不久的將來，該系統(tǒng)或許能夠在更短的時(shí)間內(nèi)識(shí)別更多的場景。