亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于TensorFlow Lite的智能輔助行進(jìn)系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)

        2022-11-21 13:06:22胡深奇李云鵬
        技術(shù)與市場(chǎng) 2022年11期
        關(guān)鍵詞:樹(shù)莓頭盔舵機(jī)

        胡深奇,李云鵬

        (西北工業(yè)大學(xué),陜西 西安 710072)

        1 概述

        隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展以及人工智能領(lǐng)域研究的逐步深入,有關(guān)高效解決視力障礙群體出行難的問(wèn)題逐漸有了許多可行性方案。一些科技巨頭如微軟、谷歌已經(jīng)開(kāi)始研制出了一批具有一定成熟的導(dǎo)盲產(chǎn)品,例如Doogo團(tuán)隊(duì)以導(dǎo)盲犬為靈感,研發(fā)了電子導(dǎo)盲犬Doogo。Doogo擁有導(dǎo)航、避障等功能,盲人用戶只需要手握牽引桿跟隨Doogo電子導(dǎo)盲犬即可。在美國(guó),喬治亞大學(xué)也研制了一款導(dǎo)盲背包,該產(chǎn)品利用先進(jìn)的神經(jīng)網(wǎng)絡(luò)框架,結(jié)合Movidius圖像處理技術(shù),不僅可以分辨出周?chē)矬w分布情況,還能播報(bào)車(chē)輛行人的移動(dòng)方位。但以上提及到的產(chǎn)品由于裝置復(fù)雜,成本高昂,大部分視力障礙群體無(wú)法承擔(dān)高昂的價(jià)格。為此本文提供了一種基于深度學(xué)習(xí)框架TensorFlow Lite的智能輔助行進(jìn)系統(tǒng)的設(shè)計(jì)方案。

        在本系統(tǒng)中,提供算力支持、搭載TensorFlow Lite深度學(xué)習(xí)框架的是基于ARM架構(gòu)的便攜式微型電腦主板Raspberry Pi(“樹(shù)莓派”)(見(jiàn)圖1)。在物聯(lián)網(wǎng)領(lǐng)域,智能家居領(lǐng)域以及其他人工智能領(lǐng)域,樹(shù)莓派因其低功耗、高效能、小體積等諸多優(yōu)點(diǎn),被業(yè)余開(kāi)發(fā)者以及科技公司所青睞,已被應(yīng)用在了各種項(xiàng)目中。

        圖1 Raspberry Pi 實(shí)物圖

        傳統(tǒng)的深度學(xué)習(xí)模型往往需要高性能的顯卡進(jìn)行復(fù)雜的計(jì)算,這意味著高能耗且花費(fèi)高昂,這顯然不適用于嵌入式輕量級(jí)開(kāi)發(fā)。而借助深度學(xué)習(xí)框架TensorFlow Lite,通過(guò)對(duì)學(xué)習(xí)模型的壓縮、剪枝,將訓(xùn)練模型中不重要的權(quán)重進(jìn)行稀疏化處理,在保證必要精度的情況下,滿足了系統(tǒng)功能需求。在本智能輔助行進(jìn)系統(tǒng)中,主要借助此框架實(shí)現(xiàn)了實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)視野前方物體,判斷前方道路平整性,并進(jìn)行語(yǔ)音播報(bào)提示等功能。

        借助3D建模軟件進(jìn)行外殼部分的建模,通過(guò)3D打印技術(shù),利用光滑細(xì)膩,環(huán)保無(wú)害的TUP熱塑性聚氨酯材料,將設(shè)計(jì)好的搭載樹(shù)莓派的輔助頭盔打印成型,裝載樹(shù)莓派及其部件,即可完成整套智能輔助行進(jìn)系統(tǒng)的制作。

        2 系統(tǒng)的總體設(shè)計(jì)

        智能輔助行進(jìn)系統(tǒng)設(shè)計(jì)目的是使視力障礙群體通過(guò)佩戴智能化頭盔,識(shí)別視野前方的物體,以語(yǔ)音播報(bào)的方式告知物體的名字及距離并且判斷前面道路是否平整,以滿足視力障礙群體在無(wú)人幫助的情況下獨(dú)自出門(mén)的需求。

        智能輔助行進(jìn)系統(tǒng)以智能頭盔外殼為主體,以基于ARM架構(gòu)Raspberry Pi 4B為提供算力的主控系統(tǒng),樹(shù)莓派通過(guò)接口連接URM09-Analog超聲波測(cè)距傳感器、IMX219-200 Camera攝像頭、SG902舵機(jī)云臺(tái)、UPS-18650-Lite電源擴(kuò)展板,WM8960音頻解碼擴(kuò)展板。系統(tǒng)的整個(gè)系統(tǒng)設(shè)計(jì)框圖如圖2所示。

        圖2 系統(tǒng)設(shè)計(jì)框圖

        3 系統(tǒng)的各模塊設(shè)計(jì)

        本智能輔助系統(tǒng)采用模塊化設(shè)計(jì)思路,主要分為影像采集模塊、數(shù)據(jù)分析及智能處理模塊、輸出模塊和外殼模塊。各模塊間軟硬件配合,聯(lián)系緊密。下面從各模塊組成及其功能實(shí)現(xiàn)原理進(jìn)行論述。

        3.1 影像采集模塊

        影像采集模塊主要由兩部分組成。一部分是IMX219-200 Camera單目攝像頭,通過(guò)樹(shù)莓派上的CSI接口與樹(shù)莓派進(jìn)行通信,將捕獲到的160°視角范圍內(nèi)的實(shí)時(shí)影像以1 280×720分辨率、30幀的視頻流的形式傳到數(shù)據(jù)分析及智能處理模塊的處理程序中。

        該模塊另一部分為舵機(jī)云臺(tái),整個(gè)攝像頭由一個(gè)2自由度的SG90舵機(jī)云臺(tái)搭載,舵機(jī)云臺(tái)由GPIO串口和樹(shù)莓派連接。舵機(jī)接收到發(fā)送的PWM信號(hào),使其內(nèi)部電路產(chǎn)生一個(gè)偏置電壓,從而觸發(fā)電機(jī)通過(guò)減速齒輪帶動(dòng)電位器移動(dòng);當(dāng)電壓差為零時(shí),電機(jī)停轉(zhuǎn),從而達(dá)到伺服的效果,使得舵機(jī)旋轉(zhuǎn)到需要的角度。通過(guò)舵機(jī)云臺(tái)的轉(zhuǎn)動(dòng),可以使攝像頭在不同場(chǎng)合拍攝到需要的場(chǎng)景,從而助于系統(tǒng)進(jìn)行識(shí)別并語(yǔ)音播報(bào)給用戶。在樹(shù)莓派中可利用Python的GPIO庫(kù)操作舵機(jī),代碼如圖3所示,整個(gè)影像采集模塊如圖4所示。

        圖3 操控舵機(jī)的代碼

        圖4 影像采集模塊

        3.2 數(shù)據(jù)分析及智能處理模塊

        數(shù)據(jù)分析及智能處理模塊為整個(gè)系統(tǒng)中最為重要的模塊,主要分為兩部分,一部分為硬件部分,即負(fù)責(zé)提供算力支持的基于ARM架構(gòu)的樹(shù)莓派主控板和提供電力支持的UPS-18650-Lite電源擴(kuò)展板;另一部分為軟件部分,即借助輕量級(jí)深度學(xué)習(xí)框架TensorFlow Lite實(shí)現(xiàn)的物體檢測(cè)、語(yǔ)音播報(bào)、道路平整性檢測(cè)功能的可運(yùn)行程序。

        本模塊的硬件部分是搭配Broadcom BCM2711芯片的樹(shù)莓派4B開(kāi)發(fā)板,該開(kāi)發(fā)板包含1.5 GBHz的四核ARM Cortex-A72 64位處理器,較上一代3B版本運(yùn)行速度提高了3倍以上,LAN接口支持千兆以太網(wǎng)連接,USB接口支持USB3.0協(xié)議,IO擴(kuò)展接口為擁有40個(gè)管腳的GPIO接口,在編程中通過(guò)BCM編碼或者物理位置編號(hào)可以精準(zhǔn)定位每一個(gè)管腳,從而可以對(duì)管腳上接入的每一個(gè)電子元件進(jìn)行通信。為滿足系統(tǒng)開(kāi)發(fā)需要,樹(shù)莓派開(kāi)發(fā)板需安裝基于Linux內(nèi)核的Raspbian操作系統(tǒng)作為底層開(kāi)發(fā)環(huán)境。

        為樹(shù)莓派進(jìn)行供電的為18650-Lite電源擴(kuò)展板,該擴(kuò)展板裝配了2節(jié)可循環(huán)充電的3.7 V鋰電池,為樹(shù)莓派提供智能化不間斷供電服務(wù)。電源供電規(guī)格為5 V/3 A。經(jīng)測(cè)試,該智能輔助行進(jìn)系統(tǒng)可在其電力支持的情況下連續(xù)工作5 h。此外,本模塊還包括URM09-Analog超聲波測(cè)距傳感器,可以對(duì)程序檢測(cè)到的物體進(jìn)行測(cè)距,以便后期語(yǔ)音播報(bào)距離;在平整度檢測(cè)時(shí)也用到該超聲波測(cè)距傳感器進(jìn)行一定的輔助計(jì)算。

        本模塊的軟件部分為基于TensorFlow Lite框架下的可運(yùn)行程序。TensorFlow Lite是應(yīng)用于資源受限的邊緣設(shè)備上的輕量級(jí)深度學(xué)習(xí)優(yōu)化框架。TensorFlow Lite模型較PyTorch、Caffe等面向復(fù)雜工程的人工智能框架而言,具有更快的推理時(shí)間和更少的空間消耗,可以在嵌入式設(shè)備中使用較小的二進(jìn)制文件快速初始化,適用于在樹(shù)莓派上實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。此框架的工作機(jī)理為:首先Converter使用TF模型生成FlatBuffer文件(.tflite),然后將FlatBuffer文件部署到客戶端設(shè)備(如本系統(tǒng)中的樹(shù)莓派主板)并使用TensorFlow Lite解釋器在本地運(yùn)行。當(dāng)運(yùn)行實(shí)時(shí)檢測(cè)程序時(shí),通過(guò)訓(xùn)練好的模型運(yùn)行并處理數(shù)據(jù)(通過(guò)影像采集模塊傳輸?shù)膶?shí)時(shí)視頻流),經(jīng)過(guò)解釋器(Interpreter)解析檢測(cè)物,以獲得正確的預(yù)測(cè)結(jié)果(以置信度的形式標(biāo)識(shí),并以矩形框的形式圈出檢測(cè)物)。整個(gè)框架的架構(gòu)圖如圖5所示。

        圖5 TensorFlow Lite架構(gòu)圖

        本系統(tǒng)的可運(yùn)行程序主要實(shí)現(xiàn)物體檢測(cè)和道路平整性檢測(cè)兩個(gè)功能。下面將論述各功能點(diǎn)的實(shí)現(xiàn)原理。

        物體檢測(cè)功能:物體檢測(cè),即系統(tǒng)判定模型識(shí)別到的物體的置信度大于設(shè)定的數(shù)值閾值后,通過(guò)矩形框在實(shí)時(shí)視頻流里圈出檢測(cè)物體的輪廓,并標(biāo)識(shí)置信度,后續(xù)通過(guò)語(yǔ)音播報(bào)的形式告知用戶前方出現(xiàn)某某物體,通過(guò)超聲波測(cè)距,告知該物體距離用戶多少米。為了訓(xùn)練模型,首先,下載微軟的開(kāi)源數(shù)據(jù)集MS COCO,其中包含20萬(wàn)張有標(biāo)注的圖片,一共標(biāo)注了80余個(gè)類別,可滿足日常見(jiàn)到的大部分物體。通過(guò)CNN模型對(duì)數(shù)據(jù)集進(jìn)行迭代訓(xùn)練,在測(cè)試集上正確率達(dá)到90%后停止訓(xùn)練。將訓(xùn)練好的模型經(jīng)過(guò)量化處理后轉(zhuǎn)換為tflite格式,減少內(nèi)存訪問(wèn)中讀和存(中間臨時(shí)量)的時(shí)間和空間開(kāi)銷,以便解釋器進(jìn)行高效解析。最后將模型部署在樹(shù)莓派,通過(guò)接收影視采集模塊傳輸過(guò)來(lái)的視頻流,即可實(shí)時(shí)檢測(cè)前方物體,以便輸出模塊進(jìn)行語(yǔ)音播報(bào)。本模塊物體檢測(cè)的測(cè)試效果如圖6所示。

        圖6 物體檢測(cè)效果圖

        道路平整性檢測(cè):此功能依靠超聲波傳感器,傳感器安裝在輔助頭盔上。傳感器向垂直于地面方向發(fā)送超聲波獲得垂直距離h,傳感器以偏離垂直方向,傾角30°的方向朝地面發(fā)送超聲波獲得實(shí)際傾斜距離值y。根據(jù)垂直距離h,通過(guò)簡(jiǎn)單的余弦計(jì)算,計(jì)算出理論傾斜距離值,若前方道路無(wú)隆起或凹陷,理論傾斜距離應(yīng)等于實(shí)際傾斜距離y,若二者不相等,則證明前方道路不平。此時(shí)通過(guò)輸出模塊,進(jìn)行語(yǔ)音提醒。

        3.3 輸出模塊

        輸出模塊的硬件部分為WM8960音頻解碼擴(kuò)展板,通過(guò)GPIO接口與樹(shù)莓派相連,板載雙通道喇叭接口,可直接驅(qū)動(dòng)揚(yáng)聲器進(jìn)行語(yǔ)音播報(bào);同時(shí)搭載標(biāo)準(zhǔn)3.5 mm耳機(jī)接口,也可通過(guò)外接耳機(jī)進(jìn)行語(yǔ)音播報(bào)。該擴(kuò)展板功耗低,且支持立體聲解碼,在本系統(tǒng)中應(yīng)用效果良好。

        輸出部分的軟件部分為用Python語(yǔ)言編寫(xiě)的可運(yùn)行程序,借助Python的文本語(yǔ)音轉(zhuǎn)換庫(kù)pyttsx3實(shí)現(xiàn)。通過(guò)pyttsx3庫(kù)中setProperty方法設(shè)置好語(yǔ)速、音量等聲音信息,通過(guò)say方法,以語(yǔ)音的方式告知用戶前方障礙物名稱以及障礙物到用戶的距離,如果前方道路不平,則通過(guò)揚(yáng)聲器提醒用戶注意腳下安全。此模塊的程序需要與數(shù)據(jù)分析及智能處理模塊的程序進(jìn)行交互,獲得實(shí)時(shí)監(jiān)測(cè)到的物體名稱和距離值,以及前方道路平整程度的判斷結(jié)果。該模塊每隔1 s自動(dòng)接收來(lái)自數(shù)據(jù)分析及智能處理模塊傳來(lái)的數(shù)據(jù),進(jìn)行處理分析后,每隔5 s實(shí)時(shí)以語(yǔ)音播報(bào)的形式告知用戶,幫助用戶避開(kāi)前方障礙物,減少因視覺(jué)不便產(chǎn)生的困擾。

        3.4 外殼模塊

        本系統(tǒng)的核心軟硬件全部裝配在外殼,即智能頭盔內(nèi),由用戶佩戴在頭部,以輔助出行。外殼整體顏色為灰白色,材質(zhì)為T(mén)UP熱塑性聚氨酯材料。頭盔中間有銷,可以單獨(dú)旋轉(zhuǎn),調(diào)整到用戶需要的角度。樹(shù)莓派及其配件安置在頭盔后部盒蓋中,攝像頭部分,舵機(jī)云臺(tái)以及超聲波測(cè)距模塊安裝在頭盔前部,各個(gè)模塊組裝完成后會(huì)對(duì)頭盔的數(shù)據(jù)線進(jìn)行封閉處理,并加上柔軟的布料使佩戴者佩戴舒適。該外殼通過(guò)SolidWorks建模后交由3D打印機(jī)打印,各組件輕盈且易于安裝,方便用戶佩戴。外殼的示意圖如圖7所示。

        圖7 智能頭盔示意圖

        4 測(cè)試結(jié)果

        本智能輔助行進(jìn)系統(tǒng)經(jīng)過(guò)測(cè)試后,效果良好。在室外常規(guī)場(chǎng)地測(cè)試時(shí),可以識(shí)別出汽車(chē)、行人、樹(shù)木、貓狗寵物等80余種常見(jiàn)物,識(shí)別精度均在90%以上。通過(guò)識(shí)別算法,優(yōu)先識(shí)別距離小于5 m的物體;識(shí)別成功后,在0.5 s內(nèi)及時(shí)進(jìn)行語(yǔ)音播報(bào)處理。在室外道路不平的場(chǎng)地測(cè)試時(shí),該系統(tǒng)可實(shí)時(shí)判斷出前方2~5 m處,是否出現(xiàn)凹陷或凸出程度±40 mm的不平路段,并進(jìn)行語(yǔ)音提醒,避免視力障礙群體摔倒,識(shí)別準(zhǔn)確度達(dá)到85%以上。

        5 結(jié)語(yǔ)

        本文以TensorFlow Lite框架為核心,通過(guò)可運(yùn)行程序處理攝像頭拍攝的視頻流數(shù)據(jù),對(duì)實(shí)時(shí)影像進(jìn)行檢測(cè)分析,以語(yǔ)音播報(bào)的形式告知視力障礙群體前方的路況信息,道路平整性信息等,從而輔助視力障礙群體單獨(dú)出行,解決出行不便的問(wèn)題。該系統(tǒng)通過(guò)樹(shù)莓派提供算力的支持,應(yīng)用了基于深度學(xué)習(xí)的物體檢測(cè)算法,自主研發(fā)的道路平整性檢測(cè)算法等,并通過(guò)3D打印技術(shù)打印頭盔外殼,為視力障礙群體出行提供了一套完整可行的智能化解決方案。

        猜你喜歡
        樹(shù)莓頭盔舵機(jī)
        犬用戰(zhàn)術(shù)頭盔
        含齒隙彈載舵機(jī)的全局反步模糊自適應(yīng)控制
        基于樹(shù)莓派的騎行智能頭盔設(shè)計(jì)
        電子制作(2019年11期)2019-07-04 00:34:32
        小頭盔,大防護(hù)
        當(dāng)頭盔遇上高科技
        基于dsPIC單片機(jī)的飛艇舵機(jī)控制實(shí)現(xiàn)
        電子制作(2018年1期)2018-04-04 01:48:14
        基于樹(shù)莓派的遠(yuǎn)程家居控制系統(tǒng)的設(shè)計(jì)
        電子制作(2017年17期)2017-12-18 06:40:43
        基于高速同步485總線通信的多通道舵機(jī)控制器設(shè)計(jì)
        漢字戴頭盔
        響應(yīng)面法優(yōu)化紅樹(shù)莓酒發(fā)酵工藝
        蜜桃在线观看免费高清| 日韩毛片基地一区二区三区| vr成人片在线播放网站| 成人毛片av免费| 精品深夜av无码一区二区老年| 成av人片一区二区三区久久| 中文字幕av日韩精品一区二区| 免费99视频| 日韩不卡av高清中文字幕| 在线观看中文字幕一区二区三区| 精品国产av一区二区三四区| 日韩人妻系列在线观看| 亚洲综合图色40p| 国产超碰女人任你爽| 亚洲av之男人的天堂网站| 亚洲人成网站免费播放| 国产av一区二区凹凸精品| 国产精品视频白浆免费看| 日韩人妻精品视频一区二区三区| 久久精品网站免费观看| 国产高颜值大学生情侣酒店| 中文字幕avdvd| 久久激情人妻中文字幕| 免费在线亚洲视频观看| 精品国产sm最大网站| 人妻夜夜爽天天爽三区麻豆av网站| 亚洲自偷自偷偷色无码中文| 日产乱码一区二区国产内射| 亚洲韩日av中文字幕| 精品一区三区视频在线观看| 一本一道人人妻人人妻αv| 亚洲av日韩av综合| 九九在线视频| 亚洲国产高清在线视频| 亚洲美女毛片在线视频| 国产精品538一区二区在线| 亚洲人成电影在线观看天堂色 | 无码中文字幕久久久久久| 男女后入式在线观看视频| 国产高潮流白浆视频在线观看 | 亚洲有码转帖|