黃明威,林鎮(zhèn)煒,肖杰康,楊景康,陳其志,黃輝宇,鄧 君
(東莞理工學(xué)院 機械工程學(xué)院,廣東 東莞 523000)
隨著中國經(jīng)濟的不斷發(fā)展,人民的美好生活日益增長,其中旅游人次也在逐年增加,據(jù)國家統(tǒng)計局?jǐn)?shù)據(jù)統(tǒng)計,2019年全國旅游及相關(guān)產(chǎn)業(yè)增加值為44 989億元,占國內(nèi)生產(chǎn)總值的比重為4.56%。統(tǒng)計數(shù)據(jù)說明,每年都會有大量的人出去旅游,而出去旅游,通過旅游分豐富自己的精神生活。而旅游時帶行李箱是必不可少的,為了更加適應(yīng)中國逐年增加的旅游出行,特設(shè)計一款智能行李箱。
該款行李箱基于嵌入式計算平臺——樹莓派上,使用神經(jīng)網(wǎng)絡(luò)算法YOLOV3-Tiny進行識別,并搭載LED燈、ISD1420語音模塊和HC05藍牙模塊等,可實現(xiàn)對使用者進行識別跟隨,解放雙手,智能生活。
如圖1所示,智能行李箱整體結(jié)構(gòu)與普通行李箱無太大分別,主要可分三個部分,分別是智能行李箱箱體,智能行李箱底部和底部運動部分。
圖1 能行李箱整體結(jié)構(gòu)圖
智能行李箱在據(jù)頂部5 cm位置放置了攝像頭用于拍攝圖像并進行人物跟蹤,在攝像頭下方,放置了LED燈用于補光發(fā)出警報以及光敏電阻進行光線亮度檢測。
智能行李箱箱體與智能行李箱底部使用隔板隔開,底部放置了樹莓派主控板、電池、傾側(cè)水銀開關(guān)以及L298N驅(qū)動板等多個元器件。
為了讓智能行李箱能夠適應(yīng)多種環(huán)境,對傳統(tǒng)行李箱在復(fù)雜環(huán)境下易跌倒的問題作出了改良,將傳統(tǒng)的四輪換成履帶傳動,使得智能行李箱即使在坑坑洼洼的復(fù)雜路面也能較平穩(wěn)的行駛,與傳統(tǒng)行李箱相比地形適應(yīng)能力更強,抗跌落能力更優(yōu)。智能行李箱履帶結(jié)構(gòu)如圖2所示。
圖2 智能行李箱底部運動結(jié)構(gòu)圖
電路控制系統(tǒng)結(jié)構(gòu)框架如圖3所示,主控芯片采用的是樹莓派4B控制板,樹莓派4B是基于Linux系統(tǒng)的卡片電腦,尺寸與銀行卡大小相似,卻搭載了BCM2711處理器,擁有4枚性能強悍的ARMA72核心,處理性能快還擁有豐富的接口,在同等價格下,更適合做嵌入式神經(jīng)網(wǎng)絡(luò)控制板。在樹莓派上燒錄好官方操作系統(tǒng)PiOS,并配置好TensorflowLite等相關(guān)環(huán)境,錄入控制代碼即可實行智能行李箱控制。
圖3 控制系統(tǒng)結(jié)構(gòu)圖
智能行李箱底部由四個電機負責(zé)提供動力,樹莓派控制板通過L298N驅(qū)動板驅(qū)動電機進行行駛,其中電機的運動速度由PWM算法調(diào)節(jié)控制,PWM調(diào)速平穩(wěn),能使得智能行李箱在跟蹤過程平穩(wěn)的運動。
智能行李箱內(nèi)部放置了一塊HC05藍牙模塊,有效通信范圍可達10 m,且該模塊是主從一體的藍牙串口模塊,即我們可以直接通過藍牙串口通信助手進行數(shù)據(jù)傳輸,用該APP建立鏈接后,可直接發(fā)送數(shù)據(jù),而不需要了解藍牙內(nèi)部的通信協(xié)議,極大的簡化通信流程,上手方便快捷。所以使用者可以很方便的打開手機藍牙與智能行李箱通信,通過給其發(fā)送設(shè)定的數(shù)據(jù)就可以打開LED燈光或者設(shè)置跟蹤距離等。
考慮到使用者在旅途過程中手機等電子設(shè)備有可能會經(jīng)歷電量不足的情況,因此智能行李箱內(nèi)部還安置了一個USB接口,當(dāng)使用者在外部環(huán)境無法尋找到其他充電設(shè)備時,可以通過該USB接口給電子設(shè)備充電,以備不時之需。
考慮到行李箱在實際使用過程中有可能會遇到光線亮度較低的場景,為了防止使用者在行走過程因光線不足發(fā)生跌倒等狀況,在智能行李箱上放置了光敏電阻開關(guān),可在檢測到環(huán)境亮度不足自動打開LED燈,同時也解決了在極端黑暗的環(huán)境下攝像頭無法正確識別并跟蹤使用者的問題。
考慮到行李箱在實際使用過程中有可能遇到比較極端的路段或者受到來自外界的撞擊等導(dǎo)致行李箱側(cè)翻。因此當(dāng)有突發(fā)事件使得行李箱傾倒時,會觸發(fā)傾側(cè)水銀開關(guān),從而打開ISD1420語音模塊使其發(fā)出警報。
ISD1420語音模塊采用模擬存儲技術(shù)集成,可反復(fù)錄放20 s的語音,且最多可將語音分為160段,每段語音長度最小為125 ms。因此可以在樹莓派中設(shè)定,當(dāng)智能行李箱在側(cè)翻時發(fā)出特定的警示語音從而提醒智能行李箱的使用者,并且在播放語音的會同時打開LED燈光使其發(fā)出紅色報警光。
使用樹莓派攝像頭獲取圖像后,識別人物的算法采用神經(jīng)網(wǎng)絡(luò)YOLOV3-tiny[1],該算法檢測快速,背景誤檢率低,且通用性強。其網(wǎng)絡(luò)結(jié)構(gòu)共有23層,且使用的是全卷積層,圖片尺寸修改也是通過卷積層實現(xiàn),而算法流程可分為以下三步:
首先為將一副圖片大小調(diào)整為416×416×3,并將其分成S×S個均等大小的柵格,每一個格子稱作一個gridcell。目標(biāo)中心落在哪個gridcell中,就由哪個gridcell來檢測該目標(biāo),如圖4所示。
圖4 YOLOV3-tiny分割圖像示意圖
其次將上一步所得到圖像送入卷積神經(jīng)網(wǎng)絡(luò)中,得到預(yù)測值坐標(biāo),置信度和識別概率。最后再將得到的信息進行非極大值抑制,即可得出結(jié)果。算法網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
圖5 YOLOV3-tiny網(wǎng)絡(luò)結(jié)構(gòu)圖
單目測距原理如圖6,測距原理的模型可認為是針孔模型。通過獲取相機焦距f,拍攝圖像長度l,物體實際距離h,通過三角形相似即可得出公式(1),并通過該公式得可以在識別到物體后,測量出物體與相機的實際距離d,經(jīng)實際測試,實際距離與測得距離誤差為10%~15%,測量精度滿足使用要求。
圖6 測距原理圖
使用者可以通過手機藍牙連接智能行李箱設(shè)定跟蹤距離參數(shù),從而調(diào)節(jié)智能行李箱在實際跟蹤過程中與使用者的距離。在實際測試過程中,研究發(fā)現(xiàn)設(shè)定跟蹤距離在2~3 m時識別效果較好,且跟蹤較為準(zhǔn)確。
(1)
考慮到行李箱在實際使用過程中,有可能會檢測到過往行人等,為防止智能行李箱的跟蹤目標(biāo)出錯,在行李箱識別并且得出目標(biāo)后,使用了簡單高效的IOU(IntersectionoverUnion)Tracker算法[2],IOUTracker算法檢測速度快,依賴于TBD(trackingbydetection),不需要圖像信息即可進行多目標(biāo)跟蹤。
所謂的IOU就是交并比,即對上一張圖像所識別的人物區(qū)域與這次識別的人物區(qū)域進行一個計算,計算兩幀中兩個目標(biāo)之間的歐幾里得距離,當(dāng)識別區(qū)域中出現(xiàn)多個目標(biāo)人物時,會把計算得出距離最短的兩個區(qū)域認為是同一個目標(biāo),IOU計算公式見式(2):
(2)
IOUTracker算法流程如圖7,該算法可簡要分為四步:①對所得目標(biāo)進行過濾,篩選出大于閾值σl的檢測框,從而得到檢測集合;②將得到的檢測集合與跟蹤中的目標(biāo)進行IOU計算,篩選得到大于閾值σIOU的檢測框而作為前一幀目標(biāo)在當(dāng)前的位置,否則再對該跟蹤框進行判斷是否大于閾值σh以及是否大于閾值tmin,如果是則認為之前跟蹤的目標(biāo)已離開當(dāng)前檢測區(qū)域;③將沒有匹配的檢測框認為是新出現(xiàn)的物體加入待跟蹤隊列;④檢測是否大于閾值σh以及是否大于閾值tmin來衡量是否是一個完整的跟蹤。
圖7 IOUTrack算法流程圖
為了驗證該智能行李箱在實際環(huán)境中的有效性,在水泥地面和瓷磚地面來模擬使用者最常使用的兩種環(huán)境以及在早上和傍晚兩種不同光線亮度進行了實驗。此外,我們還在以上兩種實驗中加入了隨機障礙元素。實驗表明,該智能行李箱在實際環(huán)境能有效的識別使用者并且進行跟蹤。
在出行率越來越高的今天,有一個可實現(xiàn)識別跟蹤的多功能行李箱是十分有必要的。文中詳細介紹了一種基于神經(jīng)網(wǎng)絡(luò)的智能跟隨行李箱的設(shè)計方法,并有效的結(jié)合了多個傳感器以實驗智能行李箱的制作。實驗證明該智能行李箱能實現(xiàn)有效的目標(biāo)識別與跟蹤,但仍有很多需要改進的地方,例如續(xù)航時間和元件擺放怎么才能更加精巧等問題。筆者將會在后續(xù)的研究中從機械結(jié)構(gòu)等方面來改善實驗結(jié)果。