楊強(qiáng)強(qiáng) 宋子誠 姜凌昊 吳佳成

關(guān)鍵詞：智能跟隨小車；超聲模塊；攝像頭；哈希算法；卡爾曼濾波

1 引言

截至目前，我國的人口基數(shù)仍然較大，在普通的超市和購物商場中，消費(fèi)和購物的流程比較復(fù)雜，時(shí)間花費(fèi)長。放置商品是普通的購物車唯一能做到的功能，其應(yīng)用過于單一[1]。據(jù)中國連鎖經(jīng)營協(xié)會(huì)數(shù)據(jù)統(tǒng)計(jì)，預(yù)計(jì)到今年，無人零售商店交易額將達(dá)到1.8萬億元[2]。但在當(dāng)前階段，中國的無人超市發(fā)展仍在探索，而且在發(fā)展過程中還存在一些問題，人與人之間一些必要的接觸很難避免[3]。若想提高購物的效率，減少顧客間的接觸，本文提出了以Jetson nano開發(fā)板為核心控制器的智能跟隨購物小車，小車可以在識(shí)別顧客后，進(jìn)行無接觸跟隨，直到整個(gè)購物過程結(jié)束。并設(shè)計(jì)了超聲波避障功能，以避免突然出現(xiàn)的行人或者購物車之間發(fā)生碰撞。

2 智能購物車硬件設(shè)計(jì)

2.1 硬件系統(tǒng)總體設(shè)計(jì)

系統(tǒng)硬件主要需要實(shí)現(xiàn)兩個(gè)功能：①在起始階段，根據(jù)攝像頭和圖像學(xué)習(xí)的知識(shí)，提取出目標(biāo)人物的特征，確定要跟隨的目標(biāo)并在使用過程中全程保持跟隨；②通過超聲波模塊定位與小車有一定距離的物體，躲避突然進(jìn)入路線中的物體，避免發(fā)生碰撞。智能購物小車結(jié)構(gòu)框圖如圖1所示。

2.2 Jetson nano 主控

Jetson Nano由英偉達(dá)出品的，是一款體積較小，性能較強(qiáng)的智能芯片，這款芯片包含了四核Cortex-A57 處理芯片，配備了4GB LPDDR 內(nèi)存以及128 核Maxwell GPU，支持多種算法和AI 框架，如Tensor?Flow、PyTorch、Caffe 等，支持NVIDIA JetPack，這就使得許多神經(jīng)網(wǎng)絡(luò)可以在開發(fā)板上并行運(yùn)行，進(jìn)而可以實(shí)現(xiàn)圖像分類、人臉識(shí)別、目標(biāo)檢測、語音處理及物體識(shí)別追蹤等功能，適用于開發(fā)小結(jié)構(gòu)、低成本、低能耗的設(shè)備[4]。

Jetson nano優(yōu)點(diǎn)很多，例如體型微小，性能強(qiáng)大，性價(jià)比較高，整體采用類似樹莓派的硬件設(shè)計(jì)。而且其專為AI而設(shè)計(jì)，性能相比樹莓派更強(qiáng)大，可為機(jī)器人終端、工業(yè)視覺終端帶來足夠的AI算力。

2.3 超聲波避障模塊

超聲波模塊是具有避障功能的硬件。此模塊是根據(jù)超聲波的方向性好、反射能力強(qiáng)的特點(diǎn)設(shè)計(jì)的[5]。本購物小車中超聲模塊采用HC-SR04，它可提供2～400cm的非接觸式距離測試，測距精度可高達(dá)3mm。此款超聲波模塊性能穩(wěn)定，體積小[6]。在使用中Jet?son nano板子控制兩個(gè)模塊每隔２秒依次輪流發(fā)出超聲波，當(dāng)一定距離之內(nèi)有障礙物時(shí)，會(huì)觸發(fā)避障算法進(jìn)行躲避障礙物的移動(dòng)[7]。主控器會(huì)根據(jù)攝像頭傳來的畫面分析備選路線，選取路線進(jìn)行避障。

由超聲波檢測小車周圍物體，如果距離小于特定距離，就啟動(dòng)避障算法，由主控模塊傳輸信號(hào)給下位機(jī)的單片機(jī)，單片機(jī)用來控制小車底盤和調(diào)整小車姿態(tài)，達(dá)到躲避障礙物的目的。主控部分連接圖如圖2所示。

3 智能購物小車軟件程序設(shè)計(jì)

智能購物小車的程序采用YOLO算法檢測畫面中的行人，根據(jù)初始選中的人完成跟隨和避障工作。具體流程圖如圖3所示。

3.1 YOLO 檢測框

首先，模型的backbone替換為了shufflenetV2，相比原先的backbone，內(nèi)存減少了一些，更加輕量，其次Anchor的匹配機(jī)制，參考的是YOLOv5，然后是檢測頭的解耦合，這個(gè)也是參考YOLOv5的，將檢測框的回歸，背景的分類以及檢測類別的分類有YOLO的一個(gè)特征圖解耦成3個(gè)不同的特征圖，其中前景背景的分類以及檢測類別的分類采用同一網(wǎng)絡(luò)分支參數(shù)共享。采用BN層能夠加快模型收斂速度，對(duì)于正則化效果會(huì)降低過擬合的負(fù)面影響。

在YOLOv2中，每個(gè)卷積層后面都添加了BN層，并且不再使用drop out。使用BN 層后，YOLOv2 的mAP略有提升。YOLOv1先在ImageNet（224 * 224） 分類數(shù)據(jù)集上預(yù)訓(xùn)練模型的主體部分（大部分目標(biāo)檢測算法），獲得較好的分類效果，然后再訓(xùn)練網(wǎng)絡(luò)的時(shí)候?qū)⒕W(wǎng)絡(luò)的輸入從224 * 224增加為448 * 448。但是直接切換分辨率，檢測模型可能難以快速適應(yīng)高分辨率。所以YOLOv2增加了在ImageNet數(shù)據(jù)集上使用448 * 448的輸入來finetune分類網(wǎng)絡(luò)這一中間過程（10 epochs） 。使用高分辨率分類器后，YOLOv2 的mAP提升了約4%。

YOLOv2引入了一個(gè)anchor boxes的概念，這樣做的目的就是得到更高的召回率，YOLOv2的邊界框可以達(dá)到1000多個(gè)（論文中的實(shí)現(xiàn)是845個(gè)）。輸入由448 * 448 改為416 * 416，下采樣32 倍，輸出為13 *13 * 5 * 25。采用奇數(shù)的gird cell 是因?yàn)榇髨D像的中心往往位于圖像中間，為了避免四個(gè)gird cell參與預(yù)測，我們更希望用一個(gè)gird cell去預(yù)測。為了更快的運(yùn)算速度，盡管mAP下降，召回率的上升揭示著這個(gè)的模型有更大的提升空間。

3.2 pHash 算法

pHash 指感知哈希算法，其利用離散余弦變換（DCT） 降低圖片的頻率，相比aHash有更好魯棒性[8]。基本原理為縮小尺寸。將圖片縮小為8 * 8后灰度化處理縮小的圖片，然后計(jì)算DCT。DCT是一種特殊的傅里葉變換，并且DCT矩陣從左上角到右下角代表越來越高頻率的系數(shù)，只保留左上角的低頻區(qū)域。之后計(jì)算哈希值，將每個(gè)DCT值，與平均值進(jìn)行比較。大于或等于平均值，記為1，小于平均值，記為0，由此生成二進(jìn)制數(shù)組。（與aHash類似）最后通過圖片匹配，計(jì)算漢明距離。

3.3 卡爾曼濾波

卡爾曼濾波（Kalman Filtering， KF） 算法通過線性系統(tǒng)狀態(tài)方程，利用系統(tǒng)輸入輸出的觀測數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法?？柭鼮V波的一個(gè)典型實(shí)例是從一組有限的，對(duì)物體位置的，包含噪聲的觀察序列中預(yù)測出物體的坐標(biāo)位置及速度[9]?？柭鼮V波在動(dòng)態(tài)系統(tǒng)中便于估計(jì)系統(tǒng)的最優(yōu)狀態(tài)。即使系統(tǒng)中含有噪聲在系統(tǒng)狀態(tài)參數(shù)里，卡爾曼濾波也能夠完成對(duì)狀態(tài)真實(shí)值的最優(yōu)估計(jì)。

卡爾曼濾波的原理是通過輸入輸出觀測數(shù)據(jù)對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)，對(duì)于運(yùn)動(dòng)狀態(tài)頻繁變化運(yùn)動(dòng)行為的預(yù)測更加適用?？柭鼮V波動(dòng)態(tài)軌跡預(yù)測系統(tǒng)的狀態(tài)方程如下所示：

其中，X （k） 表示系統(tǒng)狀態(tài)向量，描述了在k 時(shí)刻下運(yùn)動(dòng)對(duì)象狀態(tài)矢量；A（k） 表示狀態(tài)轉(zhuǎn)移矩陣，用于描述由前一時(shí)刻到當(dāng)下時(shí)刻下的運(yùn)動(dòng)狀態(tài)轉(zhuǎn)移方式；T （k）為干擾轉(zhuǎn)移矩陣；W （k）表示運(yùn)動(dòng)模型的系統(tǒng)狀態(tài)噪聲，其統(tǒng)計(jì)特性與白噪聲或高斯噪聲相似；Z （k）表示觀測向量，描述了k 時(shí)刻的觀測值；H （k） 為觀測矩陣，對(duì)于單測量系統(tǒng)，H （k）為1*1維的矩陣；V （k）為運(yùn)動(dòng)估計(jì)過程中產(chǎn)生的觀測噪聲[10]。

遞歸算法是整個(gè)卡爾曼濾波的核心，遞歸可以使算法達(dá)到最優(yōu)狀態(tài)估計(jì)的估計(jì)模型，前一時(shí)刻的估計(jì)值與當(dāng)前時(shí)刻的觀測值做動(dòng)態(tài)變換，來更新當(dāng)前狀態(tài)變量的估計(jì)，基于前k個(gè)觀測值得出k時(shí)刻下的最優(yōu)狀態(tài)估計(jì)x'（k），計(jì)算最小方差計(jì)算的策略公式如下所示。

3.4 檢測框漏檢算法

在程序運(yùn)行的過程中，發(fā)現(xiàn)視頻中會(huì)有檢測框漏掉某幾幀的情況，為了減輕運(yùn)行內(nèi)存，提高識(shí)別和檢測框的效率，加入了一個(gè)算法來去掉多余的檢測框。首先算法給每個(gè)框賦予生命值。生命值的大小就是每個(gè)檢測框可以最大漏檢數(shù)。下一幀框的信息與上一幀的做匹配，若匹配成功就更新框的信息，若匹配失敗就減小相應(yīng)框的生命值。當(dāng)生命值減小為0，就視為該檢測框信息應(yīng)該被舍棄，然后進(jìn)行刪除檢測框信息的操作。

4 實(shí)現(xiàn)與分析

小車實(shí)物圖4所示。

如圖5（a） 所示，程序運(yùn)行后，手動(dòng)畫出購物車要跟隨的主體，藍(lán)色的框是手動(dòng)選取時(shí)的框體，目的是選擇其中一人進(jìn)行跟隨。圖5（b） 為程序運(yùn)行后的畫面，淺藍(lán)色框選取的是我們的目標(biāo)人物，紅色框是畫面中其他的人物，是小車需要躲避的主體。當(dāng)人物開始移動(dòng)，小框會(huì)根據(jù)卡爾曼濾波的預(yù)測結(jié)果進(jìn)行移動(dòng)，保持所選人物在畫面中。如圖5（c） 中當(dāng)兩人重合之后，小框會(huì)保持鎖定在我們最初選擇的人物身上，保持跟隨狀態(tài)。圖5（d） 展示的是當(dāng)兩人分開之后，小框會(huì)保持鎖定在我們最初選擇的人物身上，繼續(xù)跟隨最初的目標(biāo)，達(dá)到緊密跟隨，防止目標(biāo)丟失。

5 結(jié)束語

本文以Jetson nano為硬件基礎(chǔ)，開發(fā)語言為Py?thon，超聲波模塊和攝像頭為輔助模塊，設(shè)計(jì)了一款具有圖像識(shí)別、自動(dòng)避障的智能購物小車，實(shí)現(xiàn)了對(duì)行進(jìn)路線、超市貨架及攝像頭拍攝范圍內(nèi)障礙物及其方位的檢測，并對(duì)檢測的結(jié)果通過算法進(jìn)行避障，從而實(shí)現(xiàn)智能小車可以自動(dòng)跟隨人進(jìn)行購物，減少不必要的接觸，提供一個(gè)較為安全的購物環(huán)境。