連俊芳

(閩南理工學(xué)院實(shí)踐教學(xué)中心，福建 石獅 362700)

0 引言

目前各大商場、小區(qū)等都安裝了大量的監(jiān)控設(shè)備，但這些監(jiān)控設(shè)備大多由安保人員進(jìn)行人工監(jiān)察，而安保人員每日工作時(shí)間通常超過8 h，并且夜間也需要長時(shí)間地監(jiān)看。長時(shí)間工作使得安保人員難免因疲勞而導(dǎo)致在異常狀況發(fā)生時(shí)無法作出準(zhǔn)確判斷，從而引發(fā)安全問題。目前，人們對(duì)于安全問題越來越重視，視頻監(jiān)控的數(shù)量也越來越多，對(duì)安防人員的要求也越來越高，這就造成在人工成本驟增的情況下安全還不能得到絕對(duì)的保障。因此，需要利用人工智能的手段，在降低成本的同時(shí)提高視頻監(jiān)控的準(zhǔn)確度，降低出錯(cuò)率。

本文設(shè)計(jì)了一套端對(duì)端的智能安全防控系統(tǒng)，利用行人檢測、行人追蹤研究方法在嵌入式設(shè)備中的應(yīng)用，用戶不需要進(jìn)行任何操作，就可以得到行人的各項(xiàng)數(shù)據(jù)[1]；同時(shí)，該設(shè)計(jì)利用一系列研究方法，在保證視頻監(jiān)測準(zhǔn)確率的前提下提升其效率，并且考慮到有可能出現(xiàn)行人重復(fù)出現(xiàn)而導(dǎo)致識(shí)別錯(cuò)誤的情況發(fā)生，采用了行人重識(shí)別技術(shù)，保證行人數(shù)據(jù)的唯一性。

1 系統(tǒng)總體設(shè)計(jì)

本系統(tǒng)主要針對(duì)攝像頭實(shí)時(shí)視頻或以往拍攝的視頻而設(shè)計(jì)，可以不需要用戶進(jìn)行任何操作就能自動(dòng)完成行人檢測、行人追蹤以及行人信息統(tǒng)計(jì)的過程。在系統(tǒng)自動(dòng)檢測追蹤的過程中，可以在顯示界面標(biāo)注出檢測到的行人和其ID的實(shí)時(shí)信息[2]；同時(shí)，可以將剪輯行人的實(shí)時(shí)信息錄入到數(shù)據(jù)庫中，為后續(xù)行人重識(shí)別提供依據(jù)。這個(gè)過程全程自動(dòng)化，無需用戶進(jìn)行手動(dòng)操作；系統(tǒng)設(shè)置了數(shù)據(jù)管理員，可以憑借權(quán)限進(jìn)入數(shù)據(jù)庫進(jìn)行行人數(shù)據(jù)信息查詢、行人數(shù)據(jù)信息修改以及行人數(shù)據(jù)信息維護(hù)等一系列操作。該系統(tǒng)可以應(yīng)用在各大商場、車站等人員密集的地方，對(duì)來往人員進(jìn)行實(shí)時(shí)監(jiān)測，發(fā)現(xiàn)異常情況及時(shí)處理，以達(dá)到安全防控的目的[3]。

為了實(shí)現(xiàn)系統(tǒng)的功能，設(shè)計(jì)了一個(gè)完整的端到端的行人信息統(tǒng)計(jì)系統(tǒng)，包含行人檢測、行人追蹤、行人重識(shí)別、數(shù)據(jù)庫管理、顯示界面5大模塊[4]。很多研究人員在以上單獨(dú)的模塊上均有深入的研究，但很少有人將這五者結(jié)合，設(shè)計(jì)出一個(gè)完整的用于安全防控的行人信息檢測與統(tǒng)計(jì)的系統(tǒng)。

邊緣計(jì)算并不新鮮，但是隨著科技的進(jìn)步，人們對(duì)互聯(lián)網(wǎng)的要求越來越高，使得邊緣計(jì)算越來越流行，而如何將算法在嵌入式設(shè)備上得到很好的應(yīng)用是筆者一直關(guān)注的重點(diǎn)。本文設(shè)計(jì)的基于嵌入式的行人檢測、追蹤智能安全防控系統(tǒng)，就是將算法應(yīng)用在嵌入式設(shè)備上，同時(shí)將嵌入式設(shè)備的易部署、成本低、便攜的優(yōu)勢和算法的性能優(yōu)勢相結(jié)合，使其在實(shí)際場景中得到很好的應(yīng)用。系統(tǒng)的行人檢測過程流程圖如圖1所示。

圖1 行人檢測過程流程圖

系統(tǒng)結(jié)構(gòu)圖如圖2所示，從系統(tǒng)結(jié)構(gòu)圖中可以看出，普通用戶對(duì)行人檢測、行人追蹤、行人重識(shí)別以及對(duì)數(shù)據(jù)庫數(shù)據(jù)調(diào)用對(duì)比等操作的過程是不可見的，普通用戶僅能夠觀察顯示界面中行人的一些統(tǒng)計(jì)數(shù)據(jù)?？紤]到安全性的問題，會(huì)設(shè)置一個(gè)系統(tǒng)管理員，系統(tǒng)管理員對(duì)行人的數(shù)據(jù)具有可操作的權(quán)利。

圖2 系統(tǒng)結(jié)構(gòu)圖

2 行人檢測算法介紹

根據(jù)目標(biāo)檢測算法的流程，目前主流的算法分為two-stage和one-stage兩種。two-stage算法的主要代表有R-CNN系列，one-stage算法的主要代表有YOLO系列[5]。

YOLO算法實(shí)際上是將目標(biāo)檢測的問題化簡成回歸問題，其直接從每幅圖像的像素出發(fā)，以得到框和分類概率。YOLO具有檢測速度很快、會(huì)根據(jù)整張圖片現(xiàn)有信息進(jìn)行預(yù)測的優(yōu)點(diǎn)，所以本系統(tǒng)采用YOLO模型進(jìn)行行人檢測。YOLO將輸入的圖片縮放到合適的分辨率，使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖片進(jìn)行特征提取，然后輸出對(duì)應(yīng)張量，最后預(yù)測候選框。本系統(tǒng)采用非極大值抑制算法，將置信度最高的候選框選取出來，目的是防止多次檢測到同一個(gè)目標(biāo)，將重復(fù)框過濾掉，從而得到最終的檢測結(jié)果。其詳細(xì)流程如圖3所示：YOLO利用卷積神經(jīng)網(wǎng)絡(luò)分割圖片為S×S網(wǎng)格，檢測網(wǎng)格中是否存在目標(biāo)，確定中心點(diǎn)位置。

3 系統(tǒng)各模塊的設(shè)計(jì)

3.1 行人檢測模塊

本系統(tǒng)采用的是比較有代表性并且精度比較高的YOLOv3-SPP結(jié)構(gòu)模型進(jìn)行行人檢測。YOLO可以對(duì)目標(biāo)行人實(shí)現(xiàn)端到端的檢測[6]。YOLO利用卷積神經(jīng)網(wǎng)絡(luò)分割圖片，檢測網(wǎng)格中是否存在目標(biāo)，確定中心點(diǎn)位置，從而實(shí)現(xiàn)行人檢測的目的[7]。

圖3 檢測算法流程圖

3.2 行人追蹤模塊

本系統(tǒng)采用基于Deep Sort框架進(jìn)行改進(jìn)的行人檢測與追蹤的追蹤策略。利用YOLOv3在速度上的優(yōu)勢，以及Deep Sort中包含的RE-ID模型可以對(duì)行人進(jìn)行特征提取的特點(diǎn)，就可以重新“訓(xùn)練”出一個(gè)在行人數(shù)據(jù)集上有更好性能的模型。

3.3 行人重識(shí)別模塊

在行人檢測過程中難免會(huì)出現(xiàn)同一個(gè)行人反復(fù)出現(xiàn)在同一個(gè)攝像頭范圍內(nèi)或者同一區(qū)域跨攝像頭出現(xiàn)的情況。為了防止同一行人短時(shí)間內(nèi)反復(fù)出現(xiàn)或跨鏡頭出現(xiàn)而導(dǎo)致行人ID不同的情況發(fā)生，本系統(tǒng)在行人檢測及追蹤過程中加入短時(shí)行人重識(shí)別模塊[8]，充分利用圖片的表征信息，保證目標(biāo)信息正確且不會(huì)跟丟。同時(shí)考慮到長時(shí)間內(nèi)已經(jīng)出現(xiàn)過的行人也有可能再次出現(xiàn)在攝像頭內(nèi)，因此還需要加入一個(gè)長時(shí)間的行人重識(shí)別模塊，在對(duì)行人識(shí)別追蹤之后，在數(shù)據(jù)庫中匹配，看是否已存在該行人的基本信息，從而實(shí)行行人信息的唯一性。

3.4 數(shù)據(jù)庫模塊

建立存儲(chǔ)行人信息的數(shù)據(jù)庫，每次檢測和追蹤都是對(duì)數(shù)據(jù)庫信息的一個(gè)完善，并且允許系統(tǒng)在進(jìn)行行人檢測、追蹤和重識(shí)別時(shí)調(diào)用數(shù)據(jù)庫模塊數(shù)據(jù)。考慮到安全問題，設(shè)置普通用戶無權(quán)訪問，管理員用戶在進(jìn)行驗(yàn)證之后可以對(duì)數(shù)據(jù)進(jìn)行修改、查詢等操作。

3.5 顯示界面模塊

整個(gè)檢測過程通過系統(tǒng)界面進(jìn)行顯示，界面中可以標(biāo)注出行人的信息，包括年、月、日、時(shí)以及ID等信息，普通用戶不需要進(jìn)行任何操作即可使用。若出現(xiàn)異常情況會(huì)發(fā)出警報(bào)，用戶根據(jù)警報(bào)去查看發(fā)生的情況即可。

4 硬件需求

本文應(yīng)用的是NVIDIA公司設(shè)計(jì)的第三代嵌入式平臺(tái)Jetson Tegra X2(簡稱TX2)，基于深度學(xué)習(xí)的各類模型均可在嵌入式平臺(tái)TX2上進(jìn)行高效部署[9]，包括本文設(shè)計(jì)的行人檢測、追蹤模型的部署。TX2嵌入式平臺(tái)如圖4所示。

圖4 TX2嵌入式平臺(tái)

TX2 平臺(tái)CPU由雙核Denver 和四核ARM Cortex-A57 組成，通過優(yōu)化架構(gòu)高效互聯(lián)；GPU采用Pascal架構(gòu)，擁有256個(gè)CUDA核心，可進(jìn)行基于YOLO的深度學(xué)習(xí)模型運(yùn)算；顯卡計(jì)算性能極高，可以解碼要求極高的高清視頻流。

5 系統(tǒng)應(yīng)用

本文設(shè)計(jì)的這款行人檢測、追蹤的安全防控系統(tǒng)經(jīng)過了實(shí)際應(yīng)用，效果良好。圖5是系統(tǒng)的交互界面，從圖中可以看到，系統(tǒng)收集了各個(gè)攝像頭的實(shí)時(shí)信息進(jìn)行行人檢測和行人追蹤，同時(shí)匹配數(shù)據(jù)庫信息進(jìn)行行人重識(shí)別，對(duì)同一個(gè)人重復(fù)出現(xiàn)或跨攝像頭出現(xiàn)的情況予以刪除，保留一個(gè)行人ID[10]。并且系統(tǒng)會(huì)對(duì)異常情況進(jìn)行統(tǒng)計(jì)，管理員可以登入查看具體異常情況而予以妥善解決。本系統(tǒng)還可以設(shè)置人數(shù)上限，超過上限人數(shù)，系統(tǒng)會(huì)發(fā)出警報(bào)，管理員可以根據(jù)人員密集程度而采取一些措施，例如對(duì)場所進(jìn)行限流、分流以防止因人員過于密集而發(fā)生安全事件。

圖5 系統(tǒng)的交互界面

6 總結(jié)與展望

本文完成了基于嵌入式的行人檢測、行人追蹤智能安全防控系統(tǒng)的設(shè)計(jì)，把深度算法運(yùn)用在嵌入式設(shè)備上，可以讓設(shè)備變得智能化。隨著5G的發(fā)展，在如今萬物互聯(lián)的時(shí)代，在安全防控系統(tǒng)的改進(jìn)方面還將具有巨大的潛力。首先，本系統(tǒng)雖然實(shí)現(xiàn)了對(duì)行人實(shí)時(shí)檢測的需求，但速度方面還有待提高，可以結(jié)合5G網(wǎng)絡(luò)進(jìn)行改進(jìn)；其次，本系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)的空間要求比較高，可以結(jié)合云端存儲(chǔ)降低存儲(chǔ)空間，由于5G網(wǎng)絡(luò)的低延遲性，并不會(huì)對(duì)存儲(chǔ)速度產(chǎn)生影響；最后，本系統(tǒng)會(huì)對(duì)每個(gè)行人的每幀進(jìn)行逐一對(duì)比，這就導(dǎo)致了計(jì)算量非常巨大，在今后的設(shè)計(jì)中可以考慮用特征融合的方法來改善行人檢測與重識(shí)別的速度。