劉鵬程

摘 要：行人檢測(cè)設(shè)備一般不可移動(dòng)，多數(shù)是在電腦端進(jìn)行處理。通過樹莓派搭建一個(gè)視頻采集與移動(dòng)小車，同時(shí)結(jié)合Faster RCNN（Faster Region Based CNN，更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)）與OpenCV（Open Source Computer Vision Libra）進(jìn)行行人檢測(cè)，并且通過樹莓派的WiFi（Wireless Fidelity，無線保真技術(shù)）將處理好的視頻數(shù)據(jù)回傳到電腦。實(shí)驗(yàn)證明，基于樹莓派的行人檢測(cè)小車可以滿足行人檢測(cè)要求，同時(shí)可以進(jìn)行移動(dòng)端的行人檢測(cè)。

關(guān)鍵詞：不可移動(dòng)性；行人檢測(cè)；樹莓派；無線保真技術(shù)

DOIDOI：10.11907/rjdk.172363

中圖分類號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）002-0114-03

0 引言

隨著Deep Learning（深度學(xué)習(xí)）[1]與各種小型計(jì)算機(jī)的研發(fā)，圖像處理的移動(dòng)性需求越來越大。文獻(xiàn)[2-3]提出了基于深度學(xué)習(xí)的車輛識(shí)別與人臉識(shí)別，但是沒有做到檢測(cè)設(shè)備的可移動(dòng)性。文獻(xiàn)[4-6]做到了視頻處理的整體性，也就是嵌入式視頻處理設(shè)備，但是沒有做到視頻采集的可移動(dòng)性。文獻(xiàn)[7-9]做到了視頻采集的可移動(dòng)性，卻沒有做到視頻處理的智能性。文獻(xiàn)[10]提出并設(shè)計(jì)了基于嵌入式的移動(dòng)智能視頻監(jiān)控系統(tǒng)，但卻沒有做到基于深度學(xué)習(xí)的行人檢測(cè)。本文設(shè)計(jì)了一款基于樹莓派的移動(dòng)視頻采集與處理小車，實(shí)現(xiàn)了視頻采集的可移動(dòng)性與視頻處理的智能性。

1 相關(guān)基礎(chǔ)知識(shí)

1.1 樹莓派

樹莓派是一款只有信用卡大小的微型計(jì)算機(jī)，其系統(tǒng)基于Linux。本文使用的是樹莓派3B，它使用了博通2837芯片，1.2GHz，64位處理器，其性能比上一代提高了近一倍，能完全滿足本文的圖像處理需求。

此外，樹莓派3B功能集成度更高，新的BCM43438無線芯片直接將IEEE 802.11n無線和藍(lán)牙4.1 BLE（Bluetooth Low Energy）等功能模塊集成，同時(shí)還集成了相應(yīng)無線功能的天線和放大器，可以讓基于樹莓派3B開發(fā)的產(chǎn)品外形更為緊湊、驅(qū)動(dòng)開發(fā)更簡(jiǎn)單，同時(shí)滿足無線視頻傳輸要求。

樹莓派具有豐富的GPIO口，圖1為樹莓派小車接口示意圖。其中，12，16，18，22是控制小車的云臺(tái)，27，29，31，33是控制小車的電機(jī)，攝像頭則是通過樹莓派的USB接口進(jìn)行控制。

1.2 樹莓派小車

本文的樹莓派小車由云臺(tái)、攝像頭和電機(jī)組成，云臺(tái)可以實(shí)現(xiàn)360度旋轉(zhuǎn)，攝像頭使用的是高清微型720P的USB攝像頭，電機(jī)使用的是步進(jìn)電機(jī)，作為小車的車輪進(jìn)行運(yùn)動(dòng)。圖2為樹莓派小車。

小車的工作流程：首先電腦端通過WiFi控制GPIO口進(jìn)而控制電機(jī)模塊和云臺(tái)，然后樹莓派通過攝像頭采集的視頻信息進(jìn)行實(shí)時(shí)視頻處理，最后通過樹莓派的WiFi將處理后的視頻回傳到電腦端，如圖3所示。

2 軟件環(huán)境搭建

2.1 樹莓派的無線傳輸搭建

雖然樹莓派3B上搭載了WiFi[11]，但在首次使用時(shí)并不會(huì)自動(dòng)連接，而是要通過putty的方式實(shí)現(xiàn)樹莓派的無線連接。

樹莓派可通過putty實(shí)現(xiàn)兩種方式連接：串口線連接和SSH登錄。串口線連接時(shí)輸入連接串口號(hào)和比特速率（115 200 bit/s），SSH登錄時(shí)輸入樹莓派的IP地址，并將端口號(hào)設(shè)為22，如圖4所示。

首先通過putty輸入IP，進(jìn)入之后安裝VNC包，如圖5所示。

之后在PC端用tightVNC客戶端啟動(dòng)樹莓派的虛擬圖形界面，如圖6所示。

這種方式能夠讓樹莓派共享電腦的屏幕、鍵盤、鼠標(biāo)等資源，同時(shí)也方便電腦端和樹莓派之間的文件互傳。通過VNC進(jìn)入樹莓派虛擬圖形界面后，將連接方式改成無線網(wǎng)絡(luò)連接，如圖7所示。

2.2 安裝OpenCV

在安裝OpenCV之前需要安裝攝像頭，攝像頭正常工作以后才可安裝OpenCV。為了調(diào)試方便，本文的攝像頭采用免驅(qū)動(dòng)即插即用的USB攝像頭，通過編譯源代碼的方式進(jìn)行安裝。

根據(jù)OpenCV的官方說明，首先安裝需要的第三方環(huán)境：

sudo apt-get install build-essential

sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev

sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

安裝完成后通過命令makdir opencv建立一個(gè)文件夾，然后將下載好的OpenCV源文件拷貝到新建的文件夾中，最后使用cmake在該文件夾中生成makefile文件。如果出現(xiàn)如圖8所示的界面，證明編譯成功。

2.3 行人檢測(cè)算法搭建

目前，F(xiàn)aster R-CNN[12]是基于深度學(xué)習(xí)R-CNN系列目標(biāo)檢測(cè)中最好的方法，技術(shù)上是將RPN（Region Proposal Networks，生成建議窗口）網(wǎng)絡(luò)[13]和Fast R-CNN網(wǎng)絡(luò)結(jié)合在一起，F(xiàn)aster R-CNN中的結(jié)構(gòu)如圖9所示。

在Faster R-CNN中，一張圖片經(jīng)過前面的5個(gè)卷積層，輸出256張大小為13*13的特征圖。將特征圖分別輸入到RPN和Fast R-CNN中的卷積神經(jīng)網(wǎng)絡(luò)全連接層，通過交替優(yōu)化學(xué)習(xí)共享特征，最后分別輸出分類、邊框回歸及檢測(cè)。分類包含2個(gè)元素，用于判別目標(biāo)和非目標(biāo)的估計(jì)概率。邊框回歸包含4個(gè)坐標(biāo)元素（x，y，w，h），x，y指當(dāng)前格子預(yù)測(cè)的物體邊框中心位置的坐標(biāo)，w，h是邊框的寬度和高度。檢測(cè)反映當(dāng)前邊框是否包含物體以及物體位置的準(zhǔn)確性。endprint

2.4 Faster R-CNN實(shí)驗(yàn)設(shè)計(jì)

（1）下載Faster RCNN源代碼并安裝。

（2）編譯caffe和pycaffe。

（3）預(yù)訓(xùn)練模型。Faster RCNN提供了3種預(yù)訓(xùn)練模型作為基本模型，分別是小型網(wǎng)絡(luò)ZF、中型網(wǎng)絡(luò)VGG_CNN_M_1024和大型網(wǎng)絡(luò)VGG16，本文在樹莓派上使用的是小型網(wǎng)絡(luò)。

（4）測(cè)試模型。

3 實(shí)驗(yàn)結(jié)果與分析

本系統(tǒng)在學(xué)校道路上進(jìn)行測(cè)試，在電腦端的控制下，小車能夠穩(wěn)定快速地實(shí)現(xiàn)前進(jìn)轉(zhuǎn)彎等功能，樹莓派也能將攝像頭采集到的視頻信息進(jìn)行行人檢測(cè)，并且快速地把識(shí)別結(jié)果回傳到電腦端。設(shè)計(jì)測(cè)試設(shè)置的視頻流為720p、24幀，因?yàn)槭褂玫氖菢漭勺詭У腤iFi模塊進(jìn)行視頻傳輸，所以顯示十分流暢。實(shí)驗(yàn)證明本系統(tǒng)基本實(shí)現(xiàn)了行人檢測(cè)目的。系統(tǒng)能長(zhǎng)時(shí)間正常穩(wěn)定運(yùn)行，可靠性較高。圖10所示為行人檢測(cè)結(jié)果。

4 結(jié)語

本文通過樹莓派搭建了一個(gè)可移動(dòng)的行人檢測(cè)小車，通過WiFi控制樹莓派小車，將樹莓派小車處理后的視頻流回傳到電腦端。實(shí)驗(yàn)結(jié)果證明，在電腦端的控制下，小車能穩(wěn)定地完成行人檢測(cè)，并且將圖像回傳給電腦端。但該可移動(dòng)無線視頻處理設(shè)備還有許多有待改進(jìn)之處，比如行人檢測(cè)精度，以及視頻回傳發(fā)生的延遲現(xiàn)象等，這將是筆者后續(xù)研究的重點(diǎn)。

參考文獻(xiàn)：

[1] YU KAI， JIA LEI， CHEN YU-QIANG， et al. Deep learning： yesterday， today， and tomorrow[J]. Journal of Computer Research and Development，2013，50（9）：1799-1804.

[2] TAIGMAN Y，YANG M，RANZATO M A，et al. Web-scale training for face identification[C].Computer Vision and Pattern Recognition（CVPR），IEEE Conference on. Boston，USA：IEEE，2015：2746-2754.

[3] SUN Y， LIANG D， WANG X， et al. DeepID3： face recognition with very deep neural networks[J]. The Chinese University of Hong Kong Technical report，arXiv，2015（1502）：873-879.

[4] 李濤.基于OpenCV的嵌入式視頻監(jiān)控系統(tǒng)應(yīng)用研究[D].荊州：長(zhǎng)江大學(xué)，2016.

[5] 王曉，蹤琳.基于OpenCV視覺庫的嵌入式視頻處理系統(tǒng)[J].電子質(zhì)量，2017（3）：54-59.

[6] 郝林煒，梁穎.基于樹莓派+云服務(wù)器的網(wǎng)絡(luò)監(jiān)控及家居控制系統(tǒng)的研究與實(shí)際應(yīng)用[J].物聯(lián)網(wǎng)技術(shù)，2016（9）：45-50.

[7] 武明利，武奇，駱興芳.基于無線控制和視頻傳輸?shù)亩喙δ芴綔y(cè)車[J].江西師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2017（1）：73-78.

[8] 張璐，宋秋紅.自動(dòng)巡線小車的圖像采集系統(tǒng)開發(fā)與優(yōu)化[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010（17）：3754-3819.

[9] 王玉成，王庭有，徐麗娟.遙控履帶小車視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].新技術(shù)新工藝，2010（9）：39-42.

[10] 徐曉峰.基于嵌入式和OpenCV的移動(dòng)智能視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].太原：太原科技大學(xué)，2014.

[11] 李曉陽.WiFi技術(shù)及其應(yīng)用與發(fā)展[J].信息技術(shù)，2012（2）：196-198.

[12] S REN. Faster R-CNN： towards real-time object detection with region proposal networks[C]. IEEE Transactions on Neural Networks，2015，73：1-24.

[13] JIFENG DAI， YI LI， KAIMING HE， et al. R-FCN：object detection via region-based fully convolutional networks[C]. Conference on Neural Information Processing Systems （NIPS），2016：1884-1893.endprint