李哲 張迎

（西安郵電大學電子工程學院 西安 710061）

基于嵌入式ZedBoard和OpenCV的運動目標檢測?

李哲 張迎

（西安郵電大學電子工程學院 西安 710061）

為了解決以往視頻監(jiān)控中對靜態(tài)背景長時間的獲取而導致磁盤存儲量過大、搜索可疑動態(tài)目標不易的問題，論文在ZedBoard開發(fā)板上，構建了一種基于OpenCV的嵌入式圖像處理平臺，通過USB攝像頭進行視頻圖像采集，并在此平臺上改進了OpenCV中的金字塔Lucas-kanade光流法，旨在對目標區(qū)域內運動的目標進行檢測跟蹤并保存成視頻文件，而對靜止的背景不做寫入處理。實驗結果表明，該系統(tǒng)可以有效的監(jiān)測目標區(qū)域內的運動目標并存儲，減少了錄像的存儲量，具有一定的可行性，并對智能監(jiān)控有相應的參考價值和實際意義。

ZedBoard；嵌入式Linux；OpenCV；智能監(jiān)控；金字塔Lucas-kanade光流法

1 引言

近年來，智能［1］視頻監(jiān)控技術越來越受市場的青睞，其涵蓋了計算機視覺、模式識別、數(shù)字圖像處理等眾多領域的知識。與靜態(tài)圖像相比，運動目標的視頻圖像幀序列提供了更為豐富直觀的數(shù)字圖像信息。運動目標檢測和跟蹤［2］是智能監(jiān)控的關鍵技術，通過獲取運動目標的運動參數(shù)（如：位置，時間等），可以描繪出運動目標的移動軌跡，從而實現(xiàn)了對目標運動行為的檢測工作，可以有效地應用在智能交通、刑偵偵測和防盜治安等眾多領域中。

本文提出了一種基于ZedBoard和 OpenCV［3］的運動目標檢測方案，可以實時在線捕獲運動目標。該系統(tǒng)不僅解決了基于ARM平臺的圖像處理方法在運行復雜算法上速度過慢的問題，而且利用了OpenCV視覺庫可以優(yōu)化運動目標檢測算法編寫的特點，使得整個系統(tǒng)結構緊湊、成本低。

2 ZedBoard和OpenCV的特點

Xilinx Zynq系列可編程SoC芯片將FPGA與雙核ARM Cortex-A9處理器有機融合在一個芯片內，由最新的高性能低功耗（High Performance Low Power，HPL）的28nm，高K金屬柵極（High-k Metal Gate，HKMG）工藝制造而成，不僅具有高速處理器的特點，而且靈活性高。ZedBoard開發(fā)板搭載Zynq-7000系列芯片，選用其作為硬件平臺，可以滿足運動目標檢測實時性的要求。

OpenCV（開源計算機視覺庫）可以跨平臺運行在 Linux、windows、Mac OS、Android、iOS、FreeBSD等操作系統(tǒng)上，不僅包含了常用的算法，而且代碼執(zhí)行速度快。它采用優(yōu)化的C/C++代碼編寫，能夠充分發(fā)揮多核處理器的優(yōu)勢，快速構建一個計算機視覺框架，使開發(fā)人員將精力集中在計算機視覺相關的應用程序上，而不是花費大量的時間用于算法的設計。本文將OpenCV相關庫移植到ZedBoard上，通過嵌入式平臺完成改進后的運動目標檢測算法［4］對動態(tài)目標的檢測和寫入保存測試，測試結果通過以太網(wǎng)口接入VNC遠程桌面顯示。

3 運動目標檢測

3.1 運動目標檢測的整體思路

運動目標檢測系統(tǒng)主要由六個部分構成，如圖1所示。

圖1 運動目標檢測整體框架

通過ZedBoard板上的OTG USB接口接入攝像頭，調用OpenCV庫函數(shù)里的VideoCapture（）函數(shù)打開攝像頭對連續(xù)視頻幀進行采集，由于原始的Luncas-Kanade光流算法采集的視頻圖像為RGB格式的三色圖像，存儲器占用量大，不方便動態(tài)視頻的寫入，所以本文對其做了改進：1）通過調用cvtColor（）函數(shù)先將彩色圖像轉為灰度圖，使其只包含亮度信息，減少了對存儲器的使用量，提高了解算速度。接著采用金字塔Lucas-Kanade光流運動估計［5］算出稀疏光流后顯示特征點和運動軌跡從而進行跟蹤，視頻跟蹤幀序列隨后會實時顯示在VNC遠程桌面上；2）判斷跟蹤點當前幀位置和上一幀初始化位置，倘若當前幀位移小于或者等于上一幀位移，即points［1］［i］.x＜=initial［i］.x，則認為目標區(qū)域沒有運動目標出現(xiàn)，調用continue結束當前幀的獲取，繼續(xù)下一幀檢測，直到檢測出當前幀的位移大于上一幀的位移后，調用VideoWriter（）寫入函數(shù)，此時參數(shù)編碼格式設置成MJPG編碼，即CV_FOURCC（‘M’，‘J’，‘P’，‘G’），寫入當前運動幀到OpenCV默認的.avi格式視頻文件中。

3.2 金字塔Lucas-kanade光流運動估計

光流是空間運動物體在觀察成像平面上像素運動的瞬時速度，而光流法是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關系，從而計算出相鄰幀之間物體運動信息的方法。

OpenCV中的計算光流算法［6］有多種，例如calcOpticalFlowPyrLK（通過基于圖像信號泰勒級數(shù)的金字塔Lucas-Kanade光流法計算稀疏光流）、calcOpticalFlowFarneback（用Gunnar Farneback法計算稠密光流）、calcOpticalFlowHS（用Horn-Schunck法計算稠密光流）等。稠密光流是圖像中的每個像素均與速度相關聯(lián)，并且需要特定的插值算法在比較容易跟蹤的像素之間通過插值來解決運動不明確的像素，計算量復雜。而稀疏光流的計算需要在被跟蹤之前指定一組具有某種明顯特征的點，比如“角點”，不僅在檢測跟蹤中相對穩(wěn)定和可靠，而且計算量比稠密光流小的多。因此，本文采用金字塔Lucas-Kanade光流［7］算法，它是一種基于像素遞歸的光流算法，是預測校正型的位移估算器，主要計算兩幀在時間t到t+δt之間每個像素點位置的移動。

Lucas-kanade算法是基于“三個假設”［8］的：1）亮度恒定：圖像場景中目標像素在幀間運動時保持外觀上的不變；

2）時間連續(xù)或是“小運動”：時間變化相對圖像中運動的比例要足夠小，因此目標在幀間的運動就比較小；

3）空間一致：同一個場景中的同一個表面上鄰近點具有相似運動，在平面上的投影也在鄰近區(qū)域。

那么，基于第一個假設：假設像素點(x，y)在t時刻灰度值為l(x，y，t)，像素在被逐幀跟蹤時，對于灰度圖，則亮度不發(fā)生變化，圖像的約束方程為

基于第二個假設：每個像素點的移動足夠小，對上述約束方程使用泰勒公式展開：

省略式（2）中的高階項，將式（1）和式（2）對比，可以得出下列式（3）：

其中Vx，Vy分別是 l(x，y，t)的光流向量中 x，y的組成，是圖像在像素點(x，y)相應方向上的差分。

再令式（4）中的

式（5）即為二維空間光流像素運動的基本方程。

由式（5）可以得到：

其中：

由于Vx，Vy兩個分量的值不唯一，只可求得與光流方程描述的方向相垂直的運動分量，則方程存在病態(tài)問題?；诩僭O三：若一局部區(qū)域的像素運動是一致的，則可以建立領域像素的系統(tǒng)方程來求解中心像素的運動，因此，需要添加附加約束條件方可求解。

垂直光流由孔徑問題［9］產(chǎn)生，那么可以用小孔或者小窗口去測量運動。窗口選取太大會違背運動一致的假設，太小又會產(chǎn)生孔徑問題，所以利用當前像素5×5鄰域像素的亮度值計算此像素運動。

因此，根據(jù)式（6）可以得出以下結果：

由矩陣論知識可得方程有解是在(ATA)滿秩，即秩為2情況下，此時跟蹤窗口中心在圖像的角點區(qū)域。而對于It的求取，一般采用高斯導數(shù)濾波方法。

對于大多數(shù)圖像，大而不連貫運動是普遍存在的情況，在不違悖“運動連貫”假設前提下，金字塔Lucas-kanade光流算法通過在圖像金字塔最高層計算光流，用得到的運動估計結果作為下一層金字塔的起點，重復這一過程，直到達到金字塔最底層的跟蹤方法，可以將不滿足運動假設的可能性降到最小從而實現(xiàn)對更快更長的運動目標的跟蹤。

本文的算法實現(xiàn)分兩部分：主函數(shù)main（）和跟蹤函數(shù)tracking（）。其中，主函數(shù)模塊通過調用VideoCapture capture（0）打開嵌入式平臺默認的USB攝像頭，capture＞＞frame用來獲取連續(xù)的視頻幀，然后調用跟蹤模塊tracking（），直到按鍵Esc結束。跟蹤模塊 tracking（）主要有 cvtColor（）函數(shù)將獲取的視頻幀轉成灰度圖gray，對于稀疏光流而言，在運動估計計算時需要在被跟蹤前指定一組容易跟蹤的點，通常是角點，因為角點被定義為兩條邊的交點，在任意方向上的微小變動都會引起灰度的很大變化，不僅在圖像中可以輕易的定位，而且在人造物體場景中，比如門、窗、桌等處也隨處可見。利用goodFeaturesToTrack（）函數(shù)確定角點后調用calcOpticalFlowpyrLK（）函數(shù)進行金字塔Lucas-kanade光流運動估計，接著調用布爾類型函數(shù)acceptTrackedPoint（）判斷——如果特征點在前后兩幀移動，則認為該點是可以被跟蹤的目標點，將這一幀得到的運動估計作為下一幀的初始估計位置，最后調用line（）和circle（）函數(shù)顯示特征點并畫出運動軌跡，將運動的視頻幀通過VideoWriter write寫入類函數(shù)write＜＜gray保存成.avi視頻文件。

3.3 VNC實時顯示

VNC——Virtual Network Computer，虛擬網(wǎng)絡計算機，是一款AT&T歐洲研究實驗室開發(fā)的優(yōu)秀遠程控制工具軟件。VNC是在基于UNIX和Linux操作系統(tǒng)的免費的開源軟件，遠程控制能力強大，高效實用。在Linux中，VNC包括以下四個命令：vncserver，vncviewer，vncpasswd，和 vncconnect。大多數(shù)情況下用戶只需要其中的兩個命令：vncserver和vncviewer。本文通過在Zed Board的嵌入式Linux系統(tǒng)上下載安裝好vncserver（xfce桌面環(huán)境下）后，PC機上安裝vncviewer進行實時顯示。解決了在板子上安裝笨重的顯示屏的問題。VNC效果圖如圖2所示。

圖2 VNC效果圖

啟動VNC步驟：

1）將網(wǎng)絡雙絞線連接PC機和ZedBoard板子的以太網(wǎng)接口；

2）啟動開發(fā)板，將PC機和Zed Board板子IP地址設置在同一個網(wǎng)段并ping通二者；

3）終端下輸入“vncserver”；倘若之前打開過若干X遠程桌面，利用“vncserver-kill：（X桌面進程號）”殺掉之前進程；若是之前未打開過，則此時顯示打開第一個VNC的X桌面，桌面號為1；

4）啟動PC機的vncviewer，登陸用戶即為開發(fā)板的IP：1（例如：192.168.137.110：1），此時的1則為第一個X桌面。

5）vncserver將由X的桌面環(huán)境利用VNC通信協(xié)議送至客戶端vncviewer，并且允許客戶端控制vncserver的桌面環(huán)境及輸入裝置。

4 嵌入式平臺搭建

4.1 硬件結構

嵌入式圖像處理系統(tǒng)硬件電路原型如圖3。

圖3 系統(tǒng)搭建原型

將ZedBoard開發(fā)板的USB OTG（J13）接口接入USB攝像頭采集視頻圖像，此時需注意將USB OTG跳線JP2設置成OTG短接模式從而向外提供5V USB電壓。USB-UART（J14）接口和PC機USB口對接以便實現(xiàn)串口通信，網(wǎng)線兩端接口分別接入PC機和開發(fā)板的以太網(wǎng)口用來實現(xiàn)VNC傳輸通信。

4.2 軟件環(huán)境

系統(tǒng)的軟件部分示意圖如下：

圖4 軟件平臺框架

構建軟件環(huán)境的步驟需要以下幾步：

1）在Windows操作系統(tǒng)下的PC機上安裝好VMware虛擬機（Vmware10版本），并且在虛擬機下安裝 Ubuntu12.04-desktop-i386（32位）版本的Linux操作系統(tǒng)（若是64位系統(tǒng)版本在配置交叉編譯環(huán)境之前需要安裝ia32-libs兼容庫）；

2）通過github下載Xilinx公司支持的交叉編譯鏈，并對環(huán)境變量進行配置——修改根目錄/etc/bash.bashrc文件，末行添加環(huán)境變量“export PATH=～/CodeSourcery/bin：$PATH Export CROSS_COMPILE=arm-xilinx-linux-gnueabi-”；然后source/etc/bash.bashrc使環(huán)境變量立即生效；

3）由于ZedBoard啟動Linux有兩種方式：主啟動（Master Method）和從啟動（Slave Method）。本文采用主啟動方式將啟動鏡像文件存儲在非易失性存儲器SD卡中，所以交叉編譯環(huán)境搭建好后，進行U-boot引導程序編譯（u-boot2015）生成u-boot.elf、uImage（uImage2014）內核編譯（主要添加V4L2支持）產(chǎn)生內核鏡像文件uImage、制作uramdisk.image.gz文件系統(tǒng)、創(chuàng)建 devicetree.dtb（devicetree.dtb2015）設備樹一系列啟動文件的制作工作；

4）在 Vivado（2014）軟件環(huán)境下制作基于Zynq-7000的硬件工程文件system.bit，在Xilinx SDK 2014.4軟件環(huán)境中制作一級啟動鏡像文件fsbl_zynq.elf，最后將 fsbl_zynq.elf→ system.bit→u-boot.elf相繼添加在SDK中的Creat Zynq Boot Image環(huán)節(jié)里，制作成BOOT.BIN文件；

5）將 BOOT.BIN、uramdisk.image.gz、devicetree.dtb、uImage文件放入SD卡的FAT分區(qū)中，啟動引腳模式設置成SD卡啟動，接通開發(fā)板電源，連接USB-UART口，啟動開發(fā)板中的Linux系統(tǒng)。

值得注意的是經(jīng)反復測試，本文嵌入式Linux系統(tǒng)制作過程中U-boot、uImage和devicetree.dtb設備樹的版本需要按照括號內的相互配套才可順利進行編譯。

在采集視頻過程中，出現(xiàn)無法打開攝像頭的問題［10］，在終端輸入命令“l(fā)s/dev”查看是否存在video0設備，倘若沒有，此時只需將內核kernel編譯配置中使用“make menuconfig”命令來添加攝像頭驅動；接著檢查ZedBoard開發(fā)板的USB OTG接口，將跳線JP2設置為短接OTG模式向外輸出5V電壓。

OpenCV3.0是目前最新的版本，采用了cmake工具，并提供了友好的UI接口進行makefile配置。安裝好cmake以及OpenCV源碼包后，配置cmake（指定交叉編輯器以及目標平臺等信息并設置第三方庫的支持：選擇WITH-V4L和WITH-QT第三方庫，其他庫均不編譯選擇），進行編譯和安裝OpenCV鏈接庫，之后將這些ARM構架的鏈接庫復制到裝載有文件系統(tǒng)的SD卡（默認路徑/usr/lib）中即可。

5 系統(tǒng)平臺測試

本文的系統(tǒng)平臺測試分別在光照強度適中的實驗室和光照較強室外進行。

系統(tǒng)上電，待穩(wěn)定后，切換至超級用戶root模式，先檢測USB連接是否正常。終端輸入：lsusb查看攝像頭ID號，如圖5所示，USB攝像頭為設備002。利用USB攝像頭采集［11］視頻幀數(shù)據(jù)，在光照強度適中的實驗室內，圖6（a）為靜止的背景處于待檢測狀態(tài)，圖6（b）為開始檢測到晃動的手，打印出檢測狀態(tài)信息，圖6（c）為經(jīng)Lucas-kanade光流運動估計檢測到運動目標后進行動態(tài)視頻寫入，對運動的軌跡進行白色線條跟蹤并打印出存儲信息，圖6（d）為動態(tài)檢測入侵目標區(qū)域后發(fā)出報警信息。在強光照的室外，圖7（a）所示為目標區(qū)域靜止的背景，圖7（b）為行人進入目標區(qū)域后檢測出運動軌跡。

圖5

圖6 室內檢測

圖7 室外檢測

圖8 為檢測到運動目標后被寫入的avi視頻文件。實驗結果表明，該系統(tǒng)能夠在不同的光照環(huán)境下，對目標區(qū)域的運動目標進行檢測跟蹤后生成。avi格式的視頻文件，并且效果良好，適合嵌入式視頻監(jiān)控。

圖8 AVI視頻文件

6 結語

本文提出在ZedBoard平臺上構建嵌入式動態(tài)檢測系統(tǒng)，驗證了OpenCV跨平臺的便捷性以及代碼的簡易性，并采用改進的金字塔Lucas-kanade光流運動估計和MJPG編碼來實現(xiàn)對運動目標的跟蹤和監(jiān)測保存，實驗結果證明該系統(tǒng)的可行性。本文的嵌入式動態(tài)檢測系統(tǒng)可以有效地應用在智能交通、刑偵偵測和防盜治安等眾多領域中。下一步的研究重點是如何在ZedBoard的PL端進行光流算法的加速以便得到更好的實時性。

［1］光伏智能監(jiān)控運維漸熱［N］.中國電力報，2016-06-16（6）.Photovoltaic intelligent monitoring operation and maintenance heat［N］.China Electric Power News，2016-06-16（6）.

［2］ZHIHUI F，HUI W.Robust moving object detection based on spatio-temporal confidence relationship［J］.Electronics Letters，2016，52（10）：825-827.

［3］G.Bradski，G.&A.kaehler.Learning Open-CV［M］.Oreilly&Associates Inc，2016.

［4］XUEGANG H，JIAMIN Z.An Improved Moving Object Detection Algorithm Based on Gaussian Mixture Models［J］.Open Journal of Applied Sciences，2016，6（7）：449-456.

［5］KARAMANIDIS K，TRAVLOU A，KRAUSS P，et al.Use of a Lucas-Kanade-Based Template Tracking Algorithm to Examine In Vivo Tendon Excursion during Voluntary Contraction Using Ultrasonography［J］.Ultrasound in Medicine&Biology，2016，42（7）：1689-700.

［6］謝紅，原博，解武.LK光流法和三幀差分法的運動目標檢測算法［J］.應用科技，2016，43（3）：23-27，33.XIE Hong，YUAN Bo，XIE Wu.Moving target detection algorithm based on LK optical flow and three-frame difference method［J］.Applied Science and Technology，2016，43（03）：23-27，33.

［7］肖軍，朱世鵬，黃杭，等.基于光流法的運動標檢測與跟蹤算法［J］.東北大學學報（自然科學版），2016，37（6）：770-774.XIAO Jun，ZHU Shipeng，HUANG Hang，et al.Object Detecting and Tracking Algorithm Based on Optical Flow［J］.Journal of Northeastern University（Natural Science），2016，37（6）：770-774.

［8］K.MOSTAFA A，ALI A A.Multiresolution Video Watermarking Algorithm Exploiting the Block-Based Motion Estimation［J］.Journal of Information Security，2016，7（4）：260-268.

［9］稂龍亞，錢雪忠.基于SURF特征點的多人臉跟蹤方法研究［J］.計算機應用與軟件，2016，32（2）：178-181.LANG Longya，QIAN Xuezhong.Research On Multi-face Trackking Method Based On SURF Feature Points［J］.Computer Applications and Software，2016，32（2）：178-181.

［10］湯偉，王先通，王孟效.基于FPGA和DSP的車牌識別系統(tǒng)的研究［J］.計算機測量與控制，2016，24（2）：297-299.TANG Wei，WANG Xiantong，WANG Mengxiao.Study of FPGA&DSP-based vehicle license plate recognition system［J］.Computer Measurement&Control，2016，24（2）：297-299.

［11］黃凱奇，陳曉棠，康運鋒，等.智能視頻監(jiān)控技術綜述［J］.計算機學報，2015，38（6）：1093-1118.HUANG Kaiqi，CHEN Xiaotang，KANG Yunfeng，et al.Intelligent Visual Surveillance：A Review［J］.Chinese Journal Of Computers，2015，38（6）：1093-1118.

Moving Object Detection Based on OpenCV and Embedded ZedBoard

LI ZheZHANG Ying
（Xi'an University of Posts and Telecommunications，College of Electronic Engineering，Xi'an 710061）

In order to solve the problem that the disk storage is too large and the search for suspicious dynamic objects is not easy in the past，this paper builds an embedded image processing platform based on OpenCV at ZedBoard development board.By using USB camera to collect the video image and improving the the Pyramid Lucas-kanade optical flow method in OpenCV，the purpose of this paper is to detect and track the moving objects in the target area and also save them as video files without writing to the static background.Experimental results show that the system can effectively monitor moving objects in the target area and store them，not only reducing the storage capacity of video recording，but also having certain feasibility.The system of this paper has the corresponding reference value and the practical significance to the intelligent monitoring.

ZedBoard，embedded Linux，OpenCV，intelligent monitoring，Pyramid Lucas-kanade of optical flow

TP391.4

10.3969/j.issn.1672-9722.2017.11.015

Class Number TP391.4

2017年5月8日，

2017年6月22日

李哲，男，碩士，碩士生導師，研究方向：電路與系統(tǒng)、嵌入式系統(tǒng)、電子與通信工程。張迎，女，碩士研究生，研究方向：數(shù)字信號處理與嵌入式通信系統(tǒng)。