喬晶鑫

內(nèi)蒙古自治區(qū)新聞出版廣電局呼倫貝爾廣播發(fā)射中心臺(tái) 內(nèi)蒙古 呼倫貝爾市 021008

引 言

隨著人們物質(zhì)水平的不斷提高，對(duì)精神生活的追求也不斷提高。為滿足人們?nèi)找嬖鲩L(zhǎng)的視聽(tīng)娛樂(lè)等方面的需求，廣播發(fā)射站的數(shù)量也逐漸增多。對(duì)于發(fā)射站的監(jiān)管，傳統(tǒng)方法是需要人工值守，此方法不僅會(huì)浪費(fèi)大量人力物力，而且會(huì)因?yàn)槿说氖韬鰧?dǎo)致廣播意外事件的發(fā)生［1］。因此，設(shè)計(jì)一套安防系統(tǒng)來(lái)實(shí)時(shí)監(jiān)測(cè)發(fā)射站機(jī)房?jī)?nèi)部的情況有著重大的現(xiàn)實(shí)意義。

在各種安防技術(shù)中，視頻監(jiān)控有著實(shí)時(shí)性高、操作簡(jiǎn)單、監(jiān)控信息易于查看和保存等優(yōu)點(diǎn)，得到了廣泛的應(yīng)用。目前的視頻監(jiān)控方法多是使用硬盤(pán)錄像機(jī)（Digital Video Recorder， DVR） 進(jìn) 行 一 天24 小時(shí)不間斷存儲(chǔ)視頻數(shù)據(jù)，但此種方法有著價(jià)格昂貴、設(shè)備復(fù)雜的缺點(diǎn)［2］。而在本文發(fā)射臺(tái)監(jiān)控的任務(wù)中場(chǎng)景相對(duì)固定，若對(duì)發(fā)射站機(jī)房進(jìn)行不間斷的錄像并存儲(chǔ)視頻，會(huì)包含大量的無(wú)異常冗余視頻，占用存儲(chǔ)空間；并且工作人員查看過(guò)往視頻時(shí)需要全部查看，過(guò)程較為繁瑣。

針對(duì)以上問(wèn)題，結(jié)合發(fā)射站機(jī)房監(jiān)測(cè)任務(wù)的特點(diǎn)，本文提出一種利用圖像處理算法進(jìn)行異物闖入監(jiān)測(cè)的發(fā)射臺(tái)安防系統(tǒng)，僅當(dāng)有異物闖入和物體移動(dòng)時(shí)才會(huì)進(jìn)行視頻的存儲(chǔ)，并進(jìn)行目標(biāo)跟蹤便于監(jiān)管人員查看，并且搭建嵌入式硬件平臺(tái)和移植算法，從而解決了設(shè)備復(fù)雜昂貴、存儲(chǔ)多余視頻的問(wèn)題。

1 系統(tǒng)設(shè)計(jì)

1.1 總體框架

根據(jù)實(shí)地考察和分析，本文提出了一種基于圖像處理算法和嵌入式技術(shù)的發(fā)射臺(tái)安防系統(tǒng)，該系統(tǒng)的主要功能為：第一，驅(qū)動(dòng)視頻采集模塊實(shí)時(shí)監(jiān)測(cè)發(fā)射臺(tái)機(jī)房?jī)?nèi)部狀態(tài)，當(dāng)有異物闖入或物體移動(dòng)時(shí)，存儲(chǔ)當(dāng)前視頻；第二，進(jìn)行視頻中物體的跟蹤和標(biāo)記；第三，驅(qū)動(dòng)顯示模塊能夠回放存儲(chǔ)的監(jiān)控視頻，該視頻以拍攝時(shí)間為順序、分段存儲(chǔ)；第四，連接外部設(shè)備，接收用戶的輸入控制。

本文提出的基于視頻監(jiān)控的發(fā)射臺(tái)安防系統(tǒng)結(jié)構(gòu)如圖1 所示，包括硬件和軟件兩個(gè)部分，在硬件部分含有高性能處理器作為整個(gè)系統(tǒng)的核心，連接高清攝像頭作為顯示模塊、連接可觸控的LCD 顯示器同時(shí)完成顯示功能和接收用戶輸入的功能、連接大容量存儲(chǔ)器用來(lái)存儲(chǔ)多個(gè)分段的監(jiān)控視頻供工作人員回溯事件。軟件部分包括嵌入式操作系統(tǒng)，它是軟件程序運(yùn)行的基礎(chǔ)，操作系統(tǒng)內(nèi)部的驅(qū)動(dòng)程序來(lái)驅(qū)動(dòng)硬件的各個(gè)模塊高效工作；還包括基于OpenCV 的移動(dòng)物體檢測(cè)算法和目標(biāo)跟蹤算法，屬于上層應(yīng)用程序，調(diào)用嵌入式操作系統(tǒng)的API 實(shí)現(xiàn)對(duì)硬件的管理。

圖1 基于視頻監(jiān)控的發(fā)射臺(tái)安防系統(tǒng)結(jié)構(gòu)圖

1.2 硬件平臺(tái)

1.2.1 嵌入式處理器

處理器是整個(gè)系統(tǒng)的核心，它控制其它各物理模塊，也是操作系統(tǒng)和軟件程序得以運(yùn)行的基礎(chǔ)。ARM 架構(gòu)的處理器憑借精簡(jiǎn)指令集的高效、功耗低、性價(jià)比高的優(yōu)勢(shì)，占據(jù)了大量的市場(chǎng)。本文中發(fā)射站安防系統(tǒng)需要一個(gè)性能強(qiáng)大、價(jià)格低的處理器，因此處理器選擇了NXP公司的iMX6ULL處理器。

圖3 OKMX6ULL 開(kāi)發(fā)板底板實(shí)物圖

iMX6ULL 處理器基于ARM cortex-A7 架構(gòu)，有著較強(qiáng)的性能。 運(yùn)行頻率最高可達(dá)900MHz，內(nèi) 部 有128KB L2 緩存。集成了很多模塊功能豐富，例如電源管理模塊，降低了外接電源的復(fù)雜性；在連接存儲(chǔ)器方面，接口眾多，包括LPDDR2、DDR3、DDR3L、原始和管理的NAND 閃存、NOR 閃存、eMMC、Quad SPI 和各種其他接口；在連接外圍設(shè)備方面，可與LCD 顯示器、攝像頭傳感器等連接［3］。

本文安防系統(tǒng)將利用飛凌公司的OKMX6ULL 開(kāi)發(fā)板進(jìn)行開(kāi)發(fā)，該開(kāi)發(fā)板由主板和底板兩部分組成，如圖2、圖3 所示， 接 口 豐 富， 包 括LCD、Camera 接 口，4 個(gè)USB 接 口，2個(gè)UART、2 個(gè)IIC、2 個(gè)CAN 總線接口等［4］。本系統(tǒng)直接使用OKMX6ULL 開(kāi)發(fā)板所提供的接口連接視頻采集模塊、觸控顯示模塊、視頻數(shù)據(jù)存儲(chǔ)模塊，并在iMX6ULL 處理器中運(yùn)行嵌入式操作系統(tǒng)，在操作系統(tǒng)之上運(yùn)行本文設(shè)計(jì)的目標(biāo)檢測(cè)和跟蹤程序。

1.2.2 視頻采集模塊

對(duì)于視頻采集模塊的選擇，本文從拍攝效果及性價(jià)比等多方面考慮，選用色彩逼真、穩(wěn)定性高的中星微301v 型號(hào)攝像頭，實(shí)物圖如圖4 所示。

圖4 攝像頭模塊

該款攝像頭為高清CMOS 攝像頭，接口類型USB2.0，圖像最大分辨率640×480，拍攝速率為30fps，抗噪能力強(qiáng)，還包括多種影像處理功能。通過(guò)多次實(shí)際測(cè)試，能夠拍攝出清晰的圖像畫(huà)面，并且價(jià)格適中、性價(jià)比高，符合本系統(tǒng)低成本的要求。

1.2.3 顯示模塊

顯示模塊和用戶輸入模塊集合到一個(gè)物理設(shè)備中，使這個(gè)系統(tǒng)的操作更加高效，本文選用LCD 觸控一體機(jī)作為顯示和輸入模塊。產(chǎn)品為觸想公司的12 寸LCD 顯示屏。實(shí)物圖如圖5 所示，具體參數(shù)見(jiàn)表1。

圖5 LCD 觸控一體機(jī)實(shí)物圖

1.3 OpenCV 和檢測(cè)算法設(shè)計(jì)

1.3.1 OpenCV 簡(jiǎn)介

OpenCV 是一個(gè)在圖像處理領(lǐng)域常用的機(jī)器視覺(jué)集成庫(kù)，主要編程語(yǔ)言使C++、Python等。OpenCV 是分模塊化設(shè)計(jì)的具體來(lái)說(shuō)分為多個(gè)部分，各部分之間的結(jié)構(gòu)和關(guān)系如圖6所示：

圖6 OpenCV 的模塊結(jié)構(gòu)

如上圖所示， OpenCV HAL 模塊是多硬件的支持和優(yōu)化，包括SSE、CUDA 等；其次是OpenCV 對(duì)圖像處理的核心代碼，包括core、imgproc 模塊等，內(nèi)部包含多種高級(jí)圖像處理的函數(shù)，提供API 供開(kāi)發(fā)人員使用；最后是一些與特定開(kāi)發(fā)語(yǔ)言的綁定，包括對(duì)Python、Java等，還有一些示例工程和解決方案［5］。

表1 觸控一體機(jī)產(chǎn)品規(guī)格

OpenCV 已有多個(gè)版本更新，它在除了圖像處理領(lǐng)域應(yīng)用廣泛，在人臉識(shí)別、機(jī)器人、運(yùn)動(dòng)結(jié)構(gòu)分析等領(lǐng)域都有著廣泛的應(yīng)用。主要是它有著諸多優(yōu)點(diǎn)，如下：

（1）OpenCV 中有大量覆蓋計(jì)算機(jī)視覺(jué)領(lǐng)域的圖像處理相關(guān)函數(shù)，并且是全部開(kāi)源的，在研究過(guò)程中可以在代碼中添加自己的思路；

（2）OpenCV 視覺(jué)庫(kù)中的代碼都是經(jīng)過(guò)不斷實(shí)驗(yàn)優(yōu)化后發(fā)布的，可靠性強(qiáng)；

（3）OpenCV 支持的運(yùn)行環(huán)境較為廣泛，可以支持開(kāi)發(fā)者在多種環(huán)境中完成對(duì)圖像的研發(fā)工作，跨平臺(tái)使用，可移植性強(qiáng)；

（4）OpenCV 提供了多種圖像處理API 接口，通用性強(qiáng)。

因此，本文選用OpenCV3.4.1庫(kù)來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)程序和跟蹤程序。

1.3.2 嵌入式操作系統(tǒng)

在嵌入式軟件部分，分為無(wú)操作系統(tǒng)的裸機(jī)和包含操作系統(tǒng)的軟件部分。當(dāng)任務(wù)較為簡(jiǎn)單時(shí)，不含操作系統(tǒng)的代碼直接控制硬件器件，效率高、便于程序的編寫(xiě)。但是當(dāng)任務(wù)較為復(fù)雜且對(duì)處理實(shí)時(shí)性有較高要求時(shí)，需要使用操作系統(tǒng)來(lái)完成多任務(wù)的并發(fā)的功能。目前，常用的嵌入式操作系統(tǒng)包括Linux、WinCE、VxWorks 等［6］。

由于嵌入式Linux 有著開(kāi)源、成本低、可移植性強(qiáng)的優(yōu)點(diǎn)，而且應(yīng)用廣泛，本文將采用嵌入式Linux 作為操作系統(tǒng)。由圖7 可知，Linux 操作系統(tǒng)有4個(gè)組成部分，分別是內(nèi)核、系統(tǒng)調(diào)用、shell 及公共函數(shù)庫(kù)、應(yīng)用程序。

圖7 Linux 結(jié)構(gòu)圖

其中，內(nèi)核是操作系統(tǒng)關(guān)鍵的部分，主要完成操作系統(tǒng)做重要的任務(wù)，包括進(jìn)程管理、內(nèi)存管理、文件管理等［7］。

1.3.3 移動(dòng)目標(biāo)檢測(cè)算法

根據(jù)視頻中物體背景是否變化，移動(dòng)目標(biāo)檢測(cè)算法主要分為動(dòng)態(tài)和靜態(tài)背景的移動(dòng)目標(biāo)檢測(cè)算法。當(dāng)背景處于動(dòng)態(tài)變化過(guò)程中，或者說(shuō)是視頻采集模塊處于不斷移動(dòng)導(dǎo)致背景在不斷改變時(shí)，此時(shí)需要的算法更強(qiáng)，處理器性能也需要更好［8］。

在本文任務(wù)中，發(fā)射臺(tái)機(jī)房中背景相對(duì)固定，而且攝像頭位置保持不變，因此屬于靜態(tài)背景中的移動(dòng)目標(biāo)檢測(cè)算法。目前常用的算法有光流法、背景差法和幀差法。光流法算法較為復(fù)雜而且對(duì)硬件要求較高，不適合用于嵌入式系統(tǒng)中；背景差法運(yùn)算速度快，但是抗干擾能力弱，容易造成誤檢。幀差法的魯棒性較強(qiáng)，計(jì)算高效，對(duì)處理器性能要求不高，因此本文選擇幀差法作為移動(dòng)檢測(cè)算法。算法總體流程如圖8 所示。

由圖8 可知，本算法對(duì)連續(xù)兩幀圖像做差值運(yùn)算，首先是獲得連續(xù)兩幀圖像的數(shù)據(jù)，其次進(jìn)行兩幅圖像的預(yù)處理操作，包括圖像灰度化處理、濾波降噪得到高質(zhì)量的灰度圖像，最后對(duì)兩幀圖像做差值計(jì)算得到新的圖像Mat_new，并對(duì)Mat_new 進(jìn)行閾值判斷，若超過(guò)閾值則認(rèn)為有移動(dòng)物體，則對(duì)Mat_new 進(jìn)行一些圖像的形態(tài)學(xué)運(yùn)算，開(kāi)始存儲(chǔ)該幀圖像，用于以后工作人員查看。

主要的形態(tài)學(xué)后處理算法有腐蝕、膨脹、開(kāi)運(yùn)算、閉運(yùn)算、形態(tài)學(xué)梯度、頂帽和黑帽等基本運(yùn)算，本文采用圖像腐蝕和圖像膨脹，圖像腐蝕的計(jì)算公式如下所示：

圖8 移動(dòng)目標(biāo)檢測(cè)算法流程圖

圖像膨脹的計(jì)算式為：

最后，利用C++語(yǔ)言和OpenCV 庫(kù)進(jìn)行編寫(xiě)移動(dòng)目標(biāo)檢測(cè)算法，所調(diào)用的OpenCV 函數(shù)和調(diào)用順序?yàn)閂ideo Capture、cvtColor、 absdiff、 threshold、erode、dilate。

1.3.4 目標(biāo)跟蹤算法

當(dāng)檢測(cè)到異物闖入發(fā)射臺(tái)機(jī)房中時(shí)，已經(jīng)保存了圖像，但是為了顯示的更加明顯，將使用目標(biāo)跟蹤算法對(duì)異物或移動(dòng)物體進(jìn)行標(biāo)記其輪廓。其算法流程如圖9 所示。

首先是邊緣檢測(cè)，本文所使用的Canny 算子進(jìn)行檢測(cè)其邊緣。其主要步驟包括：圖像降噪、計(jì)算圖像的梯度，非極大值抑制和閾值篩選［9］。

通常使用高斯濾波進(jìn)行降噪處理，接下來(lái)計(jì)算梯度，公式為：

梯度的大小和方向分別為：

圖9 目標(biāo)跟蹤算法流程圖

非極大值抑制和最后一步的閾值篩選的目的是使邊緣更加的準(zhǔn)確、描述更多的細(xì)節(jié)信息。圖10 為Canny 濾波處理之后的效果圖。

經(jīng)過(guò)邊緣檢測(cè)之后，接下來(lái)是進(jìn)行輪廓的檢測(cè)和外接矩形的繪制。最后，利用C++語(yǔ)言和OpenCV 庫(kù)進(jìn)行編寫(xiě)移動(dòng)目標(biāo)檢測(cè)算法，所調(diào)用的OpenCV 函數(shù)和調(diào)用順序?yàn)镃anny、find-Contours、drawContours、boudingRect、Rectangle。

圖10 Canny 濾波效果圖

圖11 基于監(jiān)控視頻的發(fā)射臺(tái)安防系統(tǒng)的流程圖

1.4 系統(tǒng)搭建與軟件移植

在完成了硬件的選型和移動(dòng)目標(biāo)檢測(cè)、目標(biāo)跟蹤算法的實(shí)現(xiàn)， 本節(jié)開(kāi)始基于OKMX6ULL 搭建嵌入式系統(tǒng)，并進(jìn)行操作系統(tǒng)的移植和算法的移植。本文所設(shè)計(jì)的基于監(jiān)控視頻的發(fā)射臺(tái)安防系統(tǒng)的流程如圖11 所示。

1.4.1 U-boot 的移植

首先移植U-boot，Bootloader 引導(dǎo)程序是處理器一上電之后執(zhí)行的第一個(gè)程序，它存儲(chǔ)在系統(tǒng)的ROM 中，一般來(lái)說(shuō)由廠家固化好。U-boot 是屬于引導(dǎo)加載程序的一種，因?yàn)樗兄軓?qiáng)的移植性并開(kāi)源代碼，故應(yīng)用廣泛［10］。移植U-boot 的步驟如下：

（1）修改頂層Makefile，修改其中的CPU 類型和開(kāi)發(fā)板類型；

（2）在configs 文件夾下新建IMX6ULL.h，配置引腳信息；

（3）修改配置文件board.cfg；

（4）運(yùn)行build.sh shell 腳本文件，編譯U-boot，并把編譯后的文件燒錄到Nand Flash 中。

系統(tǒng)上電后，U-boot 會(huì)被加載到內(nèi)存的0 地址處譯碼執(zhí)行，U-boot 的功能是檢查主要硬件的功能完善性，并加載操作系統(tǒng)內(nèi)核到內(nèi)存執(zhí)行。

1.4.2 操作系統(tǒng)的裁剪與OpenCV 的移植

所以下一步就是進(jìn)行操作系統(tǒng)的編譯與移植，在PC 中編譯好操作系統(tǒng)程序，燒錄到嵌入式開(kāi)發(fā)板的Nand Flash 中。具體步驟如下：

（1） 用圖像界面的方式CPU 型號(hào)。運(yùn)行menuconfig 依次配置NXP 類型的IMX6ULL 系列，運(yùn)行內(nèi)核架構(gòu)代碼則會(huì)使用IMX6ULL 架構(gòu)所對(duì)應(yīng)的內(nèi)核程序；

（2）添加設(shè)備驅(qū)動(dòng)程序。本系統(tǒng)外接的硬件包括攝像頭、LCD 觸控屏，因此在操作系統(tǒng)中為其田間設(shè)備驅(qū)動(dòng)程序以控制硬件工作。

分別編寫(xiě)攝像頭、LCD 觸控屏的驅(qū)動(dòng)程序，并編譯成模塊，配置內(nèi)核時(shí)選擇編譯該模塊至內(nèi)核，則最終生成的操作系統(tǒng)中就包含了控制攝像頭和LCD 觸控屏的代碼；

（3）文件系統(tǒng)的移植。本文使用的是性能優(yōu)越，在嵌入式系統(tǒng)中應(yīng)用廣泛的Yaffs2 嵌入式文件系統(tǒng)。步驟為修改內(nèi)核文件中的/fs 目錄下的Makefile 文件，并通過(guò)配置Kconfig 文件配置yaffs2 文件系統(tǒng)。最后重新配置.config 文件，使內(nèi)核中包含Yaffs2 文件系統(tǒng)。

（4）移植OpenCV。首先在官網(wǎng)下載OpenCV3.4.1 源碼文件，利用cmake 進(jìn)行配置并編譯，執(zhí)行./cmake.gui，按照要求配置OpenCV 源碼，其次交叉編譯生成lib 庫(kù)和一些頭文件庫(kù)，即嵌入式開(kāi)發(fā)板所需要的庫(kù)。最后開(kāi)發(fā)板上電運(yùn)行Linux 操作系統(tǒng)，把庫(kù)文件傳輸?shù)讲僮飨到y(tǒng)中的文件系統(tǒng)的根目錄中即可。

1.4.3 移植移動(dòng)檢測(cè)與目標(biāo)跟蹤算法

當(dāng)開(kāi)發(fā)板中正常運(yùn)行Linux操作系統(tǒng)并加載OpneCV 庫(kù)之后，接下來(lái)就是移植移動(dòng)檢測(cè)程序和目標(biāo)跟蹤程序。

在PC 機(jī)中通過(guò)arm-linuxgcc 交叉編譯工具鏈編譯得到可以在嵌入式Linux 中運(yùn)行的程序，并在系統(tǒng)上電后通過(guò)文件傳輸工具從PC 機(jī)傳輸?shù)介_(kāi)發(fā)板中，然后運(yùn)行此程序，至此，整個(gè)系統(tǒng)開(kāi)始運(yùn)行。

攝像頭開(kāi)始實(shí)時(shí)采集發(fā)射臺(tái)機(jī)房中的圖像，并利用移動(dòng)目標(biāo)檢測(cè)算法和目標(biāo)跟蹤算法對(duì)異物和移動(dòng)的物體進(jìn)行視頻記錄保存和跟蹤檢測(cè)。管理人員可通過(guò)LCD 觸控屏進(jìn)行視頻的回看和下載。

2 視頻監(jiān)控實(shí)驗(yàn)

2.1 檢測(cè)和跟蹤實(shí)驗(yàn)效果

攝像頭通過(guò)USB 連接開(kāi)發(fā)板的USB 接口，將采集的圖像傳輸?shù)介_(kāi)發(fā)板，IMX6ULL 處理器運(yùn)行本文移動(dòng)目表檢測(cè)算法，本節(jié)通過(guò)實(shí)驗(yàn)，當(dāng)監(jiān)控畫(huà)面中出現(xiàn)移動(dòng)物體時(shí)，該算法能夠進(jìn)行檢測(cè)并利用外接矩形框住移動(dòng)的物體，而開(kāi)發(fā)板則把此時(shí)的視頻信息存儲(chǔ)到FLASH 存儲(chǔ)器中。如圖12 所示為監(jiān)控移動(dòng)的人，從圖中可以看出，可以正確的框出視頻中移動(dòng)的工作人員。

圖12 對(duì)移動(dòng)目標(biāo)的檢測(cè)效果圖

2.2 算法性能分析

本文提出的檢測(cè)和只對(duì)移動(dòng)目標(biāo)進(jìn)行存儲(chǔ)，主要是為了減少數(shù)據(jù)的存儲(chǔ)，因此本節(jié)對(duì)視頻的存儲(chǔ)量進(jìn)行計(jì)算和分析，對(duì)24 小時(shí)內(nèi)的視頻數(shù)據(jù)量大小進(jìn)行記錄，并與通常的視頻存儲(chǔ)方式進(jìn)行比較，如圖13所示。

圖13 視頻數(shù)據(jù)量大小對(duì)比

結(jié) 論

1. 本文設(shè)計(jì)的基于視頻監(jiān)控的發(fā)射臺(tái)安防系統(tǒng)，通過(guò)對(duì)移動(dòng)目標(biāo)進(jìn)行檢測(cè)，并進(jìn)行跟蹤，使用了嵌入式系統(tǒng)，大大降低了開(kāi)發(fā)成本。

2. 對(duì)于機(jī)房這種相對(duì)穩(wěn)定的靜態(tài)背景，本文只記錄有移動(dòng)物體時(shí)的視頻數(shù)據(jù)，減少了數(shù)據(jù)的存儲(chǔ)，便于管理人員回溯事件、回看視頻。

3. 搭建的嵌入式系統(tǒng)具有較強(qiáng)的通用性和可擴(kuò)展性，適合二次開(kāi)發(fā)和應(yīng)用于其它領(lǐng)域。