段佳雷, 高智博

(西安工程大學(xué) 電子信息學(xué)院， 西安 710600)

?

基于ARM嵌入式圖像采集處理平臺(tái)的標(biāo)簽跟蹤系統(tǒng)設(shè)計(jì)

段佳雷, 高智博

(西安工程大學(xué) 電子信息學(xué)院， 西安 710600)

以移動(dòng)小車為實(shí)驗(yàn)平臺(tái)，設(shè)計(jì)了一款應(yīng)用于移動(dòng)機(jī)器人上的Linux嵌入式圖像采集處理系統(tǒng),系統(tǒng)選用三星公司的S3C2440開(kāi)發(fā)板作為核心處理器，采用OV9650攝像頭采集圖像。重點(diǎn)介紹了圖像采集模塊的設(shè)計(jì)，以及兩種標(biāo)簽識(shí)別方式——模版匹配和形狀特征匹配，并對(duì)兩種方法的進(jìn)行了對(duì)比分析。對(duì)識(shí)別過(guò)程中出現(xiàn)的標(biāo)簽傾斜現(xiàn)象進(jìn)行了補(bǔ)償處理。該嵌入式圖像處理系統(tǒng)能夠較為快捷準(zhǔn)確的識(shí)別標(biāo)簽，為移動(dòng)機(jī)器人的設(shè)計(jì)提供了一個(gè)較好的實(shí)驗(yàn)平臺(tái)。

智能跟蹤; S3C2440; 嵌入式圖像處理; 標(biāo)簽識(shí)別

0 引言

智能跟蹤技術(shù)是移動(dòng)機(jī)器人研究的重點(diǎn)，是集合自動(dòng)控制、圖像識(shí)別、嵌入式等多種技術(shù)為一體的綜合研究課題[1][2]。目前，跟蹤技術(shù)的研究大多集中在復(fù)雜背景下跟蹤算法的研究方面，也就是利用相對(duì)復(fù)雜的算法來(lái)提高目標(biāo)識(shí)別的精度。比較常用的跟蹤算法有基于Camshift算法的目標(biāo)跟蹤[3][4][5]，基于光流法的跟蹤[6][7]等。這些算法的實(shí)現(xiàn)大都以高性能的硬件設(shè)備為基礎(chǔ)，從而使得不依賴于PC機(jī)獨(dú)立跟蹤系統(tǒng)的設(shè)計(jì)一度陷入停滯。隨著嵌入式arm圖像處理技術(shù)的高速發(fā)展，使得該研究方向有了新的進(jìn)展[8][9]。智能跟蹤技術(shù)逐漸朝著簡(jiǎn)單、獨(dú)立、準(zhǔn)確的方向邁進(jìn)[10]。本文以ARM9系列開(kāi)發(fā)板為核心，設(shè)計(jì)了一款應(yīng)用于移動(dòng)小車上的圖像處理系統(tǒng)，系統(tǒng)通過(guò)對(duì)采集圖像的實(shí)時(shí)處理，識(shí)別出圖像中的標(biāo)簽，進(jìn)而追蹤到攜帶標(biāo)簽的目標(biāo)人。

1 系統(tǒng)總體設(shè)計(jì)

整個(gè)設(shè)計(jì)系統(tǒng)是以移動(dòng)小車為研究平臺(tái)的。在小車上搭載了OV9650攝像頭以及ARM9系列開(kāi)發(fā)板S3C2440。OV9650攝像頭和S3C2440開(kāi)發(fā)板構(gòu)成了整個(gè)圖像采集處理系統(tǒng)的硬件核心。

在此硬件基礎(chǔ)上，設(shè)計(jì)了一款基于ARM的Linux系統(tǒng)，用于視頻圖像的采集及處理。整個(gè)嵌入式系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。

圖1 軟件結(jié)構(gòu)框圖

2 視頻圖像采集

由于Linux系統(tǒng)專門向用戶提供了一套應(yīng)用程序訪問(wèn)音、視頻驅(qū)動(dòng)的統(tǒng)一接口即V4L(Video for Linux)[11]。這就使得視頻的采集處理難度大大降低。目前市面上應(yīng)用較為流行的是V4L的改進(jìn)版V4L2，V4L2中對(duì)攝像頭設(shè)備有一個(gè)字符設(shè)備“dev/video0”與之對(duì)應(yīng)，通過(guò)對(duì)該設(shè)備文件的讀操作可以實(shí)現(xiàn)視頻的采集，其主要使用open()、close()、ioctl()。其中ioctl使用到的控制命令字符在頭文件 中有相關(guān)定義。下面是一些主要函數(shù)的設(shè)計(jì)：

Camera_open()開(kāi)啟視頻設(shè)備文件；

Camera_get_capbility()通過(guò)調(diào)用ioctl()函數(shù)來(lái)獲取攝像頭參數(shù)；

Camera_set_init()對(duì)設(shè)備進(jìn)行初始化操作包括設(shè)定視頻制式和幀格式、視頻的捕獲參數(shù)；

Camera_get_buffer()向設(shè)備申請(qǐng)一個(gè)擁有數(shù)個(gè)緩沖幀的緩沖區(qū)，獲取其長(zhǎng)度地址等信息，然后調(diào)用函數(shù)mmap把內(nèi)核空間地址映射到用戶空間；

Camera_process_image()讀取緩存幀，獲得一幅圖片的信息，并將其保存在picture結(jié)構(gòu)中以方便圖像處理程序調(diào)用，最后將緩存幀重新放回緩存列隊(duì)；

Camera_close()關(guān)閉視頻設(shè)備。

通過(guò)上述函數(shù)的設(shè)計(jì)，最終將采集到的圖像存儲(chǔ)在picture結(jié)構(gòu)中，以方便進(jìn)一步處理。

3 圖像處理

為了滿足圖像處理的需要，文中在嵌入式Linux系統(tǒng)中移植了圖像處理函數(shù)庫(kù)OpenCV(Open Source Computer Vision Library)，該函數(shù)庫(kù)中包含了圖像處理過(guò)程中所使用的基本函數(shù)[12][13]。利用這些算法函數(shù)的組合可以實(shí)現(xiàn)對(duì)圖像中標(biāo)簽的識(shí)別。圖像處理的基本流程,如圖2所示。

圖2 圖像處理流程

對(duì)圖像進(jìn)行簡(jiǎn)單的預(yù)處理，從而得到較為清晰的含有標(biāo)簽的圖像。如圖3所示。

圖3 預(yù)處理前后圖像對(duì)比

之后進(jìn)行圖像識(shí)別，一般來(lái)說(shuō)，快速，準(zhǔn)確的圖像識(shí)別是視覺(jué)跟蹤成敗與否的關(guān)鍵。文中采取了兩種不同的識(shí)別方式，模版匹配識(shí)別和形狀特征匹配識(shí)別。

3.1 模版匹配識(shí)別

模版匹配[14]，是最常用的識(shí)別方式。

1) 模板選擇

在模版匹配方法中，模版的選擇尤為重要。在這里將標(biāo)簽置于攝像頭前10 cm處拍攝一副圖像，然后從中分離出標(biāo)簽圖像，以此作為模版。

然而隨著標(biāo)簽遠(yuǎn)近的變化，圖像中標(biāo)簽的大小是不相同的。用一副模版來(lái)匹配原始圖像，明顯是不適合的。因此，需對(duì)之前選擇的模板進(jìn)行相應(yīng)的縮小處理。如圖4所示。

圖4 模板的提取及縮小

通過(guò)實(shí)驗(yàn)最終將縮小系數(shù)k的范圍確定在(0.35>k>0.05),縮小系數(shù)在這個(gè)范圍(30 cm～150 cm)時(shí)，模板的大小恰好是小車的跟蹤范圍內(nèi)標(biāo)簽的大小，將縮小后的模板記作模版T。

2) 模版匹配

將這個(gè)模版T放在所需要對(duì)比的原始圖像I的一個(gè)圖像點(diǎn)上，然后把模版T上的點(diǎn)與原圖I覆蓋的點(diǎn)逐一匹配，將匹配結(jié)果記錄在該圖像點(diǎn)上。通過(guò)滑動(dòng)模版，可以得到一個(gè)度量值R的矩陣。在R矩陣中最大的點(diǎn)即是模版所在的位置。一般用來(lái)做匹配的算法是多種多樣的，在考慮到算法復(fù)雜程度和準(zhǔn)確性以及匹配速度等多種因素的前提下，這里選擇了相關(guān)性匹配方式。其計(jì)算公式為式(1)。

(1)

一段視頻中幾幀圖像采用模版匹配后的識(shí)別結(jié)果,如圖5所示。

3.2 形狀特征匹配識(shí)別

對(duì)于形狀特征比較明顯的目標(biāo)，采用形狀特征匹配識(shí)別比較準(zhǔn)確方便[15][16][17]。而本文選擇的標(biāo)簽的形狀十分特殊，因此采用形狀特征的識(shí)別方式，也可以達(dá)到識(shí)別的目的。

首先對(duì)預(yù)處理后的圖像進(jìn)行邊緣提取，并填充閉合區(qū)域，如圖6所示。

由于標(biāo)簽是打印在矩形的白紙上的，因此對(duì)圖中的連通域做矩形的相識(shí)度判別就可以確定白紙的位置。矩形判別公式為R=A0/AR。其中，A0為目標(biāo)形狀圍繞面積，AR為其最小外接長(zhǎng)方形的面積，0≤R≤1。當(dāng)R越接近于1時(shí)，實(shí)際目標(biāo)越接近于矩形,如圖7所示。

圖a

圖b

圖7 矩形相似度的判別

初步判斷白紙的位置并不能直接確定標(biāo)簽的位置，需要進(jìn)一步確定。將矩形相似度判別后的圖像去掉預(yù)處理圖像中非矩形部分。再將矩形內(nèi)的部分分離出來(lái)，做進(jìn)一步判定,如圖8所示。

圖8 疑似標(biāo)簽的分離

對(duì)該區(qū)域重復(fù)邊緣檢測(cè)，區(qū)域填充。這樣就得到了標(biāo)簽的輪廓，這時(shí)進(jìn)行圓的相識(shí)度判別。判斷結(jié)果如果是圓，則證明之前識(shí)別的矩形區(qū)域?yàn)闃?biāo)簽圖像。圓的相識(shí)度判別公式是式(2)。

R=4πA/L2

(2)

其中，A表示圖像中目標(biāo)形狀圍繞的面積，L表示目標(biāo)形狀的周長(zhǎng)，0≤R≤1。當(dāng)R=1時(shí)目標(biāo)形狀為圓，由此可以判斷該矩形范圍內(nèi)包含著標(biāo)簽，如圖9所示。

圖9 基于圓形輪廓的判別

3.3 標(biāo)簽傾斜處理

在實(shí)驗(yàn)中發(fā)現(xiàn)，標(biāo)簽正面朝向攝像頭時(shí)候，識(shí)別情況良好，但當(dāng)標(biāo)簽發(fā)生傾斜時(shí)候標(biāo)簽的識(shí)別率較低。因此，文中通過(guò)對(duì)標(biāo)簽傾斜原因的分析，設(shè)計(jì)了標(biāo)簽傾斜補(bǔ)償處理方案。首先，標(biāo)簽傾斜的產(chǎn)生主要是由于目標(biāo)人轉(zhuǎn)向或者站姿引起的左右傾斜和邁步時(shí)引起的上下傾斜。如圖10所示。

而文中的圓形標(biāo)簽是繪于一張正方形的白紙上的，因此在初步識(shí)別出這張白紙時(shí)候，如果出現(xiàn)了標(biāo)簽傾斜現(xiàn)象，白紙會(huì)呈現(xiàn)出長(zhǎng)方形。為初步處理后分割得到的標(biāo)簽圖像，此時(shí)對(duì)標(biāo)簽進(jìn)行短軸方向上的拉伸處理，使得短軸的長(zhǎng)度與長(zhǎng)軸相等時(shí)，此時(shí)標(biāo)簽圖案恢復(fù)成為圓形，此時(shí)的圓與正面拍攝得到的圓的大小是相同的。標(biāo)簽左右傾斜后處理得到的圖像,如圖11所示。

圖10 標(biāo)簽的傾斜情況

圖11 標(biāo)簽傾斜的處理

3.4 圖像處理結(jié)果分析

文中通過(guò)對(duì)一段兩分鐘視頻進(jìn)行處理分析(采集到300張圖像)。發(fā)現(xiàn)兩種方法均能夠在規(guī)定時(shí)間內(nèi)完成圖像的處理，即都滿足系統(tǒng)的實(shí)時(shí)性要求，但在處理的準(zhǔn)確性方面差別較大。如表1所示。

表1 匹配結(jié)果

由表中可以看出，模版匹配和形狀匹配方式在識(shí)別標(biāo)簽的準(zhǔn)確率相差不大，形狀匹配方式略優(yōu)于模版匹配方式。這是由于模版匹配的準(zhǔn)確度會(huì)受采集到圖像的明暗程度，及標(biāo)簽形變的影響，而形狀匹配只受到形狀特征的影響。在形狀的識(shí)別過(guò)程中，二即二次識(shí)別時(shí)候，標(biāo)簽若產(chǎn)生傾斜，圓的輪廓會(huì)變成橢圓，從而使得相似度降低。因此，在做了相應(yīng)的補(bǔ)償處理后，匹配準(zhǔn)確度明顯提升。

5 總結(jié)

本系統(tǒng)以S3C2440開(kāi)發(fā)板為核心，通過(guò)圖像采集模塊的設(shè)計(jì)，以及嵌入式圖像處理算法的設(shè)計(jì)，準(zhǔn)確的識(shí)別出標(biāo)簽的位置，完成了對(duì)目標(biāo)人的跟蹤。該嵌入式圖像采集處理系統(tǒng)具有較高的實(shí)用價(jià)值，可以作為移動(dòng)機(jī)器人研究的一個(gè)實(shí)用平臺(tái)。

[1] 苑晶, 劉鋼墩, 孫沁璇. 激光與單目視覺(jué)融合的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)跟蹤[J]. 控制理論與應(yīng)用，2016, 33(2): 196-204.

[2] 居青, 房芳, 馬旭東. 基于RGB-D傳感器的移動(dòng)機(jī)器人目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 工業(yè)控制計(jì)算機(jī)，2016, 29(4): 68-70.

[3] Tengyue Zou, Xiaoqi Tang. Bao Song Improved Camshift Tracking Algorithm Based on Silhouette Moving Detection[J]. Multimedia Information Networking and Security, Date, 2011(11):11-15.

[4] 王玲玲, 裴東, 王全州. 一種改進(jìn)的Camshift視頻目標(biāo)跟蹤算法[J]. 激光與紅外，2015, 45(10): 11-16.

[5] 黃曉麗, 楊國(guó)為, 吳少龍. 一種改進(jìn)的Camshift和Kalman相結(jié)合的運(yùn)動(dòng)目標(biāo)跟蹤算法[J]. 工業(yè)控制計(jì)算機(jī)，2016, 29(1): 80-81.

[6] 肖軍, 朱世鵬, 黃杭, 等. 基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法[J]. 東北大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016, 37(6):770-774.

[7] 胡覺(jué)暉,李一民,潘曉露. 改進(jìn)的光流法用于車輛識(shí)別與跟蹤[J]. 科學(xué)技術(shù)與工程，2010,10(23):5814-5817.

[8] 陳麗娟,周鑫. 基于ARM嵌入式圖像處理平臺(tái)的太陽(yáng)跟蹤系統(tǒng)[J].現(xiàn)代電子技術(shù)，2012, 35(4): 71-74.

[9] 陸旭,梁光明,陳韻迪. 一種基于ARM的嵌入式圖像處理系統(tǒng)研究[J]. 數(shù)字技術(shù)與應(yīng)用, 2016, (6):129-137.

[10] 李劉生. 基于嵌入式的全景視覺(jué)移動(dòng)目標(biāo)跟蹤系統(tǒng)[D]. 天津, 天津理工大學(xué)，2012.

[11] 張宜君,史智興. 嵌入式Linux下USB攝像頭單幀圖像采集系統(tǒng)的實(shí)現(xiàn)[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報(bào), 2014, 37(2):111-114.

[12] 方華,郭靜,田敬北. 基于OpenCV的嵌入式圖像處理平臺(tái)的構(gòu)建[J].無(wú)線互聯(lián)科技, 2015, (3):53-54.

[13] Joseph Coombs, Rahul Prabhu, Greg Peake. Overcoming the challenges of porting OpenCV to Tl's embedded ARM + DSP platforms[J]. International Journal of Electrical Engineering Education, 2012, 49(3): 260-274.

[14] Hel-Or Yacov, Hel-Or Hagit, David Eyal. Matching by Tone Mapping: Photometric Invariant Template Matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 317.

[15] 賈松敏, 白聰軒, 王麗佳, 等. 多特征分塊匹配的移動(dòng)機(jī)器人目標(biāo)跟蹤[J]. 電子設(shè)計(jì)工程，2016, 24(1): 23-30.

[16] 何蓮,蔡敬菊,張啟衡.多邊形近似及形狀特征匹配的二維目標(biāo)檢測(cè)[J]. 激光與紅外, 2011, 41(6):700-705.

[17] 陳寧,王勝,黃正文.基于特征匹配的集裝箱識(shí)別與定位技術(shù)研究[J]. 圖學(xué)學(xué)報(bào),2016, 37(4): 530-536.

Label Tracking System Design Based on ARM Embedded Image Collection and Processing Platform

Duan Jialei, Gao Zhibo

(College of Electrics and Information Xi'an Polytechnic University, Shaanxi, Xi'an 7106007)

In this paper, we design a Linux embedded image acquisition and processing system for mobile robots with mobile trolleys as the experimental platform. The system uses Samsung S3C2440 development board as the core processor and adopts OV9650 camera to collect images. In this paper, the design of the image acquisition module is introduced, and two kinds of label recognition methods-pattern matching and shape feature matching are also introduced. The two methods are compared and analyzed. At the same time, the incline phenomenon of the label appearing in the recognition process is compensated. The embedded image processing system can identify the tag more quickly and accurately, and provide a better experimental platform for the design of mobile robot.

Intelligent tracking; S3C2440; Embedded image processing; Label recognition

西安工程大學(xué)基金(61401347)，西安工程大學(xué)“大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃”項(xiàng)目(2016105)

段佳雷(1987-)，男，富平人，碩士，助理工程師，研究方向：基于嵌入式的信號(hào)與圖像處理，機(jī)械故障診斷。 高智博(1995-)，男，西安人，本科，專業(yè)方向：電氣工程及其自動(dòng)化。

1007-757X(2017)07-0033-04

TP311

A

2017.03.04)