汪 鑫,劉嘉敏,李 敏,熊海涵,余月華,周冬芹
(1.重慶大學(xué)城市科技學(xué)院電氣信息學(xué)院,重慶 402167;2.重慶大學(xué)光電工程學(xué)院,重慶 400000)
當(dāng)今社會,視頻應(yīng)用研究在各個領(lǐng)域都發(fā)揮著重大的作用。在軍事研究、野外環(huán)境監(jiān)測、環(huán)境監(jiān)測與預(yù)報、交通管制、智能家居、公共安全監(jiān)測等方面都需要對視頻進(jìn)行采集[1-6]。除此以外,還希望對某些特定的目標(biāo)信息能不間斷地進(jìn)行跟蹤,例如長時間監(jiān)控某個人或者物體。因此,在對視頻圖像進(jìn)行采集時,希望能完成對目標(biāo)信息的跟蹤。對于目標(biāo)檢測,以往都采用圖像差減法、目標(biāo)二值化塊處理法、矩形框表示法[6],但是這些方法都無法清晰、完整地分割出目標(biāo)信息。
隨著無線傳感網(wǎng)絡(luò)的發(fā)展,大量的信息都借助于無線傳感網(wǎng)絡(luò)進(jìn)行傳輸。因此,本文主要采用一種基于SIFT特征匹配算法的目標(biāo)跟蹤方法對視頻進(jìn)行采集[5],通過無線傳感網(wǎng)絡(luò)對信息進(jìn)行傳輸。
SIFT特征描述是一種提取局部特征的算法,其思想是把圖像之間的匹配轉(zhuǎn)化為特征點向量間的相似性度量[7]。SIFT特征描述分為3個階段:SIFT特征點的檢測、SIFT特征描述符的生產(chǎn)及SIFT特征向量的匹配,如圖1所示。
圖1 SIFT特征描述
要從圖像中檢測出對圖像的尺度變化具有不變性的視覺特征,就要構(gòu)建尺度空間。圖像在尺度空間中表示為圖像和可變高斯核函數(shù)的卷積,采用高斯金字塔算子表示:
式(1)中:I(x,y)是輸入的圖像;G(x,y,σ)是二維高斯函數(shù),如式(2)所示。
其中σ為尺度因子。
在尺度空間中,特征點就是DoG尺度空間內(nèi)的局部極值點,在進(jìn)行極值點檢測后就可以初步確定特征點的位置和所在尺度。對輸入圖像I(x,y)和高斯函數(shù) G(x,y,σ)進(jìn)行卷積,生成對應(yīng)的尺度空間 L(x,y,σ),用高斯金字塔表示;將高斯金字塔的相鄰兩層相減,生成高斯差分金字塔D(x,y,σ);在高斯差分金字塔中,檢測同層3×3鄰域和相鄰層3×3鄰域內(nèi)的極值點。這樣就可以得到具有尺度不變性的特征點[8]。
特征描述子就是圖像特征向量,采用向量的形式來準(zhǔn)確描述圖像自身的特征。將坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點的主方向,確保旋轉(zhuǎn)不變性,再依據(jù)關(guān)鍵點尺度選取高斯圖像,按式(3)和式(4)計算以關(guān)鍵點為中點的16×16的窗口內(nèi)所有像素點的梯度模值和梯度方向。每一小格表示關(guān)鍵點鄰域所在尺度空間的一個像素。
梯度方向直方圖統(tǒng)計公式為:
式(6)中:ck為方向柱的中心;Δk為方向柱的寬度;(x,y)為子塊r(l,m)像素點的坐標(biāo)。最終形成的128維的向量就是SIFT特征描述符子[9]。
參考圖像和待匹配圖像的SIFT特征向量生成后,利用特征向量的歐式距離作為兩幅圖像特征點的相似性判定度量。采用歐式距離的最小值作為匹配成功的判定標(biāo)準(zhǔn)是非常簡單且常見的。
無線傳感網(wǎng)絡(luò)視頻采集系統(tǒng)由視頻采集模塊、微處理器模塊、無線通信模塊3個部分組成。視頻采集模塊的主要功能是實現(xiàn)對視頻圖像的采集和數(shù)模轉(zhuǎn)換;微處理器模塊的功能是負(fù)責(zé)對整個系統(tǒng)的控制;無線通信模塊的功能是將采集、處理后的視頻信息通過無線傳感網(wǎng)絡(luò)傳輸出去。
視頻采集模塊是一個非常重要的部分。本文采用的是一款低電壓、低功耗的CMOS傳感器OV7640,它通過 SCCB(seril camera control bus)接口來實現(xiàn)對器件的控制,支持VGA、CIF等各種尺寸的視頻格式。視頻采集模塊主要由圖像傳感器OV7640、壓縮芯片OV528、存儲芯片24LC64和降壓芯片MIC5207構(gòu)成的攝像頭系統(tǒng)來對圖像信息進(jìn)行采集[10]。
OV7640的電路原理如圖2所示。Y0~Y7引腳連接的是CV528圖像壓縮芯片,它將采集的圖像信息進(jìn)行壓縮,電路如圖3所示。
圖2 OV7640電路原理
攝像頭上電復(fù)位后,微處理器模塊向OV528發(fā)出采集指令,OV528接收到采集指令后通過SCCB控制總線調(diào)用初始化程序,攝像頭通過OV7640進(jìn)行視頻采集,并將采集的視頻圖像保存為RGB格式,OV7640將采集的圖像信息傳給OV528芯片,OV528對其進(jìn)行圖像壓縮處理[11-12]。
圖3 圖像壓縮芯片OV528
本文采用的微處理器是ARM公司的STM32F103。它是一款具有突破性的以Cortex-M3為內(nèi)核的處理器,具有低功耗、高性能、低電壓的特性[13]。
本文采用NRF24L01器件進(jìn)行無線傳輸。它是一款應(yīng)用于無線通信的通信芯片,采用GFKS調(diào)制技術(shù),基于SW-ARQ協(xié)議,能實現(xiàn)點對點或者點對多(最多1對6)的無線通信,通信速率可達(dá)2M[14]。
圖4 無線通信模塊NRF24L01
NRF24L01無線通信模塊與STM32微處理器之間的通信通過SPI協(xié)議進(jìn)行。STM32微處理器內(nèi)部具有SPI通信接口,可以直接與NRF24L01進(jìn)行連接,電路如圖5所示。
圖5 NRF24L01電路
系統(tǒng)上電后,STM32初始化,并對外部設(shè)備進(jìn)行初始化,然后進(jìn)入休眠狀態(tài)等待觸發(fā)信號。只要收到用戶端的控制信號,系統(tǒng)就進(jìn)入工作模式,攝像頭開始采集數(shù)據(jù),并將采集的數(shù)據(jù)送回微處理器。一幀圖像采集完成后,微處理器將采集的數(shù)據(jù)存入圖像緩沖區(qū),同時激活無線射頻模塊,開始數(shù)據(jù)無線傳輸。采集端無線傳感器節(jié)點流程如圖6 所示[15-16]。
圖6 采集端無線傳感器節(jié)點流程
考慮到數(shù)據(jù)采集端數(shù)據(jù)采集的復(fù)雜度,所以采用的微處理器是STM32。對于接收端的傳感器節(jié)點,采用單片機作為微處理器[17]。51單片機與NRF24L01的連接如圖7所示。
圖7 接收端無線傳感器節(jié)點電路
接收端無線通信模塊NRF24L01的流程如圖8所示。
運用SIFT特征匹配算法,對單目標(biāo)下運動目標(biāo)進(jìn)行采集分析。實驗運行環(huán)境為Intel Dual 1.8GHz CPU,2G內(nèi)存,通過Matlab運行實現(xiàn)。應(yīng)用SIFT算法構(gòu)建DoG尺度空間、特征點檢測、特征描述子計算以及特征點匹配,將參考圖像和待匹配圖像進(jìn)行SIFT匹配;利用幀間的差分信息確定目標(biāo)運動區(qū)域,通過SIFT特征點區(qū)域的變化來更新背景,對歷史幀進(jìn)行匹配更新,保留SIFT特征匹配點,去掉不屬于特征點的區(qū)域。對運動汽車的跟蹤分析實驗結(jié)果證明:該算法對運動的目標(biāo)物體有很好的匹配跟蹤效果(見圖9)。
圖8 接收端無線傳感器節(jié)點流程
圖9 運動汽車跟蹤分析
針對復(fù)雜環(huán)境下的目標(biāo)跟蹤,本文提出了利用SIFT匹配算法來有效提取運動目標(biāo)并進(jìn)行目標(biāo)跟蹤,通過SIFT特征點坐標(biāo)的非負(fù)差分的方法來確定運動目標(biāo)區(qū)域。該方法對運動目標(biāo)進(jìn)行了高效率匹配,同時設(shè)計出實現(xiàn)目標(biāo)跟蹤視頻采集的硬件電路,并通過NRF24L01無線通信模塊將采集的目標(biāo)信息進(jìn)行無線傳輸。實驗結(jié)果表明:該算法在復(fù)雜背景環(huán)境下對運動目標(biāo)有較好的跟蹤效果。
[1]孫利民,李建中,陳渝,等.無線傳感器網(wǎng)絡(luò)[M].北京:清華大學(xué)出版社,2005:3-4.
[2]林偉,卿輝,陳文,等.基于新型電源供電的無線傳感網(wǎng)絡(luò)節(jié)點設(shè)計[J].壓電與聲光,2011(3):498-500,508.
[3]An-tonio-Javier Gorcia-Sanchez.Wireless sensor networks deployment for monitoring wildlife passages[J].Sensors,2010(10):7236-7262.
[4]王焱,單欣欣,姜偉,等.無線傳感網(wǎng)絡(luò)壞點識別研究與應(yīng)用[J]. 壓電與聲光,2012(3):452-455,458.
[5]Holman R,Stanley J,Ozkan-Haller T.Applying video sensor networks to near shore environment monitoring[J].IEEE Tans.On Pervasive Computing,2003,2(4):14-21.
[6]劉建軍,夏勝平,郁文賢.基于SIFT特征的兩個階段procrustes迭代匹配算法[J].信號處理,2010(6):854-858.
[7]韋虎,張麗艷,劉勝蘭,等.基于SIFT圖像特征匹配的多視角深度圖配準(zhǔn)算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2010,22(4):654-661.
[8]牛長峰,陳登峰,劉玉樹.基于SIFT特征和粒子濾波的目標(biāo)跟蹤算法[J].機器人,2010,32(2):241-247.
[9]陳雷.JPEG圖像壓縮技術(shù)及仿真實現(xiàn)[J].中國科技信息,2011(17):91-92.
[10]王永虹,徐煒,郝立平.STM32系列ARM Cortex-M3微控制器原理與實踐[M].北京:北京航空航天大學(xué)出版社,2008.
[11]廣州周立功單片機發(fā)展有限公司.ARM Cortex-M3處理器簡介[Z].2006,10.
[12]王虎升,李金環(huán).基于STM32的嵌入式語音播報系統(tǒng)設(shè)計[J].北京聯(lián)合大學(xué)學(xué)報,2011(3):11-15.
[13]陳慧敏,栗蘋,張英文,等.CMOS圖像傳感器的研究新進(jìn)展[J].半導(dǎo)體光電,2006,27(6):664-667.
[14]何兆紅,王高.CMOS圖像傳感器的最新發(fā)展?fàn)顩r[J].光機電信息,2002(12):14-16.
[15]Lee B,Wu H.Study on Back off Algorithm for IEEE 802.15.4 LR-WPAN[C]//IEEE International Conference on Advanced Information Networking and Applications.Japan:[s.n.],403-409.
[16]Mehta V,Sheng W,Chen T,et al.Development and Calibration of a Low Cost Wireless Camera Sensor Network[C]//IEEE International Conference on Intelligent Robots and Systems.USA:[s.n.],2009:110-115.
[17]Lee D,Lee J,Lee Y,et al.Low-Complexity Aggregation of Collected Images with correlated Fields of view in Wireless Sensor Networks[Z].IEEE Symposium on Computers and communications.2010:765-771.