趙建宇,宋 捷,郭 瑞,王高平
武漢工程大學(xué)機(jī)電工程學(xué)院,湖北 武漢 430205
基于Cortex-M4的無人飛行器安防系統(tǒng)研究
趙建宇,宋捷,郭瑞,王高平*
武漢工程大學(xué)機(jī)電工程學(xué)院,湖北武漢430205
針對(duì)大型園區(qū)、廠區(qū)安防人工成本高,及時(shí)性差等問題,設(shè)計(jì)了無人飛行器安防系統(tǒng).飛行器采用四旋翼結(jié)構(gòu),其控制系統(tǒng)以Cortex-M4為架構(gòu),通過獲取慣性傳感器數(shù)據(jù),使用串級(jí)比例積分微分控制實(shí)現(xiàn)自平衡,并利用GPS與氣壓計(jì)獲取自身位置、高度信息,使其按照預(yù)定路線自動(dòng)巡邏.控制中心通過無線網(wǎng)絡(luò)接收飛行器采集的視頻,使用跟蹤學(xué)習(xí)檢測算法對(duì)視頻數(shù)據(jù)進(jìn)行分析,當(dāng)鎖定目標(biāo)后,遠(yuǎn)程控制飛行器進(jìn)行跟蹤.經(jīng)過試驗(yàn),飛行器具有很好的懸停能力,能夠按照預(yù)定軌跡飛行.跟蹤算法能鎖定動(dòng)態(tài)目標(biāo),并對(duì)飛行器進(jìn)行實(shí)時(shí)控制.結(jié)論表明無人器可以完成巡邏和跟蹤任務(wù),自動(dòng)化程度高,節(jié)省人力.
Cortex-M4;無人飛行器;目標(biāo)跟蹤;安防系統(tǒng)
無人飛行器自誕生之日起,一直是航空領(lǐng)域研究的熱點(diǎn),特別是小型多旋翼無人機(jī)因其體積小、飛行姿態(tài)靈活多變且易于操控,廣泛應(yīng)用于完成偵察與營救任務(wù)、科學(xué)數(shù)據(jù)采集、地質(zhì)和林業(yè)勘探、農(nóng)業(yè)病蟲害防治、影視制作等領(lǐng)域.通過無人飛行器來完成上述任務(wù)不僅大大降低成本而且提高人員安全保障[1].
在現(xiàn)有的安防監(jiān)控系統(tǒng)中,多采用固定攝像頭監(jiān)控與人員隨機(jī)巡邏相結(jié)合的方式進(jìn)行,攝像頭通過無線或者有線的方式將視頻傳回監(jiān)控室,人員根據(jù)視頻信息隨機(jī)選擇巡邏路線,監(jiān)控與巡邏不同步.有研究將無人機(jī)用于視頻監(jiān)控領(lǐng)域,在飛行器上加裝攝像頭,通過射頻信號(hào)傳回視頻信息,人員觀看視頻并利用遙控器控制飛行器的運(yùn)動(dòng),這種方式依賴于操作人員的嫻熟程度,且人工操控通常會(huì)受到遙控的通訊距離、人員疲勞程度的影響[2],因此飛行距離和作業(yè)復(fù)雜程度都會(huì)受到限制,使得無人機(jī)很難在智能化安防領(lǐng)域發(fā)揮作用,根據(jù)有人操作無人機(jī)的諸多弊端,結(jié)合視頻跟蹤與通訊技術(shù)設(shè)計(jì)了一種無人操作的無人機(jī)安防監(jiān)控系統(tǒng),該系統(tǒng)主要由飛行控制系統(tǒng),通訊系統(tǒng),目標(biāo)跟蹤系統(tǒng)組成,利用無線網(wǎng)絡(luò)傳輸視頻與控制信息,無需遙控器在視距范圍內(nèi)操控,實(shí)現(xiàn)無人機(jī)在安防區(qū)域內(nèi)動(dòng)態(tài)規(guī)劃飛行軌跡并自主飛行的功能,同時(shí)能對(duì)可疑目標(biāo)進(jìn)行跟蹤并進(jìn)行遠(yuǎn)程警告.
2.1飛行系統(tǒng)
由于4旋翼無人飛行器具有6個(gè)自由度,而自身只有4個(gè)輸入力,所以在這種欠驅(qū)動(dòng)系統(tǒng)中,機(jī)身具有非常靈活的動(dòng)作能力,非常適合懸停或者動(dòng)態(tài)飛行.
通過對(duì)安防系統(tǒng)的實(shí)際應(yīng)用進(jìn)行需求分析,設(shè)計(jì)了一種鋁合金框架的機(jī)身,如圖1所示,該結(jié)構(gòu)具有重量輕,強(qiáng)度高,緊湊性強(qiáng)等諸多優(yōu)點(diǎn),有助于提高無人機(jī)的穩(wěn)定性和靈活性,并可延長其飛行時(shí)間[3].飛行控制芯片采用基于ARMcortex-M4 的STM32F41716浮點(diǎn)型MCU,該芯片采用多重AHB總線矩陣和多通道DMA,支持程序執(zhí)行和數(shù)據(jù)傳輸并行處理,多達(dá)1MB FLASH數(shù)據(jù)傳輸速率非???,足以滿足無人機(jī)控制算法的實(shí)時(shí)性要求.動(dòng)力系統(tǒng)由1045的正反槳和KV980的無刷電機(jī)組成,并使用基于BLHELI固件的驅(qū)動(dòng)器進(jìn)行轉(zhuǎn)速控制.硬件設(shè)計(jì)如圖2所示.
圖1 飛行器的主體結(jié)構(gòu)Fig.1 Main structure of UAV
圖2 總體硬件設(shè)計(jì)Fig.2 Overall hardwaredesign
其中各類型傳感器與STM32主控板通過IIC、UART接口相連,電機(jī)連接調(diào)速器間接與主控板相連,由PWM信號(hào)控制.
姿態(tài)控制傳感器采用MPU6050(陀螺儀)、HMC5883L(電子羅盤)、MS5611(氣壓計(jì))、HC-SR04(超聲波)、Ublox NEO 6M(GPS)等器件,控制算法采用四路閉環(huán)PID控制,其中包含俯仰角、橫滾角、偏航角和高度四路閉環(huán)[4].
如圖3所示,u1、u2、u3、u4分別為4個(gè)控制量,x、y、z分別為無人機(jī)的空間坐標(biāo),θ、φ、ψ分別為地面坐標(biāo)系下無人機(jī)的偏航角,俯仰角,翻滾角度.
機(jī)體自身坐標(biāo)系各自坐標(biāo)軸的角速度p、q、r 與θ、φ、ψ之間的關(guān)系通常由式1表示.
經(jīng)過簡化模型后,式1的近似表達(dá)如下:
另根據(jù)剛體的轉(zhuǎn)動(dòng)定理,可以求出對(duì)應(yīng)軸的合力矩,繼而得出4個(gè)旋翼的轉(zhuǎn)速與姿態(tài)的關(guān)系式,使得控制電機(jī)的轉(zhuǎn)速即可控制機(jī)身的姿態(tài)[5]. 2.2通訊系統(tǒng)
在安防系統(tǒng)中多架飛機(jī)在安防區(qū)域巡邏,須同時(shí)將監(jiān)控圖像傳回至監(jiān)控中心,因此選擇5.8 GHz的32通道無線圖像傳輸系統(tǒng).監(jiān)控中心將各架飛機(jī)回傳的視頻飛配到不同的地址進(jìn)行視頻訪問.如圖4所示.
圖3 控制系統(tǒng)結(jié)構(gòu)框圖Fig.3 Structurediagram ofcontrol system
圖4 監(jiān)控系統(tǒng)示意圖Fig.4 Schematicdiagram of monitoring system
由于處于實(shí)驗(yàn)階段,為了簡化設(shè)計(jì),只用一架飛行器進(jìn)行實(shí)驗(yàn),并設(shè)計(jì)了一種基于Linux的嵌入式操作系統(tǒng)的大功率無線WiFi圖傳模塊,來完成視頻的采集、傳輸工作[6].圖5為其實(shí)物圖,為了提升視頻傳輸?shù)姆€(wěn)定性和流暢性,需要加大緩存的容量.
圖5 通訊模塊(a),(b),大功率無線WiFi通訊模塊的正反面;(c),(d)圖傳模塊通訊系統(tǒng)界面與實(shí)物Fig.5 Communication module(a)and(b),front and back of the high-powered WiFi;(c)and(d)System interface and prototype of thecommunication module
采用64M RAM提升系統(tǒng)運(yùn)行緩存空間與系統(tǒng)內(nèi)存空間.由于系統(tǒng)中還存在通訊和控制程序,所以提升了程序存儲(chǔ)空間,采用8M FLASH閃存芯片并使用CH341芯片編程器,將Bootloader引導(dǎo)程序燒入其中,使得上層的Linux系統(tǒng)能方便的調(diào)試、更新.
整個(gè)系統(tǒng)由攝像頭、Linux圖傳模塊、Web服務(wù)器和客戶端(PC或手機(jī)等移動(dòng)設(shè)備)組成,無線模塊除了上述無線視頻采集、傳輸功能外,還負(fù)責(zé)接收控制中心傳出的控制指令,并將控制指令通過串口傳給飛行控制板,同時(shí)也接收飛行控制板發(fā)送的飛行數(shù)據(jù)信息,回傳給控制中心,實(shí)現(xiàn)雙板聯(lián)通與雙核協(xié)同.
控制指令采用數(shù)據(jù)幀包的方式進(jìn)行傳輸,因此建立“一問一答,不問不答”的通訊協(xié)議,即下位機(jī)不主動(dòng)發(fā)送數(shù)據(jù)以減輕板載CPU的負(fù)載,上位機(jī)需要獲取數(shù)據(jù)的時(shí)候,向下位機(jī)發(fā)送指令,下位機(jī)則回傳相應(yīng)的數(shù)據(jù).
通訊格式如下:上位機(jī)讀取數(shù)據(jù)信息$M>[data length][code][data][check sum];上位機(jī)發(fā)送控制 信 息 $M<[data length][code][data][check sum];圖6為指令的具體格式.
圖6 通訊指令格式Fig.6 Format ofcommunication instruction
2.3智能跟蹤系統(tǒng)
2.3.1區(qū)域巡邏系統(tǒng)運(yùn)用地理圍欄技術(shù)將飛行器的巡邏范圍限定在安防區(qū)域內(nèi),對(duì)安防區(qū)域進(jìn)行三維建模,將飛行器的GPS坐標(biāo)信息與模型的相對(duì)位置相匹配,實(shí)時(shí)動(dòng)態(tài)的生成飛行器的巡邏軌跡,多個(gè)飛行器的巡邏軌跡在三維空間上不重疊,且每隔一段時(shí)間重新規(guī)劃一次.
其中,由于傳統(tǒng)GPS定位時(shí)間長、信號(hào)穿透力弱、精度差等缺點(diǎn).參考主流移動(dòng)終端的定位方式,可以結(jié)合GPS、AGPS、WIFI進(jìn)行精準(zhǔn)定位.時(shí)下WIFI的普及,給WIFI定位技術(shù)提供了低成本的運(yùn)行環(huán)境,無需再去投入資金安裝設(shè)備.
2.3.2可疑人員跟蹤系統(tǒng)TLD(Tracking-Learning-Detection)是一種單目標(biāo)長時(shí)間的跟蹤算法,其包含跟蹤、學(xué)習(xí)、檢測這三部分[7],通過不斷的在線學(xué)習(xí)機(jī)制,實(shí)時(shí)對(duì)跟蹤目標(biāo)的特征點(diǎn)進(jìn)行提取,繼而對(duì)目標(biāo)的數(shù)學(xué)模型和相關(guān)參數(shù)在線更新,可以解決由于跟蹤目標(biāo)的形變、轉(zhuǎn)向、遮擋等情況導(dǎo)致的跟蹤失敗問題,相對(duì)于傳統(tǒng)的算法而言,這種結(jié)合跟蹤與檢測的新型算法將跟蹤過程中所涉及的核心問題統(tǒng)一化,使其穩(wěn)定性好,可靠度高[8].
基于安防監(jiān)控系統(tǒng)的使用特點(diǎn),需要對(duì)目標(biāo)進(jìn)行長時(shí)間的監(jiān)控跟蹤,使用單一的跟蹤和檢測算法都無法滿足實(shí)際的需求,于是采用TLD算法對(duì)目標(biāo)進(jìn)行跟蹤,結(jié)合實(shí)際應(yīng)用場景,對(duì)算法所涉及的三大部分進(jìn)行合理安排,詳細(xì)的流程框圖如圖7所示[9].
圖7 TLD流程框圖Fig.7 Flowchart of TLD
視頻可以看作由一幀幀的圖像組成,算法分析每一幀圖像中不斷運(yùn)動(dòng)的目標(biāo),對(duì)目標(biāo)的相對(duì)和絕對(duì)運(yùn)動(dòng)趨勢進(jìn)行估計(jì)、檢測,若是相鄰圖像中的目標(biāo)處于運(yùn)動(dòng)幅度無限狀態(tài),或者目標(biāo)完全被遮擋,處于不可見狀態(tài),都將導(dǎo)致跟蹤無法繼續(xù).假設(shè)視頻幀之間都是獨(dú)立的,根據(jù)之前學(xué)習(xí)所生成的模型,在視頻幀圖像范圍內(nèi)全局搜索,找到相應(yīng)目標(biāo)后,對(duì)此時(shí)的目標(biāo)特征點(diǎn)進(jìn)行更新,并加入到新的學(xué)習(xí)模型中,對(duì)數(shù)據(jù)動(dòng)態(tài)修改,以此不斷的檢測和跟蹤連續(xù)的運(yùn)動(dòng)目標(biāo)[10].在此過程中,檢測跟蹤部分會(huì)產(chǎn)生錯(cuò)誤的情況,學(xué)習(xí)模塊結(jié)合現(xiàn)有模型對(duì)錯(cuò)誤進(jìn)行比對(duì)修正,生成訓(xùn)練樣本,更新到目標(biāo)模型的參數(shù)中,并對(duì)其中的關(guān)鍵特征點(diǎn)刷新,避免再次出現(xiàn)相同的錯(cuò)誤.實(shí)際視頻監(jiān)控效果如圖8所示.從圖8中可看出該算法對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤效果良好,在目標(biāo)車輛不斷改變方位和姿態(tài)的情況下,此算法仍能精確鎖定目標(biāo).
圖8 對(duì)可疑目標(biāo)的跟蹤結(jié)果Fig.8 Tracking results of suspicious objects
上述設(shè)計(jì)的無人機(jī)安防系統(tǒng),通過實(shí)際現(xiàn)場測試,飛行器在懸停時(shí)能控制在直徑為0.35 m的圓形區(qū)域內(nèi),高度浮動(dòng)不超過±0.15 m,精確的懸停動(dòng)作對(duì)于軌跡控制打下了良好的基礎(chǔ).由于采用了循環(huán)時(shí)間為1.2 ms(0.84 kHz)的快速控制方式,使得飛行器4個(gè)電機(jī)反應(yīng)迅速,在抗干擾能力方面有顯著提升.
在TLD算法中,對(duì)總幀數(shù)為2 665的視頻片段而言,正確識(shí)別的幀數(shù)為641,總時(shí)間為315 662 ms,平均時(shí)間為118 ms,由于視頻處理在PC機(jī)上完成,加上傳輸視頻、控制信號(hào)的滯后性,算法的實(shí)時(shí)性不夠高,若是移植到機(jī)載嵌入式平臺(tái)中,會(huì)使效果有很大的提升.
總體來說,該系統(tǒng)在提高安防系統(tǒng)的自動(dòng)化水平和減輕人員勞動(dòng)強(qiáng)度方面有較大的作用,并且該系統(tǒng)成本較低,抗干擾能力強(qiáng),運(yùn)營維護(hù)較為方便,適合大規(guī)模推廣運(yùn)行,對(duì)提高我國的智能安防水平有較大的貢獻(xiàn).
感謝曹鵬彬老師的支持!
[1]RITZ R,MULLER M W,HEHN M,et al.Cooperative quadrocopter ball throwing andcatching[C]//Intelligent Robots&Systems.Vilamoura:IEEE/RSJ Internationalconference,2012:4972-4978.
[2]LUPASHIN S,SCHOLLIG A,HEHN M,et al.The flying machine arena as of 2010[C]//Robotics and Automation.Shanghai:IEEEInternationalConference,2011:2970-2971.
[3]易先軍,周敏,謝亞奇,等.四旋翼飛行器控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].武漢工程大學(xué)學(xué)報(bào),2014,36(11):59-62.
YI X J,ZHOU M,XIE Y Q,et al.Design and implementation of quadrotor aircraft'scontrol system[J]. Journa1 of Wuhan university of techno1ogy,2014,36(11):59-62.
[4]王曉初,盧琛.四旋翼姿態(tài)解算算法的對(duì)比與研究[J].制造業(yè)自動(dòng)化,2015(2):120-122,138.
WANG Xc,LUc.Comparative study on attitude estimation of quadrotor aircraft[J].Manufacturing automation,2015(2):120-122,138.
[5]HEHN M,RITZ R,ANDREA R.Performance benchmarking of quadrotor systems using time-optimalcontrol [J].Autonomous robots,2012,33(1-2):69-88.
[6]應(yīng)時(shí)彥,朱小挺,湯順,等.智能家居無線網(wǎng)絡(luò)通訊協(xié)議[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2011,20(6):117-121,128.
YING S Y,ZHU X T,TANG S,et al.Wirelesscommunication protocol for smart home[J].Computer systems &applications,2011,20(6):117-121,128.
[7]周鑫,錢秋朦,葉永強(qiáng),等.改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J].中國圖象圖形學(xué)報(bào),2013,18(9):1115-1123.
ZHOU X,QIAN Q M,YE Y Q,et al.Improved TLD visual target tracking algorithm[J].Journal of image and graphics,2013,18(9):1115-1123.
[8]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking learningdetection[J].IEEE transactions on pattern analysis&machineintelligence,2011,34(7):1409-1422.
[9]申浩,李書曉,申意萍,等.航拍視頻幀間快速配準(zhǔn)算法[J].航空學(xué)報(bào),2013,34(6):1405-1413.
SHEN H,LI S X,SHEN Y P,et al.Fast interframe registration method in aerial videos[J].Acta aeronautica ET astronautica sinica,2013,34(6):1405-1413.
[10]GRABNER H,MATAS J,GOOL L V,et al.Tracking the invisible:learning where the object might be[C]//computer Vision&Pattern Recognition.San Francisco:IEEEconference,2010:1285-1292.
本文編輯:陳小平
Security System Based oncortex-M4 of Unmanned Aerial Vehicles
ZHAO Jianyu,SONG Jie,GUO Rui,WANG Gaoping
School of Mechanical and Electrical Engineering,Wuhan Institute of Technology,Wuhan 430205,China
A security and protection system using unmanned aerial vehicles(UAV)wasdesigned aiming at the high laborcost and poor promptness in protecting large industrial parks and factories.The UAV is a quadrotor with itscontrol system based oncortex-M4 architecture,and its self-balancing ability was realized bycollectingdata from the inertial sensor and applyingcascade proportion integrationdifferentiationcontrol.The UAVcan perform automatic patrol along planned routes by using a GPSdevice and barometer to obtain information on its location and height.Thecontrolcenter receives videos recorded by the UAV through wireless network and analyzes the videodata using the tracking learningdetection algorithm.Once locking a target,thecenter wouldcommand the UAV remotely to track it.It has been verified through experiments that the UAV has excellent hover performance andcan fly along planned routes,and the tracking algorithm performs well in locking mobile targets andcontrolling the UAV in real time.Results indicate that the highly automated UAV iscompetent for the tasks of patrolling and tracking,andcan economize on manpower.
Cortex-M4;unmanned aerial vehicle;target tracking;security system
V279
A
10.3969/j.issn.1674-2869.2016.02.016
1674-2869(2016)02-0189-06
2015-12-08
武漢工程大學(xué)研究生教育創(chuàng)新基金(CX2014034)
趙建宇,碩士研究生.E-mail:75451429@qq.com
王高平,博士,副教授.E-mail:gpwang28@sina.com