王 卉，李麗霞，劉慧潔，侯欣明，年佳琪

(沈陽工程學院 a.新能源學院；b.自動化學院，遼寧 沈陽110136)

基于四旋翼飛行器的光流法動態(tài)目標檢測

王 卉a，李麗霞b，劉慧潔b，侯欣明b，年佳琪b

(沈陽工程學院 a.新能源學院；b.自動化學院，遼寧 沈陽110136)

針對四旋翼飛行器避障算法中對于運動的目標檢測完整性不夠，準確性及魯棒性不高的問題，提出了一種基于金字塔Lucas Kanade光流的單目視覺避障算法，提高了光流檢測到的運動目標的完整性和魯棒性。通過引入圖像動態(tài)模型建立光流約束條件，克服了因為亮度改變引起的約束方程不成立問題。實驗結(jié)果表明算法在飛行器低速飛行且遮擋和亮度變化條件下的跟蹤效果良好，并且顯著減少了匹配搜索的時間，節(jié)省了飛行器的飛行時間。

四旋翼飛行器；動態(tài)背景補償；目標檢測；Lucas Kanade光流

四旋翼飛行器具有體積小、輕便、效率高、功能多樣化等優(yōu)點，被廣泛的應用在軍事、農(nóng)業(yè)、勘探、測量、生活等多個研究領域。針對四旋翼飛行器避障算法中運動目標檢測的結(jié)果完整性不夠，魯棒性及準確性不高的問題提出了一種基于金字塔LK光流法避障算法。光流法不但可以得到目標的位置信息，而且可以檢測到被檢測目標的運動方向等信息。通過獲得運動目標的位置、速度、運動軌跡的信息，可以預估計出目標的運動軌跡。再通過計算飛行器的運動速度以及軌跡，估算出能否規(guī)避障礙目標。

1 四旋翼飛行器結(jié)構(gòu)及工作原理

1.1 四旋翼飛行器結(jié)構(gòu)

四旋翼飛行器的動力學模型如圖1所示。

圖1 四旋翼飛行器的動力學模型

四旋翼飛行器以機架為主干，4個旋翼分別固定在勻稱分布的4個懸臂上，各個螺旋槳通過動態(tài)平衡調(diào)整處理，降低飛行器起飛后螺旋槳因高速旋轉(zhuǎn)所導致的震動對主控制板上的姿態(tài)傳感器的影響。四翼飛行器中4個旋翼的同時作用共同產(chǎn)生起飛、降落、懸停、俯仰、橫滾和偏航等各種飛行動作。

1.2 四旋翼飛行器避障工作原理

飛行器安裝的超聲波測距模塊，將捕捉到的距離信息，傳輸給飛行器的控制模塊，通過計算后得出相應的控制量，以保證飛行器能夠合理避開障礙物。

由于超聲波在傳播過程中會產(chǎn)生回波竄繞現(xiàn)象,溫度對超聲波在空氣中傳播速率也有較大的影響,并且超聲波在傳播過程中存在衰減等現(xiàn)象，這些干擾因素導致超聲波在測量運動目標中存在一定的誤差。因此，這里采用一種基于金字塔LK改進的單目視覺避障方法，并列出了數(shù)學推導過程。

2 金字塔LK光流法

基于光流算法的最大優(yōu)點是能夠適用于光流攝像機移動的場合，并且可以很好的處理運動中物體的重疊、互相遮蔽的情況。同時，光流算法不需要提前對圖像進行處理或抽取部分特征，而是直接對圖像本身進行處理，即可以從圖像序列中得到光流。當微小型四旋冀飛行機器人在空中進行飛行動作時，其光流攝像頭獲得的圖像會在整體上體現(xiàn)出相應的運動趨勢，圖像中的每一個像素點都會存在一定的運動規(guī)律。

E(x,y,t)=E(x+Δx,y+Δy,t+Δt)

(1)

當該點的光流亮度發(fā)生變化時，將移動后的像素點的亮度用Taylor級數(shù)展開，可得：

(2)

忽略其二階導數(shù)無窮小，當Δt→0時，有：

(3)

式中,w=(u,v),上式即為基本的光流約束條件方程，其幾何解釋如圖2所示。并且令

(4)

式(4)表示圖像中的像素點灰度沿x，y，t方向上各自的梯度，可將上式改寫成：

Exu+Eyv+Et=0

(5)

因式中有u和v兩個未知量，卻只有一個約束方程，因此僅用一個像素點是不能夠確定光流的。這種不確定性的問題就是常說的孔徑問題，如圖3所示。針對式(5)中u與v的線性關(guān)系，即u-v構(gòu)成了一個二維空間，所以滿足(Ex,Ey)g(u,v)=-Et的點p(u,v)都在該u-v直線上，同時u-v直線還與圖像的梯度(Ex,Ey)相垂直，即可定義灰度輪廓的法向方向分量為vm=sn，其中n與s分別定義為法向分量的方向和模：

圖2 光流約束方程的幾何解釋

圖3 孔徑問題

(6)

運用LK算法的前提是假設在像素點附近的領域內(nèi)圖像的光照亮度為不變，并通過最小二乘法來計算出像素點在附近鄰域內(nèi)的光流方程。結(jié)合附近其它像素提供的光流信息，LK算法可以解決光流方程的不確定性。由于算法只需要像素點附近小范圍的光流信息，因此對于噪聲的影響對其不是特別明顯。LK算法假設圖像的運動很小，以一個像素點為中心，周圍附近的圖像的光照是連續(xù)的。這樣光流方程即在像素點附近的窗口內(nèi)成立。將圖像在x，y方向上的圖像光流運動速度定為(Vx,Vy)，并且必須滿足以下方程組

Ix(q1)Vx+Iy(q1)=-It(q1)

Ix(q2)Vx+Iy(q2)=-It(q2)

?

Ix(qn)Vx+Iy(qn)=-It(qn)

(7)

式中，q1,q2，…,qn是在窗口內(nèi)的像素點；Ix(qi),Iy(qi),It(qi)是圖像中的像點在x,y方向和時間上的偏導數(shù)。方程組可以寫成矩陣的形式，Av=b，其中

(8)

(9)

(10)

LK用最小二乘原理求方程組的解，

ATAv=ATb或者v=(ATA)ATb可以求解出光流方程：

(11)

(12)

(13)

(14)

(15)

從匹配誤差的式子中可以得出，當匹配誤差相對很小的時候，窗口變化的大小對于特征點的追蹤是可行的。假設在這一層上的光流dL和變換矩陣AL已經(jīng)得到計算結(jié)果，將所得結(jié)果傳遞給下一層，計算得出下一層的假設初值：

gL-1=2(gL+GLdL)
GL-1=GLAL

(16)

將式(16)中的{gL-1,GL-1}作為初始值，并且重新循環(huán)上邊的步驟，一直到第一層，計算得出光流和仿射映射矩陣{d,A}。設頂層時的初始值為：

(17)

(18)

根據(jù)以上，計算出空間梯度矩陣：

光流覆蓋v←2v，計算后一幀圖像中對應像素點的灰度J(x)=JL(Ax+v)，并計算出兩幀圖像間相同位置的灰度值之差ΔI(x)=I(x)-J(x)，再推導兩幀圖像間的誤差向量：

(20)

最后針對仿射LK光流并覆蓋跟蹤結(jié)果

(21)

(22)

圖4 分層分解圖像分析

融合光流的避障算法由障礙物判斷和危險區(qū)域判斷兩部分組成。通過計算檢測區(qū)域內(nèi)的融合光流，判斷前方是否有障礙物。然后，根據(jù)金字塔LK光流計算得出的長度平均值與前期采樣的閾值進行對比，來以此判斷飛行器是否已經(jīng)邁入危險區(qū)域，是否需要避障。如果已經(jīng)邁入危險區(qū)域，則輸出一個控制信號，作為PID控制的輸入?yún)?shù)，從而調(diào)整飛行器使飛行器做出相應的規(guī)避動作。

融合光流的基本原理：假設場景中含有運動的物體，將左上部分的真實光流與左下部分的平移光流疊加到同一圖像上，即形成融合光流，如圖5所示。

圖5 光流融合

3 實驗及結(jié)果分析

為驗證光流避障算法的可行性和有效性，在現(xiàn)實場景中對算法進行檢測并對算法的實時性和準確性進行分析。四旋翼飛行器的基本參數(shù)如表1所示。

表1 飛行器的基本參數(shù)

令飛行器按照不同的飛行速度對運動障礙物進行避障判斷，并對其進行多次重復實驗，其避障準確性與四旋翼飛行器的飛行速度之間的關(guān)系如圖6所示。

圖6 避障準確率與飛行速度的關(guān)系

由實驗結(jié)果可知，當飛行器沒有運動時，成功率為0，當隨著飛行器飛行速度的增加，飛行器避障準確性越來越低。

在光線充足的室內(nèi)對飛行器進行測試，測試現(xiàn)場飛行器以0.5 m/s的速度向行動目標飛行。前方無障礙時檢測畫面如圖7中a所示。前方檢測到障礙物，但仍然沒有進入到危險區(qū)，其檢測畫面如圖7中b所示。前方檢測到障礙物并且進入到了危險區(qū)范圍內(nèi)，已經(jīng)需要采取避障動作，其檢測到的畫面如圖7中c所示。前方障礙物已經(jīng)檢測到，并且采取避障動作避障之后的檢測畫面如圖7中d所示。

圖7 避障算法的實現(xiàn)

4 結(jié) 論

四旋翼飛行器的設計方案采用改進金字塔LK光流法進行避障，是針對在四旋翼飛行器運動目標檢測的完整性不夠，魯棒性及準確性不高的問

題，進行的改進。在使用單目低分辨率攝像頭的前提下，四旋翼飛行器能夠快速辨別出障礙物，并在低速飛行時能夠準確做出實時避障動作，實時性較好。所設計的方案為將來四旋翼飛行器的避障發(fā)展提出了簡便實用的解決辦法。

[1]王 鋒,吳 江,周國慶,等.多旋翼飛行器發(fā)展概況研究[J].科技視界,2015(13):5-7.

[2]趙 海,陳星池,王家亮,等.基于四軸飛行器的單目視覺避障算法[J].光學精密工程,2014,22 (8):32-41.

[3]鄭 馳.基于光流法的單目視覺里程計研究[D].杭州:浙江大學,2013.

[4]吳振杰.基于改進光流法的運動目標檢測與跟蹤系統(tǒng)[D].鄭州:鄭州大學,2012.

[5]安 博.動態(tài)背景下運動目標檢測的研究[D].天津:天津理工大學,2008.

[6]萬方靜.基于光流的圖像目標跟蹤方法研究[D].西安:西北工業(yè)大學，2006.

(責任編輯 魏靜敏 校對 張 凱)

Dynamic Target Detection Based on Optical Flow Method of Four-rotor Aircraft

WANG Huia,LI Li-xiab,LIU Hui-jieb,HOU Xin-mingb,NIAN Jia-qib

(a.School of Renewable Energy;b.School of Automation Engineering,Shenyang Institute of Engineering,Shenyang 110136,Liaoning Province)

Against the imperfect and instability for testing moving target in four-rotor aircraft obstacle avoiding algorithm,one kind of obstacle avoiding algorithm was put forward based on pyramid Lucas Kanade optical flow which had improved the optical flow obstacle avoiding detecting moving object into integrity and accuracy.Through referencing image non-stationary model and constructing optical flow constraint,it had overcome the problem that changing brightness led to invalid construction.The experimental results showed that our algorithm worked quite effectively when four-rotor aircraft flying with low speed flight and changing brightness.It also could reduce the matching and searching time significantly,saved the aircraft flight time,and reduced the energy consumption.

Four-rotor aircraft; Dynamic Background Compensation; Object Detection; Lucas Kanade Optical Flow

2016-11-24

沈陽工程學院學生科技創(chuàng)新項目(LG XS-1601)

王 卉(1996-)，女，遼寧沈陽人。

李麗霞(1979-)，女，遼寧燈塔人，副教授，博士研究生。

10.13888/j.cnki.jsie(ns).2017.01.014

TP391.41

A

1673-1603(2017)01-0076-06