邱鵬瑞

(1. 昆明理工大學(xué) 國(guó)土資源工程學(xué)院， 昆明 650093； 2. 昆明冶金高等專(zhuān)科學(xué)校， 昆明 650033)

0 引言

1 光流算法原理

光流是由于物體表面、邊界和物體本身在被觀察場(chǎng)景中與觀察者之間發(fā)生的相對(duì)運(yùn)動(dòng)而產(chǎn)生的表觀運(yùn)動(dòng)方式。光流理論問(wèn)世于20世紀(jì)80年代，光流中包含了很多的結(jié)構(gòu)和運(yùn)動(dòng)信息，因此很多異常檢測(cè)、避障和運(yùn)動(dòng)物體跟蹤都能用到光流信息。光流是由三維空間中的點(diǎn)A=(X，Y，Z)在攝像機(jī)坐標(biāo)系下的旋轉(zhuǎn)和平移運(yùn)動(dòng)產(chǎn)生[5-6]，如圖1所示。

圖1 計(jì)算光流的投影幾何

其中，O為攝像機(jī)坐標(biāo)原點(diǎn)，f為攝像機(jī)焦距，點(diǎn)A在圖像平面的投影a=(x,y),點(diǎn)A在方程中的時(shí)間導(dǎo)數(shù)，為式(1)。

(1)

(2)

(3)

(4)

計(jì)算光流的技術(shù)主要基于塊匹配法，具體操作是把圖像序列里相鄰的圖像子塊進(jìn)行匹配來(lái)對(duì)運(yùn)動(dòng)進(jìn)行估計(jì)[8-9]。算法將圖像分成若干個(gè)子塊，相同子塊的像素運(yùn)動(dòng)均相同。按照物理學(xué)運(yùn)動(dòng)合成分解的法則，復(fù)雜的運(yùn)動(dòng)可以分解為若干簡(jiǎn)單平移運(yùn)動(dòng)的和。塊匹配法原理就是將運(yùn)動(dòng)的物體視為多個(gè)或者一個(gè)平移運(yùn)動(dòng)剛體，其前提條件是在圖像場(chǎng)景中沒(méi)有大的遮擋物。假定有兩幀圖像，把第一幀圖像分為N*N或者N*M像素的子塊，在(N+2w)*(N+2w)的匹配窗口中把待處理塊同第一幀待處理塊進(jìn)行對(duì)比，按照匹配標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)最佳匹配，確定處理的塊的替代位置。匹配標(biāo)準(zhǔn)采用均方差MSE和平均絕對(duì)值誤差MAE，其定義為式(5)、(6)。

(5)

(6)

式(5)、(6)中，i≥-w，j≤w。I1(m,n)是待處理的塊在第一幀圖像的(m,n)位置，I2(m+i,n+j)是待處理的塊在第二幀圖像的(m+i,n+j)位置。使用全搜索法對(duì)(N+2w)*(N+2w)窗口中的所有圖像計(jì)算最小匹配誤差子塊，對(duì)每個(gè)運(yùn)動(dòng)向量進(jìn)行迭代搜索，次數(shù)為(N+2w)*(N+2w)次。由于采集的視頻圖像具有連續(xù)性，目標(biāo)運(yùn)動(dòng)范圍不會(huì)有大的躍遷，可以設(shè)置搜索范圍、搜索跨度和搜索塊大小。塊匹配方法具有較快的速度，但是精度受搜索環(huán)境影響，在具體應(yīng)用中，為了對(duì)光流進(jìn)行有效計(jì)算，需要滿足采集圖像的亮度相對(duì)恒定的問(wèn)題，物體表觀在實(shí)驗(yàn)場(chǎng)景中照度發(fā)生變化時(shí)會(huì)產(chǎn)生運(yùn)動(dòng)的誤判。事實(shí)上，在物體相對(duì)靜止情況下，光源位置改變也會(huì)使得圖像傳感器檢測(cè)到陰影的運(yùn)動(dòng)。同時(shí)，圖像紋理豐富程度也是光流計(jì)算的重要條件[10-11]。

2 改進(jìn)光流算法設(shè)計(jì)

室內(nèi)飛行和定點(diǎn)懸停是四旋翼無(wú)人機(jī)在GPS信號(hào)缺失的情況下通過(guò)視覺(jué)傳感器完成的重要功能。本文自行搭建基于Pixhawk的四旋翼無(wú)人機(jī)光流硬件系統(tǒng)平臺(tái)，光流傳感器采用PX4FLOW，系統(tǒng)架構(gòu)，如圖2所示。

對(duì)于大國(guó)，老子同樣以強(qiáng)弱的辯證關(guān)系切合自身的危機(jī)意識(shí)，通過(guò)謙遜處下的方式而不是以戰(zhàn)爭(zhēng)兼并天下領(lǐng)土與百姓的形式使小國(guó)歸附。 提供給小國(guó)生存空間，使別國(guó)認(rèn)可并接受自身統(tǒng)治，達(dá)到“王天下”的實(shí)質(zhì)與目的。 在整體的層面上通過(guò)切合統(tǒng)治者危機(jī)意識(shí)，在適當(dāng)與平衡的思維和行為上達(dá)到認(rèn)同與共存，從根本上消除或減弱社會(huì)的現(xiàn)存威脅。 例如：

圖2 系統(tǒng)架構(gòu)

Pixhawk是基于ARM芯片的開(kāi)源自動(dòng)駕駛儀，由改進(jìn)的APM和PX4發(fā)展而來(lái)，能夠運(yùn)用于直升機(jī)、固定翼無(wú)人機(jī)、多旋翼無(wú)人機(jī)、水下航行器等無(wú)人機(jī)，Pixhawk有與之相匹配的開(kāi)源地面站QGroundControl進(jìn)行地面控制。地面站能夠?qū)ο到y(tǒng)固件進(jìn)行升級(jí)、修改，對(duì)控制參數(shù)進(jìn)行設(shè)定，并完成與無(wú)人機(jī)的連接和控制功能[12]。本研究基于Pixhawk研發(fā)的無(wú)人機(jī)在各種環(huán)境進(jìn)行試飛，存在飛行不穩(wěn)定，無(wú)法定點(diǎn)的情況，主要原因是采用塊匹配法進(jìn)行光流定位時(shí)，自然光及周邊環(huán)境對(duì)塊匹配算法的影響較大，特別是在頻閃和弱光條件下導(dǎo)致視覺(jué)數(shù)據(jù)偏離理想值較多，因此對(duì)算法進(jìn)行如下的改進(jìn)。

2.1 中值濾波預(yù)處理

視覺(jué)傳感器在采集數(shù)據(jù)階段不可避免受到周邊環(huán)境噪聲的影響，通過(guò)中值濾波對(duì)采集圖像數(shù)據(jù)進(jìn)行預(yù)處理。具體步驟是把窗口中的像素點(diǎn)按照像素值的大小排序，對(duì)像素集取中間值并將其確定為中心點(diǎn)，然后進(jìn)行濾波。以3*3大小的窗格舉例，將9個(gè)像素的像素值屬性進(jìn)行排序，把確定的中值替換中心處的像素值。同時(shí)為了保障遍歷窗口中所有的點(diǎn)，將圖像的邊緣進(jìn)行擴(kuò)展，即把圖像原來(lái)的N*M擴(kuò)大到(N+2)*(M+2)，擴(kuò)展后的區(qū)域邊緣值和頂點(diǎn)值為原來(lái)圖像的邊緣值和頂點(diǎn)值。中值濾波預(yù)處理的模式是非線性濾波，其把圖像數(shù)據(jù)中一個(gè)像素點(diǎn)的值用該點(diǎn)領(lǐng)域內(nèi)各點(diǎn)的中值代替，使得周?chē)肼曄袼亟咏鎸?shí)值，從而對(duì)孤立噪聲點(diǎn)進(jìn)行濾除。具體流程，如圖3所示。

圖3 中值濾波預(yù)處理流程圖

2.2 相鄰幀比例判定

在無(wú)人機(jī)飛行過(guò)程中遇到的高亮度與低亮度光照交替出現(xiàn)時(shí)，將導(dǎo)致采集圖像數(shù)據(jù)產(chǎn)生較大誤差。本文采用對(duì)相鄰幀進(jìn)行比例系數(shù)的設(shè)定，按照相鄰幀的像素值對(duì)比例系數(shù)更新的方法對(duì)圖像數(shù)據(jù)更新，消解誤差影響。如圖4所示。

210180150180160240170130220

(a) 高亮度幀

(b) 低亮度幀

(c) 漸進(jìn)幀

圖4 比例判定示意圖

以3*3像素圖像為例，其中I，a為判定系數(shù)，I通過(guò)高亮度圖像和低亮度圖像的各像素點(diǎn)值之和確定，a∈(0,1)。

2.3 閾值處理剔除異常點(diǎn)

使用塊匹配進(jìn)行光流計(jì)算效率高且較為簡(jiǎn)單，估算效果在固定環(huán)境中較好，但受到的限制也很明顯，在計(jì)算時(shí)必須先假定Ω領(lǐng)域內(nèi)各個(gè)像素點(diǎn)對(duì)應(yīng)光流恒定不變。如果領(lǐng)域內(nèi)存在不滿足約束方程的點(diǎn)，光流的估算將會(huì)受到很大影響。本文利用Hessian矩陣判斷領(lǐng)域內(nèi)的異常點(diǎn)并進(jìn)行剔除。

對(duì)光流約束方程x，y求偏導(dǎo)得到公式(7)，其中I為像素點(diǎn)t時(shí)刻的亮度，u、v分別為該點(diǎn)的光流x分量和光流y分量，如式(7—9)。

(7)

轉(zhuǎn)化為矩陣公式(8)：

(8)

Hessian矩陣即為公式(9)：

(9)

3 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證改進(jìn)光流算法的具體效果，在無(wú)人機(jī)定點(diǎn)懸停時(shí)采用均方根誤差(Root Mean Square Error，RMSE)進(jìn)行評(píng)價(jià)，即理想狀況下，地面站在無(wú)人機(jī)定點(diǎn)懸停時(shí)獲取光流數(shù)據(jù)與無(wú)人機(jī)運(yùn)動(dòng)一致，但在實(shí)際環(huán)境中會(huì)獲得非一致的數(shù)據(jù)，以Pixel為單位，計(jì)算噪聲得到的均方根誤差越小則定點(diǎn)懸停效果越好。如公式(10)所示。

(10)

在自然光、弱光和頻閃光條件下基于Pixhawk系統(tǒng)架構(gòu)采用未改進(jìn)的源碼進(jìn)行真機(jī)飛行實(shí)驗(yàn)，實(shí)驗(yàn)操作控制四旋翼無(wú)人機(jī)定點(diǎn)懸停，并采集實(shí)驗(yàn)數(shù)據(jù)，采樣5次數(shù)據(jù)進(jìn)行RMSE指標(biāo)計(jì)算。之后將改進(jìn)后的算法源碼編譯后通過(guò)QGroundControl寫(xiě)入固件，并進(jìn)行相應(yīng)條件的懸停實(shí)驗(yàn)和數(shù)據(jù)采集。四旋翼無(wú)人機(jī)飛行實(shí)景，如圖5所示。

通過(guò)實(shí)驗(yàn)數(shù)據(jù)得出的RMSE，如表1所示。

通過(guò)實(shí)驗(yàn)驗(yàn)證，改進(jìn)算法在自然光、弱光和頻閃光條件下能夠?qū)崿F(xiàn)更好的定位懸停效果。

(a) 自然光

(b) 弱光

(c) 頻閃光

圖5 四旋翼無(wú)人機(jī)飛行實(shí)景

4 總結(jié)

本文基于Pixhawk開(kāi)源飛控和PX4FLOW光流傳感器提出一種改進(jìn)的光流算法，首先采用中值濾波預(yù)處理濾除部分光流噪聲，并采用相鄰幀比例判定削減頻閃光對(duì)光流數(shù)據(jù)的影響，然后通過(guò)Hessian矩陣閾值處理剔除異常點(diǎn)，最后將改進(jìn)的光流算法通過(guò)地面站軟件QGroundControl上傳飛控并進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)光流算法在自然光、弱光和頻閃光條件下能夠?qū)崿F(xiàn)更好的定位懸停效果，具有較強(qiáng)的魯棒性。