王書民,張愛武,胡少興,孟憲剛,段乙好,孫衛(wèi)東

(1.首都師范大學(xué)三維信息獲取與應(yīng)用教育部重點實驗室,100048,北京; 2.中國地震局地震預(yù)測研究所,100036,北京; 3.北京航空航天大學(xué)機械及自動化學(xué)院,100083,北京; 4.清華大學(xué)電子工程系,100084,北京)

采用光學(xué)成像法的航空穩(wěn)定平臺振動幅度檢測

王書民1,2,張愛武1,胡少興3,孟憲剛1,段乙好1,孫衛(wèi)東4

(1.首都師范大學(xué)三維信息獲取與應(yīng)用教育部重點實驗室,100048,北京; 2.中國地震局地震預(yù)測研究所,100036,北京; 3.北京航空航天大學(xué)機械及自動化學(xué)院,100083,北京; 4.清華大學(xué)電子工程系,100084,北京)

針對專用航空穩(wěn)定平臺振動檢測設(shè)備成本高、難以在高光譜成像系統(tǒng)平臺上集成應(yīng)用等問題,提出了采用光學(xué)成像法的平臺振動檢測方法。將面陣CCD傳感器與線陣高光譜傳感器呈剛性緊密安裝在航空穩(wěn)定平臺上進行影像數(shù)據(jù)的獲取,并對獲取的影像序列進行簡化SIFT特征提取和分層金字塔實施的光流特征跟蹤?？紤]到振動對光譜成像等的影響,將振動分解在沿飛行方向和垂直于飛行方向2個方向上,并根據(jù)幀間相對運動模型解算出相對運動向量,然后由單次簡諧振動造成的幀間特征不匹配,推導(dǎo)振動過程中振幅解算模型,并根據(jù)幀間運動矢量進行振幅的解算。實驗結(jié)果表明,基于光學(xué)成像法進行振動檢測可以達到微米級精度,滿足系統(tǒng)集成應(yīng)用需求,且其成本僅為多普勒振動測量方法的十幾分之一。

光學(xué)成像法;航空穩(wěn)定平臺;振動幅度;檢測;高光譜成像

航空穩(wěn)定平臺振動幅度的檢測結(jié)果可以給機載高光譜影像直接地理定位誤差的定性與定量分析[1]、光譜混疊研究[2-3]等提供重要依據(jù)。常見的平臺振動檢測方法有干涉計量法[4]以及虛擬儀器技術(shù)法[5]等,這些方法雖然測量精度高,但是需要專用的振動檢測設(shè)備,成本高,不易與整個艇載平臺系統(tǒng)進行集成應(yīng)用,因此基于光學(xué)成像進行振動檢測的方法已受到國內(nèi)外學(xué)者的關(guān)注。關(guān)柏青通過分析不同形式運動造成的模糊圖像,進行運動估計和振動測量[6];史紅健等采用高速攝像機獲取振動影像,并對影像進行時空域分析實現(xiàn)振動平臺的測量[7];Li Qian等采用光學(xué)成像的方法先對圖像進行傅里葉變化,并根據(jù)圖像在頻率域相位的變化,進行振動幅度的測量[8]。然而,上述方法均是通過非接觸方式實現(xiàn)傳感器對靜止振動平臺振動幅度的估計,不能完成對在軌運動平臺振動幅度的實時測量。文獻[9-10]采用小面陣CCD傳感器結(jié)合SIFT特征與RANSAC算法,進行了衛(wèi)星在軌顫動檢測的可行性研究,解算出在軌衛(wèi)星平臺振動的幅度,但是SIFT特征檢測與匹配耗時較長,不能進行振動幅度的實時估算與輸出等。針對上述問題,本文采用光學(xué)成像法(Optical Imaging Method,OIM)進行振動幅度估計,如圖1所示,先對序列影像進行簡化SIFT特征提取與光流特征跟蹤,計算幀間相對運動量,然后根據(jù)振幅計算模型進行振幅估算,實現(xiàn)振動幅度的實時計算與輸出,最后將光學(xué)成像法與多普勒測量方法(Doppler Measurements Method,DMM)進行比較。實驗結(jié)果表明,光學(xué)成像法的測量精度可滿足系統(tǒng)要求,為艇載設(shè)備的集成、系統(tǒng)的減振性能設(shè)計以及影像數(shù)據(jù)的處理提供重要參考。

圖1 基于OIM方法的振動幅度計算

1 特征提取與實時跟蹤

1.1 SSIFT特征提取

Lowe提出尺度不變特征匹配(Scale Invariant Feature Transform,SIFT)[11],被廣泛應(yīng)用于圖像特征提取與匹配。然而,SIFT特征提取耗時間長,實時性較差,難以實現(xiàn)特征的實時提取與匹配,因此本文對SIFT特征進行簡化處理[12],在保證其魯棒性的前提下,進一步提高特征提取的效率。

由于SIFT特征提取算法中特征描述子的生成占用整個算法80%以上時間開銷,影像空間極值檢測完畢后,對SIFT特征提取算法做如下簡化:

(1)以極值點中心采用圓形窗體來確定統(tǒng)計的鄰域范圍,窗口采用David Lowe推薦的9σ×9σ(σ為尺度坐標(biāo)),圓形窗口直徑為9σ,在窗體內(nèi)統(tǒng)計12個梯度方向;

(2)為保證光照不變性,將12個方向的梯度進行歸一化,假設(shè)E=(e1,e2,…,e12)是特征點的特征向量,歸一化后得到

(1)

(2)

1.2 光流特征跟蹤與匹配

基于梯度光流的角點跟蹤方法實時性強,而且跟蹤精度較高,如LK(Lucas-Kanade)算法[13]。假定t時刻圖像上點x(x,y)處的灰度值為I(x,y,t),在t+Δt時刻,點x(x,y)運動到新位置(x+Δx,y+Δy),同時假定以x為中心的較小窗口w,在經(jīng)過圖像空間變換后t+Δt時刻x灰度值保持不變,即

I(x,t)=I(δ(x),t+Δt)

(3)

式中:δ(x)表示圖像空間變換。當(dāng)給定影像序列中的相鄰兩幀圖像和某個窗口w后,確定影像空間變換參數(shù)即完成跟蹤。但是,該算法過多地依賴特征窗口w的大小、物體的運動速度及圖像目標(biāo)的紋理等信息,當(dāng)窗口w較小時,對于圖像運動變換較大的情況,其空間變換參數(shù)估計精度有限;當(dāng)窗口過大時,與假設(shè)情況不符。

通過構(gòu)建影像金字塔實現(xiàn)角點梯度光流估計進行特征角點的亞像素跟蹤[14-15],可有效解算上述跟蹤問題。其基本思想是構(gòu)建影像序列的金字塔,原始影像位于金字塔的底層,通過對原始影像進行下采樣操作來產(chǎn)生金字塔中較高層影像,當(dāng)影像分層到一定數(shù)量后,相鄰幀間運動估計量變得足夠小,即滿足光流計算的約束條件。

由于在特征提取與跟蹤的過程中會不可避免地引入錯誤目標(biāo),即跟蹤錯誤,例如運動的汽車等,因此必須進行不穩(wěn)定特征的剔除。經(jīng)典的SIFT的特征匹配采用RANSAC算法進行特征匹配,通常需要進行多次迭代,時間開銷大,計算復(fù)雜度高,難以滿足實時性要求。

本文采用高斯概率模型進行不穩(wěn)定角點剔除。假定當(dāng)前幀和參考幀對應(yīng)角點運動距離為Di(i=1,2,…,n),n為角點特征個數(shù),在理想條件下,所有角點運動距離近似相等,其距離統(tǒng)計分布應(yīng)滿足高斯正態(tài)分布模型。設(shè)角點運動距離均值為μ、方差為σ,按照正態(tài)分布規(guī)律,樣本落在區(qū)間[μ-σ,μ+σ]、[μ-2σ,μ+2σ]及[μ-3σ,μ+3σ]的概率分別是68.3%、95.5%及99.7%。通過設(shè)定信任區(qū)間可以剔除跟蹤的錯誤目標(biāo)和不穩(wěn)定的角點。

1.3SSIFT特征提取與跟蹤算法實施流程與步驟

本文采用簡化SSIFT特征提取與跟蹤,即先進行特征角點提取再進行跟蹤的方法,當(dāng)跟蹤特征數(shù)量小于設(shè)定閾值時,放棄跟蹤,重新提取特征角點。方法的具體步驟如下:

(1)輸入影像,并對影像進行SSIFT特征檢測,依次進行特征極值確定和描述符生成;

(2)采用金字塔分層實施的Lucas-Kanade算法,進行特征跟蹤,其層數(shù)設(shè)定為3,并指定其特征搜索窗口w大小;

(4)統(tǒng)計所有對應(yīng)特征點之間的距離Di,并求其分布均值μ和方差σ;

(5)設(shè)定信任區(qū)間A=[μ-σ,μ+σ],對于不滿足Di∈[μ-σ,μ+σ]的對應(yīng)特征點,直接剔除,否則予以保留,繼續(xù)下一幀特征的跟蹤,跳轉(zhuǎn)步驟(3);

(6)判斷當(dāng)前跟蹤保留的特征點數(shù)量N是否大于設(shè)定閾值,如果是繼續(xù)跟蹤,否則跟蹤結(jié)束,跳轉(zhuǎn)步驟(2)。

2 幀間相對運動與振幅計算

飛艇在飛行過程中受到氣流顛簸、動力系統(tǒng)高頻振動等影響,使得相鄰幀間存在平移、縮放、旋轉(zhuǎn)等運動,構(gòu)建相鄰影像幀間運動模型是幀間相對運動估計的前提條件,本文采用影像剛體變換模型,同時鑒于振動對光譜成像的影響,將振動分解在x與y兩個方向上,即

(4)

式中:(xn,yn)為第n張影像像素坐標(biāo);(xn-1,yn-1)為第n-1張影像像素坐標(biāo);θ為相鄰影像之間的旋轉(zhuǎn)角度;dx、dy為平移量;γ為縮放因子。為方便計算,將式(3)進一步簡化為

(5)

式中:a、b表示旋轉(zhuǎn)參數(shù);c、d表示水平與豎直方向的平移量。

對于相鄰幀間運動參數(shù)實際解算,通常是通過匹配的m(m>3)對SSIFT特征點,構(gòu)建2m個超正定方程,通過最小二乘可以求取運動補償參數(shù)矩陣[abcd]T,即

(6)

綜上,用于振動檢測的影像序列數(shù)據(jù)應(yīng)滿足以下要求:

(1)根據(jù)相機的嚴(yán)格檢校參數(shù)進行影像透視畸變校正,同時保證對象傳感器與目標(biāo)對象的距離大于等于10倍焦距,進一步減少弱透視的影響;

(2)根據(jù)POS位置姿態(tài)信息將所獲得的影響數(shù)據(jù)投影在同一個指定的攝影平面上,或是保持相機傳感器能夠嚴(yán)格地垂直指向地面;

(3)用于振動檢測的序列圖像獲取傳感器的曝光時間Δt愈小愈好,即理想狀態(tài)下limΔt→0,在一個振動周期內(nèi)的某一瞬時時刻點獲取圖像數(shù)據(jù)。

基于上述條件,理論上,某時刻曝光位置C到D所獲取的相鄰影像數(shù)據(jù),根據(jù)其運動方程進行平移、旋轉(zhuǎn)等變換后能夠很好地匹配,但由于振動的存在,會造成同一地物在相鄰兩張影像的對應(yīng)特征不能很好地匹配。由振動造成的特征錯位如圖2所示。

圖2 振動造成的特征錯位

為簡化推導(dǎo),假定平臺一次振動過程為簡諧振動,設(shè)艇載平臺的振動幅度為A,第1次曝光時刻為t0,經(jīng)過時間Δt,第2次曝光時刻為t0+Δt,由平臺振動引起的像點運動為d;當(dāng)t0與t0+Δt介于振動峰值兩側(cè)時,由于特征運動大小不能完全確定,因此采用平均法計算特征運動距離如下

d=(d′+d″)/2=A[sin(2πt0/T)+sin(2π(t0+Δt)/T)]t0/2

(7)

式中:d為特征平均像移量;d′表示t0+Δt時刻的特征像移量;d″表示t0時刻的特征像移量。傳感器曝光位于振幅兩側(cè)時,平臺振動振幅估算如圖3所示,則振動幅度計算如下

A=2d/[sin(2πt0/T)+sin(2π(t0+Δt)/T)]

(8)

圖3 傳感器曝光位于振幅兩側(cè)時平臺振動振幅估算

當(dāng)t0與t0+Δt落在振幅A所處相位的一側(cè)時,特征運動大小計算如下

d=d′+d″=A|[sin(2πt0/T)+sin(2π(t0+Δt)/T)]|

(9)

當(dāng)傳感器曝光位于振幅同側(cè)時,平臺振動振幅的估算如圖4所示,則平臺振動幅度計算如下

A=d/|[sin(2πt0/T)+sin(2π(t0+Δt)/T)]|

(10)

圖4 傳感器曝光位于振幅同側(cè)時平臺振動振幅估算

對于周期振動x(t)是多個簡諧振動的合成,滿足Dirichlet條件,極值個數(shù)有限,則x(t)可展開為傅里葉級數(shù)

(11)

3 實驗與分析

實驗采用基于高空飛艇平臺獲取的影像序列數(shù)據(jù),平臺上主要搭載了線推掃式高光譜成像系統(tǒng)以及用于平臺振動檢測的影像序列獲取傳感器,在進行影像獲取之前進行了傳感器的嚴(yán)格檢校,線陣傳感器與面陣傳感器呈剛性緊密安裝在穩(wěn)定平臺上,傳感器與動力系統(tǒng)安裝示例如圖5所示。實驗采用佳能5d markⅡ作為振動檢測的圖像獲取傳感器,相機焦距為28 mm,獲取的影像序列分辨率為640×480像素,單個像素大小為6.4 μm,獲取速率為25幀/s,通過特征的提取與跟蹤進行特征運動距離的計算。

圖5 傳感器與動力系統(tǒng)安裝圖示

3.1 特征跟蹤與相對運動估算

本文實驗在惠普Hpxw4600臺式計算機上進行,其主要配置為intel酷睿2處理器,主頻3.06 GHz,內(nèi)存4 GB,同時采用VC9.0軟件為平臺結(jié)合OpenCV庫函數(shù)編寫了影像特征跟蹤與振幅解算程序,單幀影像處理平均耗時89.2 ms。

在SSIFT特征提取與跟蹤過程中,由于汽車等運動目標(biāo)光流特征變化明顯,因此也可能作為特征角點進行跟蹤,但是汽車等運動目標(biāo)在相鄰兩幀之間存在運動,造成計算的幀間對應(yīng)特征相對運動距離解算錯誤,必須予以剔除,如圖6所示。

圓點為提取的特征角點;方框中行駛的汽車作為誤匹配點被剔除(a)提取特征角點 (b)剔除運動目標(biāo)

實驗采用100幀影像通過幀間特征的跟蹤匹配和運動模型解算,進行幀間相對運動的估計。同時,將幀間相對運動劃分到沿飛行方向和垂直于飛行方向,即y與x方向,x方向的幀間相對運動解算結(jié)果如圖7所示,y方向的幀間相對運動解算結(jié)果如圖8所示。

圖7 x方向的幀間相對運動量

圖8 y方向的幀間相對運動量

3.2 振動平臺振幅計算

為簡化計算,假設(shè)其第一幀影像的獲取時間t0=0,飛艇動力系統(tǒng)采用4缸發(fā)動機,發(fā)動機每個沖程即每個工作循環(huán)曲軸轉(zhuǎn)動2圈,每個工作循環(huán)各個缸按照固定順序各點火爆炸一次,即每轉(zhuǎn)爆炸2次轉(zhuǎn)動2次。對于轉(zhuǎn)速為6 000r/min的4缸發(fā)動機,其振動頻率為6 000/60×2=200Hz。相鄰兩幀之間的曝光間隔te為1/25=0.04 s,根據(jù)上述假設(shè)與振動幅度計算公式,隨機抽取10個時刻點的影像運動矢量,分別采用OIM方法與DMM方法解算出10組平臺振動幅度數(shù)據(jù),如表1所示。

表1 2種方法的平臺振動幅度測量結(jié)果比較

實驗結(jié)果表明:①基于光學(xué)成像方法進行平臺振動檢測是可行的,將極大減少平臺振動估算的成本,縮短平臺集成測試的周期;②x、y方向上的振動幅度是不同的,其對推掃成像的影響也是不同的;③平臺振動的幅度不是固定的,隨外部環(huán)境而變化;④在復(fù)雜的外部環(huán)境下,航空穩(wěn)定平臺的振動幅度可以達到140μm,因此在后期的影像直接定位處理中,應(yīng)該根據(jù)振動幅度的大小，分別給予定位誤差不同程度的補償;⑤鑒于面陣CCD傳感器與線推掃式高光譜相機呈剛性緊密安裝在穩(wěn)定平臺上,因此振動對面陣CCD相機與線陣高光譜傳感器的影響可視為一致,即可對兩者施加相同頻率與振幅的振動。

4 結(jié)論與展望

本文通過實驗驗證了基于光學(xué)成像方法進行振動檢測的可行性,給出了艇載穩(wěn)定平臺的振動檢測結(jié)果,為線推掃式高光譜成像系統(tǒng)集成、安裝及減振設(shè)計等提供了重要參考。下一步將研究振動頻率的測定,同時將根據(jù)檢測出的平臺振動幅度對光譜成像的影響進行仿真分析,對整個系統(tǒng)在集成安裝過程中的減振設(shè)計提出明確要求;同時根據(jù)平臺振動結(jié)果,對振動造成的影像定位誤差進行補償,將進一步提高線推掃式成像系統(tǒng)直接地理定位精度。

[1] 洪光烈,郭亮.線振動對合成孔徑激光雷達成像的影響分析 [J].光學(xué)學(xué)報,2012,32(4): 262-268.

HONG Guanglie,GUO Liang.Analysis of effects of line vibration on imaging quality of synthetic aperture radar [J].Acta Optica Sinica,2012,32(4): 262-268.

[2] 王曉燕,唐義,唐秋艷,等.衛(wèi)星平臺振動對色散型光譜儀光譜成像質(zhì)量的影響分析 [J].光譜學(xué)與光譜分析,2011,31(12): 3407-3411.

WANG Xiaoyan,TANG Yi,TANG Qiuyan,et al.Analysis of influence of satellite platform vibration on spectral imaging quality of dispersive imaging spectrometer [J].Spectroscopy and Spectral Analysis,2011,31(12): 3407-3411.

[3] TANG Qiuyan,TANG Yi,WANG Xiaoyan,et al.Synthetical imaging simulation of satellite vibration [J].Infrared and Laser Engineering,2012,41(3): 803-810.

[4] 楊翀.光學(xué)干涉計量用于振動測量的算法和實驗研究 [D].合肥: 中國科學(xué)技術(shù)大學(xué),2012.

[5] 劉彬彬.基于虛擬儀器技術(shù)的激光納米振動測量方法研究 [D].哈爾濱: 哈爾濱工程大學(xué),2007.

[6] 關(guān)柏青.基于主動序列模糊圖像的運動估計和振動測量 [D].上海: 上海交通大學(xué),2007.

[7] 史紅健,朱飛鵬,何小元.基于時空域分析影像云紋的低頻振動測量 [J].光學(xué)學(xué)報,2011,31(4): 1-5.

SHI Hongjian,ZHU Feipeng,HE Xiaoyuan.Low frequency vibration measurement based on spatiotemporal analysis of shadow moire [J].Acta Optical Sinica,2011,31(4): 1-5.

[8] LI Qian,WANG Shigang,GUAN Baiqing,et al.A machine vision method for the measurement of vibration amplitude [J].Measurement Science and Technology,2007,18(5): 1477-1486.

[9] 閆利,胡曉斌.衛(wèi)星在軌顫動檢測的可行性研究 [J].測繪通報,2013(7): 19-22.

YAN Li,HU Xiaobin.Feasibility research of on-orbit satellite vibration detection [J].Bulletin of Surveying and Mapping,2013(7): 19-22.

[10]胡曉斌,閆利.衛(wèi)星顫動在軌檢測可行性研究 [J].測繪地理信息,2013,38(4): 18-20.

HU Xiaobin,YAN Li.Research on feasibility of satellite on-orbit flutter [J].Journal of Geomatics,2013,38(4): 18-20.

[11]LOWE D G.Distinctive image features from scale-invariant keypoints [J].The International Journal of Computer Vision,2004,60(2): 91-110.

[12]劉力,彭復(fù)原,趙坤,等.采用簡化SIFT算法實現(xiàn)圖像快速匹配 [J].紅外與激光工程,2008,37(1): 181-184.

LIU Li,PENG Fuyuan,ZHAO Kun,et al.Simplified SIFT algorithm for fast image matching [J].Infrared and Laser Engineering,2008,37(1): 181-184.

[13]LUCAS B D,KANADE T.An interactive image registration technique with an application to stereo vision [C]∥International Joint Conference on Artificial Intelligence.San Francisco,CA,USA: Morgan Kaufmam Publishers Inc.,1981: 674-679.

[14]陳白帆,蔡自興.基于尺度空間理論的Harris角點檢測 [J].中南大學(xué)學(xué)報: 自然科學(xué)版,2005,36(5): 751-754.

CHEN Baifan,CAI Zixing.Harris corner detection based on theory of scale-space [J].Journal of Central South University: Science and Technology,2005,36(5): 751-754.

[15]江志軍,易華蓉.一種基于圖像金字塔光流的特征跟蹤方法 [J].武漢大學(xué)學(xué)報: 信息科學(xué)版,2007,32(8): 680-683.

JIANG Zhijun,YI Huarong.A image pyramid-based feature detection and tracking algorithm [J].Geoscience and Information Science of Wuhan University,2007,32(8): 680-683.

(編輯 劉楊)

VibrationAmplitudeDetectionofAeroStabilizationPlatformAdoptingtheOpticalImagingMethod

WANG Shumin1,2,ZHANG Aiwu2,HU Shaoxing3,MENG Xiangang1,DUAN Yihao1,SUN Weidong4

(1.Key Laboratory of 3D Information Acquisition and Application,Ministry of Education,Capital Normal University,Beijing 100048,China; 2.Institute of Earthquake Science,China Earthquake Administration,Beijing 100036,China;3.College of Mechanical Engineering and Automation,Beijing University of Aeronautics and Astronautics,Beijing100083,China; 4.Department of Electronic Engineering,Tsinghua University,Beijing 100084,China)

A platform vibration detection algorithm for aero stabilization platform is proposed to solve the problem that the special vibration detection device is expensive and is hard to integrate and to apply in hyperspectral imaging systems.The algorithm is based on the optical imaging method,and accesses image data by adopting and installing frame CCD sensor on the airship-borne platform with line push-broom hyperspectral camera tightly.The simplified SIFT (Scale Invariant Feature Transform,SIFT) features are extracted from the image sequence,and pyramidal implementation of the Lucas Kanade feature tracker is employed to track features.The vibration is then decomposed on the fly direction and the direction that is perpendicular to the fly direction by considering effect of the vibration to spectral imaging.Then the relative motion vector between neighbor frames is solved using the image motion model.The unmatched features between the neighbor frames caused by the platform vibration is used to derive the vibration amplitude calculation model,and then the amplitude is calculated from the motion vector.Experimental results show that the vibration amplitude detection based on the optical imaging method reaches micron precision and satisfies the application requirement,while its cost is only one over ten of the cost of Doppler vibration measurement.

optical imaging method; aero stabilization platform; vibration amplitude; detection; hyperspectral imaging

2013-11-07。

王書民(1985—),男,博士,助理研究員;張愛武(通信作者),女,教授,博士生導(dǎo)師。

國家科技支撐計劃資助項目(2012BAH31B01);國家自然科學(xué)基金資助項目(41071255);北京市自然科學(xué)基金重點資助項目(KZ201310028035)。

時間:2014-04-30

10.7652/xjtuxb201406005

TP732

:A

:0253-987X(2014)06-0025-06

網(wǎng)絡(luò)出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20140430.1754.001.html