谷連軍 孟秀軍

摘 要：直升機(jī)在進(jìn)行架空輸電線路巡視過程中，其光電吊艙受多變的載體姿態(tài)和復(fù)雜的飛行環(huán)境等因素影響，導(dǎo)致所攝取的巡視視頻失穩(wěn)、模糊不清，分辨率嚴(yán)重下降，影響后續(xù)對巡視視頻的應(yīng)用。為實(shí)時輸出穩(wěn)定的巡視視頻，提出了一種直升機(jī)巡視光電吊艙去抖增穩(wěn)算法，該算法在傳統(tǒng)運(yùn)動估計模塊與運(yùn)動補(bǔ)償模塊之外，增加了運(yùn)動判斷模塊。實(shí)驗(yàn)表明，該算法的巡視去抖增穩(wěn)效果明顯，視頻抖動判斷準(zhǔn)確率為91%;抖動量估計的均方根誤差的平均值為0.024像素，穩(wěn)像精度達(dá)到亞像素級;對于標(biāo)清巡視視頻的去抖增穩(wěn)平均單幀處理時間為39 ms（處理幀率為25 f/s），滿足了實(shí)時性要求。

關(guān)鍵詞：直升機(jī)巡視;光電吊艙;視頻去抖增穩(wěn);運(yùn)動估計;運(yùn)動補(bǔ)償;自適應(yīng)

中圖分類號：TP399文獻(xiàn)標(biāo)識碼：A文章編號：2095-1302（2020）06-00-05

0 引 言

隨著電力建設(shè)的迅速發(fā)展，復(fù)雜地形條件下的電網(wǎng)建設(shè)和設(shè)備維護(hù)工作越來越多。隨著投運(yùn)設(shè)備的日益增加，巡檢需求和人力缺員的矛盾日益突出，傳統(tǒng)依靠人力為主的線路運(yùn)維模式已無法滿足當(dāng)前及未來公司追求管理精益化、降本增效的戰(zhàn)略發(fā)展需要。直升機(jī)巡視方式的推廣應(yīng)用提高了巡檢效率，縮短了巡檢周期[1-2]。

直升機(jī)在進(jìn)行架空輸電線路巡視的過程中，其光電吊艙受多變的載體姿態(tài)和復(fù)雜的飛行環(huán)境等因素影響，導(dǎo)致所攝取的巡視視頻失穩(wěn)、模糊不清，分辨率嚴(yán)重下降，影響后續(xù)對巡視視頻的應(yīng)用[3]。因此亟需利用電子穩(wěn)像技術(shù)[4]對所攝取的巡視視頻進(jìn)行穩(wěn)像處理，去除隨機(jī)抖動的干擾，為進(jìn)一步的線路目標(biāo)檢測識別與跟蹤等提供基礎(chǔ)。

運(yùn)動估計[5]和運(yùn)動補(bǔ)償[6]是電子穩(wěn)像的關(guān)鍵，而實(shí)時性和準(zhǔn)確性是決定電子穩(wěn)像技術(shù)能否應(yīng)用于直升機(jī)巡視系統(tǒng)等領(lǐng)域的關(guān)鍵指標(biāo)。在國內(nèi)外諸多算法中，基于特征點(diǎn)提取的運(yùn)動估計方法結(jié)合適當(dāng)?shù)倪\(yùn)動補(bǔ)償方法的電子穩(wěn)像算法具有良好的應(yīng)用。

基于特征點(diǎn)提取的運(yùn)動估計的研究方向是選取適當(dāng)?shù)乃阕?，快速?zhǔn)確的提取和匹配特征點(diǎn)，進(jìn)而提高電子穩(wěn)像的準(zhǔn)確性和實(shí)時性。目前常見的提取特征點(diǎn)的算子有SIFT（Scale Invariant Feature Transfer，尺度不變特征變換）算子[7]、SURF（Speed-Up Robust Feature，加速魯棒特征）算子[8-9]、GFTT（Good Feature to Track，易于跟蹤特征）算子、BRISK（Binary Robust Invariant Scalable Keypoint，二進(jìn)制局部特征）算子[10]、FAST（Features From Accelerated Segment Test，加速段試驗(yàn)特征）算子等。Walhaa采用SIFT算子提取和匹配特征點(diǎn)進(jìn)行運(yùn)動估計，并利用Kalman濾波結(jié)合中值濾波獲取運(yùn)動補(bǔ)償參數(shù)，取得了較好的穩(wěn)像精度，然而所采用的SIFT的描述子維度太高導(dǎo)致耗費(fèi)的時間較長。Matsushita采用GFTT算子提取特征點(diǎn)并通過LK（Lucas & Kanade）光流法[11]匹配進(jìn)行運(yùn)動估計，可以適應(yīng)靜態(tài)背景和動態(tài)背景，然而GFTT算子計算圖像梯度時需要耗費(fèi)較多時間，影響實(shí)時性。程德強(qiáng)等[12]利用SUSAN算子提取特征點(diǎn)，并采用LK光流法實(shí)現(xiàn)抖動視頻序列的運(yùn)動估計，但實(shí)時性仍有待提高。周凱汀等[13]將ORB算法用于多姿態(tài)人臉識別中，通過改進(jìn)ORB算子的采樣模式提高了魯棒性;李小紅等[14]將ORB算法用于快速目標(biāo)檢測中，結(jié)合ORB（Oriented Brief）特征匹配算法使用幀差法獲得運(yùn)動目標(biāo)。初守艷利用ORB算法中具有方向性的FAST算子提取并匹配特征點(diǎn)進(jìn)行運(yùn)動估計，提取的特征點(diǎn)具有旋轉(zhuǎn)不變性，且FAST算子提取特征點(diǎn)速度快、準(zhǔn)確率高，其算法具有較高的穩(wěn)像實(shí)時性和運(yùn)動估計準(zhǔn)確性，可以進(jìn)一步通過改進(jìn)運(yùn)動補(bǔ)償方法得到更好的穩(wěn)像效果。

1 研究思路

為提高算法的實(shí)時性和準(zhǔn)確性，直升機(jī)巡視光電吊艙去抖增穩(wěn)算法在傳統(tǒng)的運(yùn)動估計模塊與運(yùn)動補(bǔ)償模塊之外增加了運(yùn)動判斷模塊。該算法具備自適應(yīng)性，根據(jù)可見光和紅外視頻抖動程度自動采取合適的處理策略及方法，實(shí)現(xiàn)視頻的去抖增穩(wěn)，具體研究思路如圖1所示。對于輸入視頻初始的若干幀，采用基于相位相關(guān)法的運(yùn)動初判，獲取初始運(yùn)動狀態(tài);對于視頻的后續(xù)幀，提取FAST特征點(diǎn)，并通過LK光流法得到特征點(diǎn)的運(yùn)動參數(shù)，進(jìn)而通過建立仿射變換模型得到全局運(yùn)動參數(shù);利用初始運(yùn)動狀態(tài)和全局運(yùn)動矢量矩陣，采用基于主運(yùn)動識別方向的方法進(jìn)行運(yùn)動補(bǔ)償，輸出穩(wěn)定視頻。

2 算法設(shè)計與實(shí)現(xiàn)

2.1 基于相位相關(guān)法的運(yùn)動初判

攝像機(jī)的拍攝狀態(tài)包括靜態(tài)拍攝、運(yùn)動拍攝及靜態(tài)拍攝與運(yùn)動拍攝相互切換三種狀態(tài)。運(yùn)動初判是指利用視頻的初始若干幀，計算攝像機(jī)的二維平移量，并進(jìn)行攝像機(jī)運(yùn)動的初步判斷，得到攝像機(jī)的初始運(yùn)動狀態(tài)，為后續(xù)穩(wěn)像處理提供基礎(chǔ)。

相位相關(guān)法對相鄰兩視頻幀進(jìn)行快速傅里葉變換，將視頻幀從空域變換到頻域，然后通過互功率譜直接計算兩視頻幀間的平移量。

設(shè)f1（x， y）和f2（x， y）分別為兩幀視頻的信號，若f1（x， y）和f2（x， y）簡單平移相關(guān)，（Δx， Δy）為幀間平移量，則有：

相應(yīng)的傅里葉變換為：

歸一化功率譜為：

F*1（w1， w2），F(xiàn)*2（w1， w2）分別為F1（w1， w2）和F2（w1， w2）的共軛，對上式進(jìn)行傅里葉逆變換，在（x， y）空間形成的脈沖函數(shù)δ（x-Δx， y-Δy）脈沖峰值的位置（Δx， Δy）為兩幀之間的平移量。以該平移量（Δx， Δy）近似作為攝像機(jī)的二維平移量（x0， y0）。如圖2所示，根據(jù)二維平移量（x0， y0）進(jìn)行幀間運(yùn)動方向識別，分別對正負(fù)幀間運(yùn)動方向的數(shù)值P0，N0進(jìn)行統(tǒng)計。若進(jìn)行幀間運(yùn)動方向判斷的幀數(shù)達(dá)到預(yù)先設(shè)定的幀數(shù)F0，則進(jìn)行主運(yùn)動方向初始值確定判斷，若正負(fù)幀間運(yùn)動方向的數(shù)值達(dá)到一定閾值T0，則確定主運(yùn)動方向M，若P0與N0之差大于預(yù)先設(shè)定的閾值T1，則存在主運(yùn)動方向M（其值1為正，-1為負(fù)），且為運(yùn)動拍攝;若P0與N0之差小于預(yù)先設(shè)定的閾值T1，則不存在主運(yùn)動方向M（其值設(shè)為0），且判定為靜態(tài)拍攝，當(dāng)前運(yùn)動狀態(tài)即為初始運(yùn)動狀態(tài)。

2.2 運(yùn)動估計

2.2.1 FAST特征點(diǎn)提取

FAST算子提取特征點(diǎn)的原理是若在某一像素點(diǎn)P的鄰域內(nèi)有足夠多的像素點(diǎn)的灰度值大于或小于該點(diǎn)的灰度值，則選擇該點(diǎn)為特征點(diǎn)。

對于圖像上一像素點(diǎn)P，其灰度值為Ip，以P為中心，r為半徑的圓周上，與P存在聯(lián)系的n個像素點(diǎn)，其灰度值為Ik（k=1， 2， ...， n），F(xiàn)AST特征點(diǎn)的角點(diǎn)響應(yīng)函數(shù)CRF（Corner Respond Function）如下：

式中，threshold為給定的小閾值（一般取threshold=10-4），如果CRF=1的個數(shù)大于1個給定的閾值（推薦值為12），則P點(diǎn)為FAST特征點(diǎn)。

2.2.2 基于仿射變換模型的全局運(yùn)動參數(shù)估計

根據(jù)估計出的n個FAST特征點(diǎn)的光流矢量，可以求出兩幀間的仿射變換矩陣，兩幀間的仿射變換如下：

式中，vi（x）和vi（y）分別是點(diǎn)（xi， yi）的x方向和y方向光流值。利用最小二乘法解上述方程，得到的仿射變換矩陣即為全局運(yùn)動參數(shù)，a2，a5分別為水平運(yùn)動矢量和垂直運(yùn)動矢量。主要實(shí)現(xiàn)代碼如下：

estimateGlobMotionLeastSquaresTranslation（

int npoints，Point2f *points0，Point2f *points1，float *rmse）{

Mat_ M = Mat：：eye（3，3，CV_32F）;

for （int i = 0; i < npoints; ++i）{

M（0，2） += points1[i].x - points0[i].x;

M（1，2） += points1[i].y - points0[i].y;

}

M（0，2） /= npoints;

M（1，2） /= npoints;

if （rmse）{

*rmse = 0;

for （int i = 0; i < npoints; ++i）

*rmse += sqr（points1[i].x - points0[i].x - M（0，2）） +sqr（points1[i].y - points0[i].y - M（1，2））;

*rmse = std：：sqrt（*rmse / npoints）;

}

return M;

}

2.3 運(yùn)動補(bǔ)償

基于主運(yùn)動方向識別的運(yùn)動補(bǔ)償流程如圖3所示。

實(shí)現(xiàn)步驟如下所示。

（1）運(yùn)動狀態(tài)初始化，基于相位相關(guān)的運(yùn)動初判，實(shí)現(xiàn)對靜態(tài)拍攝和運(yùn)動拍攝及兩種拍攝狀態(tài)相互切換的識別。

（2）運(yùn)動估計參數(shù)輸入，在進(jìn)行運(yùn)動狀態(tài)初始化后，在電子穩(wěn)像過程中連續(xù)輸入視頻的運(yùn)動估計參數(shù)。

（3）針對每兩幀之間的運(yùn)動矢量進(jìn)行抖動判斷，如果當(dāng)前運(yùn)動狀態(tài)為靜態(tài)拍攝，對當(dāng)前水平方向運(yùn)動矢量、垂直方向運(yùn)動矢量進(jìn)行判定，若大于一定閾值則判定為靜態(tài)抖動，否則判定為非抖動;若當(dāng)前運(yùn)動狀態(tài)為運(yùn)動拍攝，且當(dāng)前水平方向運(yùn)動矢量、垂直方向運(yùn)動矢量與主運(yùn)動方向M不一致，則判定為動態(tài)抖動，若當(dāng)前運(yùn)動量與主運(yùn)動方向一致，則判定為非抖動。

（4）運(yùn)動補(bǔ)償，若判定為靜態(tài)抖動則以當(dāng)前運(yùn)動矢量為補(bǔ)償參數(shù);若判定為動態(tài)抖動，則采用高斯權(quán)值的均值濾波對得到的運(yùn)動矢量進(jìn)行平滑，并利用濾波后的運(yùn)動矢量對當(dāng)前幀進(jìn)行仿射變換，得到穩(wěn)定的視頻。

（5）幀間運(yùn)動方向識別，若連續(xù)F1幀的幀間水平方向運(yùn)動矢量x、垂直方向運(yùn)動矢量y均為正（負(fù)），則對幀間運(yùn)動方向值P1（N1）計數(shù)。

（6）瞬時主運(yùn)動方向識別，若連續(xù)F2幀的幀間運(yùn)動方向均為正（負(fù)），則對瞬時主運(yùn)動方向值P2（N2）進(jìn)行計數(shù)，若P2與N2之差大于預(yù)先設(shè)定的閾值T2，則存在瞬時主運(yùn)動方向M1（其值1為正，-1為負(fù)）;若P2與N2之差小于預(yù)先設(shè)定的閾值T2，則不存在瞬時主運(yùn)動方向M1（其值設(shè)為0）。

（7）主運(yùn)動方向識別，若連續(xù)F3幀的瞬時主運(yùn)動方向都為正（負(fù)），則對瞬時主運(yùn)動方向值P3（N3）進(jìn)行計數(shù)，若P3與N3之差大于預(yù)先設(shè)定的閾值T3，則存在主運(yùn)動方向M（其值1為正，-1為負(fù)）;若P2與N3之差小于預(yù)先設(shè)定的閾值T3，則不存在主運(yùn)動方向M（其值設(shè)為0），識別出靜態(tài)拍攝和運(yùn)動拍攝的相互切換。

（8）運(yùn)動狀態(tài)識別，若能夠識別出主運(yùn)動方向，則判定當(dāng)前運(yùn)動狀態(tài)為運(yùn)動拍攝;若無法識別主運(yùn)動方向，則判定當(dāng)前運(yùn)動狀態(tài)為靜態(tài)拍攝，采用固定幀補(bǔ)償。

3 實(shí)驗(yàn)分析

本算法在Visual Studio 2010平臺基于OpenCV3.0 beta的C++語言開發(fā)算法，實(shí)驗(yàn)平臺為Inter（R） Core（TM） i7-4790CPU @3.60 GHz，RAM 16 GB。采用11個視頻進(jìn)行算法的實(shí)驗(yàn)驗(yàn)證，各視頻縮略圖如圖4所示，編號1～4視頻為仿真視頻，編號5～11視頻為真實(shí)架空輸電線路巡視視頻，其中5～9為可見光視頻，10～11為紅外視頻。

視頻1和視頻2是仿真靜態(tài)拍攝視頻，生成方法是對靜態(tài)圖像加入隨機(jī)抖動量生成多幀圖像，并將多幀圖像合成仿真視頻，視頻的抖動量和方向已知，可用于評價穩(wěn)像精度和統(tǒng)計抖動判斷誤差。

通過計算估計抖動量和真實(shí)抖動量的均方根誤差RMSE（Root Mean Square Error）評價穩(wěn)像精度。RMSE定義如下：

式中：（xi， yi）和（Xi， Yi）分別為視頻第i幀與第i+1幀之間的估計補(bǔ)償量和真實(shí)抖動量;N為視頻總幀數(shù)。

抖動判斷設(shè)置抖動量閾值的絕對值為0.5像素，即估計抖動量的絕對值大于0.5像素時判定為抖動。以視頻1的71～90幀為例，其幀間的真實(shí)抖動量、估計抖動量和抖動判斷結(jié)果見表1所列。

視頻3和視頻4是仿真動態(tài)拍攝視頻，生成方法是對平滑視頻加入具有一定方向性的隨機(jī)抖動量合成仿真視頻，視頻的抖動方向已知，可用于統(tǒng)計抖動判斷誤差。仿真視頻穩(wěn)像處理結(jié)果見表2所列，抖動判斷精度平均值為91%，抖動量估計的均方根誤差的平均值為0.024（像素），表明穩(wěn)像精度達(dá)到亞像素級。

真實(shí)巡視視頻穩(wěn)像處理過程中，為表示穩(wěn)像算法對標(biāo)清視頻的處理時間效率，將視頻分辨率統(tǒng)一轉(zhuǎn)換為720×576，對各視頻處理的時間效率匯總見表3所列，平均每幀處理時間為39 ms，處理幀率為25 f/s，與原視頻幀率相同，因此本電子穩(wěn)像算法可以滿足標(biāo)清可見光視頻和紅外視頻的實(shí)時處理要求。

圖5所示為紅外視頻10的原始視頻幀和穩(wěn)像后視頻幀的對比情況，自左向右、自上而下分別為第35，46，55，62，75，90幀。

將本算法與基于GFTT特征點(diǎn)的電子穩(wěn)像算法（GFTT法）和基于BRISK特征點(diǎn)的電子穩(wěn)像算法（BRISK法）進(jìn)行效果對比（除特征點(diǎn)提取方法不同外，其余計算步驟流程均相同）。見表4所列，對于仿真視頻的實(shí)驗(yàn)表明，三種算法抖動判斷準(zhǔn)確度都達(dá)到90%，同時，在穩(wěn)像精度上本算法與GFTT法和BRISK法相近。如圖6所示，對真實(shí)巡視視頻的平均每幀處理時間進(jìn)行對比，結(jié)果表明本算法與其他兩種算法相比具有較高的時間效率。

4 結(jié) 語

本論文提出了基于運(yùn)動初判、運(yùn)動估計以及運(yùn)動補(bǔ)償?shù)燃夹g(shù)的直升機(jī)巡視光電吊艙去抖增穩(wěn)算法。通過理論證明和實(shí)踐分析，可得出如下結(jié)論。

（1）本文提出的優(yōu)化算法主要采用ORB特征點(diǎn)結(jié)合光流法進(jìn)行運(yùn)動估計，可以達(dá)到亞像素級精度，提高電子穩(wěn)像的準(zhǔn)確性和實(shí)時性。

（2）在算法的應(yīng)用過程中，采用初始運(yùn)動估計參數(shù)進(jìn)行初始運(yùn)動狀態(tài)的判斷，避免采用默認(rèn)初始值的單一性，提高了電子穩(wěn)像運(yùn)動補(bǔ)償?shù)闹悄苄?采用主運(yùn)動方向識別法進(jìn)行包含復(fù)雜運(yùn)動的連續(xù)視頻的幀抖動判斷、運(yùn)動補(bǔ)償參數(shù)確定、運(yùn)動狀態(tài)確定，并能夠識別靜態(tài)拍攝和運(yùn)動拍攝的相互切換，提高電子穩(wěn)像的運(yùn)動補(bǔ)償智能性和實(shí)時性。

參考文獻(xiàn)

[1]于德明，沈建，汪駿，等.直升機(jī)與人工巡視效果對比分析[J].中國電力，2008，41（11）：25-28.

[2]徐云鵬，毛強(qiáng)，李庭堅.輸電線路機(jī)巡與人巡效果對比及協(xié)同巡檢建議[J].南方電網(wǎng)技術(shù)，2016，10（2）：44-47.

[3] YU Jun，WANG Zengfu. Video stabilization based on empirical mode decomposition and several evaluation criterions [J]. Journal of Zhejiang University：engineering science，2014，48（3）：23-429.

[4]吳威，許廷發(fā)，王亞偉，等.高精度全景補(bǔ)償電子穩(wěn)像[J].中國光

學(xué)，2013，6（3）：378-385.

[5]楊冬冬，張曉林，李嘉茂.基于局部與全局優(yōu)化的雙目視覺里程計算法[J].計算機(jī)工程，2018，44（1）：1-8.

[6]張娜，魏海平，于紅緋.一種融合特征點(diǎn)與運(yùn)動補(bǔ)償信息的運(yùn)動目標(biāo)檢測新算法[J].計算機(jī)應(yīng)用與軟件，2017，34（11）：210-216.

[7]成春陽，張靜亞.基于多尺度角點(diǎn)的改進(jìn)SIFT算法[J].計算機(jī)應(yīng)用與軟件，2017，34（7）：166-170.

[8]李英，李靜宇，徐正平.結(jié)合SURF與聚類分析方法實(shí)現(xiàn)運(yùn)動目標(biāo)的快速跟蹤[J].液晶與顯示，2011，26（4）：544-550.

[9]蔣建國，牛杰杰，齊美彬.基于SURF和軌跡濾波的旋轉(zhuǎn)視頻穩(wěn)像算法[J].儀器儀表學(xué)報，2014，35（3）：550-557.

[10] LEUTENEGGER S，CHLI M，SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints [C]//Proceedings of the 2011 IEEE International Conference on Computer Vision（ICCV），2012：1589-1596.

[11]范長軍，文凌艷，毛泉涌，等.結(jié)合單高斯與光流法的無人機(jī)運(yùn)動目標(biāo)檢測[J].計算機(jī)系統(tǒng)應(yīng)用，2019，28（2）：184-189.

[12]程德強(qiáng)，郭政，劉潔，等.一種基于改進(jìn)光流法的電子穩(wěn)像算法

[J].煤炭學(xué)報，2015，40（3）：707-712.

[13]周凱汀，鄭力新.基于改進(jìn)ORB特征的多姿態(tài)人臉識別[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2015，27（2）：287-295.

[14]李小紅，謝成明，賈易臻，等.基于ORB特征的快速目標(biāo)檢測算法[J].電子測量與儀器學(xué)報，2013，27（5）：455-460.