曾瑞林, 王 冠, 王瀟宇, 閻小濤，陳海寶

(1.上海交通大學(xué)，上海 200240；2.北京宇航系統(tǒng)工程研究所，北京 100076)

0 引言

計(jì)算機(jī)視覺技術(shù)的發(fā)展推動了工業(yè)系統(tǒng)的進(jìn)步，與計(jì)算機(jī)視覺相關(guān)的研究現(xiàn)已滲透到生活和生產(chǎn)的諸多方面。計(jì)算機(jī)視覺在圖像和視頻的分類、識別、增強(qiáng)、移動目標(biāo)識別等各個領(lǐng)域做出了突出貢獻(xiàn)，降低了圖像視頻的人工處理成本，提高了相關(guān)工作效率和穩(wěn)定性。

運(yùn)載火箭在發(fā)射升空過程中，作為運(yùn)載火箭發(fā)動機(jī)的重要部件，噴管噴射出液體燃料燃燒產(chǎn)生的高壓氣體推動著火箭的運(yùn)動。運(yùn)載火箭可以通過各級發(fā)動機(jī)上的噴管不同方向的擺動來調(diào)整箭體的不同飛行狀態(tài)[1]。發(fā)動機(jī)極性試驗(yàn)是指火箭在發(fā)射前的地面試車階段，模擬火箭升空時各級發(fā)動機(jī)的運(yùn)動順序進(jìn)行伺服機(jī)構(gòu)通電測試，觀察噴管的擺動方向，以預(yù)演的方式保證火箭在發(fā)射升空時的噴管操縱過程的正確性。發(fā)動機(jī)極性測試的表現(xiàn)與火箭發(fā)射成敗具有緊密的聯(lián)系。

傳統(tǒng)上，火箭發(fā)射前地面試驗(yàn)的極性試驗(yàn)主要依靠人工目視法進(jìn)行現(xiàn)場判讀。受制于火箭噴管的位置與運(yùn)動情況，極性測試的人工觀察現(xiàn)場開展有著很大困難，導(dǎo)致測試的準(zhǔn)確與置信度不理想。針對人工觀察的不足和問題，有學(xué)者設(shè)計(jì)出極性測試自動化系統(tǒng)，使用計(jì)算機(jī)視覺自動化方法替代人工進(jìn)行極性測試。

一些學(xué)者陸續(xù)為火箭噴管檢測的運(yùn)動測量與建模提出了有效的方法，2010年，張靈飛等[2]通過設(shè)置指定位置噴管紅外反光球的特征位置捕獲的方式實(shí)現(xiàn)噴管運(yùn)動狀態(tài)的判定。2012年，鮑文磊等[3]設(shè)計(jì)了基于模板匹配方法和圓擬合算法的模式，以基于單一攝像頭設(shè)置的方法估算噴管的擺動狀況。Guo等[4-5]、Bo等[6]提出了一種通過三角視差法切分標(biāo)注特征點(diǎn)坐標(biāo)的立體視覺的火箭噴管運(yùn)動參數(shù)視點(diǎn)測量方法，顯著提高了噴管運(yùn)動參數(shù)和擺動量的測量精度。2019年，Cui等[7]在研究中建立了一個具有離散特征點(diǎn)約束的噴管姿態(tài)間接調(diào)解模型以提升噴管狀態(tài)檢測的精準(zhǔn)度。2021年，方藝偉等[8]提出了一種使用小型無線攝像頭進(jìn)行噴管極性測試的方法并設(shè)計(jì)了一種軟硬件協(xié)同測試機(jī)制，該研究擺脫了傳統(tǒng)噴管運(yùn)動測試依賴大型高精密儀器制約的問題，使得火箭噴管極性測試能夠在火箭發(fā)射現(xiàn)場展開。

光流法為二維空間或三維空間物體的抽象運(yùn)動向量場情況建模與描述，在計(jì)算機(jī)實(shí)際方面以圖像像素網(wǎng)格建立光流運(yùn)動向量場來進(jìn)行運(yùn)動估計(jì)。深度光流法指的是采用深度學(xué)習(xí)實(shí)現(xiàn)的光流估計(jì)算法。2015年，德國Dosovitskiy等[9]首次提出將卷積神經(jīng)網(wǎng)絡(luò)引入到光流估計(jì)領(lǐng)域，提出了FlowNet網(wǎng)絡(luò)結(jié)構(gòu)。該團(tuán)隊(duì)在2017年提出了FlowNet2.0[10]，通過新數(shù)據(jù)集合成及訓(xùn)練方法改進(jìn)、多網(wǎng)絡(luò)堆疊、小位移網(wǎng)絡(luò)設(shè)計(jì)等策略，顯著提升了光流估計(jì)的性能。為了更好地應(yīng)對光流估計(jì)中的小位移和大位移問題，2017年，Ranjan等[11]提出SpyNet，利用傳統(tǒng)算法中的金字塔理念對光流網(wǎng)絡(luò)進(jìn)行改變。Hui等[12]于2018年提出LiteFlowNet，通過引入級聯(lián)預(yù)測光流和特征正則的思想，進(jìn)一步提升了光流的性能。2020年Teed等[13]發(fā)表遞歸全對場變換(Recurrent All-pairs Field Transforms, RAFT)光流的研究成果，在模型規(guī)模和精度、速度方面都達(dá)到良好的表現(xiàn)。本文在RAFT光流法的基礎(chǔ)上進(jìn)行改進(jìn)，并在極性檢測場景中取代了傳統(tǒng)Farneback稠密光流法，獲得了更優(yōu)的效果。

1 極性自動化檢測流程描述

1.1 極性自動化檢測系統(tǒng)的數(shù)據(jù)傳輸鏈路

目前應(yīng)用于某型號長征系列火箭發(fā)動機(jī)極性自動檢測系統(tǒng)是軟硬件進(jìn)行協(xié)同工作的整體系統(tǒng)。從數(shù)據(jù)傳輸?shù)慕嵌确治觯撓到y(tǒng)的工作流程大致可以分為前端攝像頭視頻采集、網(wǎng)絡(luò)視頻傳輸、極性判別與客戶端結(jié)果可視化等4個部分。其中前端(發(fā)射現(xiàn)場)無線網(wǎng)絡(luò)攝像頭負(fù)責(zé)采集實(shí)時視頻信息，使用光纖通路視頻流信號傳輸至后端控制大廳；后端(遠(yuǎn)程值守人員監(jiān)視的計(jì)算機(jī)系統(tǒng))服務(wù)器實(shí)時進(jìn)行圖像獲取與運(yùn)算、分析并將結(jié)果通過PC機(jī)上安裝的客戶端程序進(jìn)行判別結(jié)果可視化顯示[8]。極性自動化系統(tǒng)在前后端的數(shù)據(jù)傳輸鏈路如圖1所示。

圖1 極性自動化系統(tǒng)數(shù)據(jù)傳輸流程

1.2 極性自動化檢測算法概述

在極性自動化檢測算法運(yùn)行的過程中，服務(wù)器配置的軟件能夠利用稠密光流法實(shí)現(xiàn)相鄰幀的圖像數(shù)據(jù)像素點(diǎn)差異和像素點(diǎn)的瞬時運(yùn)動量計(jì)算，并結(jié)合根據(jù)噴管的識別框位置坐標(biāo)定性構(gòu)建出噴管運(yùn)動量情況。噴管的識別框位置可以手動標(biāo)定，也可以使用YOLO系列目標(biāo)識別算法進(jìn)行自動標(biāo)定。發(fā)動機(jī)的噴管識別框定位結(jié)果如圖2所示。

圖2 噴管識別框定位標(biāo)注

噴管識別框位置以及運(yùn)算所得到的稠密光流場通過以式(1)計(jì)算得到噴管相對運(yùn)動量

(1)

式中，di,j,t表示圖像中坐標(biāo)位置為i,j的光流場像素點(diǎn)在t時刻所對應(yīng)的二維運(yùn)動量；Dk,t表示第k個噴管在t時刻的二維運(yùn)動量。Bound(k)表示第k個噴管的選框所包含的二維像素點(diǎn)位置集合。

在二維運(yùn)動量Dk,t的基礎(chǔ)上，算法根據(jù)不同級發(fā)動機(jī)噴管的運(yùn)動幅度，設(shè)定相關(guān)閾值Tk進(jìn)行發(fā)動機(jī)各個噴管動作的篩分，實(shí)現(xiàn)非噴管干擾運(yùn)動的過濾[8]。

1.3 極性自動化檢測系統(tǒng)改進(jìn)設(shè)計(jì)概述

本文在已有極性自動化檢測系統(tǒng)的基礎(chǔ)上，對極性測試算法以及軟件進(jìn)行了改進(jìn)研究，實(shí)現(xiàn)了極性自動化檢測進(jìn)一步的優(yōu)化。

針對極性自動化檢測算法中發(fā)動機(jī)噴管運(yùn)動檢測這一重要環(huán)節(jié)，使用傳統(tǒng)光流法檢測存在誤差大、不確定因素多等問題，本文運(yùn)用深度光流算法實(shí)現(xiàn)運(yùn)動測試精度的提升，減少了對極性動作的誤判；針對已有極性自動化檢測算法系統(tǒng)無法對噴管擺角進(jìn)行測量的問題，本文提出了一種噴管擺角測量算法；針對已有極性自動化檢測算法的系統(tǒng)資源占用高的情況，本文在軟件層面提出了一種優(yōu)化控制算法，完成硬件資源的分配優(yōu)化。軟件運(yùn)行流程如圖3所示。

圖3 極性自動化判別軟件運(yùn)行流程

2 深度光流法改良設(shè)計(jì)

2.1 RAFT深度光流法簡介

作為深度學(xué)習(xí)光流估計(jì)法的代表，RAFT光流法在性能效果、參數(shù)量、運(yùn)算速度等方面較之前的研究成果都有較大的提升。RAFT光流法的出現(xiàn)促進(jìn)了深度光流運(yùn)動估計(jì)在各個領(lǐng)域的落地應(yīng)用。RAFT光流法借助人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)光流估計(jì)，結(jié)構(gòu)如圖4所示，包含以下3個主要部分：

圖4 RAFT光流法數(shù)據(jù)流示意

1)特征提取編碼器：特征提取編碼器包括圖像編碼器和紋理提取編碼器，能實(shí)現(xiàn)以卷積的方式降低圖像分辨率，擴(kuò)充圖像通道維度，完成每個像素區(qū)域的特征向量信息提取。

2)通道特征圖相似性模塊：該模塊對維度為H×W×C的特征圖進(jìn)行逐像素點(diǎn)通道內(nèi)積計(jì)算，得到包含像素點(diǎn)運(yùn)動信息的四維張量H×H×W×W作為特征點(diǎn)相似度知識。

3)GRU迭代更新模塊：該模塊為結(jié)合卷積網(wǎng)絡(luò)的門控循環(huán)單元(GRU)，能夠?qū)饬饔?jì)算結(jié)果進(jìn)行迭代更新。

用于極性自動化測試的RAFT光流法雖然能夠?qū)崿F(xiàn)更加精細(xì)的噴管運(yùn)動結(jié)果檢測，但由于算法存在運(yùn)行時間消耗過大的問題，直接將其用于極性自動化測試會出現(xiàn)判讀時間延遲的現(xiàn)象，無法滿足實(shí)時性要求。本文在RAFT光流法基礎(chǔ)上進(jìn)行改進(jìn)研究，通過RAFT網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)的修改使之進(jìn)一步滿足極性測試中光流運(yùn)動估計(jì)的具體要求，實(shí)現(xiàn)光流測試系統(tǒng)精準(zhǔn)度與性能的進(jìn)一步提升?？紤]到RAFT光流法在圖像輸入編碼時間方面的損耗存在一定的優(yōu)化空間，為實(shí)現(xiàn)整體運(yùn)行速度的提升，本章對輸入編碼層進(jìn)行改良設(shè)計(jì)，在保證精度的情況下減小輸入圖像編碼時間；為使得RAFT光流法在迭代過程實(shí)現(xiàn)更快的收斂，本文在迭代模塊中使用正則化模塊優(yōu)化光流網(wǎng)絡(luò)的知識提取能力，實(shí)現(xiàn)了網(wǎng)絡(luò)精度的提升。

2.2 輸入編碼層設(shè)計(jì)

深度光流網(wǎng)絡(luò)通過輸入編碼層進(jìn)行原始圖像特征提取以及編碼工作，后續(xù)的網(wǎng)絡(luò)光流推導(dǎo)將基于編碼得到的信息進(jìn)行整合處理。輸入編碼層在整體光流推理時間中占據(jù)一部分比重，為實(shí)現(xiàn)更快速的光流網(wǎng)絡(luò)設(shè)計(jì)，以及極性測試噴管運(yùn)動檢測的幀率提升，本節(jié)對輸入編碼層進(jìn)行了改良設(shè)計(jì)，實(shí)現(xiàn)了輸入圖像編碼時間的減小。

目前，以RAFT網(wǎng)絡(luò)為代表的深度光流網(wǎng)絡(luò)的輸入為8位三通道RGB圖像與視頻，但在實(shí)際條件下，極性測試受制于多路攝像頭實(shí)時視頻流并發(fā)傳輸?shù)木W(wǎng)絡(luò)壓力，一般采用單通道灰度視頻流作為判別基準(zhǔn)。考慮到單通道灰度視頻流較多通道彩色圖像所包含的信息量有所損失，因此本文基于圖像梯度向量法對圖像維度進(jìn)行擴(kuò)充與強(qiáng)化，對原始數(shù)據(jù)所包含的信息進(jìn)行擴(kuò)充。輸入圖片預(yù)處理過程如圖5所示。

圖5 輸入圖片處理

本文采用Sobel算子導(dǎo)數(shù)濾波核進(jìn)行圖像的梯度二維向量構(gòu)建，該濾波核可分為x,y方向卷積因子

(2)

(3)

(4)

光流法的計(jì)算結(jié)果依賴于原始輸入圖像的邊緣和位置信息，而圖像梯度向量能夠?qū)Υ祟愋畔⑦M(jìn)行更為有效的表示與描述，采用圖像輸入強(qiáng)化方法的輸入預(yù)處理方式能夠提升光流網(wǎng)絡(luò)對輸入信息量的獲取能力。

為實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)算速度的提升與網(wǎng)絡(luò)規(guī)模壓縮的目的，本文引入了循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積層結(jié)合的ConvRNN網(wǎng)絡(luò)，其結(jié)構(gòu)如圖6所示。該網(wǎng)絡(luò)可替代ResNet網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)相類似的網(wǎng)絡(luò)復(fù)用與記憶功能，具有更好的實(shí)際表現(xiàn)，能夠進(jìn)一步實(shí)現(xiàn)圖像編碼器的輕量化與運(yùn)算快速化。改進(jìn)前后的編碼器編碼時間與參數(shù)對比如表1所示。

圖6 編碼器結(jié)構(gòu)比較

表1 編碼器速度與規(guī)模對比

2.3 循環(huán)迭代層設(shè)計(jì)

本節(jié)采用運(yùn)動檢測中表現(xiàn)較好的RAFT算法用于極性測試噴管運(yùn)動檢測。為提升極性測試噴管運(yùn)動檢測結(jié)果的速度與精度，本文對RAFT算法中的循環(huán)迭代模塊進(jìn)行進(jìn)一步的修改。本節(jié)介紹了一種在循環(huán)迭代層增加正則化單元以提升RAFT算法表現(xiàn)的策略。

循環(huán)迭代層被用于對光流法進(jìn)行精細(xì)度提升工作。光流運(yùn)算中間結(jié)果經(jīng)過GRU迭代模塊進(jìn)行運(yùn)算。GRU模塊的記憶功能使得迭代網(wǎng)絡(luò)能夠?qū)崿F(xiàn)復(fù)用，減小了網(wǎng)絡(luò)模塊的冗余。同時，基于上一階段的運(yùn)算光流記憶值，GRU模塊能夠使得光流計(jì)算結(jié)果在迭代過程中保持收斂，保證網(wǎng)絡(luò)在下一輪迭代中得到更加精細(xì)的光流計(jì)算結(jié)果。光流迭代模塊結(jié)構(gòu)如圖7所示。

圖7 光流迭代模塊結(jié)構(gòu)

網(wǎng)絡(luò)需要通過多次迭代運(yùn)算構(gòu)建高精度的光流場。當(dāng)?shù)_(dá)到一定次數(shù)時，收斂速度明顯趨緩。本文創(chuàng)新地引入了正則化單元用于處理循環(huán)迭代運(yùn)算之后的光流結(jié)果，加快收斂速度。正則化單元可以根據(jù)輸入的原始幀信息與當(dāng)前得到的光流場信息進(jìn)行比對，緩解光流運(yùn)算結(jié)果中出現(xiàn)的噪聲、邊緣模糊等問題[12]，提升光流分析在迭代輪次中的收斂速度，使系統(tǒng)可以在更小的迭代收斂時間內(nèi)完成高精度光流場的計(jì)算。正則化單元如圖8所示。

圖8 正則化單元結(jié)構(gòu)

3 實(shí)時噴管擺角測定算法

3.1 噴管擺角測定方法簡介

在理想實(shí)驗(yàn)室條件下，可以使用傳感器、高速攝像機(jī)等設(shè)備，結(jié)合噴管所在位置的實(shí)際狀況，使用幾何方法對噴管運(yùn)動的擺角進(jìn)行精確建模分析。在發(fā)射現(xiàn)場極性測試的環(huán)境下，由于使用的是網(wǎng)絡(luò)攝像頭對實(shí)際位置的噴管進(jìn)行拍攝，無法使用各類先進(jìn)的傳感器設(shè)備進(jìn)行噴管的擺角測定?？紤]到噴管的拍攝場景相對固定，且舵控制電壓可以指示實(shí)時的噴管擺角情況，因此考慮基于之前測試視頻信息，根據(jù)電壓情況對特定幀的噴管運(yùn)動情況進(jìn)行標(biāo)定與反推，構(gòu)建出噴管運(yùn)動擺角數(shù)據(jù)集，實(shí)現(xiàn)實(shí)時噴管擺角的測量工作。

3.2 擺角數(shù)據(jù)集的標(biāo)定

對于某型號火箭某發(fā)次的伺服機(jī)構(gòu)舵電壓與噴管實(shí)際擺角成正相關(guān)的關(guān)系，可通過人工專家經(jīng)驗(yàn)方式，參考舵電壓實(shí)時情況，標(biāo)定視頻流中每個噴管的擺角情況隨時間的變化情況。噴管擺角標(biāo)記方式如圖9所示。

圖9 噴管擺角標(biāo)記方式

3.3 實(shí)時擺角測定算法

本文采用噴管判別區(qū)域內(nèi)的逐個像素累積光流運(yùn)動量作為判據(jù)，構(gòu)建噴管狀態(tài)描述向量，通過主成分分析(Principal Component Analysis，PCA)的方式保留重要的狀態(tài)分量，使用根據(jù)壓縮之后的噴管狀態(tài)描述向量構(gòu)建狀態(tài)空間，根據(jù)實(shí)時視頻流狀態(tài)空間信息特征，結(jié)合對應(yīng)像素累積光流運(yùn)動量使用K最鄰近(K-Nearest Neighbor, KNN)法判定實(shí)時噴管擺角。實(shí)時噴管擺角測定算法流程如圖10所示。

圖10 實(shí)時噴管擺角測定算法流程

在噴管擺角測定算法中，累積光流運(yùn)動量反映了噴管運(yùn)動與原始位置的累積偏差，為實(shí)時噴管擺角的直接判據(jù)；PCA方法主要用于對原始數(shù)據(jù)進(jìn)行降維，保留重要特征，實(shí)現(xiàn)降低后續(xù)聚類運(yùn)算的復(fù)雜度，加速噴管擺角的實(shí)時計(jì)算目的。

表2 算法1 實(shí)時擺角測定算法

上述算法中的Regulate函數(shù)可以實(shí)現(xiàn)噴管識別框大小的統(tǒng)一，實(shí)現(xiàn)噴管狀態(tài)描述向量的歸一化以便于開展后續(xù)的計(jì)算；Flatten函數(shù)用于將原始識別框窗口尺寸進(jìn)行拉平成一維向量。根據(jù)一維向量在空間中的聚類特性可以判定出擺角的實(shí)時偏移情況，達(dá)到輔助測試人員進(jìn)一步分析判定噴管擺角情況的作用。

4 極性自動化測試軟件改良設(shè)計(jì)

4.1 實(shí)時攝像頭監(jiān)視算法改良

原極性自動化測試基于多路攝像頭并行光流幀判別的模式進(jìn)行實(shí)時監(jiān)控。該方法能保證視頻流被實(shí)時捕獲，并且映射出實(shí)時噴管運(yùn)動情況。對于不在極性流程中的攝像頭，原極性自動化測試軟件也對其進(jìn)行實(shí)時監(jiān)視，造成了一定運(yùn)算資源的浪費(fèi)。針對該問題，本文探究一種低計(jì)算資源消耗的極性監(jiān)測系統(tǒng)改良方法，使得極性檢測系統(tǒng)能夠避免在非檢測流程的噴管上進(jìn)行過度非必要的運(yùn)算導(dǎo)致計(jì)算資源的浪費(fèi)，從而使得軟件計(jì)算資源的分配更加合理。改良的極性監(jiān)測系統(tǒng)如圖11所示。

圖11 改良的極性監(jiān)測系統(tǒng)

本文在原極性檢測軟件的基礎(chǔ)上，對未進(jìn)入判別流程的攝像頭所傳輸?shù)囊曨l流使用了一種視頻活躍度檢測算法代替光流運(yùn)動檢測算法以進(jìn)行實(shí)時運(yùn)動狀態(tài)監(jiān)視。當(dāng)極性測試所對應(yīng)的視頻流狀態(tài)達(dá)到觸發(fā)條件，軟件即切入視頻流實(shí)時判別流程。該方法結(jié)合了幀差法[14]和直方圖方法，通過構(gòu)造視頻幀差直方圖[15]，實(shí)現(xiàn)對視頻流中的發(fā)動機(jī)噴管是否有運(yùn)動進(jìn)行初步有效篩分。

實(shí)時攝像頭監(jiān)視算法的改良需要依賴軟件架構(gòu)做出如下調(diào)整：

1)對原系統(tǒng)架構(gòu)中的視頻流算法運(yùn)動識別層進(jìn)行拆解，加入閾值預(yù)判別邏輯；

2)在光流判別層之前加入視頻流運(yùn)動篩選層，該層同其他功能模塊一樣使用類進(jìn)行封裝設(shè)計(jì)。

4.2 視頻流運(yùn)動篩選算法

對于暫時不參與噴管極性判別流程的攝像頭，本文采用幀差直方圖對比的方式作為攝像頭中的噴管運(yùn)動狀態(tài)檢測與評估的依據(jù)。當(dāng)幀差直方圖的分布滿足一定條件之后，即認(rèn)定攝像頭對應(yīng)級數(shù)的噴管開始運(yùn)動，軟件將相應(yīng)攝像頭接入，開啟針對新一級發(fā)動機(jī)的極性判別流程。

幀差直方圖如圖12所示，可以對連續(xù)兩幀視頻幀的幀差結(jié)果作統(tǒng)計(jì)學(xué)分析。由圖可以看出，在兩幀差異度較高的情況下，幀差圖中的像素差異值高的點(diǎn)數(shù)量會相應(yīng)地增多。與此同時，幀差直方圖中反映的高像素差異點(diǎn)的占比數(shù)量會增加。反之則會遞減。據(jù)此可以基于幀差直方圖設(shè)定一系列閾值，在高像素差異閾值的像素差異點(diǎn)占比大于某個值的情況下認(rèn)定攝像頭所攝制的發(fā)動機(jī)噴管發(fā)生了明顯的運(yùn)動，進(jìn)入新一級的發(fā)動機(jī)判別流程。

圖12 幀差直方圖

視頻流運(yùn)動篩選算法的運(yùn)行流程如下：

表3 算法2 視頻流運(yùn)動篩選算法

視頻流運(yùn)動篩選算法首先通過兩幀連續(xù)圖像幀差的絕對值作為輸入幀差圖像，之后根據(jù)幀差的情況逐像素構(gòu)建維度為256的幀差直方圖。幀差直方圖反映了對應(yīng)像素差異點(diǎn)占總差異點(diǎn)的比重。當(dāng)幀差直方圖大于預(yù)設(shè)定閾值的像素點(diǎn)占總像素數(shù)目的比例高于5%時，即可認(rèn)定為攝像頭捕獲的視頻流的噴管處在運(yùn)動狀態(tài)，進(jìn)入光流判別流程；反之則認(rèn)定攝像頭捕獲到的視頻流中的噴管為靜止，繼續(xù)使用幀差直方圖算法進(jìn)行視頻流運(yùn)動篩選。

與對所有原始輸入視頻流直接采用光流法進(jìn)行閾值判別的模式相比，本方法限制了算法作用于對存在運(yùn)動情況的視頻流中進(jìn)行的光流判讀，降低了多線程光流運(yùn)算所造成的運(yùn)算資源冗余，減少了服務(wù)器的負(fù)載。

5 火箭噴管自動化識別實(shí)驗(yàn)結(jié)果

5.1 噴管極性識別結(jié)果

基于某型號長征系列火箭的地面極性測試視頻和數(shù)據(jù)，通過上述改進(jìn)系統(tǒng)分析得到噴管極性自動識別結(jié)果。以第一級發(fā)動機(jī)的4個噴管為例，極性識別結(jié)果如表4所示。

表4 一級發(fā)動機(jī)測試結(jié)果

如表4所示，在動作識別方面，極性自動化識別系統(tǒng)對一級發(fā)動機(jī)的極性識別準(zhǔn)確率達(dá)到100%。同時，實(shí)時擺角測定算法可以測量得出實(shí)時噴管擺角情況，輔助測試人員進(jìn)行噴管極性擺動狀態(tài)的識別。

5.2 極性測試軟件運(yùn)行結(jié)果

極性測試軟件用于提供當(dāng)前極性判讀結(jié)果的可視化觀察以及分析界面。通過合理的功能區(qū)域分布，極性測試軟件能夠?qū)⑺惴ǚ治隽鞒踢M(jìn)行直觀化展示并向用戶提供人性化的體驗(yàn)。極性測試軟件客戶端如圖13所示。

圖13 極性測試軟件客戶端界面

軟件的客戶端界面向用戶提供了本機(jī)狀態(tài)和判讀結(jié)果查看的功能按鈕，用戶可以啟動、暫停、退出觀看測試。除此之外用戶還可以通過切換標(biāo)簽頁完成查看歷史視頻、歷史視頻組態(tài)播放歷史視頻、控制攝像頭的不同任務(wù)。

5.3 極性測試自動化系統(tǒng)資源占用

火箭發(fā)動機(jī)極性自動化識別系統(tǒng)有8路攝像頭參與算法實(shí)時檢測，且要求每一路視頻流每秒可處理不少于12幀的視頻流。經(jīng)過軟件與算法的改良，極性檢測系統(tǒng)光流法的速度提升為26幀/s，且運(yùn)算顯存資源占用降低到1 204 MB，較原始系統(tǒng)有著一定的提升。與此同時，可以觀察到改進(jìn)系統(tǒng)在更高的精度下處理視頻流。軟件與算法的改良使得系統(tǒng)在更低資源消耗的情況下實(shí)現(xiàn)了光流判別的精度與速度的同步提升。原系統(tǒng)與改進(jìn)系統(tǒng)的光流法識別結(jié)果對比如圖14所示，性能對比如表5所示。

圖14 原系統(tǒng)與改進(jìn)系統(tǒng)測量得到光流場比較

表5 原系統(tǒng)與改進(jìn)系統(tǒng)的對比

6 結(jié)論

本文通過在極性測試中引入深度光流運(yùn)動檢測方法，實(shí)現(xiàn)更高精度的火箭發(fā)動機(jī)噴管極性地面測試自動化，使系統(tǒng)具備了火箭發(fā)動機(jī)噴管實(shí)際擺角檢測的功能。對于極性測試軟件算法運(yùn)行邏輯功能的改進(jìn)能夠使得系統(tǒng)在滿足極性測試要求的情況下降低極性服務(wù)器運(yùn)算的負(fù)載，測試證明，該系統(tǒng)能夠更加高效準(zhǔn)確地對火箭發(fā)動機(jī)噴管極性進(jìn)行判別，同時為測試人員提供更為豐富的極性測試信息。