王 冠，易 航，張 恒，廖友萍

（北京宇航系統(tǒng)工程研究所，北京，100076）

0 引 言

計(jì)算機(jī)科學(xué)與總線技術(shù)的快速發(fā)展帶動(dòng)計(jì)算機(jī)視覺(jué)技術(shù)從初具雛形到逐漸成熟完善。如今工業(yè)產(chǎn)業(yè)的迅速發(fā)展與計(jì)算機(jī)視覺(jué)技術(shù)的日趨成熟有著密不可分的關(guān)系，在諸多領(lǐng)域如科研、制造加工、醫(yī)療等都可以看到計(jì)算機(jī)視覺(jué)模塊的應(yīng)用。計(jì)算機(jī)視覺(jué)技術(shù)不僅可以起到替代人眼的效果，降低成本，同時(shí)還能夠提高生產(chǎn)效率與穩(wěn)定性，在實(shí)際生產(chǎn)中與傳統(tǒng)的人力相比有著非常明顯的優(yōu)勢(shì)。

噴管是構(gòu)成運(yùn)載火箭發(fā)動(dòng)機(jī)的一個(gè)重要元件，發(fā)動(dòng)機(jī)通過(guò)噴管擺動(dòng)實(shí)現(xiàn)對(duì)運(yùn)載火箭俯仰、偏航和滾轉(zhuǎn)的控制[1]。目前，發(fā)動(dòng)機(jī)噴管擺動(dòng)極性測(cè)試仍采用人工目測(cè)法，測(cè)試耗時(shí)且結(jié)果不可追溯。為此，本文提出一套基于計(jì)算機(jī)視覺(jué)方法的測(cè)量系統(tǒng)，通過(guò)對(duì)預(yù)先采集的視頻流進(jìn)行穩(wěn)像技術(shù)處理，然后應(yīng)用基于顏色模型、邊界輪廓聚類、幀背景差分、光流跟蹤、半監(jiān)督學(xué)習(xí)等實(shí)時(shí)在線和離線識(shí)別跟蹤方法并對(duì)各個(gè)算法結(jié)果進(jìn)行自適應(yīng)權(quán)重融合，最終計(jì)算得到各噴管的擺動(dòng)軌跡、角度與極性。

1 總體架構(gòu)設(shè)計(jì)

該方案研究與實(shí)現(xiàn)的總體框架如圖1所示，具體分為在線識(shí)別算法、離線模型訓(xùn)練兩部分。a）在線識(shí)別算法包括：顏色模型法、橢圓檢測(cè)法、幀差輪廓法和光流特征法4種，對(duì)實(shí)時(shí)視頻流進(jìn)行了視頻穩(wěn)像處理獲得數(shù)字去抖動(dòng)的視頻，然后應(yīng)用多種在線識(shí)別跟蹤算法對(duì)發(fā)動(dòng)機(jī)極性進(jìn)行識(shí)別和判斷；b）離線模型訓(xùn)練是通過(guò)少量人工標(biāo)注和對(duì)在線識(shí)別跟蹤算法結(jié)果的迭代來(lái)訓(xùn)練一個(gè)半監(jiān)督學(xué)習(xí)模型。

圖1 系統(tǒng)總體框架Fig.1 System Pipeline

4種在線識(shí)別跟蹤算法，不需要預(yù)先訓(xùn)練相關(guān)模型即可實(shí)時(shí)地對(duì)發(fā)動(dòng)機(jī)噴管擺動(dòng)進(jìn)行跟蹤。不同于在線算法，離線訓(xùn)練模塊主要為半監(jiān)督學(xué)習(xí)，通過(guò)對(duì)反復(fù)收集的歷次在線算法數(shù)據(jù)及少量的人工標(biāo)注數(shù)據(jù)進(jìn)行特征提取并訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型參數(shù)、各噴管的極性、位置與大小。

最后將以上所有方法得出的運(yùn)動(dòng)模型置于一個(gè)基于權(quán)重的多樣例在線學(xué)習(xí)模型中進(jìn)行自適應(yīng)融合，得到更為精準(zhǔn)的目標(biāo)運(yùn)動(dòng)信息，從而得出最終極性判斷。

2 系統(tǒng)算法設(shè)計(jì)與應(yīng)用效果

2.1 視頻穩(wěn)像技術(shù)（Video Stabilization)

后處理視頻穩(wěn)像技術(shù)分為3個(gè)步驟：a）估計(jì)原始攝像頭路徑C；b）估計(jì)出新的平滑攝像頭路徑P；c）使用優(yōu)化的平滑攝像頭路徑來(lái)重新合成穩(wěn)像視頻流[2]。將優(yōu)化攝像頭路徑看作靜態(tài)、線性和二次曲線運(yùn)動(dòng)分割構(gòu)成，即運(yùn)動(dòng)模型方程的一階、二階、三階微分項(xiàng)等于零。然后通過(guò)線性規(guī)劃方法優(yōu)化路徑的一階、二階、三階微分方程[3]，需要優(yōu)化最小值的目標(biāo)方程為

式中P為新的平滑路徑；1ω，2ω，3ω分別為預(yù)設(shè)的超參數(shù)。

該方法可以有效去除視頻流中由于攝像頭移動(dòng)而形成的抖動(dòng)[4]，圖2為算法中不斷更新穩(wěn)定矩陣B以估算最優(yōu)的攝像頭路徑的過(guò)程。

圖2 估算攝像頭路徑優(yōu)化過(guò)程Fig.2 Estimating Camera Path Optimization Process

2.2 幀差輪廓法

圖3為發(fā)動(dòng)機(jī)極性測(cè)試系統(tǒng)中幀差輪廓法的具體流程。先對(duì)實(shí)時(shí)視頻流進(jìn)行圖像預(yù)處理，再用前景減除法[5]得到運(yùn)動(dòng)物體輪廓，之后經(jīng)過(guò)腐蝕、膨脹等處理循環(huán)監(jiān)測(cè)得到輪廓從而確定噴管當(dāng)前時(shí)刻所在位置。

圖3 幀差輪廓法流程Fig.3 Frame Difference Method Pipeline

2.2.1 幀差分處理

在經(jīng)過(guò)灰度處理后，對(duì)視頻序列的當(dāng)前幀圖像與上一幀圖像進(jìn)行差分運(yùn)算，再次選擇預(yù)先根據(jù)經(jīng)驗(yàn)或者實(shí)驗(yàn)得到的閾值，最后對(duì)差分圖像的每個(gè)像素點(diǎn)進(jìn)行處理，通過(guò)該點(diǎn)的像素值與閾值大小的比較把差分圖像進(jìn)行二值化[6]。由于得到的二值圖像受到外界噪聲的干擾，使得部分背景圖也被當(dāng)做前景目標(biāo)，同時(shí)得到的前景目標(biāo)中有空洞和小范圍的噪聲，最后對(duì)二值圖像運(yùn)用數(shù)學(xué)形態(tài)學(xué)的方法處理，來(lái)去除小范圍的噪聲和填補(bǔ)運(yùn)動(dòng)目標(biāo)內(nèi)部的空洞，消除外界的干擾得到比較理想的運(yùn)動(dòng)目標(biāo)圖像[7]。

2.2.2 輪廓檢測(cè)

針對(duì)數(shù)字化二值圖像的拓?fù)浣Y(jié)構(gòu)分析，Suzuki提出了邊界跟蹤算法。算法的本質(zhì)是確定二值圖像邊界之間的圍繞關(guān)系，即確定外邊界和孔邊界以及他們之間的層次關(guān)系，由于這些邊界和原圖的區(qū)域具有一對(duì)一的對(duì)應(yīng)關(guān)系（外邊界對(duì)應(yīng)像素值為1的連通域，孔邊界對(duì)應(yīng)像素值為0的孔洞），因此可用邊界來(lái)表示原圖。

通過(guò)Suzuki的算法并設(shè)定最小輪廓閾值可以得到運(yùn)動(dòng)目標(biāo)的輪廓，之后對(duì)輪廓計(jì)算最小包圍矩陣從而進(jìn)一步得出矩陣的偏轉(zhuǎn)，由于攝像頭是靜態(tài)固定的，判斷幀之間最小包圍矩陣的擺點(diǎn)位置變化過(guò)大或者最小包圍矩陣的擺角變化過(guò)大的話，即為跟蹤失效，此時(shí)自動(dòng)修改輪廓閾值重新搜索或者引入光流特征法的特征群輔助搜索。幀差輪廓法過(guò)程效果如圖4所示。

圖4 幀差輪廓法過(guò)程效果Fig.4 Frame Difference Method Result

2.3 顏色模型法

圖5 為發(fā)動(dòng)機(jī)極性測(cè)試系統(tǒng)中顏色模型法的具體流程。本方法先對(duì)實(shí)時(shí)視頻流進(jìn)行圖像預(yù)處理后，分別應(yīng)用Sobel算子和HSV、RGB特征提取與融合，然后通過(guò)卡爾曼濾波運(yùn)動(dòng)估計(jì)計(jì)算出噴管的位置。

顏色模型法過(guò)程效果如圖6所示。

圖5 顏色模型法流程Fig.5 Color Model Method Pipeline

圖6 顏色模型法過(guò)程效果Fig.6 Color Model Method Result

2.3.1 色塊邊緣方向直方圖與HSV顏色直方圖

對(duì)于灰度圖像的像素矩陣 A，使用水平和垂直 2個(gè)Sobel算子矩陣來(lái)計(jì)算圖像中像素水平梯度Gx與垂直梯度Gy，進(jìn)而計(jì)算出像素的梯度方向Θ為

對(duì)Θ進(jìn)行篩選，若大于所設(shè)閾值，則認(rèn)為是邊緣，然后判斷該邊緣周圍像素的灰度值是否一致，若不一致，則認(rèn)為是色塊邊緣。將篩選出來(lái)的色塊邊緣的Θ取值范圍分成4等份，再將Θ進(jìn)行量化即得到色塊邊緣方向直方圖[8]。

2.3.2 卡爾曼濾波

卡爾曼濾波是一種對(duì)動(dòng)態(tài)系統(tǒng)序列進(jìn)行線性最小誤差估計(jì)的算法，它利用測(cè)量值修正估計(jì)的狀態(tài)，提供可靠的狀態(tài)估計(jì)，通過(guò)狀態(tài)方程和觀測(cè)方程來(lái)描述一個(gè)動(dòng)態(tài)系統(tǒng)。在數(shù)學(xué)上可以證明在預(yù)測(cè)過(guò)程和觀測(cè)過(guò)程都為高斯線性時(shí)，按照卡爾曼方法做加權(quán)最優(yōu)[9]。

卡爾曼濾波的優(yōu)點(diǎn)是對(duì)目標(biāo)運(yùn)動(dòng)進(jìn)行了建模，且算法快速可靠易于實(shí)現(xiàn)；缺點(diǎn)是不對(duì)目標(biāo)的特征進(jìn)行建模，判別力較差，不過(guò)與幀差輪廓法的融合可以彌補(bǔ)這方面的缺陷；而且限定目標(biāo)運(yùn)動(dòng)服從線性高斯分布，這個(gè)條件對(duì)于發(fā)動(dòng)機(jī)噴管的擺動(dòng)運(yùn)動(dòng)來(lái)說(shuō)是完美契合的。

2.4 橢圓檢測(cè)法

圖7為橢圓檢測(cè)法的具體流程。

圖7 橢圓檢測(cè)法流程Fig.7 Ellipse Detection Method Pipeline

首先對(duì)實(shí)時(shí)視頻流進(jìn)行一系列圖像預(yù)處理，之后通過(guò)角點(diǎn)、邊界檢測(cè)與過(guò)濾提取出散態(tài)圓弧，然后通過(guò)多尺度聚類算法的擬合得到噴管底部的位置，從而獲得各噴管的極性信息。

取候選橢圓弧和候選橢圓弧對(duì)應(yīng)的邊界列，采用對(duì)橢圓缺損不敏感的直接最小二乘法計(jì)算所有候選橢圓的參數(shù)候選橢圓并非真實(shí)橢圓，對(duì)于任一候選橢圓，采用式（5）判斷邊界像素是否在候選橢圓上：

式中 p，q為候選橢圓圓心坐標(biāo)；r1，r2，θ分別為候選橢圓長(zhǎng)、短半徑及圓弧夾角。

設(shè)定邊界像素?cái)?shù)量為ε1，像素總數(shù)為ε2，統(tǒng)計(jì)ε2%＜di＜ε1時(shí)，則判定該候選橢圓真實(shí)存在。取 ε1為 2～4、ε2為 45時(shí)，篩選效果良好。圖8為橢圓檢測(cè)法過(guò)程效果。

圖8 橢圓檢測(cè)法過(guò)程效果Fig.8 Ellipse Detection Method Result

2.5 光流特征法

圖9 為發(fā)動(dòng)機(jī)極性測(cè)試系統(tǒng)中光流特征法的具體流程。本方法先對(duì)實(shí)時(shí)視頻流進(jìn)行特征點(diǎn)的抽取，然后通過(guò)計(jì)算光流域與卡爾曼濾波來(lái)估算位置信息，從而得到各發(fā)動(dòng)機(jī)點(diǎn)群的運(yùn)動(dòng)軌跡[10]。

2.5.1 特征點(diǎn)提取

本系統(tǒng)選取Harris角點(diǎn)與FAST關(guān)鍵點(diǎn)作為特征點(diǎn)對(duì)每一幀視頻圖像進(jìn)行特征點(diǎn)提取。該方法計(jì)算圖像上所有像素點(diǎn)灰度的二階導(dǎo)數(shù)，因?yàn)榈玫降亩A導(dǎo)數(shù)圖像源于二維Hessian矩陣：

式中 p為特征點(diǎn)；I為灰度值。

一個(gè)年紀(jì)已經(jīng)過(guò)了六十的老人扛了一對(duì)大傀儡從后海走來(lái)，到了場(chǎng)坪，四下望人，似乎很明白這不是玩傀儡的地方，但莫可奈何的停頓下來(lái)。

圖9 光流特征法流程Fig.9 Optical Flow Method Pipeline

在Hessian圖像的自相關(guān)矩陣上有兩個(gè)最大特征值的位置就是 Harris角點(diǎn)。如果對(duì)應(yīng)到原圖像上，這個(gè)位置實(shí)際上是表示以此點(diǎn)為中心，周圍至少存在 2個(gè)不同方向的邊緣（或者紋理）的地方，也就是拐角的位置。一階導(dǎo)數(shù)對(duì)均勻變化的梯度會(huì)產(chǎn)生響應(yīng)，而二階導(dǎo)數(shù)對(duì)均勻變化梯度不產(chǎn)生響應(yīng)，故Harris角點(diǎn)能夠克服均勻變化梯度產(chǎn)生的影響，同時(shí)，由于Harris角點(diǎn)通過(guò)Hessian圖像的自相關(guān)矩陣計(jì)算得到，所以滿足旋轉(zhuǎn)不變性，能提高檢測(cè)的魯棒性[11]。

FAST特征點(diǎn)是Rosten等提出的一種快速角點(diǎn)特征檢測(cè)算子，F(xiàn)AST特征點(diǎn)檢測(cè)具有很強(qiáng)的實(shí)時(shí)性。FAST特征點(diǎn)的提取是針對(duì)每個(gè)像素點(diǎn)m，考慮以m為中心的離散圓上的點(diǎn)。若存在圓上點(diǎn)和其直徑方向上的對(duì)應(yīng)點(diǎn)與m點(diǎn)的灰度值相近，則認(rèn)為m不是特征點(diǎn)。由式（7）可近似：

式中 Ra為離散圓半徑；τ為選取的閾值。

將圖像離散化，實(shí)際并非將圖像上 2個(gè)直徑相對(duì)的點(diǎn)進(jìn)行比較，而是與其直徑相鄰的點(diǎn)比較。

2.5.2 Lucas-Kanade 稀疏光流算法

光流是空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度，是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性得到上一幀與當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體運(yùn)動(dòng)信息的一種方法。

由于大多數(shù)攝像機(jī)的運(yùn)動(dòng)是大而不連貫的，因此Lucas-Kanade光流在一些場(chǎng)景中的跟蹤效果并不理想，需要一個(gè)大窗口來(lái)捕捉大運(yùn)動(dòng)，而大窗口通常會(huì)違背運(yùn)動(dòng)連貫的假設(shè)。圖像金字塔可在一定程度上解決這個(gè)問(wèn)題，即最初在較大的空間尺度上進(jìn)行跟蹤，再通過(guò)圖像金字塔不斷縮小跟蹤尺度來(lái)修正初始運(yùn)動(dòng)速度的假定。對(duì)于發(fā)動(dòng)機(jī)噴管擺動(dòng)來(lái)說(shuō)，擺動(dòng)角度在4～12°；擺動(dòng)時(shí)間約為2 s，要求攝像頭硬件采集幀率不小于24 Hz。光流特征法過(guò)程效果如圖10所示。

圖10 光流特征法過(guò)程效果Fig.10 Optical Flow Method Result

3 系統(tǒng)的實(shí)踐與分析

在系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)實(shí)踐過(guò)程中對(duì)整體架構(gòu)和算法進(jìn)行不斷地更改與完善，使得系統(tǒng)的魯棒性、準(zhǔn)確性、穩(wěn)定性與實(shí)時(shí)性需求得到保證與提升。

3.1 魯棒性

無(wú)論是幀差輪廓法中的輪廓檢測(cè)還是光流特征法中的特征點(diǎn)聚類都可能出現(xiàn)因?yàn)檎趽?、運(yùn)動(dòng)速度過(guò)快、分辨率低而導(dǎo)致的目標(biāo)追蹤失效。本系統(tǒng)將光流特征法中的特征點(diǎn)位置作為輸入輔助輪廓檢測(cè)，可以提高幀差輪廓法的魯棒性。光流特征法的魯棒性也可以通過(guò)將幀差輪廓法過(guò)程中檢測(cè)出的輪廓輔助輸入到特征點(diǎn)聚類問(wèn)題上而得到提升。2個(gè)方法互為冗余，即由于其中一個(gè)算法在視頻流中某些幀中達(dá)不到閾值而檢測(cè)失效時(shí)，另外一個(gè)算法也能獨(dú)立完成極性的判斷，使整體魯棒性得到提升。

除了通過(guò)用不同算法間模塊相互輔助、替換的方法來(lái)提升整體魯棒性，將單一算法中具有優(yōu)秀魯棒性的模塊直接應(yīng)用于其他算法，可以幫助其快速地達(dá)到閾值或排除擾動(dòng)。

3.2 準(zhǔn)確性

相比于最初簡(jiǎn)單的對(duì)2個(gè)算法的結(jié)果進(jìn)行均值處理，應(yīng)用基于權(quán)重的多樣例在線學(xué)習(xí)來(lái)進(jìn)行多算法的融合解決了由于跟蹤偏移導(dǎo)致樣本出現(xiàn)的歧義性問(wèn)題，克服了融合算法中的弱分類器退化問(wèn)題，可以有效提高最終結(jié)果的精準(zhǔn)度。另外，經(jīng)過(guò)不斷的迭代，半監(jiān)督學(xué)習(xí)收集到的訓(xùn)練數(shù)據(jù)越來(lái)越多，離線訓(xùn)練得到的模型參數(shù)也越來(lái)越準(zhǔn)確、可靠。

3.3 穩(wěn)定性

為了確保測(cè)量結(jié)果的穩(wěn)定性，分別從軟件層面和硬件層面對(duì)攝像頭和視頻流進(jìn)行了設(shè)計(jì)。軟件層面上，通過(guò)建立攝像頭參數(shù)運(yùn)動(dòng)模型將抖動(dòng)和擾動(dòng)分解成靜態(tài)、線性運(yùn)動(dòng)和二次曲線運(yùn)動(dòng)，通過(guò)線性規(guī)劃方法優(yōu)化各階微分方程，從而去除掉原始視頻流中不必要的抖動(dòng)和外來(lái)擾動(dòng)對(duì)系統(tǒng)穩(wěn)定性造成的影響。

硬件層面，選擇采用兩個(gè)垂直于火箭法向中心的攝像頭來(lái)采集視頻，如圖11所示。

圖11 雙攝像頭位置分布Fig.11 Dual Camera Position Distribution

相比于單一攝像頭，復(fù)數(shù)攝像頭可以有效解決由前后遮擋引起的跟蹤不穩(wěn)定問(wèn)題；而且由于操控發(fā)動(dòng)機(jī)噴管的伺服機(jī)構(gòu)擁有伸、縮、向左、向右，共 4個(gè)自由度。此外，兩個(gè)攝像頭與橫縱坐標(biāo)系夾角為30°，這樣也會(huì)盡可能地減少有遮擋關(guān)系的 2個(gè)噴管之間的重合比例。

3.4 實(shí)時(shí)性

測(cè)試過(guò)程中大部分時(shí)間發(fā)動(dòng)機(jī)處于靜止?fàn)顟B(tài)，流程中的若干次噴管擺動(dòng)平均時(shí)長(zhǎng)約為2 s，擺動(dòng)角度為4～12°之間。當(dāng)攝像頭的采集頻率為24 Hz 時(shí)，上下幀之間發(fā)動(dòng)機(jī)噴管的角度變化最多為 0.25°，因此需要系統(tǒng)能夠快速捕捉運(yùn)動(dòng)。考慮到系統(tǒng)的實(shí)時(shí)性需求，所涉及的算法均采用工程應(yīng)用類算法，并對(duì)各個(gè)算法中沒(méi)有交互的部分進(jìn)行了并行計(jì)算設(shè)計(jì)。系統(tǒng)要求的最終運(yùn)行速度不小于24 Hz。

4 結(jié)束語(yǔ)

基于計(jì)算機(jī)視覺(jué)的發(fā)動(dòng)機(jī)噴管擺動(dòng)極性測(cè)試系統(tǒng)不僅具有穩(wěn)定性，實(shí)時(shí)性等特點(diǎn)，還通過(guò)各算法之間的協(xié)調(diào)與冗余提升了系統(tǒng)的準(zhǔn)確率與魯棒性。利用加裝于發(fā)動(dòng)機(jī)兩側(cè)的工業(yè)攝像頭采集的視頻流來(lái)實(shí)時(shí)判讀噴管擺動(dòng)極性，提高了測(cè)試的效率與覆蓋率，使整個(gè)測(cè)試過(guò)程可追溯，減少了人工判讀環(huán)節(jié)。

本文提出的基于計(jì)算機(jī)視覺(jué)的測(cè)試系統(tǒng)較傳統(tǒng)的人工目測(cè)法準(zhǔn)確率高、檢測(cè)時(shí)間短、降低人力成本、提高型號(hào)隊(duì)伍效率。