劉玉清，劉 成，敖雪聰

1.中國科學院 國家空間科學中心 復雜航天系統(tǒng)綜合電子與信息技術重點實驗室，北京 100190

2.中國科學院大學 計算機科學與技術學院，北京 100049

在機載相機對飛機目標的視頻攝取與監(jiān)視中，航空平臺的抖動引起視頻的抖動，不利于實時觀察與后續(xù)處理，需進行視頻穩(wěn)像處理。

視頻穩(wěn)像分為機械穩(wěn)像、光學穩(wěn)像、電子/數(shù)字穩(wěn)像[1]。單純的機械穩(wěn)像效果有限，通常與光學穩(wěn)像相結合，但會增加成本和設計難度。光學穩(wěn)像不適用于大角度運動的圖像補償，且制造工藝復雜度高[2]。近年來的研究主要集中在電子穩(wěn)像方面，多采用三步法：運動估計、運動補償和圖像修補。

機載視頻多為地面、云層和天空背景，具有背景紋理稀疏、變化大、特征點難以提取的特點，前景目標具有運動幅度大、速度快的特點，與自然場景穩(wěn)像區(qū)別大。

當前機載場景穩(wěn)像研究目前較少，多采用傳統(tǒng)的穩(wěn)像算法。文獻[3-5]使用灰度投影法結合卡爾曼濾波進行機載視頻的穩(wěn)像，在C++等平臺上實現(xiàn)，達到了實時，但基于灰度投影的算法應對光照和尺度等變化的效果并不理想。李迪等人[6]使用模糊神經(jīng)網(wǎng)絡對微型飛行器的抖動進行預測并依此去除抖動達到穩(wěn)像效果。這種算法適用于微型飛行設備拍攝靜止目標，難以去除空對空拍攝氣流等導致的隨機運動的影響。文獻[7-10]針對機載視頻的穩(wěn)像算法均以改進特征檢測和路徑估計等作為切入點，以改進的特征點或塊匹配算法提取視頻運動路徑，配合卡爾曼濾波進行路徑平滑。Grundmann等人[11]用線性規(guī)劃的方法，最小化所示相機路徑的一階、二階和三階導數(shù)的組合，將相機的運動路徑擬合為常數(shù)、線性和拋物線線段的組合，得到穩(wěn)定的視頻。但該算法在整個視頻運動路徑上進行優(yōu)化，不能滿足實時處理的需求。

面對云層或地面背景，Shi-Tomasi角點檢測[12]算法能夠應對光照和旋轉，可以通過參數(shù)調(diào)整增強背景中稀疏特征點的提取能力，可選取為機載場景特征點提取的基礎算法。但機載場景變化大，背景稀疏程度不同，需使用不同的角點提取參數(shù)，手動調(diào)整難以滿足實時需求。

面對基本沒有紋理特征的天空背景，難以提取到有效背景特征，需結合前景運動進行穩(wěn)像，使用卡爾曼濾波進行運動路徑優(yōu)化的方法，計算量小、實時性強，但傾向于將前景運動盡可能擬合為直線運動，當前景運動幅度大、速度快時，會產(chǎn)生圖像偏移過大的問題，不利于圖像的修補和展示。

為適應不同稀疏程度的地面和云層背景，提出自適應Shi-Tomasi角點檢測算法，根據(jù)檢出背景點分布進行參數(shù)的自適應調(diào)整。為約束視頻幀在穩(wěn)像過程中的位置偏移量，考慮通過建立帶位置約束的優(yōu)化方程，計算最優(yōu)的視頻運動路徑。

本文所做的主要工作有：

（1）提出自適應的Shi-Tomasi角點檢測，根據(jù)機載視頻背景稀疏情況自適應調(diào)整算法參數(shù)，以滿足復雜機載場景特征點提取需求，提高特征點檢出能力。

（2）將路徑最優(yōu)化擬合算法修改為實時，權衡穩(wěn)像的平滑性和偏移量，尋找最優(yōu)穩(wěn)像路徑，解決快速相對運動情況下基于濾波的穩(wěn)像算法畫面偏移大的問題。

（3）僅使用第t、t-1與t-2三幀圖像，對t時刻的視頻幀位置進行優(yōu)化計算，計算量小，滿足了機載場景的實時需求。

1 視頻運動建模

在視頻穩(wěn)像中，估計視頻的前后兩幀的幀間的相對運動，得到相機原始運動路徑。前后兩相鄰幀間的運動形式主要有平移、旋轉、縮放等，由于視頻穩(wěn)像中前后兩幀成像間隔短，忽略縮放運動影響，幀間的復合線性運動模型可以表示為：

其中x、y以及x′、y′分別表示相鄰幀中某一對應點的橫縱坐標，Δα表示相鄰幀間繞圖像中心的相對旋轉，Δx和Δy分別表示相鄰幀間對應點在水平和豎直方向的平移分量。

在機載視頻中，設原始相機路徑為Xt，其中下標t表示當前幀為視頻中的第t幀，視頻幀序列用(I1,I2,I3,…)表示。如圖1、2，用線性運動模型Ft(x)表示相鄰視頻幀對(It,It-1)中的特征點從It到It-1的運動。則：

圖1 穩(wěn)像模型示意圖Fig.1 Image stabilization model

給定原始視頻路徑Xt，將希望到的穩(wěn)定視頻路徑表示為：

在穩(wěn)像過程中，通過運動估計計算出線性運動模型Ft，進而累加計算出原始視頻路徑Xt，通過平滑濾波或路徑擬合等方法得到平滑路徑Pt后，通過可計算出由原始路徑到平滑路徑所需視頻幀變換矩陣，對原視頻幀進行變換后即可得到穩(wěn)定視頻。

圖2 天空背景穩(wěn)像模型示意圖Fig.2 Sky background image stabilization model

優(yōu)化穩(wěn)像算法的整體流程如圖3所示。提取視頻幀特征點后，使用具有金字塔的迭代的Lucas-Kanade算法[13]進行幀間對應點匹配，以計算原始運動路徑。

圖3 算法整體流程Fig.3 Overall flow of algorithm

2 背景特征點檢測

2.1 Shi-Tomasi角點檢測基本原理

Shi-Tomasi角點檢測算法是Harris角點檢測的改進算法。Harris角點檢測根據(jù)角點像素性質(zhì)，使用圖4所示的一個矩形窗口在圖像中移動，當窗口覆蓋區(qū)域為平面或邊緣時，窗口的任意方向移動不會大幅改變窗口內(nèi)的像素值。覆蓋區(qū)域為角點時，任意方向的移動均會導致像素分布的劇烈變化。

圖4 Harris角點檢測窗口示意圖Fig.4 Windows of Harris corner detector graph

設矩形窗口中心位于圖像(x,y)處，像素灰度為I(x,y)，當窗口向x和y方向分別移動u和v，到達(x+u,y+v)處時，設此處像素灰度值為I(x+u,y+v)。w(x,y)為此處窗口內(nèi)各像素權重，則移動一小段距離后，窗口內(nèi)的灰度值變化為：

當窗口包含角點時，E(u,v)很大。因此，通過最大化E(u,v)可計算得到圖像中角點的位置。為簡化計算，將I(x+u,y+u)進行泰勒展開：

其中Ix和Iy分別表示圖像在x和y方向的梯度。則：

其中，M為：

對角化為：

Shi-Tomasi角點檢測算法提出角點的穩(wěn)定性與M中較小的特征值有關，窗口中的強度變化受最大允許像素值的限制，因此較大的特征值不能任意大。根據(jù)矩陣特征值的性質(zhì)，兩個小特征值意味著窗口內(nèi)的強度分布大致恒定。一大一小的特征值對應一個單向紋理模式。兩個大特征值代表角點、椒鹽紋理或任何其他可以可靠跟蹤的模式。因此將響應函數(shù)R取為：

設定閾值T,若R＞T,則視為角點。因此，圖像中檢測到的角點數(shù)量除取決于圖像紋理外，還取決于閾值T的大小。對背景紋理稀疏的機載視頻，適當降低T,可檢測出更多角點。

2.2 機載場景面臨的問題

機載視頻的背景特征復雜，主要有稠密云層背景、稀疏云層背景、稀疏地面背景、天空背景等，如圖5。

圖5 機載場景復雜背景Fig.5 Complex background of airborne scene

對不同背景視頻，為檢測足夠的背景特征點，需選用不同的Shi-Tomasi閾值，如圖6所示，當閾值為0.01時，稀疏云層背景難以檢測到特征點，特征點集中于紋理更為明顯的前景目標上，而稠密云層背景可以檢測到背景特征點。當閾值為0.003時，稀疏云層背景可以檢測到特征點，稠密云層背景檢測到的特征點過多，易將一些噪聲識別為特征點，同時降低后續(xù)計算速度。

圖6 不同背景中檢測到的特征點Fig.6 Difference of feature points detected on different backgrounds

2.3 自適應Shi-Tomasi角點檢測算法

為自適應地對Shi-Tomasi角點檢測算法的閾值進行調(diào)整，滿足復雜機載場景中實時處理的需求，提出圖像特征點提取的自適應Shi-Tomasi算法，具體流程如圖7所示。

圖7 自適應Shi-Tomasi角點檢測算法流程Fig.7 Adaptive Shi-Tomasi corner detection algorithm

設定初始化為一個較大的值，設圖像寬度為W，距離W1=W×k，判斷當前幀中檢測到的最左角點與最右角點間的水平距離是否大于W1。若不大于，認為檢測到角點的分布過于集中，未檢測到足夠背景特征點，適當減小閾值。若大于W1且檢測到的角點數(shù)量過多，為避免檢測到噪聲點和增大后續(xù)處理時間，適當增大閾值。

將閾值T的變化步長設為t，由當前閾值T的大小決定，采用快適應、慢恢復的方式對T進行修改。測試發(fā)現(xiàn)，0.002以上的閾值T取值能夠滿足多數(shù)稀疏場景的需求，為避免天空背景下T的無限減小，當閾值T減小到0.002以下時，不再對其進行減小。

自適應過程中，需確定參數(shù)k和N的值。為應對空中場景的復雜性，如云層分布于部分背景中的情況，將k取為小于1的值。具體的取值由實驗選取。

3 路徑優(yōu)化算法

3.1 基于濾波的路徑優(yōu)化算法

在自然場景的實時視頻穩(wěn)像系統(tǒng)中，一般使用卡爾曼濾波算法進行視頻運動路徑平滑?？柭鼮V波算法[14]是一種進行最優(yōu)估計的算法，計算過程分為預測和更新兩個階段。

穩(wěn)像時，首先通過前兩幀之間的位移對當前幀的位置進行預測，得到預測值，之后結合特征點匹配計算得到的觀測值，計算當前位置的最優(yōu)估計，得到穩(wěn)定路徑。

當機載場景為天空背景時，背景特征點難以提取，穩(wěn)像算法估算前景運動路徑，并對其進行優(yōu)化。在濾波過程中，卡爾曼濾波算法傾向于將運動狀態(tài)擬合為線性。當前景目標運動幅度大、運動速度快時，卡爾曼濾波不考慮對畫面的補償程度，使得視頻幀隨前景產(chǎn)生大幅度運動，降低視覺效果。

如圖8所示，其中左邊為原始視頻幀，右邊第一列為經(jīng)卡爾曼濾波處理后產(chǎn)生大幅度偏移的視頻幀，右邊第二列為經(jīng)優(yōu)化穩(wěn)像算法處理后的視頻幀，解決了畫面偏移的問題。

圖8 不同穩(wěn)像算法效果對比Fig.8 Comparison of different image stabilization algorithms

3.2 帶約束實時路徑優(yōu)化算法

針對基于濾波的算法存在的畫面偏移過大的問題，考慮通過優(yōu)化算法，在可行域中添加約束，限制視頻幀的偏移量，尋找最優(yōu)平滑曲線。

在路徑平滑階段，本文提出帶約束的實時路徑優(yōu)化算法。僅使用當前視頻路徑位置及前三幀視頻路徑位置，同時考慮路徑的平滑性和跟隨性兩個方面，在實現(xiàn)路徑平滑的同時，保留相機的原始運動意圖。

3.2.1 平滑性優(yōu)化條件

為實現(xiàn)實時的視頻運動路徑平滑，考慮特征點在第n幀（當前幀）、第n-1幀和第n-2幀的位置，將視頻幀的運動擬合為靜止、勻速運動和勻加速運動的組合。三個部分分別表示如下：

其中，xn表示視頻中第n幀圖像經(jīng)過平滑處理后在視頻運動路徑中的位置，包括相對視頻的第一幀圖像在水平方向、豎直方向以及旋轉的偏移量。以上三個優(yōu)化方程分別將視頻相鄰幀的路徑變化假設為靜止、勻速運動與勻加速運動。其中，dL最小化當前幀位置與前一幀位置，即兩幀間的相對運動。d2L最小化第n幀相對第n-1幀的運動與第n-1幀相對第n-2幀對應點的運動，即運動速度。d3L最小化加速度。

3.2.2 跟隨性優(yōu)化條件

在進行路徑平滑的同時，為保留目標的原始運動意圖，在構建優(yōu)化公式時考慮視頻幀優(yōu)化后的位置與原始位置之間的偏移：

其中，xn表示視頻中第n幀圖像經(jīng)過平滑處理后在視頻運動路徑中的位置，xn-ori表示視頻中第n幀圖像在視頻運動路徑中的原始位置。約束Δd的大小，可以限制平滑后位置相對原始位置的偏移量，從而盡量保證原始的運動意圖不因平滑優(yōu)化而丟失。

3.2.3 路徑優(yōu)化方程

將以上約束分量進行組合，得到機載視頻的路徑優(yōu)化方程：

其中，λi,i∈(1,2,3)為優(yōu)化分量的權重系數(shù)，通過對權重系數(shù)的調(diào)整，得到最合適的運動方式組合。對視頻中的任意第n幀圖像，使用優(yōu)化方法最小化f(xn)，即可得到實時的視頻優(yōu)化路徑。

在優(yōu)化過程中，加入約束條件：

其中，dist為人為設定的距離約束，包含視頻幀位置的上下位移、左右位移和旋轉位移三個分量。在實現(xiàn)路徑平滑和跟隨性的同時，將畫面偏移限制在一定范圍內(nèi)，實現(xiàn)穩(wěn)像與畫面偏移間的平衡，解決畫面大幅度偏移導致的視頻穩(wěn)像失效問題。

該問題屬于凸二次規(guī)劃（convex quadratic program，convex QP）問題，在尋找最優(yōu)解時，使用運算符拆分二次規(guī)劃（operator splitting quadratic program，OSQP）求解器[15]進行求解。

4 圖像修補

重建模等圖像修補方法計算量大，不適用于實時系統(tǒng)，采用裁剪的方法進行圖像修補。優(yōu)化方法中的補償位移約束為圖像的修補提供了依據(jù)，根據(jù)圖像補償中的位移約束，確定圖像邊緣的具體裁剪寬度。

5 實驗驗證

5.1 實驗條件和評價指標

選擇具有不同背景和目標運動方式的典型機載視頻對穩(wěn)像算法的效果進行驗證，如圖9所示。

圖9 典型機載視頻Fig.9 Typical airborne video

實驗使用的計算機配置為NVIDIA GeForce GTX 1660Ti顯卡，Win10操作系統(tǒng)。

對穩(wěn)像算法的效果進行定量評估時，使用視頻的幀間變換保真度（interframe transformation fidelity，ITF）[2]。ITF的計算公式為：

其中，Nframe表示視頻總幀數(shù)，PSNR(i)表示連續(xù)兩幀i和i+1幀之間的峰值信噪比。ITF用來衡量幀間平滑程度，值越大，代表穩(wěn)像效果越好。

5.2 自適應Shi-Tomasi算法參數(shù)選取

（1）k的選取

對k的取值對穩(wěn)像效果的影響進行測試，ITF變化如表1所示。可以看到，左右角點分布范圍越大，穩(wěn)像效果越好。但機載平臺成像背景復雜，合適的距離能夠考慮更多背景分布情況，如某一部分存在稀疏特征，其余部分無法提取特征的情況。且隨著角點距離的增大，圖像ITF增大效果有限，故在實際應用中，將k取值為3/4。

表1 k對視頻穩(wěn)像的影響Table 1 Influence of k on video image stabilization

（2）最大角點數(shù)量N的選取

過多的特征點會降低運算速度，且對運動估計精確度的提升作用有限，如表2所示。因此，當檢測到的角點數(shù)量大于150時，認為角點數(shù)量的增加對視頻穩(wěn)像效果提升有限，開始停止增大閾值，并適當減小閾值。

表2 特征點數(shù)目N對單幀計算時間和ITF的影響Table 2 Influence of number of feature points N on single frame computation time and ITF

自適應閾值Shi-Tomasi角點檢測效果如圖10所示，背景特征稀疏和前景特征更為明顯的特點，造成初始幀特征點集中于前景區(qū)域。隨著閾值的自適應調(diào)整，閾值逐漸減小，更多的背景特征點被檢測出來。

圖10 Shi-Tomasi閾值與角點自適應調(diào)整過程Fig.10 Shi-Tomasi threshold and corner adaptive adjustment process

5.3 穩(wěn)像實驗結果

以上述典型機載視頻為例，使用基于自適應Shi-Tomasi優(yōu)化穩(wěn)像算法進行效果測試，如表3所示。

表3 自適應Shi-Tomasi實時路徑優(yōu)化算法與其他算法對比Table 3 Adaptive Shi-Tomasi real-time path optimization algorithm compared with other algorithms

視頻1和視頻2為天空背景視頻，算法依靠前景運動進行穩(wěn)像，表3中視頻1和視頻2經(jīng)處理后出現(xiàn)的兩個加粗異常值，為畫面偏移過大、穩(wěn)像失效的結果。ITF根據(jù)相鄰兩幀之間逐像素的差異進行計算，差異越小，認為運動越平穩(wěn)，ITF越大。當畫面偏移過大，整個畫面偏移到視野之外時，整個畫面為黑色，此時相鄰幀對應像素完全相同，ITF計算值很大。在未出現(xiàn)失效的算法中，自適應Shi-Tomasi優(yōu)化穩(wěn)像算法達到最優(yōu)穩(wěn)像效果。

在以視頻3、4、5為代表的不同背景視頻中，除個別失效算法外，所提出的算法均達到最優(yōu)穩(wěn)像效果。因此，自適應Shi-Tomasi優(yōu)化穩(wěn)像算法能夠應對各種機載場景的穩(wěn)像需求，同時處理速度達到20 frame/s以上，滿足實時需求。

對兩個典型天空背景視頻，使用其他典型實時視頻穩(wěn)像算法和提出的自適應Shi-Tomasi特征點實時路徑優(yōu)化的穩(wěn)像算法進行處理后，抓取其中的典型視頻幀對穩(wěn)像效果進行定性分析。

圖11展示了兩個典型視頻經(jīng)算法處理后的對應幀。在天空背景視頻穩(wěn)像實驗中，現(xiàn)有的實時穩(wěn)像算法均出現(xiàn)了不同程度的偏移過大導致視覺效果降低的現(xiàn)象，基于帶約束優(yōu)化的算法在穩(wěn)像的同時限制視頻幀的偏移量，能夠滿足機載天空背景視頻的穩(wěn)像要求。

圖11 不同穩(wěn)像算法在天空背景視頻上的對比Fig.11 Comparison of different image stabilization algorithms on sky background video

圖12為視頻2、3、4的路徑優(yōu)化效果示意圖，對每個視頻，由上至下分別表示穩(wěn)像前后視頻幀相對于第一幀視頻在x（水平）方向、y（豎直）方向和旋轉方向的運動路徑，虛線為原始視頻路徑，實線為經(jīng)過穩(wěn)像后的視頻路徑。可以看到，穩(wěn)定后的視頻運動路徑與原始路徑相比，運動路徑得到顯著平滑，也在一定程度上保留了原始的運動意圖。

圖12 優(yōu)化穩(wěn)像前后視頻路徑圖Fig.12 Video path diagrams before and after optimizing image stabilization

6 總結與展望

針對機載視頻背景特征變化大、前景目標運動速度快、運動幅度大導致的特征提取困難、使用傳統(tǒng)路徑優(yōu)化算法造成畫面大幅抖動的問題，提出自適應Shi-Tomasi優(yōu)化實時穩(wěn)像算法。

針對機載視頻常因天空、云和模糊地面背景稀疏提取特征點困難的問題，采用自適應閾值Shi-Tomasi角點檢測算法提高特征點檢出能力，以自動適應空中復雜多變的場景。

針對完全天空背景無法提取背景特征點、前景運動大導致的畫面偏移大問題，將其運動擬合為靜止、勻速運動和勻加速運動的組合運動，同時在優(yōu)化過程中對畫面偏移量進行約束，在畫面偏移量有限的情況下實現(xiàn)穩(wěn)像效果。該算法在穩(wěn)像的同時，能夠適應天空、云層和地背景等多種場景的空中穩(wěn)像，有效解決了畫面偏移過大的問題，處理速度達到20 frame/s以上，能夠滿足實時處理的需要。

近年來，隨著深度的發(fā)展，一些基于神經(jīng)網(wǎng)絡的穩(wěn)像方法[16]也被提出，對視頻穩(wěn)像提出了新的思考。但這種方法也存在局限性，網(wǎng)絡參數(shù)的訓練需要大量的使用場景的數(shù)據(jù)來支撐；由于網(wǎng)絡泛化能力的限制，大多只使用于某幾類場景的穩(wěn)像；難以完全按照原理和改進方向設計網(wǎng)絡結構等，因而在機載場景下的應用還存在困難，需要進一步的研究。