沙宗也，尹治平

(合肥工業(yè)大學 光電技術研究所，安徽 合肥 230000)

分框統(tǒng)計特征匹配的SOC中電子穩(wěn)像技術研究

沙宗也，尹治平

(合肥工業(yè)大學 光電技術研究所，安徽 合肥 230000)

在通過特征點做運動估計時,經(jīng)常會出現(xiàn)特征點集中于圖像部分區(qū)域的問題。通過分框統(tǒng)計MORAVEC特征點來計算各分塊內(nèi)的特征點的方法,對視頻圖像進行幀與幀間匹配,再結合RANSAC誤匹配剔除的方法能有效解決該問題。通過對計算原始SENSOR圖像中中間區(qū)域部分分塊并預留原始圖像的邊緣部分，統(tǒng)計正確的匹配運動矢量，對運動矢量值加總并用慣性濾波的方法進行平滑擬合進而得到每幀圖像的運動補償值。通過該方法得到的特征點匹配對分布的區(qū)域明顯比不采用該方法分布的區(qū)域廣，而且該方法在SOC上能快速運算。

SURF;RANSAC;電子穩(wěn)像;慣性濾波;運動估計

隨著集成電路技術的發(fā)展，使得電子穩(wěn)像技術能夠得以在一個集成的SOC內(nèi)實現(xiàn)，從而使得該技術得以廣泛應用成為了可能。SOC方案是各種方案中最高效最經(jīng)濟的方式，通過外圍設計的專用集成電路能夠做大量的并行處理，所以計算速度快，而且和CPU的交互處理能夠?qū)崿F(xiàn)，既能夠高效地并行處理多媒體視頻圖像文件，又能夠通過CPU運算復雜的指令計算，比如乘法運算。并且其將所有的功能單元均集成于一個芯片內(nèi)部，具有體積小、價格便等諸多優(yōu)點，是目前國內(nèi)外研究的主流。但與目前主流的電子穩(wěn)像研究不同的是，在芯片上設計電子穩(wěn)相系統(tǒng)時，必須考慮一些現(xiàn)實的約束條件，電子穩(wěn)相的圖像數(shù)據(jù)源來自于感光Sensor傳輸過來的Frame Buffer數(shù)據(jù)為一條一條的線，并持續(xù)不斷的更新。由于在芯片上設計大量的緩存代價很高，因此結合實際應用中的成本問題，性能效果各方面的綜合考慮，在盡量少的存儲和計算單元的消耗下，完成最佳的功能，一直都是相關領域的研究人員追求的目標。許多在該領域的研究人員做的研究都難以直接在SOC上實現(xiàn)，如文獻[1～11]等研究資料中提到的像塊匹配法，文獻[12]中提到的匹配方法在該技術中也難以直接運用。SURF特征匹配方法，Harris特征匹配方法等，都有各種局限性，存在諸如計算量過大，在實際實現(xiàn)中將占用更多的存儲與帶寬，以及計算資源。

在特征點運動估計時，經(jīng)常會出現(xiàn)圖像中部分區(qū)域細節(jié)遠多于其余區(qū)域，這造成了MVE判定的對象僅是圖像中某處近景或者遠景，相鄰兩幀圖像的遠景和近景其運動矢量值經(jīng)常會有較大的差別。因此特征點匹配對集中到部分區(qū)域得到的運動矢量，作為該相鄰兩幀的運動矢量值的判定方法，對于全幅圖像的運動估計是不能正確反映實際運動狀況的。

1 電子穩(wěn)像技術的特點與流程

本文的SOC上商用電子穩(wěn)像，其實現(xiàn)流程可分為以下步驟：

圖1 本文方案的實現(xiàn)流程

Frame Buffer傳輸過來的圖像數(shù)據(jù)是從感光Sensor獲取的，傳輸?shù)紻IS模塊時已經(jīng)過了大量的包括AE，AWB等技術處理。這個數(shù)據(jù)在DIS的緩存中僅儲存整張圖像的幾行，行數(shù)根據(jù)SOC中分配給該模塊的緩存大小有關，行數(shù)越少，占用的緩存越小，越節(jié)約成本。傳輸過來的每行數(shù)據(jù)的點數(shù)大于經(jīng)過最終輸出的點的數(shù)量，因為最終要對穩(wěn)像圖像做補償，必須對原來的Sensor傳過來的圖像做裁剪。在某些文獻中提到的，對邊緣超出的部分做平滑拼接之類的處理方法并不能夠?qū)崿F(xiàn)，因為考慮到幀間的差異和未知的未出現(xiàn)過的場景的存在，最終的穩(wěn)像補償只能通過圖像裁剪來實現(xiàn)。

第1步計算當前緩存中的圖像數(shù)據(jù)線得到的特征響應值，與上一幀圖像保存下來的特征實時地計算分析比較，來做匹配；

第2步對得到的大量的匹配對采用RANSAC規(guī)律剔除誤匹配。在圖像分框后，可能會出現(xiàn)部分分框特征細節(jié)少的問題，某些分框的對應特征點的匹配對可能會有錯誤，RANSAC方法是一種經(jīng)典的誤匹配剔除方法，能夠有效剔除誤匹配對；

第3步曲線擬合與補償。計算出幀與幀間的運動規(guī)律之后，需要將各幀之間的運動矢量加起來得到一個曲線，通過追蹤擬合的方法得到較為平滑的曲線。由于運動方式的不確定性，不規(guī)律性，所以使用固定運動模型的Kalman濾波等方式并不能解決該問題，這里采用慣性濾波，結合自適應補償校正的方式來得到平滑的補償曲線，然后計算各幀需要補償?shù)倪\動量值，將圖像在橫縱方向上做移動，最后輸出剪切掉邊緣部分的圖像。

2 具體的實現(xiàn)過程

先對圖像分塊處理，然后計算出當前分塊的最優(yōu)匹配特征，再通過對下幀圖像的相鄰及格分塊分析匹配，驗算最優(yōu)匹配，得出該分塊與下一幀圖像的匹配，然后使用RANSAC原則做統(tǒng)計分析，對于不符合統(tǒng)計規(guī)律的匹配做誤匹配的剔除再通過慣性濾波進行曲線擬合，并作出補償。

2.1 圖像分塊

上述分析得到，電子穩(wěn)像的穩(wěn)像能力都會有一個界限值，超出界限將會失去穩(wěn)像的能力，限定補償?shù)男袛?shù)是因為Sensor的數(shù)據(jù)大小有限，不可能無限的補償。為了大幅降低比對搜索的范圍，在這里先對圖像分塊處理，圖像分塊分析避免了搜索整幀圖像，也就是避免了搜索整幀圖來與當前幀的匹配，從而大幅節(jié)省了計算量，分塊的方法如圖2所示。

另外，分塊分析確保了匹配能保證在整張圖像中的均勻分布，如果不做分塊來做特征點匹配的話，就會導致可能出現(xiàn)特征匹配對大量出現(xiàn)在圖像的某一部分區(qū)域，這在出現(xiàn)運動前景的情況下將會導致非常嚴重場景判斷的錯誤，如圖6所示。對于分塊并找出最優(yōu)特征點并進行匹配的特征點匹配如圖7所示。

圖2 圖像分塊，邊緣部分為預留的補償區(qū)域

2.2 網(wǎng)格內(nèi)優(yōu)選特征點及其匹配

傳統(tǒng)的SURF特診是通過幾組高斯金字塔來做特診點判斷，特征信息中包含了特征點的不同尺度特征上的描述，還包括了特征點的主要方向，這樣在圖像縮放和旋轉(zhuǎn)上有良好的魯棒性。相對于SIFT特征來講，SURF特征通過積分圖像的轉(zhuǎn)換，使用簡單的代數(shù)運算代替了積分運算，更為實用，但是SURF特征的幾個尺度的計算其實在連續(xù)圖像中沒有太大價值。現(xiàn)在的視頻拍攝設備，圖像更新速度快，這樣在相鄰幀間考慮尺度性意義不大，而且還會帶來重大的計算開銷。結合MORAVEC特征的求取具有一定的方向性，而且簡單有效的特點，本文提出一種改進的經(jīng)典MORAVEC算法。因為MORAVEC算法通過簡單的梯度計算特征點信息，這樣大幅降低計算量，幾個方向的梯度計算在IC設計中可以使用幾個并行器同時計算，提高了計算速度，也高效利用了計算資源，降低了成本。對于每個當幀圖像，先計算其最大MORAVEC響應值，方法是通過不斷比較當前計算的MORAVEC響應值是否大于當前最大值，如果大于則替換掉當前存儲的特征向量。通過計算每相隔一定距離點的橫縱向和對角方向的灰度差值的絕對值和作為特征點的描述子，本質(zhì)是特征點結合了塊匹配的匹配方式。為了在計算量和描述信息之間做一個折衷，采取相間點的方法，計算每相鄰九點的最大MORAVEC值，這樣做的目的是減少了不斷的寫入特征點描述子占用的帶寬，在SOC中單獨設計該模塊時，這樣的方法能夠重復利用計算單元，節(jié)省了計算單元模塊。相鄰9點僅計算出一個最大的MORAVEC響應值，然后再提取其描述信息，用于和上幀相鄰上下左右最遠2個網(wǎng)格的特征點所在位置的特征塊進行比較，這樣能大幅降低計算量。圖8(a)和圖8(b)分別是采用相鄰9點計算的點數(shù)和相鄰3點計算的點數(shù)，由對比可見，采用相鄰9點來做分析能大幅降低計算量和傳輸帶寬。

圖3 計算比較單元示意圖

表1 不同算法所需要占用的存儲帶寬資源對比

圖4 當前響應點需要匹配的相鄰框最優(yōu)特征點

本文的方法看似需要比較的點數(shù)很多，但是根據(jù)ISP中數(shù)據(jù)流的特點，數(shù)據(jù)不斷地往下傳輸處理，本功能模塊卻直接并行計算MORAVEC特征點以及進行匹配，這樣需要占用的計算單元并不是很多，而且能夠及時處理。關于MORAVEC響應值的計算根據(jù)計算資源的多少，設定兩種計算方式。文中的實驗圖像僅采用了第一種方式計算得到，第1種方式采用式(2)，第2種方式區(qū)別采用式(3)，兩公式中k取-3～3之間7個整數(shù)。公式中Mora是該點的最終響應值，Mo是幾個方向上的響應值在特征匹配后，使用RANSAC方法進行誤匹配剔除，就能得到正確的匹配，并計算當幀x，y方向運動矢量值

Mora=max(Mo)

(1)

(2)

(3)

2.3 曲線的擬合

如何有效正確地擬合運動平滑曲線，這對正確的補償是一個重要的問題。相關文獻資料中提到的方法有很多，本文通過實驗分析，最為可行的方法是將各相鄰幀的運動矢量累積加起來，然后用一個平滑擬合的方法來做擬合。

在一些資料中提到的直接使用回歸曲線來做曲線擬合。事實上在SOC中難以實現(xiàn)該方法，因為在SOC中緩存能力有限，不能對多幀圖像進行儲存，因此當幀過來的圖像必須立刻進行處理，如果繼續(xù)直接使用回歸的方法來做，邊緣會有較大的畸變，效果很差。由于緩存的存儲空間大小的限定，這個曲線擬合的問題變成了一個實時追蹤平滑濾波的問題。另外，有許多文獻資料提到的使用Kalman濾波方法來做，但在運動方式不確定的情況下，根本不能完成運動平滑擬合，Kalman濾波需要有一個參考的模型，而實際中的運動是沒有確定的模型可供參考，拍攝設備的運動規(guī)律可以講是任意情況，Kalman濾波的方法僅適用固定的像監(jiān)控攝像設備之類的電子穩(wěn)像運動曲線濾波。通過實驗和分析，在場景平移的時候，比如拍攝設備想前方移動或左右移動，那么累加的相鄰幀間運動矢量就會呈現(xiàn)上升或下坡狀曲線，在這種情況下，無論是使用慣性濾波還是其他的像回歸多項式曲線的方法擬合出來的平滑曲線都會出現(xiàn)一個延滯現(xiàn)象，如果直接通過前面的運動規(guī)律做補償又會出現(xiàn)在運動突然消失的時候的過補償。本文采用了先通過慣性濾波的辦法，然后根據(jù)時間相距遠近做一個折中的權值補償擬合平滑曲線如式(4)所示，其中∑δi=1。

C(i)=R(i)×δ1+R(i-1)×δ2+…+R(i-15)×
δ15+(R(i)-R(i-15))×θ

(4)

2.4 補償

在上一步完成了曲線擬合的基礎上，計算當前實際的疊加值曲線與擬合曲線運動量的差值，然后對圖像位置進行調(diào)整，剪切掉圖像邊緣部分，得到穩(wěn)像后的圖像。這里有些文獻提到的通過腐蝕的方法實現(xiàn)邊緣部分的校正，由于可能會面臨著上幀中完全沒出現(xiàn)的物體的部分需要你做補償出現(xiàn)。特別是一些高速運動的物體像車輛之類，即使僅相隔一幀圖像，也會有較大的位置改變，無論是文獻[14]中提到的通過小波的辦法，以及文獻[13]中提到的圖像復原的方法，還是經(jīng)典的腐蝕膨脹，都不能達到一個能夠視覺上讓人接受的效果。唯一能在實際應用中可行的方案只有通過用一個較大的Sensor來做，設定預留的行數(shù)，這樣在最后的計算結果中自動剪切掉邊緣部分，得到的就是處理后的穩(wěn)定圖像。

3 實驗結果分析

實驗設備:攝像設備如圖5所示,采用的成像控制單元是自主研發(fā)的ISP。

通過圖6和圖7的對比，可以看出與相關文獻中提到的方法對比，本文方法尋找到的特征點匹配對在全圖中分布均衡，避免了僅追蹤局部區(qū)域的問題。

本文采用一個熵值來判定匹配對在圖像中分布的均衡性，具體方法是將每個匹配對對應當幀中的特征點截取其周圍10×10的面積，如果與其他特征點疊加，疊加部分則合并不重復計算，再將這個面積值除以計算的圖像區(qū)域的總面積，公式為

H= (5)

通過圖8可以看出，本文采用的相隔9點取最優(yōu)響應值再做比較的方法需要比較的點數(shù)遠小于僅作3點的處理，更遠勝過沒做該處理的方法，圖9可以看出本文的方法能夠平滑的擬合實時運動曲線。

圖5 自主研發(fā)的攝像控制單元

圖6 沒有進行分塊的特診點匹配

圖7 使用分塊的特診點匹配

圖8 采用相隔3點和相隔9點的計算點數(shù)的對比

4 結束語

本文提出的對圖像分塊特征匹配的方法，相較于傳統(tǒng)的直接使用特征匹配的方法來說，在整張圖的正確分析，場景的判定方面有較大的優(yōu)勢。但是本文的方法在場景切換時，特征點極少的情況下，該方法效果并不完美，當然這也是該項技術的一個瓶頸。如何能對極少特征點的圖像進行準確分析，還需要進一步研究和探討。

[1] 蔣建國,劉杰杰,齊美彬. 基于SURF和軌跡濾波的旋轉(zhuǎn)視頻穩(wěn)像算法[J].儀器儀表學報,2014,35(3)：550-557.

[2] 余家林,孫季豐,宋治國. 基于優(yōu)選特征軌跡的全分辨率視頻穩(wěn)定[J].電子與信息學報,2015,37(5)：1141-1148.

[3] Wang Y S,Liu F,Hsu P S,et al. Spatially and temporally optimized video stabilization[J]. IEEE Transactions on Visualization & Computer Graphics,2013,19(8):1354-1361.

[4] 陳麗莉. 基于SUSAN算法的角點檢測[J]. 現(xiàn)代計算機:專業(yè)版,2009(5):75-77.

[5] 王碩. 基于運動估計和運動分離等技術的電子穩(wěn)像算法研究[D]. 哈爾濱：哈爾濱工業(yè)大學,2014.

[6] 吳國楠,周超超,尹文波,等. 基于Harris角點與改進Hu矩的電子穩(wěn)像算法[J]. 計算機工程,2013,39(3):300-305.

[7] 孫平,鄒麗新. 基于改進特征點的電子穩(wěn)像穩(wěn)像算法研究[D].蘭州:蘭州大學,2008.

[8] Yin B,Duan H Ch. Image stabilizati-on by combining grayscal projection and block matching algorithm [C].Guangzhou:Proceedings of IEEE International Symposium on IT in Medicine & Education,2009.

[9] Herbert Bay,Tinne Tuytelaa-Rs,Luc Van Cool,et al. SURF: speed up robust features [C]. London:9th European Conference on Computer Vision,2006.

[10] 吳威,許廷發(fā),王亞偉,等.高精度全景補償電子穩(wěn)像[J].中國光學,2013,6(3):378-385.

[11] 葛川,郭寶龍.基于自適應運動濾波的電子穩(wěn)像技術研究[D].西安:西安電子科技大學,2011.

[12] 段煉,耿慶常.風云衛(wèi)星云圖自動識別追蹤MCS的方法[J].電子科技,2016,29(4):116-126

[13] 郭姝言,劉橋,盧進.一種改進的醫(yī)學圖像深度信息恢復算法[J].電子科技,2016,29(1):48-55.

[14] 董佳鵬,何建忠. 基于冗余小波變換的灰度多聚焦圖像融合方法[J].電子科技,2015,28(12):100-103.

[15] 李慶揚,易大義,王能超. 現(xiàn)代數(shù)值分析[M]. 北京：高等教育出版社,1995.

Research on Electronic Image Stabilization Technology in SOC based on Feature Matching with Multiple Boxes Statistics

SHA Zongye，YIN Zhiping

(Optoelectronic Technology Research Institute,Hefei University of Technology,Hefei 230000,China)

When the feature points are used to estimate the motion,the problem that the feature points will be concentrated in the region of the image often occurs. The method of calculating the feature points in each block by dividing the MORAVEC feature points to match the adjacent two frames of the video images,and then use the method of RANSAC mismatch elimination can effectively solve the problem. Based on the calculation of the middle area of the original SENSOR image grid and edge part reserved for the original image matching,statistics the right motion vector,the value of motion vector method and the total inertia filtering smoothing fitting and motion compensation values of each image. The distribution area of feature points matched by this method is obviously wider than that without the method. Moreover,this method used in SOC can be calculate fastly.

SURF; RANSAC; EIS; inertial filter; MVE

TN911.73;TP391.41

A

1007-7820(2017)11-048-05

2016- 12- 25

國家自然科學基金(61401140)

沙宗也(1986-),男，碩士研究生。研究方向：圖像處理。尹治平(1980-),男，博士，副研究員。研究方向：微波圖像。

10.16180/j.cnki.issn1007-7820.2017.11.014