潘 全，高 山，伍先達(dá)

（華南師范大學(xué)物理與電信工程學(xué)院，廣州510006）

基于ARM9的嵌入式電子穩(wěn)像系統(tǒng)研究和實(shí)現(xiàn)*

潘 全，高 山，伍先達(dá)

（華南師范大學(xué)物理與電信工程學(xué)院，廣州510006）

針對(duì)攝像頭固定狀態(tài)下拍攝的視頻抖動(dòng)，設(shè)計(jì)了一個(gè)可以快速消除視頻抖動(dòng)現(xiàn)象的實(shí)時(shí)嵌入式電子穩(wěn)像系統(tǒng)。系統(tǒng)改進(jìn)了傳統(tǒng)的灰度投影算法，對(duì)采集的視頻幀序列進(jìn)行預(yù)處理，估計(jì)運(yùn)動(dòng)矢量，投影濾波和運(yùn)動(dòng)補(bǔ)償實(shí)現(xiàn)穩(wěn)像功能。通過(guò)差影法和峰值信噪比法對(duì)穩(wěn)像效果進(jìn)行了主客觀分析，分析結(jié)果表明該系統(tǒng)處理速度快，成本低，穩(wěn)像效果較好，在視頻監(jiān)控、圖像拼接、運(yùn)動(dòng)目標(biāo)檢測(cè)等領(lǐng)域都有重要的應(yīng)用價(jià)值。

嵌入式；灰度投影；電子穩(wěn)像；運(yùn)動(dòng)補(bǔ)償；差影；峰值性噪比

1 引 言

近年來(lái)電子穩(wěn)像技術(shù)發(fā)展迅猛，應(yīng)用也越來(lái)越廣泛，在軍事、民用等領(lǐng)域有著重要的應(yīng)用價(jià)值。攝像設(shè)備由于設(shè)備載體運(yùn)動(dòng)、人為因素和自然因素等情況，采集的視頻出現(xiàn)抖動(dòng)，如列車經(jīng)過(guò)火車道口的監(jiān)控?cái)z像頭或者攝像頭受風(fēng)力等因素的影響，造成攝像頭晃動(dòng)而使得視頻畫(huà)面出現(xiàn)抖動(dòng)現(xiàn)象；及道路不平整或人為轉(zhuǎn)彎等原因，車載系統(tǒng)視頻監(jiān)控采集的畫(huà)面也容易出現(xiàn)抖動(dòng)現(xiàn)象。穩(wěn)像技術(shù)就是用來(lái)消除或減弱攝像設(shè)備拍攝的視頻抖動(dòng)現(xiàn)象。國(guó)內(nèi)外研究人員對(duì)電子穩(wěn)像技術(shù)近年來(lái)做了很多研究［1－4］，并取得了一定成績(jī)，提出了一些新的算法，但是大多數(shù)電子穩(wěn)像系統(tǒng)都是基于PC機(jī)的，雖然處理速率和精度都比較高，但是成本高、計(jì)算量大、不易攜帶。以下設(shè)計(jì)了一個(gè)成本低、效果好且可移動(dòng)的實(shí)時(shí)嵌入式電子穩(wěn)像系統(tǒng)。

2 電子穩(wěn)像基本原理

電子穩(wěn)像是指在電子設(shè)備平臺(tái)上利用圖像算法來(lái)消除或者減弱人眼在顯示器上觀察到的圖像跳躍，移位等抖動(dòng)現(xiàn)象。穩(wěn)像原理示意圖如圖1所示。

圖1 穩(wěn)像原理示意圖

圖中星星是圖形在9個(gè)像素塊中的成像，（a）圖代表第一幀圖像，（b）圖是相鄰幀圖像，（a）圖中，星星在1，2，4，5像素塊中成像，但是由于抖動(dòng)影響，同一物體在2，3，5，6像素塊上也有成像，這時(shí)在顯示器上我們會(huì)同時(shí)在1，2，3，4，5，6像素塊上看到圖像，造成圖像和視覺(jué)的錯(cuò)位。

3 灰度投影穩(wěn)像算法

灰度投影算法［5－6］是利用灰度圖像在x，y軸方向上的投影值，通過(guò)相關(guān)計(jì)算來(lái)確定運(yùn)動(dòng)矢量，完成運(yùn)動(dòng)補(bǔ)償?？煞譃閳D像預(yù)處理，圖像灰度映射，投影濾波，互相關(guān)計(jì)算四個(gè)部分。

3．1 圖像預(yù)處理

為了更準(zhǔn)確的進(jìn)行運(yùn)動(dòng)矢量估計(jì)，提高穩(wěn)像效果，通常需要先用直方圖均衡化對(duì)每一幀圖像進(jìn)行預(yù)處理，讓灰度平均分配給所有的像素，得到均勻分布的灰度直方圖，使圖像的對(duì)比度增強(qiáng)。

3．2 圖像灰度映射

在對(duì)圖像進(jìn)行灰度映射時(shí)，采用相鄰兩幀的前一幀作為參考幀，后一幀為當(dāng)前幀（正在進(jìn)行穩(wěn)像處理的幀），此時(shí)只考慮兩幀之間存在的平移運(yùn)動(dòng)（旋轉(zhuǎn)運(yùn)動(dòng)較少可忽略）。將當(dāng)前幀的二維圖像（N×M）分別進(jìn)行行投影和列投影，使得二維圖像信息映射為兩個(gè)獨(dú)立的一維信息，從而在很大程度上降低了運(yùn)算量和復(fù)雜度。其投影公式為：

式（1）、（2）中Ck（j）、Ck（i）分別代表第k幀圖像的第j列和第i行的灰度投影值，Ck（i，j）表示第k幀圖像在（i，j）處的像素灰度值，圖像的高度和長(zhǎng)度表示為M、N。實(shí)驗(yàn)采集320×240的視頻幀序列，其中一幀在水平、垂直兩個(gè)方向的灰度投影matlab仿真圖如圖2所示。

圖2 水平、垂直方向的灰度投影曲線

3．3 投影濾波

因?yàn)楫?dāng)采集的視頻抖動(dòng)較明顯時(shí)，視頻幀的邊緣信息也有明顯變化，一定程度上對(duì)互相關(guān)峰值的計(jì)算結(jié)果造成影響［7］。為了降低邊緣信息變化對(duì)互相關(guān)峰值計(jì)算結(jié)果的影響，采用中值濾波器濾除邊緣信息變化的波形，而保留中心區(qū)域的波段。

3．4 改進(jìn)后的互相關(guān)計(jì)算

進(jìn)行投影濾波后，將當(dāng)前幀和參考幀的行投影灰度值進(jìn)行行投影互相關(guān)計(jì)算，以及將當(dāng)前幀的列投影灰度值和參考幀的列投影灰度值做列投影互相關(guān)計(jì)算，通過(guò)互相關(guān)心曲線唯一波谷值確定當(dāng)前幀相對(duì)于參考幀的行、列運(yùn)動(dòng)矢量。以行投影互相關(guān)值計(jì)算公式為例：

其中1≤w≤2m＋1，第k幀第j列的灰度投影值用Ck（j）表示，Cr（j）表示參考幀第j列的灰度投影值，N表示列長(zhǎng)度，m為位移矢量相對(duì)于參考幀在一側(cè)的搜索寬度，參考幀與當(dāng)前幀行投影互相關(guān)值曲線圖如圖3所示。

圖3 參考幀與當(dāng)前幀行投影互相關(guān)值曲線

計(jì)算出w的值使得L（w）最小，并用wmin表示，可以得到當(dāng)前幀相對(duì)于參考幀圖像垂直方向上的位移矢量Δy（水平方向上的位移矢量Δx的計(jì)算同理）：

最后把當(dāng)前幀圖像反方向運(yùn)動(dòng)Δx和Δy，實(shí)現(xiàn)圖像的運(yùn)動(dòng)補(bǔ)償。

傳統(tǒng)灰度投影算法在自相關(guān)計(jì)算時(shí)采用全局搜索法，即在一側(cè)搜索寬度m內(nèi)所有的像素點(diǎn)都須進(jìn)行一次自相關(guān)值計(jì)算，需要進(jìn)行2m＋1次（在一側(cè)搜素寬度為m范圍內(nèi)，總共有m＋1個(gè)點(diǎn)，另一側(cè)則有m個(gè)點(diǎn)）。考慮到自相關(guān)曲線的單峰性和極值點(diǎn)靠近中心點(diǎn)的特點(diǎn)，對(duì)全局搜素法進(jìn)行改進(jìn)：在搜索寬度m范圍內(nèi)，均勻選取三個(gè)點(diǎn)，分別計(jì)算L（w）；接著以這三點(diǎn)中L（w）值最小的那個(gè)點(diǎn)為中心，在（m－1）／2搜索范圍內(nèi)再均勻選擇三個(gè)點(diǎn)，分別計(jì)算出L（w）；當(dāng)三點(diǎn)中使得L（w）的值最小的那個(gè)點(diǎn)不再變化時(shí)停止選取，此時(shí)的L（w）值就是要求的wmin。在搜索寬度m范圍內(nèi)，采用全局搜索法的計(jì)算量為2×m＋1，而改進(jìn)之后的搜索法計(jì)算量為3×log2（m＋1），運(yùn)算量減少（2×m＋1）－［3×log2（m＋1）］，且m值越大，計(jì)算量減少的越多。

4 基于ARM9 的嵌入式電子穩(wěn)像系統(tǒng)實(shí)現(xiàn)

4．1 硬件平臺(tái)

系統(tǒng)硬件平臺(tái)基于天嵌科技的ARM9開(kāi)發(fā)板（TQ2440），CPU處理器為S3C2440，4G的SD卡、4．3寸LCD液晶顯示屏、支持64MB到1GB大小的Nand Flash；在版本為VMwave Workstation 10．0．3的虛擬機(jī)內(nèi)安裝RedHat 6．0系統(tǒng)；主機(jī)為聯(lián)想Think-Pad E40系列Intel i3處理器，2G內(nèi)存，XP系統(tǒng)。

4．2 電子穩(wěn)像系統(tǒng)開(kāi)發(fā)環(huán)境構(gòu)建

使用ARM－LINUX－GCC交叉編譯器，配置、交叉編譯和鏈接相關(guān)的內(nèi)核、庫(kù)、開(kāi)發(fā)工具，在TQ2440開(kāi)發(fā)平臺(tái)上完成linux2．6．30內(nèi)核、UBOOT、YAFFS根文件系統(tǒng)、QT4．7．2、opencv2．4．9的移植和設(shè)置環(huán)境變量，并在內(nèi)核里加載OV9650視頻攝像頭驅(qū)動(dòng)。

4．3 嵌入式電子穩(wěn)像軟件設(shè)計(jì)

系統(tǒng)架構(gòu)搭建后，在集成了OPENCV的QT環(huán)境下編寫(xiě)電子穩(wěn)像應(yīng)用程序。添加頭文件cv．h、cxcore．h、highgui．h，直接調(diào)用OPENCV里相應(yīng)的API函數(shù)。使用多線程對(duì)攝像頭數(shù)據(jù)采集和穩(wěn)像處理，在QT中子類化Qthread創(chuàng)建Grabthread和Threadstable兩個(gè)線程，分別用于視頻采集和穩(wěn)像處理。灰度投影算法電子穩(wěn)像流程圖如圖4所示。

圖4 灰度投影算法電子穩(wěn)像流程圖

5 實(shí)驗(yàn)結(jié)果評(píng)價(jià)和分析

實(shí)驗(yàn)的抖動(dòng)視頻是在攝像頭固定狀態(tài)下采集的，視頻幀序列之間存在平移運(yùn)動(dòng)和少量的旋轉(zhuǎn)運(yùn)動(dòng)（可忽略不計(jì)）。以20幀／s的速率采集13秒總共260幀圖像，經(jīng)過(guò)測(cè)算（內(nèi)部定時(shí)器獲?。?，系統(tǒng)處理這260幀圖像總共花費(fèi)了5．72s，所以每幀的處理時(shí)間為22ms，一般實(shí)時(shí)攝像系統(tǒng)的幀處理時(shí)間要小于25ms［8］，所以系統(tǒng)的實(shí)時(shí)性較好。以圖3相鄰兩幀的互相關(guān)值曲線圖為例分析可知，當(dāng)w為31時(shí)，為該曲線的唯一波谷值，采用傳統(tǒng)全局搜索法的計(jì)算量為61（搜索范圍m為30），而采用改進(jìn)之后搜索方法的計(jì)算量?jī)H為15，計(jì)算量減少了75．41%。

為了驗(yàn)證電子穩(wěn)像系統(tǒng)的穩(wěn)像效果，采用差影法和峰值信噪比（PSNR）法對(duì)系統(tǒng)穩(wěn)像效果進(jìn)行主觀和客觀評(píng)價(jià)。差影法［9］：抖動(dòng)視頻在處理前，相鄰兩幀圖像由于抖動(dòng)的存在不能完全重合，差影法就是將相鄰兩幀圖片進(jìn)行相減，在不存在運(yùn)動(dòng)背景的前提下，相鄰兩幀圖像做差的理想結(jié)果是零，差影幀不會(huì)顯示任何圖像信息。顯然相鄰兩幀的差值越小，說(shuō)明輸出的視頻越穩(wěn)定，為零時(shí)，輸出的視頻是靜止的，這時(shí)候最穩(wěn)定，抖動(dòng)視頻穩(wěn)像前后對(duì)應(yīng)相鄰兩幀的差影幀對(duì)比如圖5所示。

圖5 穩(wěn)像前后對(duì)應(yīng)相鄰兩幀的差像幀

從圖中可以看出原視頻第7、8兩幀的差影幀上顯示的圖片信息多，說(shuō)明相鄰兩幀的相似度較低，而穩(wěn)像后的第7、8兩幀的差像幀上顯示的圖片信息少，說(shuō)明相鄰兩幀的相似度較高，輸出的視頻更加連續(xù)穩(wěn)定。但是由于噪聲、計(jì)算誤差等干擾的影響，所以差像幀上還是會(huì)顯示少量信息。

峰值信燥比（PSNR）法［10］是指通過(guò)計(jì)算相鄰兩幀的峰值信噪比的值，來(lái)精準(zhǔn)衡量?jī)煞鶊D片的重合情況，PSNR值越大說(shuō)明兩幀圖像越相似，穩(wěn)像效果越好。如果兩幀圖像完全重合，這時(shí)候PSNR值接近無(wú)窮大。其表示為：

式（6）中的MSE為相鄰兩幀之間的像素值均方誤差；N、M為圖像的寬和長(zhǎng)；fk（m，n）表示第K幀像素灰度值，fk－1（m，n）為第（K－1）幀的像素灰度值。穩(wěn)像前后視頻幀序列之間的PSNR值曲線圖如圖6所示。

圖6中紅色曲線是原始視頻幀序列之間的PSNR曲線，黑色虛曲線表示的是去完抖動(dòng)之后各幀之間的PSNR曲線。這里對(duì)穩(wěn)像前后的前80幀進(jìn)行比較。由圖可知，去抖動(dòng)后的幀序列之間的PSNR值整體大于穩(wěn)像幀序列之間的PSNR值。這是因?yàn)榉€(wěn)像前由于抖動(dòng)的存在使得相鄰兩幀之間的差異較大，而經(jīng)過(guò)穩(wěn)像處理后，在一定程度上消除了抖動(dòng)影響，使得相鄰兩幀的差異變小，但是由于某些相鄰兩幀（如圖中48、49兩幀）可能做同樣幅度或者幅度相差不大的抖動(dòng)，使得MSE增大，造成PSNR值變小，但這并不影響整體效果。

圖6 穩(wěn)像前后視頻幀序列之間的PSNR值曲線圖

6 結(jié)束語(yǔ)

通過(guò)改進(jìn)傳統(tǒng)灰度投影算法，設(shè)計(jì)了基于ARM9的實(shí)時(shí)嵌入式電子穩(wěn)像系統(tǒng)，并通過(guò)差影法和峰值信噪比對(duì)穩(wěn)像系統(tǒng)進(jìn)行了主客觀評(píng)價(jià)。實(shí)驗(yàn)結(jié)果和評(píng)價(jià)分析表明，該系統(tǒng)對(duì)攝像頭固定狀態(tài)下拍攝的抖動(dòng)視頻能實(shí)時(shí)的進(jìn)行去抖處理，計(jì)算量大幅度減少且效果較好，具有成本低等優(yōu)點(diǎn)，能廣泛運(yùn)用于視頻監(jiān)控和采集等領(lǐng)域，應(yīng)用價(jià)值較高。

［1］ VERMA K．Fast and robust real time digital video stabilization with smear removal using integral projection curve warping technique［C］．／／IEEE Communications（NCC）．Kumar，Avnish，India，2014：1－6．

［2］ KRISHNA R．Real－time digital video stabilization for multi－media applications［C］．／／IEEE Trans on CAS for Video Tech．Sala，Avery，England，2013：69－72．

［3］ HUI W，PENG S．An electronic image stabilization algorithm based on gray projection and circle projection matching［J］．Materials Science and Engineering，2014，6（1）：817－820．

［4］ 丁磊，肖麗萍，鄧杰航，等．基于Android的移動(dòng)電子穩(wěn)像系統(tǒng)的研究與實(shí)現(xiàn)［J］．計(jì)算機(jī)技術(shù)與應(yīng)用，2013，39（1）：112－114．Ding L，Xiao L P，Deng J H，et al．Research and realization of mobile video stabilization system bashed on Android［J］．Computer Technology and Its Applications，2013，39（1）：112－114．

［5］ Han Y L，Zhu D，Wang Y L．A real－time electronic image stabilization based on gray projection method［J］．Journal of Scientific Instrument，2008，29（8）：512－515．

［6］ CARLOS M，RAMA C．Fast electronic digital image stabilization for off－road navigation［J］．Real－time Imaging，1996，25（12）：285－296．

［7］ JASMIN B，MARK S．C＋＋GUI Programming with Qt 4［M］．Beijing：Publishing House of Electronics Industry，2008，255－264．

［8］ DUVAR，R．Real－time implementation of 1－dimensional projection based video stabilization on a mobile device［C］．Signal Processing and Communications Applications Conference（SIU），Trabzon，Turkey：Urhan，Oguzhan，2014：1914－1918．

［9］ MANISH O，PRABIR K B．Video stabilization using maximally stable extremely region features［J］．Multimedia Tools and Applications，2014，68（3）：947－968．

［10］ 任苗苗．用于視頻監(jiān)控的電子穩(wěn)像算法研究［D］．哈爾濱．哈爾濱工業(yè)大學(xué)，2010．Ren M M．Research of electronic image stabilization algorithm for video surveillance［D］．Harbin：Harbin Institute of Technology，2010．

Research and Implementation of Embedded Electronic Image Stabilization System Based on ARM9

Pan Quan，Gao Shan，Wu Xianda
（School of Physics and Telecommunication Engineering，South China Normal University，Guangzhou 510006，China）

For dithering video captured by the fixed camera，this paper designs a real－time embedded electronic image stabilization system which can quickly eliminate the dithered phenomenon among video frame sequences．This system realizes the image stabilization function by using the improved gray projection algorithm to preprocess the video frames，estimate the motion vector，filter the projection waves and compensate the motion vector．Through the methods of difference image and PSNR（Peak Signal to Noise Ratio）to analyze the image stabilization effect，the results show that the system has quick process，low cost and good image stabilization．It has significant application value in video surveillance，image stitching，moving target detection，etc．

Embedded；Gray projection；Electronic image stabilization；Motion compensation；Subtraction image；Peak signal to noise ratio

10．3969／j．issn．1002－2279．2015．04．021

TP399

A

1002－2279（2015）04－0081－04

廣東省教育部產(chǎn)學(xué)研項(xiàng)目（2012B091100062）；華南師范大學(xué)研究生科研創(chuàng)新基金（2013kyjj062，2014ssxm14）

潘全（1989－），男，湖南省永州市人，碩士研究生，主研方向：嵌入式電子穩(wěn)像和智能儀器與系統(tǒng)。

2014－12－26