賈永華

一種安防專用視頻增強儀

賈永華

海康威視研發(fā)了一種自適應(yīng)的視頻圖像增強和視頻穩(wěn)定算法，開發(fā)出了一款安防專用的視頻增強儀。適合于實現(xiàn)圖像增強和視頻穩(wěn)定，以更好地為安防監(jiān)控行業(yè)服務(wù)。

隨著攝像系統(tǒng)在各領(lǐng)域中的廣泛應(yīng)用，對圖像信息的清晰性和穩(wěn)定性要求也在不斷提高。而圖像的不穩(wěn)定主要是由攝像機載體的運動導(dǎo)致的，因此運動載體上的攝像系統(tǒng)需安裝穩(wěn)像系統(tǒng)。視頻穩(wěn)像是新一代的穩(wěn)像方法，它利用數(shù)字圖像處理等技術(shù)實現(xiàn)實時、高精度地穩(wěn)定動態(tài)圖像；由于受各種外界因素的影響，拍攝的圖像有時候不利于人眼觀察和計算機處理，圖像增強的目的是增強圖像的視覺效果，將原圖像轉(zhuǎn)換成一種更適合于人眼觀察和計算機進行分析處理的形式，使處理后的圖像適合于某種特定的應(yīng)用。

海康威視研發(fā)了一種自適應(yīng)的視頻圖像增強和視頻穩(wěn)定算法，開發(fā)出了一款安防專用的視頻增強儀。適用于實現(xiàn)圖像增強和視頻穩(wěn)定，以更好地為安防監(jiān)控行業(yè)服務(wù)。

引言

隨著電子計算機技術(shù)的進步，人們利用計算機對圖像進行各種形式的處理，促進了圖像處理技術(shù)的發(fā)展。在圖像處理過程中，圖像增強作為預(yù)處理部分的基本技術(shù)，用于改善圖像的質(zhì)量。由于它在許多領(lǐng)域得到了廣泛應(yīng)用，受到了人們的重視。圖像增強是圖像處理的基本內(nèi)容之一。圖像增強是指按特定的需要突出一幅圖像中的某些信息，同時削弱或去除某些不需要的信息的處理方法，從而有目的地強調(diào)圖像的整體或局部特征。增強處理后的圖像不一定逼近原始圖像，但信息量會更加豐富，圖像判讀和識別效果會更好。

攝像系統(tǒng)已廣泛應(yīng)用在艦船的光電設(shè)備、無人機偵察系統(tǒng)，以及偵察車的監(jiān)視系統(tǒng)等領(lǐng)域中。而攝像系統(tǒng)的工作效果要受到其載體不同時刻的姿態(tài)變化或振動的影響，反映到監(jiān)視器上，就是獲得的圖像信息不穩(wěn)定、模糊。而這種不穩(wěn)定的圖像易讓觀察者產(chǎn)生疲勞感，從而導(dǎo)致誤判和漏判；對于目標(biāo)自動識別系統(tǒng)會導(dǎo)致漏警和虛警。所以，在運動的載體中，攝像系統(tǒng)的穩(wěn)像是一個十分重要的問題。

圖像增強

圖像增強是很早的課題，國內(nèi)外對此有很多研究相應(yīng)算法也有許多。這些方法都有各自的優(yōu)缺點，總體來說，它們大致可以被分成頻域法和空域法兩大類。

頻域法是對原圖像進行某種變換（如，傅氏變換、小波變換等），在變換域中進行處理達到增強的目的，這種方法的計算量相對較大，變換的參數(shù)選取人工干預(yù)較多。

空域法則是直接對原始圖像進行處理，主要算法有直方圖均衡、直方圖變換、邊緣提取、平滑濾波、局部灰度和增益控制等。這類方法一般普適性較差。

近年來出現(xiàn)了模糊處理方法，其處理步驟通常為：首先將空域中的原始圖像數(shù)據(jù)通過模糊化映像，使其成為特征平面中的模糊圖像的數(shù)據(jù)，然后利用特征平面中的各種性質(zhì)，對圖像信息進行處理，最后將處理后的信息數(shù)據(jù)逆映像到空間域，從而獲得增強后的圖像。這種方法很好地利用了圖像所固有的二義性，比較符合人的視覺習(xí)慣；但是這種方法也有其缺點，它需要人工介入來確定渡越點及飽和點，這就限制了其應(yīng)用。下面介紹幾種常見的圖像增強方法。

傳統(tǒng)的圖像增強方法

傳統(tǒng)的圖像增強處理方法基本可以分為空域圖像增強和頻域圖像增強兩大類?？沼蚴侵附M成圖像的像素的集合，空域圖像增強直接對圖像中像素灰度值進行運算處理，如灰度變換、直方圖均衡化、圖像的空域平滑和銳化處理、偽彩色處理等。頻域圖像增強是對圖像經(jīng)傅立葉變換后的頻譜成分進行操作，然后逆傅立葉變換獲得所需結(jié)果，如低通濾波技術(shù)、高通濾波器技術(shù)、帶通和帶阻濾波、同態(tài)濾波等。為了適應(yīng)圖像的局部特性，基于局部變換的圖像增強方法應(yīng)運而生，如局部直方圖均衡化、對比度受限自適應(yīng)直方圖均衡化、利用局部統(tǒng)計特性的噪聲去除方法。目前還將一些學(xué)科與圖像處理相結(jié)合，如基于神經(jīng)網(wǎng)絡(luò)的脈沖噪聲濾波技術(shù)、基于紋理分析的保細節(jié)平滑技術(shù)等。

灰度變換

灰度變換是圖像增強的重要手段之一，通過擴大或改變灰度的值域范圍，提高清晰度，使特征更加明顯。它主要利用點運算來修正像素灰度，通?？煞譃榫€性變換、分段線性變換、非線性變換。線性變換對于灰度范圍較窄的圖像可以較好地改善圖像，對于其他一些圖像增強效果并不明顯。為了突出圖像中感興趣的目標(biāo)或灰度區(qū)間，采用分段線性變換。對于目標(biāo)和背景可以明確區(qū)別的圖像，可以借助圖像的灰度直方圖來確定分段區(qū)間的灰度范圍。一般為了準(zhǔn)確確定變換區(qū)間，需要反復(fù)調(diào)整區(qū)間范圍，很多情況下根據(jù)經(jīng)驗來確定。通過拉伸目標(biāo)對應(yīng)的灰度范圍，壓縮背景對應(yīng)的灰度范圍，增強目標(biāo)和背景的對比度，利于人眼觀察和計算機處理。在某些情況下，應(yīng)用非線性變換可以獲得比線性變換更好的增強效果，如在圖像過暗或過亮的情況下，利用指數(shù)變換或?qū)?shù)變換的效果可能比線性變換更好一些，然而它們?nèi)菀资箞D像過增強或欠增強，同時參數(shù)也較難控制。

直方圖均衡化

直方圖均衡化方法是圖像增強空域法中最常用、最重要的方法之一。目前主要包含傳統(tǒng)的直方圖均衡化、局部直方圖均衡化兩大類。傳統(tǒng)的直方圖均衡化能自動地增強整幅圖像的對比度而得到了廣泛的應(yīng)用，但由于不能適應(yīng)圖像的局部亮度特性，易發(fā)生灰階合并現(xiàn)象，從而造成區(qū)域細節(jié)丟失，同時對噪聲也較為敏感。局部直方圖均衡化是一種自適應(yīng)的方法，能最大程度地增強細節(jié)部分，主要缺點是它的計算量非常大，同時會引進很多噪聲。雖然對于局部直方圖均衡化方法進行了改進，然而運算速度仍是制約其應(yīng)用的重要因素之一。

基于多尺度分析的圖像增強方法

多尺度分析又稱為多分辨率分析，它是由Mallat于1989年首先提出的。以小波變換為代表的多尺度分析方法，被認(rèn)為是分析工具及方法上的重大突破。小波分析在時域或頻域上都具有良好的局部特性，而且由于對高頻信號采取逐步精細的時域或空域步長，從而可以聚焦到分析對象的任意細節(jié)。隨后取得了許多研究成果，如Sattar et al提出了一種非線性的多尺度增強方法、楊煊提出了一種基于方向信息的多尺度邊緣檢測和圖像去噪的方法等。

數(shù)學(xué)形態(tài)學(xué)增強方法

數(shù)學(xué)形態(tài)學(xué)是用具有一定形態(tài)的結(jié)構(gòu)元素去量度和提取圖像中的對應(yīng)形狀，以達到對圖像分析和識別的目的。它的數(shù)學(xué)基礎(chǔ)是集合論，最基本的形態(tài)學(xué)算子有腐蝕、膨脹、開和閉。數(shù)學(xué)形態(tài)學(xué)增強技術(shù)主要是形態(tài)學(xué)平滑去噪技術(shù)，相對圖像開啟然后再閉合是一種對圖像進行平滑的方法。這兩種操作的綜合效果是去除或減弱亮區(qū)和暗區(qū)的各類噪聲?；跀?shù)學(xué)形態(tài)學(xué)的形態(tài)學(xué)濾波器可借助先驗圖像的幾何信息。利用數(shù)學(xué)形態(tài)學(xué)算子，有效地去除噪聲，同時又可以保留圖像中原有的信息。

模糊增強方法

近年來不少學(xué)者致力于把模糊集理論引入圖像處理和識別技術(shù)的研究。由于圖像本身的復(fù)雜性，多灰度分布所帶來的不確定性和不精確（即模糊性），使得用模糊集合理論進行圖像處理成為可能。自Pal和King率先將模糊集合理論應(yīng)用到圖像增強處理上，模糊增強技術(shù)受到了人們的重視。Chen et al（1995）把模糊集引入到經(jīng)典的直方圖修正中，提出了一種自動直方圖修正方法；Action （1998）基于模糊非線性回歸給出了一種圖像增強方法，并且用于遙感圖像的去噪和邊緣增強；近年來Han et al （2002）推廣了通常意義的彩色直方圖，提出了模糊彩色直方圖的概念，并且已經(jīng)成功應(yīng)用于彩色圖像的檢索；Russo （2002）充分利用模糊集理論解決不確定性問題的優(yōu)勢，較好地解決了受到?jīng)_擊噪聲干擾的彩色圖像的邊緣檢測問題；模糊集方法和神經(jīng)網(wǎng)絡(luò)、遺傳算法結(jié)合用于圖像增強的方法正在研究之中。

另外，由于沒有圖像增強的通用標(biāo)準(zhǔn)，主要是根據(jù)人眼的主觀判斷和經(jīng)驗知識，結(jié)合人類的視覺特性模型，基于人類視覺的圖像增強技術(shù)也成為一種研究趨向。

視頻穩(wěn)像

通常采用的穩(wěn)像方法有：主動穩(wěn)像、被動穩(wěn)像和視頻穩(wěn)像。主動穩(wěn)像是安裝陀螺穩(wěn)定平臺穩(wěn)定攝像系統(tǒng)，陀螺穩(wěn)定平臺主要是衰減低頻振動。被動穩(wěn)像是采用減振裝置來隔離載體的振動，抑制高頻振動對攝像機的影響。主動穩(wěn)像和被動穩(wěn)像可配合使用實現(xiàn)寬范圍的穩(wěn)像。但是，由于高精度的陀螺穩(wěn)定平臺不僅結(jié)構(gòu)復(fù)雜，體積大、價格昂貴、功耗大，而且在有的場合，如彈載、輕載飛機、外星球探測中，因體積的限制而無法使用。所以，提出一種新型的穩(wěn)定方法——視頻穩(wěn)像技術(shù)來實現(xiàn)電視圖像的穩(wěn)定。

由于視頻穩(wěn)像算法直接處理圖像，可簡化設(shè)備，提高穩(wěn)像精度，近幾年來美國、加拿大、韓國、日本等國對穩(wěn)像算法展開了深入的研究，提出了多種方法，但總的來說，已有的分析方法主要分為兩類基于特征量的方法和基于光流的方法?；诠饬鞯姆椒ɡ昧嘶叶鹊淖兓畔ⅲ枰獜膱D像序列的灰度變化中計算速度場。根據(jù)文獻報道，由于實際景物中的速度場不一定總是與圖像中的直觀速度場有唯一對應(yīng)關(guān)系且偏導(dǎo)數(shù)計算加重噪聲水平，使得光流法得到的結(jié)果在使用中常常不穩(wěn)定，因此提取對灰度不敏感的有效特征量計算圖像運動矢量的方法應(yīng)用得較多。目前，主要的穩(wěn)定算法有代表點匹配法RPM（representative point matching）、投影算法PA（projection algorithm）、特征量跟蹤算法FTA（feature track algorithm）等，各種方法都有其特定的適用范圍，具體介紹如下：

代表點匹配法

代表點匹配法已應(yīng)用在小型攝像系統(tǒng)中。代表點是圖像上最簡單的特征量，通常是將圖像分成四個區(qū)域，每個區(qū)域分別選取若干個代表點，每個點有一個確定的搜索區(qū)域。建立先前幀與當(dāng)前幀圖像代表點之間的對應(yīng)關(guān)系式，最后以搜索區(qū)域內(nèi)選定的代表點為相對參考點作一個相同位移值，相應(yīng)的有一個絕對差值，對所有代表點坐標(biāo)的絕對差值求和，獲得一個相關(guān)函數(shù)關(guān)系式如下：

式中It-1，It表示第k個代表點在先前幀和當(dāng)前幀圖像中的像素數(shù)據(jù)。每個區(qū)域內(nèi)對應(yīng)(i,j)會有一個最小差值和，那么這個位移量可作為該區(qū)域的圖像運動矢量，通常四區(qū)域的位移矢量是不相等的，如果被攝景物是靜止的，可以將四區(qū)域的位移值平均作為整幅圖像的運動矢量。此方法的優(yōu)點是算法簡單、計算量小。但是由于代表點是確定的，并非是圖像上有明顯特征的點，因此對圖像的變化不敏感，對旋轉(zhuǎn)晃動和慢速晃動尚不能補償。此方法的檢測精確度在信噪比為30dB時能達到正負(fù)0.5像素差值。

投影法

投影法是利用圖像總體灰度變化規(guī)律來確定圖像運動矢量的一種方法，它不必對圖像上的每一點做相關(guān)運算，而是利用圖像的灰度投影曲線做一次相關(guān)運算，因此它的運算量小，運動估計速度快，容易滿足實時性要求。投影法通常分為三個步驟：1）灰度映射。當(dāng)前幀圖像經(jīng)過預(yù)處理以后，投影成為兩個獨立的一維波形，其投影公式如下:

其中Gk(j)，Gk(i)分別表示第k幀圖像的j列、i行的灰度值，Gk(i,j)表示第k幀圖像(i,j)點位置處的灰度值；2）進行投影濾波，由于圖像邊緣信息是唯一的，當(dāng)圖像位移量較大時，會導(dǎo)致投影波形在邊緣處的差異性，在進行相關(guān)計算時會對互相關(guān)峰值產(chǎn)生影響從而降低精度?？捎糜嘞移椒綖V波器進行濾波，降低邊緣信息的幅值，保留中心區(qū)域的波形，從而降低邊緣信息對互相關(guān)峰值的影響，提高檢測精度。在邊緣信息較為粗糙時，可以去掉若干行、列的像素后再用投影法計算其運動矢量；3）矢量的提取，分別將當(dāng)前幀與參考幀的行、列灰度投影波形做互相關(guān)計算，根據(jù)兩條相關(guān)曲線的唯一谷值即可確定當(dāng)前幀相對于參考幀的行和列的運動矢量。

一般的投影算法都是對整幀圖像進行投影計算, 得出的是全局運動矢量。它只考慮了平移現(xiàn)象，對于旋轉(zhuǎn)則沒有考慮。而且當(dāng)圖像中有攝像機的正常掃描和圖像中有小目標(biāo)運動時，檢測的運動矢量則不是很準(zhǔn)確，算法精度下降。為了解決這個問題，改進的投影算法被提出。一種改進算法是：將當(dāng)前幀圖像分為幾個區(qū)域，對每個區(qū)域進行投影計算，得出局部運動矢量，再由局部運動矢量求取全局運動矢量，這樣可以將小目標(biāo)運動矢量剔除。通常，分的區(qū)域越小，對運動矢量的估計越有利，但是,區(qū)域一小，投影曲線的變化就不是很明顯，對估計精度很有影響。因此，選擇適當(dāng)?shù)拇笮∈呛苡斜匾模鶕?jù)實際應(yīng)用綜合考慮。

特征量跟蹤算法

特征量跟蹤算法是穩(wěn)像算法中獲取圖像運動矢量的重要算法，由于在獲取圖像運動矢量時采用像素點匹配計算量大，而基于頻域的分析方法對圖像所含信息的利用程度低，所以該算法是較常用的算法。主要利用的特征量有角點、直邊緣、曲邊緣等局部特征和型心、表面積、慣量矩的長短軸等全局特征。在具體應(yīng)用中，采用什么特征量主要看目標(biāo)具有那些特性。

特征量跟蹤時，在真實場景中可能會面臨一個嚴(yán)重的問題，各特征量所處的環(huán)境往往很復(fù)雜，其中經(jīng)常有各種干擾，如目標(biāo)的遮蓋、景物的陰影、背景的變化等，這些變化就使得特征量的跟蹤變得十分困難。但是，如果事先對要處理的目標(biāo)的某些信息如幾何結(jié)構(gòu)信息有所了解的話，將這些知識用于工作中就能使在特定條件下的特征量的跟蹤變得比較簡單而且可靠，這也是利用特征量進行跟蹤的一個主要原因。文獻中Thompson，Lowe和Tsai等人提出了多種根據(jù)結(jié)構(gòu)信息的特征量跟蹤算法。

利用FTA算法獲取各特征量的運動矢量是圖像的局部運動矢量，穩(wěn)定圖像還需要求出圖像由攝像機引起的全局運動矢量。全局運動矢量是在局部運動矢量的基礎(chǔ)上, 利用準(zhǔn)確設(shè)定的圖像運動數(shù)學(xué)模型來求取的，即將特征量的局部運動矢量帶入設(shè)定的數(shù)學(xué)模型中，然后求解方程組得到圖像全局運動矢量。

運動決定

得到了每幀的全局運動矢量以后，還不能直接進行補償，需要進一步判斷該矢量為抖動矢量還是抖動矢量和攝像機正常掃描運動矢量的合成。攝像機的正常掃描運動與圖像的抖動是有較明顯區(qū)別的。抖動是隨機的，而正常掃描活動在某一短時間內(nèi)，往往是向著同一個方向運動, 連續(xù)多幀圖像的全局運動矢量具有一定的方向性。另外，掃描運動一般比較緩慢，而抖動比較快， 抖動引起的運動矢量往往要大于掃描運動引起的兩幀圖像之間的運動矢量。根據(jù)這些特點，一種判斷方法如下:

定義

其中T1表示連續(xù)N幀圖像中相鄰幀運動差的絕對和，T2表示N幀圖像的平均運動矢量MV(ti) 表示第ti幀圖像相對于參考圖像的全局運動矢量，根據(jù)上面的判別式得出：如果T1/T2＜K1且K2＞K1，則為掃描運動，否則為隨機抖動。K1，K2為常數(shù),根據(jù)具體情況設(shè)置。這只是一種較為簡單的判斷方法，并不適合所有的場合，正常掃描和抖動之間并沒有明確的界限，往往憑人的主觀感覺判定，抖動與正常掃描的判定方法還有待進一步研究。

運動補償

在進行判定以后，就可以根據(jù)判定情況進行補償。當(dāng)沒有攝像機的正常掃描時，全局運動矢量就是抖動矢量，是需要去除的。根據(jù)全局運動矢量補償當(dāng)前幀圖像，得到穩(wěn)定圖像。全局運動矢量如果是幀到參考幀的，則直接進行補償。如果全局運動矢量是相鄰幀之間的運動矢量，則需要將當(dāng)前幀運動矢量與它前面幀的運動矢量求和，得到當(dāng)前幀與參考幀的運動矢量，然后對當(dāng)前幀進行補償。

當(dāng)存在攝像機的正常掃描時，需要進行濾波，求出攝像機正常掃描的運動矢量，然后由當(dāng)前幀的全局運動矢量減去正常掃描的運動矢量，得到抖動矢量，而后進行補償。常用濾波方法有以下三種：均值濾波、kalman濾波和B樣條運動濾波。

結(jié)論

目前還沒有一種通用的衡量圖像質(zhì)量的指標(biāo)能夠用來評價圖像增強方法的優(yōu)劣，圖像增強理論有待進一步完善。因此，圖像增強技術(shù)的探索具有試驗性和多樣性，增強的方法往往具有針對性。要取得對一幅圖像較好的改善效果，有時要綜合運用多種增強方法，發(fā)揮每種方法的特長。要依據(jù)圖像結(jié)構(gòu)的特點和圖像處理的要求，選用相應(yīng)的增強方法。圖像增強的最大困難是，很難對增強結(jié)果加以量化描述，只能靠經(jīng)驗、人的主觀感覺加以評價。同時，要獲得一個滿意的增強效果，往往需要人機的交互作用。

由于視頻穩(wěn)像技術(shù)是利用圖像處理算法實現(xiàn)圖像序列的穩(wěn)定，因此具有精度高、速度快、功耗少等優(yōu)點。隨著各攝像系統(tǒng)對圖像穩(wěn)定精度的要求不斷地提高，視頻穩(wěn)像技術(shù)的應(yīng)用必將越來越廣泛。目前，視頻穩(wěn)像的基本算法已經(jīng)比較完善，對于有平移運動、簡單的旋轉(zhuǎn)運動、單軸旋轉(zhuǎn)以及圖像上有小目標(biāo)運動物體的圖像序列可以做到快速、準(zhǔn)確地穩(wěn)定。視頻穩(wěn)像面臨的主要問題是如何利用圖像信息區(qū)分?jǐn)z像機的晃動量和攝像機的正常掃描運動，以及如何穩(wěn)定圖像多軸的旋轉(zhuǎn)運動等問題。解決這些問題不能僅僅依賴于圖像運動模型的精確程度，同時必須要充分利用圖像序列的信息量。另外，視頻穩(wěn)像雖然具有諸多的優(yōu)點，但是由它的原理可知，穩(wěn)定圖像的晃動將以損失部分圖像信息為代價，這在一定程度上限制了視頻穩(wěn)像的適用范圍。

作者單位：杭州?？低晹?shù)字技術(shù)股份有限公司