文/雷玉堂

引言

眾所周知，圖像處理的目是改善圖像質(zhì)量、提取有用信息、識(shí)別預(yù)定目標(biāo)等。而光電圖像信息處理技術(shù)緊跟信息處理技術(shù)的前沿，擴(kuò)展人類的信息器官和思維器官的功能。特別是信息獲取與處理技術(shù)的發(fā)展，使人類對(duì)于外部世界看得遠(yuǎn)（超視距本領(lǐng)）、看得清（空間分辨、光譜分辨和立體分辨本領(lǐng)）、不受阻擋（穿透云霧或物體本領(lǐng)）、識(shí)別能力強(qiáng)（信息處理技術(shù)），把人類獲取外界信息的能力提高到空前的高度。

由于光電信息技術(shù)是邊緣學(xué)科交叉的新興科學(xué)技術(shù)，而其光電成像器件輸出的是視頻圖像信號(hào)，因而光電圖像處理，也就是我們常說(shuō)的視頻圖像處理，而這種視頻圖像處理的技術(shù)與方法，已廣涉應(yīng)用于現(xiàn)代安防的視頻監(jiān)控圖像處理中。本文介紹視頻圖像及其處理的基本概念，視頻圖像處理的基本技術(shù)與方法：如像素的點(diǎn)處理、區(qū)域處理，視頻圖像的幀處理等。

視頻圖像及其處理的基本概念

視頻圖像的含義

眾所周知，掃描型光電成像器件或攝像器件，是通過(guò)電子束掃描或固體自掃描等方式，將被攝景物經(jīng)光學(xué)系統(tǒng)成像在器件的光敏面上的二維圖像轉(zhuǎn)變?yōu)橐痪S時(shí)序信號(hào)輸出來(lái)。這種運(yùn)載圖像信息的一維時(shí)序信號(hào)就稱為視頻信號(hào)，或視頻圖像信號(hào)。如將這種視頻信號(hào)送入監(jiān)視器，控制顯像管的電子槍的強(qiáng)度，顯像管的電子槍與攝像器件作同步掃描，即可將攝像器件所攝取的圖像顯示出來(lái)。顯然，這種掃描型光電成像器件能對(duì)圖像進(jìn)行存儲(chǔ)和傳輸，并能實(shí)現(xiàn)遠(yuǎn)程觀察。

視頻（video）指動(dòng)態(tài)圖像（moving image），可以認(rèn)為是隨時(shí)間變化的靜態(tài)圖像系列（still-frame image/picture sequence）。在靜態(tài)圖像中，信息密度隨空間分布，且相對(duì)于時(shí)間為常量；而動(dòng)態(tài)圖像的空間信息密度特征則隨時(shí)間變化。

視頻圖像的數(shù)學(xué)表達(dá)式

視頻圖像的數(shù)學(xué)表達(dá)式的一般形式可以以寫成S（x，y，t）。其中，x，y為空間變量，t為時(shí)間變量，而S為對(duì)應(yīng)于時(shí)空點(diǎn)（x，y，t）的光度學(xué)物理量。如果采用RGB體系來(lái)描述的話，完整的數(shù)字表達(dá)式可寫成

當(dāng)RGB為模擬信號(hào)時(shí)，我們稱它為模擬視頻。如果對(duì)RGB進(jìn)行了數(shù)字化，就稱為數(shù)字視頻，這與模擬靜態(tài)圖像和數(shù)字靜態(tài)圖像的概念是基本相似的。但是模擬視頻和數(shù)字視頻要比模擬靜態(tài)圖像和數(shù)字靜態(tài)圖像的關(guān)系與差別復(fù)雜得多。

視頻圖像處理的基本概念

光電圖像處理是光電成像技術(shù)與數(shù)字圖像處理技術(shù)的結(jié)合，如圖1所示。由圖看出，光電成像技術(shù)是自然界圖像到數(shù)字世界圖像的橋梁。光電圖像處理是基于光電成像技術(shù)與計(jì)算機(jī)技術(shù)的圖像處理，因而其計(jì)算精度高、靈活性好、適應(yīng)性強(qiáng)。

圖1 視頻圖像處理

視頻圖像處理可以看成靜態(tài)圖像處理的高層處理，又可以看成靜態(tài)圖像處理的繼續(xù)。首先，它要用到靜態(tài)圖像處理的所有技術(shù)，因?yàn)橐曨l圖像是在時(shí)間上系列化的靜態(tài)圖像；其次，它包含了許多靜態(tài)圖像處理沒(méi)有的或不能解決的新問(wèn)題；再次，視頻圖像處理同時(shí)與圖形學(xué)、人工智能、模式識(shí)別等多個(gè)學(xué)科領(lǐng)域都有交叉的內(nèi)容，它們既有聯(lián)系，又有各自的特征和側(cè)重點(diǎn)。由于圖像是由像素構(gòu)成的，所以在很多情況下是對(duì)像素直接處理。這種像素處理的技術(shù)方法又可分為點(diǎn)處理和區(qū)域處理的技術(shù)方法，此外還有圖像的幀處理。下面分別論述。

視頻圖像的點(diǎn)處理的技術(shù)與方法

點(diǎn)處理又叫做直接對(duì)原像素值進(jìn)行處理，是一種最基本的圖像處理操作，算法比其他算法簡(jiǎn)單。點(diǎn)處理算法是指僅根據(jù)圖像中像素的原值（有時(shí)還要考慮該像素在圖像中的位置）按一定規(guī)則（或變換）來(lái)確定其新值的一種算法。也就是說(shuō)，單個(gè)像素的新值僅僅依賴于該像素原值的大小。由于像素原值與新值之間算法上的這種聯(lián)系，點(diǎn)處理算法一般是可逆的，并采取逐點(diǎn)掃描圖像像素的方式來(lái)完成各像素的變換處理。

由于點(diǎn)處理變換是一種僅僅依賴于像素原值的變換，所以這種變換過(guò)程可借助于查找表（LUT）來(lái)快速實(shí)現(xiàn)。如果點(diǎn)處理算法中還要考慮像素的位置，則除了查找表外，還要用到計(jì)算公式。一般，點(diǎn)處理算法并不改變一幅圖像中各像素之間的空間關(guān)系，因而點(diǎn)處理算法不能用于修飾圖像中所包含的細(xì)節(jié)。

點(diǎn)處理僅是用輸入像素值產(chǎn)生輸出像素值，它是圖像處理最簡(jiǎn)單最有效的方法。點(diǎn)處理的應(yīng)用包括圖像灰度變換、色度變換、直方圖分析等。下面討論點(diǎn)處理方法實(shí)現(xiàn)的圖像亮度調(diào)整、圖像亮度反置、圖像閾值化、圖像對(duì)比度拉伸、圖像偽彩色處理等圖像處理算法。

圖像亮度調(diào)整

這是一種點(diǎn)處理，處理時(shí)對(duì)圖像中每個(gè)像素加上（或減去）一個(gè)常數(shù)。設(shè)像素亮度為I，則變化按下式進(jìn)行

式中，b是亮度常數(shù)，可為正數(shù)或負(fù)數(shù)。若b為正數(shù)，則像素亮度增加；若b為負(fù)數(shù)，則像素亮度減少。

圖像亮度反置

圖像亮度反置同根據(jù)照片制作負(fù)片有點(diǎn)相似，是一種很簡(jiǎn)單的點(diǎn)處理技術(shù)。用這種方法對(duì)圖像進(jìn)行處理后，圖像亮的部分變暗，暗的部分變亮，較亮的部分變成較暗，較暗的部分變成較亮。其處理方法是：用可能的最大像素值減去像素的值作為該像素的新值。圖像中最暗的部分，其像素值為0，處理后變成最亮的部分，其像素值為63。反之，圖像中最亮的部分經(jīng)變換后反置成最暗的部分。

圖像閾值化

這是一種將連續(xù)色調(diào)圖像變成黑白圖像的方法，其基本思想是使像素值小于指定閾值的像轉(zhuǎn)換成黑像素，像素值等于或大于指定閾值的像素轉(zhuǎn)換成白像素。這一方法在諸如桌面印刷、機(jī)器視覺(jué)等各個(gè)領(lǐng)域都有著廣泛的應(yīng)用。

在機(jī)器視覺(jué)領(lǐng)域內(nèi)，對(duì)圖像進(jìn)行邊緣檢測(cè)之前，一般先對(duì)其進(jìn)行二值化處理。在這種情況下，閾值處理能夠消除圖像中那些可能會(huì)干擾邊界檢測(cè)處理的信息。正確地選擇閾值以保證在閾值處理中不至于損失太多的信息，這一點(diǎn)是很重要的。

對(duì)比度拉伸

一幅圖像的對(duì)比度與該圖像中亮的部分和暗的部分的分布情況有關(guān)。當(dāng)一幅圖像大部分區(qū)域都很亮或大部分區(qū)域都很暗時(shí)，該圖像顯示出對(duì)比度低的特點(diǎn)；而當(dāng)一幅圖像中較亮的部分與較暗的部分所占比重相當(dāng)時(shí)，該圖像顯示出對(duì)比度高的特點(diǎn)，連續(xù)色調(diào)圖像只有充分利用所有灰度色調(diào)范圍，才能顯現(xiàn)出對(duì)比度高的特點(diǎn)。

直方圖是檢查圖像對(duì)比度的一個(gè)理想工具，因此通常將直方圖與對(duì)比度拉伸點(diǎn)處理算法配套使用，以增強(qiáng)圖像的對(duì)比度。進(jìn)行對(duì)比度拉伸時(shí)，需要先用直方圖來(lái)判定低對(duì)比度圖像中像素值的分布主要集中在哪個(gè)區(qū)域。一般，這個(gè)區(qū)域周圍往往有像素值沒(méi)有用的區(qū)。為了拉伸對(duì)比度，需分別從直方圖的左端向右（即0～63）和右端（最大像素處）向左（即63～0）掃描直方圖，分別找到超過(guò)給定閾值的第一個(gè)像素。像素值小于較低的那個(gè)閾值的像素，其像素值置0，像素值大于較高的那個(gè)閾值的像素其像素值置63。像素值介于兩個(gè)閾值之間的像素，按比例放大，使其填滿0到63區(qū)間，經(jīng)過(guò)上述處理后的圖像較好地利用了整個(gè)灰度范圍，視覺(jué)效果亦明顯改善。

偽彩色處理

它是用色度來(lái)代替像素灰度值的一種技術(shù)，即將黑白圖像變?yōu)椴噬珗D像，并用不同的色彩來(lái)代替黑白圖像的不同灰度等級(jí)，以達(dá)到圖像增強(qiáng)的目的。這樣做基于人眼對(duì)彩色的分辨率遠(yuǎn)遠(yuǎn)高于對(duì)灰度的分辨率，因?yàn)槿藢?duì)于黑白的圖像只能覺(jué)察出幾十種灰度變化，但卻能分辨出幾百種甚至上千種不同光強(qiáng)的色彩，所以將黑白圖像用彩色顯示的圖像進(jìn)行處理，是非常有效且實(shí)用的。例如，有一幅電燈燈絲圖像，已知像素與溫度有一定的關(guān)系，可利用偽彩色技術(shù)來(lái)區(qū)分不同的溫度。如最高溫度可用紅色表示，較低一些的溫度可用綠色表示，最低溫度用藍(lán)色表示。經(jīng)過(guò)偽彩色處理后的圖像總的信息量保持不變，但是其溫度信息對(duì)人眼就變得更加直觀了。

偽彩色處理技術(shù)有：密度分割法、灰度級(jí)到彩色的變換法、濾波法。后兩種處理技術(shù)實(shí)現(xiàn)起來(lái)要困難一些，但效果要好得多。由于這些方法介紹較多，這里就不再贅述。

視頻圖像的區(qū)域處理的技術(shù)與方法

所謂區(qū)域處理(簡(jiǎn)稱區(qū)處理)，是指對(duì)成組的多個(gè)像素進(jìn)行處理，經(jīng)過(guò)某種變換處理后，得到圖像中某一點(diǎn)的像素值。區(qū)處理變換中采用的像素組稱為鄰域，鄰域一般是由像素組成的二維矩陣，該矩陣每一維的大小均為奇數(shù)。中心像素（即感興趣的像素）位于鄰域的正中央，變換后中心像素的值將被經(jīng)過(guò)一定算法計(jì)算得到的新值所代替。鄰域中心像素周圍的那些像素值在二維方向上提供了圖像的亮度變化趨勢(shì)信息，在大多數(shù)區(qū)處理中要用到這些信息。這種亮度變化的趨勢(shì)信息就是空間頻率?？臻g頻率定義為像素的亮度在一定距離上的變化速率。一幅圖像空間頻率具有垂直和水平兩個(gè)分量。一幅具有高空間頻率的圖像通常是在很短的距離內(nèi)其像素值有急劇變化，如一幅黑白相間的棋盤圖像其空間頻率就很高，棋盤的方格越小，圖像的空間頻率就越高。一幅具有低空間頻率的圖像的像素值通常保持不變或者變化緩慢，如云的圖像，其空間頻率通常很低。由于區(qū)處理能對(duì)空間頻率信息進(jìn)行處理，所以區(qū)處理可用來(lái)減緩或增強(qiáng)圖像中某些特定的頻率分量。正因?yàn)槿绱?，大多?shù)區(qū)處理都屬于空間濾波器?？臻g濾波在圖像處理中有很多應(yīng)用，例如，可提取圖像特征（邊界增強(qiáng)和檢測(cè)）、進(jìn)行圖像銳化、圖像平滑、圖像模糊及去除圖像中的隨機(jī)噪聲等。

區(qū)域處理使用輸入像素中的每個(gè)像素值產(chǎn)生輸出像素值，典型應(yīng)用包括離散卷積運(yùn)算、圖像變換、圖像濾波、邊緣檢測(cè)等。下面介紹三個(gè)區(qū)處理算法：卷積、中值濾波和Sobel邊緣檢測(cè)。

卷積處理

卷積是一種用途很廣的算法，可用卷積來(lái)完成各種區(qū)處理變換，如低通空間濾波、高通空間濾波、邊緣增強(qiáng)、圖像模糊等。

理解卷積的一種最好的方法是將它看做加權(quán)求和的過(guò)程。鄰域中的每個(gè)像素（假定鄰域?yàn)?×3）大小，其卷積核大小與鄰域相同（見圖2），它分別與卷積核每個(gè)元素相乘，乘積求和所得結(jié)果為中心像素的新值。卷積核中的元素稱為加權(quán)系數(shù)（亦稱為卷積系數(shù)），卷積核中的卷積系數(shù)的大小及排列順序決定了對(duì)圖像數(shù)據(jù)進(jìn)行區(qū)處理的類型。改變卷積核中的加權(quán)系數(shù)，會(huì)影響到總和的數(shù)值與符號(hào)，從而影響到所求像素的新值。圖2給出了幾種不同卷積核及其代表的各種變換，從圖中可看出，大多數(shù)常用的卷積核都是3×3的，所有卷積核的行數(shù)和列數(shù)均為奇數(shù)，這些格式的卷積核已經(jīng)成為工業(yè)標(biāo)準(zhǔn)，加大卷積核可使卷積處理更為靈活。從應(yīng)用角度可不考慮構(gòu)成這些卷積核背后的復(fù)雜數(shù)學(xué)理論，而直接使用這些卷積核，來(lái)解決所面臨的實(shí)際問(wèn)題。

圖2 卷積過(guò)程示意圖

低通空間濾波器：低通空間濾波器是一種保留圖像低頻成分，減少圖像高頻成分的處理算法。低通空間濾波器可以用來(lái)降低圖像中的視覺(jué)噪聲，也可以用來(lái)除去圖像中的高頻成分，以便更好地觀察圖像的低頻成分。這是因?yàn)槌D像的高頻成分后，圖像中的那些不明顯的低頻變化就更容易識(shí)別了。低通空間濾波器的頻率截止點(diǎn)由卷積核的大小及卷積系數(shù)決定。圖3給出了三種不同的低通空間濾波器卷積核。

應(yīng)該注意到，所有的低通濾波卷積核，其卷積系數(shù)之和均為1，這一點(diǎn)對(duì)于理解低通濾波器的工作原理很重要。對(duì)圖像中沒(méi)有高頻成分的區(qū)域來(lái)說(shuō)，這個(gè)區(qū)域中的像素值應(yīng)該保持不變或者變化緩慢。當(dāng)于用一個(gè)低通濾波器對(duì)這個(gè)區(qū)域進(jìn)行卷積時(shí)，加權(quán)系數(shù)與鄰域像素分別相乘并求和，即可得到鄰域中心像素的新值。如果鄰域中所有像素的值都相同（保持恒定不變），則中心像素的新值與原值相同。這就是為什么加權(quán)系數(shù)和為1的原因，即卷積處理后保留了圖像的低頻部分。當(dāng)卷積核移到圖像的高頻區(qū)域時(shí)，像素值的任何快速變化經(jīng)過(guò)卷積計(jì)算，與鄰域中其他像素取平均，這樣就降低了高頻成分。從視覺(jué)效果來(lái)看，圖像經(jīng)過(guò)低通濾波器處理后，顯得有些模糊。這種現(xiàn)象的出現(xiàn)，是由于削弱了圖像的高頻成分，像素值的突變被平均值所代替的緣故。

圖3 幾種不同的卷積核(除了LAP3外，其余卷積的卷積系數(shù)之和均為0)

高通空間濾波器：當(dāng)需要觀察圖像中具有高頻成分的目標(biāo)時(shí)，可采用高通空間濾波器對(duì)圖像進(jìn)行處理，處理后的圖像中，頻率較高的部分更突出了，而頻率較低的部分被削弱了。圖3給出了3個(gè)高頻濾波器的卷積核。在高頻濾波器中卷積核中心點(diǎn)的值最大的那個(gè)卷積系數(shù)起著關(guān)鍵的作用。當(dāng)這個(gè)卷積系數(shù)經(jīng)過(guò)圖像中的高頻部分（即灰度值有突變部分）時(shí)，由于卷積核中心點(diǎn)卷積系數(shù)很大，所以與像素值相乘后，在卷積結(jié)果中占了很大的比重（卷積核中除中心點(diǎn)以外其余各負(fù)的卷積系數(shù)值只是對(duì)上述放大效應(yīng)起一些削弱作用），卷積結(jié)果使已有的灰度突變變得更突出。也就是說(shuō)，經(jīng)過(guò)處理后，圖像中像素值間的灰度差得到增強(qiáng)，而對(duì)像素值較恒定的區(qū)域則保持不變。也就是說(shuō)，圖像中像素值變化不大的區(qū)域（低頻成分區(qū)域）不受此變換的影響。

拉普拉斯邊緣增強(qiáng)：采用卷積方法的另一種區(qū)處理就是邊緣增強(qiáng)。在對(duì)圖像進(jìn)行特征提取之前，一般要進(jìn)行邊緣增強(qiáng)，然后再進(jìn)行二值化處理，以提取圖像特征。邊緣增強(qiáng)算法處理的目的是要突出圖像的邊緣。常用的邊緣增強(qiáng)算法之一是拉普拉斯邊緣增強(qiáng)算法。

拉普拉斯邊緣增強(qiáng)算法是一種各向同性的增強(qiáng)算法，即其邊緣的增強(qiáng)程度與邊緣的方向無(wú)關(guān)。不論圖像灰度梯度是正的還是負(fù)的，拉普拉斯邊緣增強(qiáng)方法都能使邊緣得到增強(qiáng)。

函數(shù)f (x,y)拉普拉斯變換的數(shù)學(xué)表達(dá)式為

式中，d2f/dx2是f相對(duì)于x的二次偏導(dǎo)數(shù)，d2f/dy2是f相對(duì)于y的二次偏導(dǎo)數(shù)。對(duì)于離散函數(shù)來(lái)講，二次偏導(dǎo)數(shù)可近似地用差分表示為

因此，拉普拉斯變換可近似地表示為

L{ f(x,y)}=f (x+1,y)+f (x-1,y)+f (x,y+1)+f (x,y-1)-4f (x,y) （5）

式（5）等效于一個(gè)與f(x,y)進(jìn)行卷積運(yùn)算的卷積核。卷積核可寫成

圖3中給出了如上所述的卷積核LAP1。

中值濾波

中值濾波是一種區(qū)處理方法，但它不屬于卷積。中值濾波也是一種根據(jù)鄰域中各像素的值來(lái)決定中心像素值大小的方法，但它并不需要根據(jù)鄰域值用算術(shù)方法計(jì)算出新像素值，而是一種按鄰域中的像素排序后的中位像素（即排序后處于正中的那個(gè)像素值）作為中心像素新值的方法。

經(jīng)過(guò)中值濾波后，圖像中的隨機(jī)噪聲將被有效地消除。這是因?yàn)猷徲蛑辛炼戎蛋l(fā)生隨機(jī)突變的像素，經(jīng)過(guò)排序后，要么排在隊(duì)列的隊(duì)首，要么排在隊(duì)列的隊(duì)尾。而中心像素的新值，是取自隊(duì)列中位的那個(gè)像素值。理論與實(shí)踐證明，許多圖像經(jīng)過(guò)中值濾波處理后，都能得到較好的視覺(jué)效果。

Sobel邊緣檢測(cè)法增強(qiáng)

Sobel邊緣檢測(cè)算法，是一種非線性邊緣檢測(cè)算法，該算法效率很高，而且用途很廣。Sobel邊緣檢測(cè)算法中計(jì)算兩個(gè)不同的卷積核，即

計(jì)算檢測(cè)出來(lái)的邊界強(qiáng)度和方向的公式為

用Sobel邊緣檢測(cè)算法對(duì)圖像中每一個(gè)像素進(jìn)行處理后，得到的輸出圖像通常還要進(jìn)行同值化處理。當(dāng)中心像素新值（即所計(jì)算的差值絕對(duì)值的最大值）等于或大于給定的閾值時(shí)，輸出像素為白；小于給定的閾值時(shí)，則輸出像素為黑。經(jīng)過(guò)Sobel算法和閾值處理后，最后的結(jié)果是一幅只包含邊緣信息的黑白二值圖。

視頻圖像的幀處理的技術(shù)與方法

圖像的幀處理是用視頻信號(hào)的前后幀（一幀或多幀）來(lái)處理本幀，它廣泛應(yīng)用于視頻壓縮中，例如運(yùn)動(dòng)補(bǔ)償、幀內(nèi)插等。

在靜態(tài)圖像中，哪一個(gè)目標(biāo)是運(yùn)動(dòng)的，或者說(shuō)哪部分圖像是目標(biāo)，并不容易確定。而在視頻中，卻可以通過(guò)分析前后幀變化來(lái)確定運(yùn)動(dòng)的部分圖像或目標(biāo)。限于篇幅，這里僅討論基于兩幀圖像差（即幀差）的目標(biāo)運(yùn)動(dòng)與軌跡探測(cè)方法。

幀差模型分析

圖4 相鄰幀圖像的目標(biāo)位置變化示意圖

兩幀圖像相減的情形如圖4所示。一般，可以把圖像分成目標(biāo)和背景兩大部分，目標(biāo)可以是多個(gè)，這里只畫出了一個(gè)。當(dāng)目標(biāo)和背景運(yùn)動(dòng)時(shí)，目標(biāo)和背景的相對(duì)位置和形狀就會(huì)發(fā)生改變。在兩幀圖像相減時(shí)，可以把圖像分成幾個(gè)不同的區(qū)域。目標(biāo)重疊區(qū)表示兩幀中都有目標(biāo)內(nèi)容的區(qū)域，目標(biāo)覆蓋區(qū)表示該區(qū)域在上一幀為背景而本幀為目標(biāo)的區(qū)域，目標(biāo)暴露區(qū)則表示上一幀為目標(biāo)而本幀為背景的區(qū)域，背景重疊區(qū)則表示兩幀都為背景的區(qū)域。當(dāng)然，也有背景覆蓋區(qū)和背景暴露區(qū)，由于都在圖像邊緣，位置固定，所以不必單獨(dú)詳細(xì)討論。

對(duì)于運(yùn)動(dòng)目標(biāo)探測(cè)，主要討論目標(biāo)重疊區(qū)、目標(biāo)覆蓋區(qū)和目標(biāo)暴露區(qū)的情況。

在圖4中，設(shè)目標(biāo)以速度υm運(yùn)動(dòng)，設(shè)背景以速度υb運(yùn)動(dòng)，它們都是時(shí)間t的函數(shù)。同時(shí)，由于只是平移，圖像分布函數(shù)的形式不變，只是在位置上發(fā)生了變化，在數(shù)學(xué)函數(shù)上表現(xiàn)為位置變量隨時(shí)間變化。設(shè)p0表示原始起點(diǎn)位置，目標(biāo)圖像可以表示為式（9），背景圖像可以表示為式（10）。經(jīng)過(guò)時(shí)間Δt后，目標(biāo)和背景圖像可以分別表示為式（11）和式（12）。式（9）和式（10）中目標(biāo)圖像是覆蓋在背景上的，兩者不能在同一區(qū)域同時(shí)出現(xiàn)，如圖4（a）和（b）所示。在以后的討論中，位置p0和υm,υb都是向量，具有方向?qū)傩浴?/p>

當(dāng)圖4（a）、（b）兩幀圖像相減時(shí)，其結(jié)果在不同的區(qū)域，表示式不同。在目標(biāo)重疊區(qū)的結(jié)果如式（13）所示，在目標(biāo)覆蓋區(qū)的結(jié)果如式（14）所示，在目標(biāo)暴露區(qū)的結(jié)果如式（15）所示。在背景重疊區(qū)的結(jié)果如式（16）所示。為了便于討論，在這些表達(dá)式中，設(shè)背景和目標(biāo)圖像函數(shù)的一階導(dǎo)數(shù)處處存在。

在目標(biāo)重疊區(qū)和背景重疊區(qū)，相減的結(jié)果就是各自運(yùn)動(dòng)圖像的一階微分與運(yùn)動(dòng)速度和時(shí)間間隔的乘積。在圖像上表現(xiàn)為邊緣增強(qiáng)運(yùn)算，在圖像各區(qū)域的邊界上，出現(xiàn)較大的數(shù)值，在灰度緩變區(qū)，出現(xiàn)很小的數(shù)值。

在目標(biāo)覆蓋區(qū)和目標(biāo)暴露區(qū)，除了微分外，還有目標(biāo)和背景的差值。只有目標(biāo)和背景的運(yùn)動(dòng)速度（包括方向）完全相同，且在交界處目標(biāo)和背景的取值（或極限）相等，差值才隨時(shí)間連續(xù)變化，即當(dāng)Δt→0時(shí)，Δf→0。

目標(biāo)和背景運(yùn)動(dòng)的幀差分析

下面分別討論目標(biāo)和背景在不同的移動(dòng)速度時(shí)，前后兩幅圖像相減的不同結(jié)果。

背景不動(dòng)，目標(biāo)移動(dòng)：這時(shí)幀相減就能很好地探測(cè)出目標(biāo)，且給出目標(biāo)的運(yùn)動(dòng)過(guò)程。由于背景圖像不變，因此相減后背景區(qū)除了隨機(jī)噪聲外，都接近于0。而在目標(biāo)疊加區(qū)，目標(biāo)圖像區(qū)的高頻信息顯示出來(lái)。特別是在目標(biāo)與背景交界處，信息特別明顯，這是由于目標(biāo)與背景在交界處不能保持一階連續(xù)，其差值是較大的。從式（14）和式（15）可以看出，在不同的時(shí)刻，[fb( p0+υbt)-fm( p0+υmt)]總有較大的數(shù)值。

目標(biāo)和背景以不同的速度和方向移動(dòng)：這時(shí)相減結(jié)果也可以探測(cè)出運(yùn)動(dòng)目標(biāo)，但是有較大的背景噪聲。因?yàn)楸尘暗母哳l信息同時(shí)顯示出來(lái)了。如果把相減的結(jié)果，再進(jìn)行一次連續(xù)相減，那么在得到的結(jié)果中，背景區(qū)噪聲幾乎完全去掉了。這時(shí)相當(dāng)于背景圖像的二階微分運(yùn)算，因?yàn)閿z像機(jī)得到的圖像都是較平滑的，其二階導(dǎo)數(shù)的變化和數(shù)值要小得多。實(shí)踐結(jié)果表明，雖然目標(biāo)信息也有所消弱，但是比背景要強(qiáng)得多。

仔細(xì)分析式（15）和式（16），可以明白其中的道理。這時(shí)因?yàn)樵谀繕?biāo)覆蓋區(qū)和目標(biāo)暴露區(qū)，二次相減只相當(dāng)于目標(biāo)圖像和背景圖像的一階微分，所以仍能保持較大的數(shù)值。即使是運(yùn)動(dòng)目標(biāo)是原背景圖像的一部分，從原視頻系列中幾乎難以發(fā)現(xiàn)目標(biāo)，但通過(guò)一次和二次相減后，目標(biāo)及其運(yùn)動(dòng)過(guò)程能清晰地顯露出來(lái)。

目標(biāo)發(fā)生多種運(yùn)動(dòng)：當(dāng)目標(biāo)和背景以不同的速度和方向移動(dòng)時(shí)，這與上一種情況基本相同。差別是由于目標(biāo)的轉(zhuǎn)動(dòng)，增加了目標(biāo)的信息，使目標(biāo)更為明顯。即使在目標(biāo)和背景移動(dòng)速度相同或都不運(yùn)動(dòng)時(shí)，如果目標(biāo)有轉(zhuǎn)動(dòng)，相減一般也能得到很好的結(jié)果。如果目標(biāo)是特殊形狀（如完全對(duì)稱的回轉(zhuǎn)體），以特殊形式運(yùn)動(dòng)（如以回轉(zhuǎn)體軸線轉(zhuǎn)動(dòng)），那么前后兩幀圖像是沒(méi)有什么差別的，簡(jiǎn)單相減并不能探測(cè)出該目標(biāo)。這時(shí)，就要考慮其他補(bǔ)充信息的探測(cè)。

目標(biāo)軌跡探測(cè)的幀差分析

由上可知，幀差法，即連續(xù)視頻幀相減法，只是取出了目標(biāo)的大致區(qū)域和范圍，目標(biāo)到底是什么、目標(biāo)的準(zhǔn)確形狀等信息，并沒(méi)有求出。這時(shí)，可利用圖像分割與描述等來(lái)進(jìn)一步處理與識(shí)別。下面分析目標(biāo)軌跡探測(cè)的幀差探測(cè)方法。

幀差法目標(biāo)運(yùn)動(dòng)軌跡探測(cè)分析：通過(guò)連續(xù)圖像相減，可以得到前后幀圖像的差別，從而得到目標(biāo)運(yùn)動(dòng)信息。在比較好的情況下，背景差別很小而目標(biāo)差別較大，可以用“質(zhì)心”求出目標(biāo)的位置，從而求出目標(biāo)的運(yùn)動(dòng)軌跡。

設(shè)相鄰兩幀圖像相減后的圖像矩陣為p(m,n),m=0,1,…,M-1,n=0,1,…,N-1，則圖像質(zhì)心位置是

從式（17）中可以看出，求和是對(duì)整個(gè)圖像范圍內(nèi)進(jìn)行的。當(dāng)背景為零時(shí)，該圖像的質(zhì)心與目標(biāo)的質(zhì)心是相同的。因此，求出整個(gè)圖像的質(zhì)心，就求出了目標(biāo)的質(zhì)心。但在實(shí)踐應(yīng)用中，卻要復(fù)雜得多。首先是背景不為零，則圖像的質(zhì)心與目標(biāo)的質(zhì)心不重合。要求出目標(biāo)的質(zhì)心，必須先求出目標(biāo)圖像的邊界范圍。在實(shí)時(shí)系統(tǒng)中，沒(méi)有太多時(shí)間先求邊界，因?yàn)榍筮吔绾湍繕?biāo)判別需要很復(fù)雜的運(yùn)算，所以先求出目標(biāo)邊界范圍的方法在許多場(chǎng)合下并不可取。

在這里，第一步是先對(duì)相減后的圖像進(jìn)行一定的統(tǒng)計(jì)，把低于某個(gè)閾值的像點(diǎn)，取為0，這樣可以大大減少背景的影響。但某些高頻背景區(qū)域難以去掉，雖然人腦可以很快地發(fā)現(xiàn)，但計(jì)算機(jī)不容易實(shí)現(xiàn)。上面方法可對(duì)單一目標(biāo)的軌跡進(jìn)行一定探測(cè)，但對(duì)多個(gè)目標(biāo)，就不合適了。

第二步是把圖像分區(qū)，求出每個(gè)區(qū)域的質(zhì)心和質(zhì)量。經(jīng)過(guò)閾值過(guò)濾后，背景區(qū)基本可以去掉，顯示出多個(gè)目標(biāo)區(qū)域的質(zhì)心變化，從而顯示多個(gè)目標(biāo)的運(yùn)動(dòng)軌跡。該方法大大改善了目視效果，但是它給出的是一群數(shù)據(jù)，不能直接應(yīng)用于繪出運(yùn)動(dòng)軌跡和反饋控制。

第三步是對(duì)上面的局部質(zhì)心進(jìn)行分類和組合，把相鄰的子塊連通成一組，求出該組的質(zhì)心，從而得到一個(gè)目標(biāo)的質(zhì)心。從物理上講，多個(gè)目標(biāo)在空間上是分開的，那么他們所占的局部質(zhì)心在空間也是分開的，這樣就求出了各個(gè)目標(biāo)各自的質(zhì)心。

把M×N的圖像分為Mb×Nb個(gè)子塊，依次求出(u,v)位置子塊的質(zhì)心位置坐標(biāo)Xb(u,v)，Yb(u,v)和質(zhì)量Gb(u,v)。設(shè)Sb(u,v)是(u,v)位置子塊的群組屬性值，以子塊的平均質(zhì)量為依據(jù)，設(shè)定閾值G0，對(duì)Sb(u,v)進(jìn)行分類。當(dāng)Gb(u,v)小于閾值時(shí)，Gb(u,v)和Sb(u,v)置為0，否則給Sb(u,v)分配一個(gè)不相重的非0值。進(jìn)行上述處理后，質(zhì)量不為0的相鄰子塊取相同的群組屬性值。那么群組屬性值相同的子塊屬于同一群組。最后，以群組為單位，求出該群組內(nèi)子塊的合并質(zhì)心位置坐標(biāo)和平均質(zhì)量，就是每個(gè)目標(biāo)的位置和質(zhì)量。少數(shù)背景變化大的背景區(qū)域也可能是一個(gè)群組，但是與運(yùn)動(dòng)目標(biāo)的行為有較大的差別，可以通過(guò)其他參數(shù)剔除。其過(guò)程如圖5所示。

圖5 各目標(biāo)與背景分離過(guò)程示意圖

運(yùn)動(dòng)目標(biāo)軌跡自動(dòng)探測(cè)與目標(biāo)和背景的運(yùn)動(dòng)分析：當(dāng)背景不動(dòng)，單個(gè)目標(biāo)移動(dòng)時(shí)，這時(shí)幀相減就能很好地探測(cè)出目標(biāo)。用整體質(zhì)心和局部綜合求質(zhì)心，都能得到很好的運(yùn)動(dòng)軌跡，如圖6所示。

當(dāng)背景移動(dòng)，單目標(biāo)移動(dòng)和轉(zhuǎn)動(dòng)時(shí)，這時(shí)背景有較大的噪聲，因此有較大的質(zhì)量，只用圖像整體質(zhì)心法不能得到目標(biāo)的正確位置。在圖7中，只能基本上探測(cè)出目標(biāo)的運(yùn)動(dòng)趨勢(shì)，不能探測(cè)出目標(biāo)的正確位置。用局部質(zhì)心綜合法，可以正確地探測(cè)出目標(biāo)的位置和運(yùn)動(dòng)軌跡。

圖6 背景不動(dòng)，單個(gè)目標(biāo)移動(dòng)和轉(zhuǎn)動(dòng)

圖7 背景移動(dòng)，單目標(biāo)同時(shí)移動(dòng)和轉(zhuǎn)動(dòng)

圖8 背景移動(dòng)，多目標(biāo)同時(shí)移動(dòng)和轉(zhuǎn)動(dòng)

當(dāng)目標(biāo)和多目標(biāo)背景以不同的速度和方向移動(dòng)時(shí)，這時(shí)背景圖像上有多個(gè)目標(biāo)的差別圖像，同時(shí)還有背景的噪聲。從圖8中的局部質(zhì)心圖可以看出，許多塊有較大的質(zhì)量，而且分布在多個(gè)區(qū)域，所以整體質(zhì)心法不僅不能探測(cè)出目標(biāo)的正確性位置和運(yùn)動(dòng)趨勢(shì)，更無(wú)法正確探測(cè)出多個(gè)目標(biāo)的情況了。局部質(zhì)心綜合法能夠區(qū)別多個(gè)目標(biāo)，也能探測(cè)出各個(gè)目標(biāo)的位置和運(yùn)動(dòng)軌跡。在圖上可以看出，特別明顯的背景運(yùn)動(dòng)軌跡也被描繪出來(lái)了。

當(dāng)目標(biāo)和背景運(yùn)動(dòng)速度相同時(shí)，這時(shí)目標(biāo)和背景合成了一幅圖像。通過(guò)相減方法，并不能有效地發(fā)現(xiàn)目標(biāo)，因?yàn)殡y以把背景和目標(biāo)分離。圖像整體質(zhì)心法得到的信息很少，因?yàn)楸尘暗馁|(zhì)心變化很少。局部質(zhì)心法可以探測(cè)出圖像高頻邊緣移動(dòng)的位置，但看不出什么趨勢(shì)。局部質(zhì)心綜合法可以探測(cè)出圖像高頻邊緣移動(dòng)的方向和位置，提供了更多的有價(jià)值的信息。

此外，還有基于圖像塊的二維運(yùn)動(dòng)估算的方法。這種基于塊的運(yùn)動(dòng)估算和補(bǔ)償是運(yùn)動(dòng)分析最通用的算法。即它把幀圖像分成一定大小的圖像塊，認(rèn)為每個(gè)圖像塊具有一個(gè)唯一的運(yùn)動(dòng)向量（即運(yùn)動(dòng)的方向和距離）。這樣，也就可通過(guò)對(duì)圖像塊的運(yùn)動(dòng)分析，找出前后幀的圖像各部分的對(duì)應(yīng)關(guān)系。

結(jié)束語(yǔ)

以上簡(jiǎn)要地介紹了視頻圖像及其處理的基本概念，以及視頻圖像處理的基本技術(shù)與方法，可供安防科技人員借鑒與參考。欲了解詳情，可參閱電子工業(yè)出版社出版的《光電信息實(shí)用技術(shù)》與《光電圖像處理》，本人也歡迎咨詢與討論。