任毅，程耀瑜

（中北大學(xué) 山西現(xiàn)代無損檢測工程技術(shù)中心，山西 太原030051）

0 引言

智能相機(jī)的一個重要應(yīng)用領(lǐng)域是交通的實(shí)時監(jiān)控，在這個領(lǐng)域智能相機(jī)可以作為已知的由普通相機(jī)、圖像采集卡和電腦組成的機(jī)器視覺系統(tǒng)的替代品[1]。CMOS圖像傳感器可以克服由于天氣狀況或者路燈原因而引起的強(qiáng)度對比問題從而可以從智能相機(jī)中得到一個質(zhì)量更好的圖像或視頻處理結(jié)果。在智能相機(jī)中，不僅是圖像增強(qiáng)和圖像壓縮非常重要，而且應(yīng)用于場景分析和行為分析的視頻圖像計算方法也變得越來越重要。雖然這些應(yīng)用于實(shí)時處理和存儲的計算都有一個很高的要求，但是由于智能相機(jī)具有低功耗、低成本、具有充足計算處理和存儲能力，所以它可以滿足上述要求。

1 智能相機(jī)的結(jié)構(gòu)

1.1 系統(tǒng)概述

一般情況下，智能相機(jī)由圖像傳感器、處理單元和傳輸單元組成。用于交通監(jiān)控的智能相機(jī)被封裝在一個盒子里頭，安裝在隧道和高速路旁，由電源插座或者太陽能電路板向其供電。因此，智能相機(jī)在暴風(fēng)雨天氣等天氣變化明顯的時候，也可以正常使用。

1.2 系統(tǒng)結(jié)構(gòu)

智能相機(jī)的系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 智能相機(jī)系統(tǒng)結(jié)構(gòu)

1.2.1 圖像傳感器

圖像傳感器是智能相機(jī)整體數(shù)據(jù)流的第一個階段。傳感器把入射光轉(zhuǎn)換成能被傳輸?shù)教幚韱卧碾娦盘?。由于CMOS傳感器帶有對數(shù)特性、片上模數(shù)轉(zhuǎn)換器和功率放大器，所以它可以很好地滿足智能相機(jī)的要求。

1.2.2 處理單元

整個數(shù)據(jù)流的第二個階段是處理單元。高性能的圖像和視頻處理對計算性能的要求非常高，粗略估算計算速度是10GIPS。在智能相機(jī)中，通過數(shù)字信號處理器（DSP）可以實(shí)現(xiàn)這些性能要求。本實(shí)驗(yàn)設(shè)計的智能相機(jī)包含兩個DSP速率為600MHz的TMS320DM642DSP,這兩個DSP通過多通道緩沖串行口（McBSP）緊密地連接在一起，并且每個處理器與自己的局部存儲器相連[2]。圖像傳感器通過FIFO存儲器與一個DSP相連，以緩沖傳感器和DSP數(shù)據(jù)傳輸?shù)臅r間，然后通過一個8MB到256MB的外部存儲器把圖形傳輸?shù)紻SP中。

1.2.3 通信單元

智能相機(jī)中整個數(shù)據(jù)流的最后一個階段是通信單元。處理單元通過通用接口把數(shù)據(jù)傳輸?shù)酵ㄐ艈卧?，這個接口可以實(shí)現(xiàn)如以太網(wǎng)、無線局域網(wǎng)和GSM / GPRS不同網(wǎng)絡(luò)間的簡單連接。在以太網(wǎng)接口上必須添加物理層，因?yàn)橐呀?jīng)在數(shù)字信號處理器上實(shí)現(xiàn)了媒體訪問控制層。

1.3 低功耗條件

1.3.1 動態(tài)能量管理（DPM）

動態(tài)能量管理（DPM）的主要思想是各個組件在運(yùn)行時可以被切換到不同的電源模式。每種電源模式的特征是通過元件不同的功能/性能和相應(yīng)功耗來展現(xiàn)。例如，如果在某個特定時期內(nèi)沒有使用一個具體的元件，那么這個元件就沒被供電。改變元件供電模式的命令是由一個中央電源管理器（PM）控制的。該命令相當(dāng)于一個電源管理策略（PMP），通常在主要處理組件的操作系統(tǒng)中應(yīng)用PMP。為了決定該發(fā)出哪種命令，PM必須知道系統(tǒng)的工作量。轉(zhuǎn)變組件的電源模塊需要一段時間，因此為了避免系統(tǒng)故障，在PM的PMP中必須包含一些切換時間。

1.3.2 智能相機(jī)中的DPM

在智能相機(jī)中，PM位于主機(jī)DSP的操作系統(tǒng)內(nèi)核中。每個組件的電源模式由通過I2C發(fā)送的各個命令來控制。每個組件都有其特殊的包括不同功耗、速率和響應(yīng)時間的電源模塊。這些特征都封裝在PM的查找表中并被作為PMP的輸入來使用。如果智能相機(jī)在正常模式下運(yùn)行，比如在全功率模式下不需要運(yùn)行相應(yīng)的DSP。在這種情況下，PM把DSP設(shè)置成低功率模式以便滿足實(shí)時性的需要。如果相機(jī)改變其運(yùn)行模式為報警方式，那么PM把所有的組件都設(shè)置成高性能模式[3]。

2 軟件設(shè)計

2.1 圖像處理

為了驗(yàn)證智能相機(jī)的視頻處理能力，選擇在交通檢測中應(yīng)用非常重要的固定式車輛來做檢測。我們選擇在隧道環(huán)境做檢測，因?yàn)樗c戶外場景環(huán)境比起來較簡單。假如相機(jī)是靜止的而且周圍燈光環(huán)境是常量，光亮度僅僅由汽車運(yùn)動或噪音如汽車燈光反射引起。一幅圖像在（x,y）點(diǎn)處的像素就是所謂的背景像素，如果在靜態(tài)環(huán)境下兩幅連續(xù)圖像It-1(x,y)和It(x,y)的差值比固定狀態(tài)下的閾值小或者比統(tǒng)計情況下由分布式背景亮度值所支持的一個像素亮度值小，那么背景像素亮度值可以用高斯分布來描述。

圖2描述了固定汽車監(jiān)測算法。每一像素的背景模型用包含整個亮度范圍的高斯分布初始化，然后把觀察分布上傳到每個帶有新視頻流圖像的像素中，觀察分布的均值和方差由樣本均值和樣本方差估計得到。

圖2 固定式車輛檢測的視頻處理算法

2.2 視頻壓縮

以一秒25幀的全PAL分辨率標(biāo)準(zhǔn)傳輸視頻，這需要一個幾乎為一秒20MB的帶寬。最先進(jìn)的視頻壓縮減少帶寬的需要，需要100到1.5Mb/s。

高級簡單的MPEG-4編碼方法非常適合交通監(jiān)控，由于編碼質(zhì)量的原因，可以根據(jù)不同的需要調(diào)整需要的帶寬[4]。

2.3 網(wǎng)絡(luò)連接

把TCP/IP協(xié)議作為一個IP棧，可以實(shí)現(xiàn)網(wǎng)絡(luò)連接。通過FTP用戶可以把存儲在文件中的數(shù)據(jù)下載到相機(jī)中，如固化軟件更新或者新參數(shù)設(shè)置。通過UDP，用戶可以進(jìn)行多播流媒體視頻傳輸。本設(shè)計中的IP棧在DSP中已經(jīng)被設(shè)置優(yōu)化[5]。

2.4 固件

智能相機(jī)的固件控制整個系統(tǒng)的工作，并且提供接口和不同任務(wù)的控制如任務(wù)管理、相機(jī)控制和外圍控制。固件定義了4個基本的啟動等級：（1）正常模式；（2）報警模式；（3）全更新模式和最后更新模式；（4）部分更新模式。

3 實(shí)驗(yàn)研究

3.1 模型結(jié)構(gòu)

為了能盡快評估智能相機(jī)的功能和性能我們開發(fā)出了一個模型，如圖3所示。模型的核心部分是由ATEME制造的網(wǎng)絡(luò)視頻開發(fā)套件（NVDK）。該套件包括一個帶有264 MB同步動態(tài)內(nèi)存的TMS320DM642和一個以太網(wǎng)擴(kuò)展卡。通過擴(kuò)展板把LM-9618CMOS傳感器與NVDK連接在一起，并通過FIFO存儲器傳輸視頻數(shù)據(jù)。

圖3 智能相機(jī)的模型結(jié)構(gòu)

3.2 圖像處理結(jié)果與分析

假如相機(jī)是靜止的而且周圍燈光環(huán)境不變，僅僅由汽車運(yùn)動或噪音引起前景光亮度改變，如汽車燈光反射，亮度值是在0和255間的灰度值。一幅圖像在（x,y）點(diǎn)處的像素是語義上的背景像素，如果兩幅連續(xù)圖像It-1(X,Y)和It(X,Y)的差值

I(t-1)(X,Y)—It(X,Y)比固定狀態(tài)下的閾值小或者比統(tǒng)計情況下由分布式背景亮度值所支持的一個像素亮度值小，且我們已經(jīng)假定是在靜態(tài)環(huán)境下，那么背景像素亮度值可以用高斯分布來描述。為了使參數(shù)隨著時間的變化更可靠，在參數(shù)估計以前在空間域中把圖形用帶有標(biāo)準(zhǔn)偏差的高斯濾波器濾波，如圖4（a）。

本文選擇了一種帶有增強(qiáng)變化像素區(qū)域的連通區(qū)域算法，如圖4（b）。如果發(fā)生了最小閾值和最大閾值之間的區(qū)域重疊，同時每個亮度分布It-k(x,y)……It(x,y) 都描述了一個區(qū)域所有像素的最后圖像，如圖4（d）那么固定的汽車就被檢測出來。相對于觀察分布，可以實(shí)現(xiàn)適應(yīng)性前景模型，如圖4（c）。以下3種情況應(yīng)該注意：

圖4

（1）觀察分布在前景模型里面；（2）前景景模型在觀察分布里面；（3）前景模型和觀察分布相互交叉。

在（1）中前景模型太寬，所以模型參數(shù)被更新到觀測分布的參數(shù)中。這是由平均指數(shù)實(shí)現(xiàn)的。在（2）中，如果兩個分布的四分位差距比較小，那么前景模型僅僅由指數(shù)平均數(shù)更新。在（3）中的適應(yīng)性規(guī)則比（2）中的適應(yīng)性規(guī)則小。前景模型與觀測分布從左邊或者右邊交叉相互交叉。因此，前景模型的75%的四分位值或25%的四分位值分別被更新成觀測分布的75%的四分位值或25%的四分位值[7]，如圖4（e）。在由環(huán)境光的變化引起的全局強(qiáng)度變化的情況下，相當(dāng)數(shù)量的像素強(qiáng)度不會被當(dāng)前前景模型支持。然后，所有像素前景模型被重置成初始化模型。

3.3 視頻分析

在3.1節(jié)中描述固定式車輛檢測是對該模型的第一種算法的實(shí)現(xiàn)。然后把原始的MATLAB程序移植到C++中同樣也做了一些性能實(shí)驗(yàn)。未優(yōu)化的算法大約需要3500億每幀的周期，這相當(dāng)于在PAL分辨率中7秒鐘一幅圖像的處理時間。這個算法的主要瓶頸是內(nèi)存被過度浪費(fèi)和過度使用浮點(diǎn)運(yùn)算[8]。優(yōu)化的浮點(diǎn)運(yùn)算雖然有所改善，但我們還是決定用16位的變量實(shí)行定點(diǎn)運(yùn)算，通過減少浪費(fèi)的內(nèi)存和用前面提到的定點(diǎn)運(yùn)算方法，使性能得到提高了。

3.4 功耗估計

表1中列出了相機(jī)主要部件的標(biāo)準(zhǔn)功耗。通過應(yīng)用DPM，可以降低相機(jī)的功耗，提高相機(jī)的性能和可靠性。

表1 智能相機(jī)的預(yù)計功耗

[1]C.S.Regazzoni, V.Ramesh, and G.L.Foresti.Introduction of the special issue[J].Proceedings of the IEEE,89(10),Oct 2001.

[2]W.Wolf, B.Ozer, and T.Lv.Smart cameras as embedded systems[J].Proceedings of the IEEE.48-53, 2002

[3]肖傳偉.智能相機(jī)的設(shè)計研究 [D].長春: 中國科學(xué)院長春光學(xué)精密儀器機(jī)械與物理研究所，2007.

[4]周懷得,肖傳偉,郝志航.基于DSP和CPLD的智能相機(jī)系統(tǒng)設(shè)計與研制[J].微計算機(jī)信息，2006，22（62）：209-211.

[5]戴逸民，梁曉雯，裴小平.基于DSP的現(xiàn)代電子系統(tǒng)設(shè)計[J].北京：電子工業(yè)出版社，2002,6(39):25-31.

[6]鄒臣.基于DSP的智能相機(jī)系統(tǒng)設(shè)計[D].武漢：華中科技大學(xué),2007.

[7]R.P.Pflugfelder.Visual traffic surveillance using realtime tracking.Master’s thesis[D].Vienna University of Technology, Vienna, Austria, 2002.

[8]J.Foote,D.Kimber,FlyCam.Practical Panoramic Video and Automatic Camera Control[J].IEEE International Conference on Multimedia and Expo, 2000:1419-1422.