姜樹(shù)明，蔡秀霞，張?jiān)?，萬(wàn)會(huì)松，劉向陽(yáng)，劉曉輝

(山東省科學(xué)院情報(bào)研究所，山東 濟(jì)南 250014)

近年來(lái)，視頻監(jiān)控系統(tǒng)在公共安全防范和交通監(jiān)控等方面發(fā)揮著更大的作用，各種視頻圖像的采集與記錄也在越來(lái)越多的領(lǐng)域加以應(yīng)用。但是，由于氣候、光線變化以及其它原因，使獲取的視頻圖像無(wú)法清晰地顯示所監(jiān)視的目標(biāo)，嚴(yán)重時(shí)甚至看不到任何有用信息。因此，急需設(shè)計(jì)一種能對(duì)模糊圖像進(jìn)行清晰化處理的系統(tǒng)，提高視頻監(jiān)控系統(tǒng)的魯棒性。實(shí)時(shí)視頻圖像處理系統(tǒng)要求具有處理大數(shù)據(jù)量的能力，以保證系統(tǒng)的實(shí)時(shí)性;同時(shí)對(duì)系統(tǒng)的體積、功耗、穩(wěn)定性等也有較嚴(yán)格的要求。近年來(lái)，國(guó)內(nèi)外視頻數(shù)字圖像處理系統(tǒng)在目標(biāo)實(shí)時(shí)檢測(cè)方面出現(xiàn)了高度并行的視頻圖像處理方法［1-3］。如美國(guó)INMOS 公司1985年首次推出32 位具有獨(dú)特網(wǎng)絡(luò)性能的transputer 芯片，揭開(kāi)了研究高速并行數(shù)字圖像處理系統(tǒng)的序幕［4］。此后，陸續(xù)出現(xiàn)了更高性能的微處理器，所用的數(shù)字信號(hào)處理器從TMS32010、TMS320C25、TMS320F206、TMS320C80 到目前的TMS320C6000 系列［5］，不斷地進(jìn)行升級(jí)換代。為了改善惡劣環(huán)境下視頻監(jiān)控系統(tǒng)所采集圖像的質(zhì)量和清晰度，本文對(duì)具備視頻圖像綜合處理功能的系統(tǒng)硬件和軟件進(jìn)行了探討，開(kāi)發(fā)了一種實(shí)用的視頻圖像綜合處理系統(tǒng)，能實(shí)現(xiàn)視頻圖像去霧、去噪和清晰化處理，可廣泛應(yīng)用于智能監(jiān)控、交通、治安管理以及公安刑偵等領(lǐng)域。

1 方案設(shè)計(jì)

1.1 總體設(shè)計(jì)

系統(tǒng)分為硬件處理設(shè)備和軟件處理系統(tǒng)兩部分。對(duì)于實(shí)時(shí)采集的模擬信號(hào)先經(jīng)過(guò)硬件設(shè)備進(jìn)行處理，再進(jìn)行模數(shù)轉(zhuǎn)換，然后經(jīng)過(guò)軟件處理數(shù)字信號(hào)，最后完成兩部分的系統(tǒng)集成工作。其中，硬件處理設(shè)備的工作包括視頻圖像信息采集、模數(shù)轉(zhuǎn)換、監(jiān)視器顯示以及硬件設(shè)備預(yù)處理，最終完成初步采集信息清晰化預(yù)處理和調(diào)試，并為后續(xù)軟件處理提供較好的初始信號(hào)。軟件系統(tǒng)的研發(fā)工作，主要集中于完成各軟件模塊的研發(fā)，以及軟件模塊的集成工作，具體包括去霧處理、模糊車(chē)牌處理、數(shù)字清晰化處理等算法的實(shí)現(xiàn)，最終完成硬件設(shè)備與軟件系統(tǒng)的整合和調(diào)試。

圖1 處理模擬視頻圖像的系統(tǒng)框圖Fig.1 The system block diagram processing an analog video image

目前市面上流通的監(jiān)控?cái)z像機(jī)既有模擬攝像機(jī)也有數(shù)字?jǐn)z像機(jī)。由于本系統(tǒng)采用的是數(shù)字視頻圖像處理技術(shù)，因此對(duì)于采用模擬攝像機(jī)的監(jiān)控系統(tǒng)，需首先將模擬視頻進(jìn)行數(shù)字化處理［6］，即將需要處理的實(shí)時(shí)視頻圖像或已錄回放的視頻圖像，先經(jīng)過(guò)該系統(tǒng)的硬件設(shè)備后，再送入計(jì)算機(jī)進(jìn)行軟件處理。這種情況下，系統(tǒng)首先通過(guò)硬件設(shè)備處理將模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，即先通過(guò)DSP 軟硬件模塊對(duì)模擬視頻圖像進(jìn)行信號(hào)增強(qiáng)和噪聲過(guò)濾，再通過(guò)專(zhuān)用電路對(duì)模擬信號(hào)進(jìn)行整流、直流分量平衡等處理;然后進(jìn)入軟件處理模塊，通過(guò)量化和編碼手段完成視頻信號(hào)的模/數(shù)轉(zhuǎn)換，經(jīng)去噪、濾波等處理后，提取相應(yīng)的數(shù)字特征，進(jìn)入視頻圖像處理、文字處理、車(chē)牌識(shí)別等功能模塊，達(dá)到對(duì)視頻圖像質(zhì)量進(jìn)行改善和處理的效果，最后將處理好的視頻圖像進(jìn)行展示。處理模擬視頻圖像的邏輯框圖如圖1 所示。

對(duì)于采用數(shù)字?jǐn)z像機(jī)進(jìn)行拍攝的監(jiān)控系統(tǒng)，由于采集的已經(jīng)是數(shù)字視頻，因此無(wú)需進(jìn)行數(shù)字化及編碼處理，其情形相對(duì)簡(jiǎn)單，可直接進(jìn)入軟件處理模塊。軟件處理過(guò)程與模擬視頻圖像的處理方式相同。

本軟件采用傳統(tǒng)的軟件開(kāi)發(fā)生命周期，采用自頂向下、逐步求精的結(jié)構(gòu)化的軟件設(shè)計(jì)方法［7-8］。根據(jù)軟件功能需求，將視頻圖像綜合處理系統(tǒng)細(xì)分為以下3 個(gè)子系統(tǒng):視頻圖像處理子系統(tǒng)、文字處理子系統(tǒng)和車(chē)牌處理與識(shí)別子系統(tǒng)。軟件總體框架如圖2 所示。

1.2 開(kāi)發(fā)環(huán)境及工具

以Windows 為操作平臺(tái)，開(kāi)發(fā)工具采用Visual Studio 2005 中文版。選取Visual Studio 2005 作為開(kāi)發(fā)工具的原因:

(1)語(yǔ)言和IDE:各有特色和創(chuàng)新的4 種語(yǔ)言(Visual Basic，Visual C++，Visual C#和Visual J#)將豐富編程體驗(yàn)。對(duì)IDE 進(jìn)行改進(jìn)并提供個(gè)性化服務(wù)是提高生產(chǎn)力的保證。

(2).NET Framework 2.0:提供一個(gè)可靠的應(yīng)用平臺(tái)，為構(gòu)建安全、高性能、關(guān)鍵業(yè)務(wù)的解決方案提供了堅(jiān)實(shí)基礎(chǔ)。

圖2 視頻圖像綜合處理軟件結(jié)構(gòu)Fig.2 Software architecture of a video image processing system

1.3 接口設(shè)計(jì)

(1)用戶接口:本系統(tǒng)采用圖形用戶交互接口，以鼠標(biāo)和鍵盤(pán)為用戶輸入接口，方便用戶對(duì)需要處理的圖片進(jìn)行操作。

(2)外部接口:打印功能接口，采用系統(tǒng)自帶界面，理論上在所有Windows XP 系統(tǒng)中相同，且通用。

(2)內(nèi)部接口:對(duì)于圖片基本參數(shù)(對(duì)比度、亮度、色彩飽和度)的調(diào)整，可與去霧處理或清晰化處理的效果疊加，而去霧處理與清晰化處理兩者相對(duì)獨(dú)立。

1.4 系統(tǒng)特色

(1)具有視頻圖像的去霧、去噪等模糊視頻圖像清晰化處理的功能，而且能夠通過(guò)對(duì)有用信息進(jìn)行增強(qiáng)和特征提取來(lái)實(shí)現(xiàn)視頻圖像、文字和車(chē)牌識(shí)別的處理。

(2)有用視頻圖像信息(指處理前的視頻圖像內(nèi)容中，有需要處理的視頻圖像信息，且其像素?cái)?shù)應(yīng)大于全屏畫(huà)面像素?cái)?shù)的1/20)處理后的識(shí)別率達(dá)到85%以上。

(3)既能處理實(shí)時(shí)視頻圖像，又能處理單幀靜止視頻圖像或照片;既能處理模擬視頻圖像，又能處理數(shù)字視頻圖像。

(4)既有標(biāo)準(zhǔn)的模擬輸入/輸出接口，又有標(biāo)準(zhǔn)的數(shù)字輸入/輸出接口。

圖3 視頻圖像處理子系統(tǒng)功能細(xì)分Fig.3 Functionality subdivision of the video image processing sub-system

2 系統(tǒng)功能實(shí)現(xiàn)

2.1 模塊設(shè)計(jì)實(shí)現(xiàn)

視頻圖像綜合處理系統(tǒng)共包含了3 個(gè)子系統(tǒng)，各子系統(tǒng)既相互區(qū)別又相互聯(lián)系。3 個(gè)子系統(tǒng)中，圖像處理子系統(tǒng)是各個(gè)子系統(tǒng)實(shí)現(xiàn)其功能的基礎(chǔ)和前提，其它子系統(tǒng)可看作是圖像處理子系統(tǒng)的具體應(yīng)用。因此，圖像處理子系統(tǒng)是整個(gè)系統(tǒng)的核心，該系統(tǒng)實(shí)現(xiàn)的功能主要包含視頻圖像基本參數(shù)調(diào)整、視頻圖像去霧處理和視頻圖像清晰化處理，見(jiàn)圖3。

(1)視頻圖像基本參數(shù)調(diào)整:實(shí)現(xiàn)對(duì)輸入視頻圖像的一般性處理，如亮度調(diào)整、對(duì)比度調(diào)整、色彩飽和度調(diào)整等，主要為后續(xù)其他視頻圖像處理算法提供預(yù)處理。

(2)視頻圖像去霧處理:對(duì)霧天中拍攝的視頻圖像進(jìn)行處理，整體增強(qiáng)視頻圖像的清晰度，降低大霧對(duì)景物識(shí)別分辨的影響。

(3)視頻圖像清晰化處理:對(duì)惡劣環(huán)境中拍攝的非清晰視頻圖像進(jìn)行增強(qiáng)處理，讓原本模糊的視頻圖像變得清晰。

2.2 視頻圖像基本參數(shù)調(diào)整模塊

本模塊的功能是調(diào)整視頻圖像的各種基本參數(shù)，主要包括對(duì)比度調(diào)整、亮度調(diào)整、色彩飽和度調(diào)整等基本操作。

(1)亮度/對(duì)比度調(diào)整

人眼對(duì)視頻圖像敏感的兩個(gè)重要性能參數(shù)是視頻圖像的亮度和對(duì)比度［9］。因此，在對(duì)照片、視頻等進(jìn)行處理時(shí)，常常需要進(jìn)行亮度和對(duì)比度的處理。亮度和對(duì)比度也是一種重要的顏色調(diào)整方法。本系統(tǒng)對(duì)視頻圖像的處理基于RGB 顏色模型，因此需要對(duì)RGB 各顏色分量進(jìn)行特定的處理。

(2)色彩飽和度調(diào)整

本系統(tǒng)對(duì)于視頻圖像的飽和度的調(diào)整是通過(guò)調(diào)整RGB 分量，主要是G、B 分量的比值來(lái)實(shí)現(xiàn)。

2.3 視頻圖像去霧處理模塊

視頻圖像去霧模塊與視頻圖像基本參數(shù)調(diào)整模塊對(duì)視頻圖像所做的處理效果是可以疊加的。其基本原理是把霧天拍攝的照片或視頻，進(jìn)行視頻圖像增強(qiáng)處理，使得霧中朦朧看不清的場(chǎng)景能看清。

其算法是:利用霧天大氣散射物理模型推導(dǎo)傳遞函數(shù)，對(duì)霧天拍攝的視頻圖像進(jìn)行反向處理，得到基本無(wú)霧的視頻圖像。霧天成像的物理模型為:

式中，I(x)表示觀察到的視頻圖像，J(x)表示假設(shè)沒(méi)有大氣顆粒散射時(shí)候的真實(shí)視頻圖像，t(x)為大氣散射傳遞函數(shù)，A 為大氣光。公式(1)中等式右側(cè)第一項(xiàng)J(x)t(x)代表直接衰減項(xiàng)，即大氣散射的衰減模型，第二項(xiàng)A(1 -t(x))被稱為散射大氣光，即大氣散射的大氣光模型。

大氣散射傳遞系數(shù)表示透射率，反映了光線穿透霧的能力，值越大，表示場(chǎng)景點(diǎn)光線穿透霧到達(dá)觀測(cè)點(diǎn)的量越多［10］。大氣散射傳遞函數(shù)t(x)可表示成:

式中，β 為大氣顆粒散射系數(shù)，研究中由于霧在地表附近可以看作均勻的同質(zhì)物質(zhì)，因此可以假設(shè)β 是一個(gè)常量。d(x)為場(chǎng)景深度，是物體到成像設(shè)備的距離，物體表面反射的光線在到達(dá)成像設(shè)備時(shí)呈指數(shù)減少。A表示無(wú)窮遠(yuǎn)處的大氣光，在同一天氣條件下可以看作一個(gè)恒定值。

根據(jù)已知的霧天視頻圖像模型(公式(1))，本研究中認(rèn)為β 是一個(gè)常量，則大氣傳遞系數(shù)t(x)只受視頻圖像深度d(x)的影響。如果在同一霧天條件，且拍攝的視頻圖像深度基本一致的情況下，那么大氣光A 和t(x)就可以看作是不變的常量。因此我們可以利用多幅視頻圖像的多個(gè)約束方程，用解方程組的方法得出未知的參數(shù)。復(fù)原有霧視頻圖像關(guān)鍵是解出方程中的大氣傳遞系數(shù)t(x)和大氣光A，利用最小二乘法解超定方程組求出A 和t 的值。這樣不但充分利用了每個(gè)像素點(diǎn)的值，在很大程度上減小了誤差，而且去除了噪聲。在求解出參數(shù)t(x)和A 之后，有霧視頻圖像I(x)通過(guò)觀測(cè)點(diǎn)的成像設(shè)備得到，這樣就可得到復(fù)原后的清晰視頻圖像J(x)。把參考場(chǎng)景算出的參數(shù)A 和t(x)代入公式(1)便可得到復(fù)原后的清晰視頻圖像J(x)為:

根據(jù)視頻監(jiān)控圖像場(chǎng)景固定的特點(diǎn)，可以選擇可靠的參考物體，方便獲得與霧天相對(duì)應(yīng)的清晰視頻圖像。本文的算法可以應(yīng)用于大量視頻監(jiān)控場(chǎng)景視頻圖像的預(yù)處理中，如視頻監(jiān)控、車(chē)牌識(shí)別和人臉識(shí)別等領(lǐng)域。該算法的實(shí)現(xiàn)流程如圖4 所示。

圖4 去霧算法流程圖Fig.4 Flowchart of the defogging algorithm

2.4 視頻圖像清晰化處理模塊

視頻圖像清晰化與視頻圖像基本參數(shù)調(diào)整兩個(gè)模塊對(duì)視頻圖像所做的處理效果是可以疊加的，與視頻圖像去霧模塊無(wú)關(guān)聯(lián)。

圖5 視頻圖像清晰化處理流程Fig.5 Flowchart of a video image clarity processing system

視頻圖像清晰化處理的意義是指在視頻圖像采集/復(fù)制/傳遞過(guò)程中，由于環(huán)境、設(shè)備等多種原因，會(huì)導(dǎo)致視頻圖像的清晰度下降，為了保證視頻圖像的清晰顯現(xiàn)，有必要對(duì)其清晰度進(jìn)行增強(qiáng)。視頻圖像清晰度(Sharpness)的概念是指視頻圖像細(xì)節(jié)邊界變化的敏銳程度，也稱為“銳度”，清晰化處理也被稱為“銳化”。清晰度與分辨率的關(guān)系為視頻圖像的分辨率越高，通常會(huì)采集到更豐富的細(xì)節(jié)，使視頻圖像顯得更細(xì)膩。因此，在分辨率高的情況下，往往視頻圖像清晰度也較高。所以對(duì)于需要處理的圖片，分辨率越高，清晰化處理的效果也越好。

本系統(tǒng)采用視頻圖像清晰度增強(qiáng)處理技術(shù)——虛光蒙版(UnsharpMask，USM)。其算法過(guò)程是:

(1)對(duì)每個(gè)像素(當(dāng)前像素)，求其同一幀內(nèi)周?chē)鄠€(gè)鄰近像素灰度值的平均值;

(2)用當(dāng)前像素的灰度值減去同一幀內(nèi)空間上鄰近像素平均值，得到USM 值;

(3)取一部分或全部USM 值與當(dāng)前像素的灰度值疊加。

處理后，視頻圖像細(xì)節(jié)邊緣的灰度反差加大，且會(huì)出現(xiàn)一定寬度的亮暗輪廓(“邊飾”)。取鄰近像素范圍寬，則“邊飾”也較寬。

視頻圖像清晰化算法流程見(jiàn)圖5。

3 系統(tǒng)功能演示

運(yùn)行本系統(tǒng)后的界面如圖6 所示。操作順序如下:

(1)工具欄中，不同方向的笑臉的圖標(biāo)，代表將圖進(jìn)行翻轉(zhuǎn)或旋轉(zhuǎn)的方式;

(2)進(jìn)行圖像基本參數(shù)調(diào)整時(shí)，設(shè)置參數(shù)大小的區(qū)域;

(3)選擇圖像處理方式，以及設(shè)置參數(shù)的區(qū)域;

(4)狀態(tài)欄的左邊會(huì)顯示當(dāng)前正在進(jìn)行的操作，在沒(méi)有任何操作的時(shí)候，會(huì)隨機(jī)顯示使用技巧提示，右邊則顯示圖片的分辨率和縮放比例。

圖7、圖8 為圖像處理前后對(duì)比圖。

圖6 系統(tǒng)操作界面Fig.6 Operation interface of the system

4 結(jié)語(yǔ)

本文設(shè)計(jì)了具有模糊圖像的實(shí)時(shí)去霧、去噪、清晰化等功能的視頻圖像綜合處理系統(tǒng)，系統(tǒng)設(shè)計(jì)采用了軟硬件結(jié)合的架構(gòu)，具有標(biāo)準(zhǔn)的輸入輸出接口。目前該系統(tǒng)已經(jīng)能夠較好地對(duì)整幅視頻圖像進(jìn)行全局處理，但是隨著實(shí)際應(yīng)用需求的增加，對(duì)某些局部特定目標(biāo)，比如車(chē)牌、人物等等，需要更細(xì)致的分析和處理?；诖?，在以后系統(tǒng)的升級(jí)過(guò)程中，我們將考慮增加系統(tǒng)局部特征處理的功能，使該系統(tǒng)具備更高的智能性以更好地應(yīng)用于安防監(jiān)控系統(tǒng)中。

［1］楊明林，張曉飛.FPGA 控制實(shí)現(xiàn)圖像系統(tǒng)視頻圖像采集［J］.計(jì)算機(jī)測(cè)量與控制，2003，11(6):451 -454.

［2］GILBERT A L，GILES M K，F(xiàn)LACHS G M，et al.A real-time video tracking system［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1980，2(1):47 -55.

［3］DENG K，WILSON J N.An approximation-based video tracking system［C］.Image Algebra and Morphological Image Processing San Diego，CA，1991，1568:304 -312.

［4］薛大雷，過(guò)潤(rùn)秋.一種基于DSP 和FPGA 的視頻圖像處理系統(tǒng)的設(shè)計(jì)方案［J］.電子設(shè)計(jì)應(yīng)用，2003，(10):79 -81.

［5］Texas Instruments.TMS320C62xx peripherals reference guide［ED/OL］.［2013 -01 -02］.http://noel.feld.cvut.(z/vyu/scs/ti/TMS320C62xx-peripherals.pdf.

［6］朱明，魯劍鋒.基于DSP+FPGA 結(jié)構(gòu)圖像處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)測(cè)量與控制，2004，12(9):866 -869.

［7］雷玉堂.現(xiàn)代攝像機(jī)DSP 圖像處理系統(tǒng)的設(shè)計(jì)［J］.中國(guó)公共安全，2009，(10):140 -151.

［8］陳彬.基于FPGA 的視頻圖像處理系統(tǒng)設(shè)計(jì)［D］.重慶:重慶大學(xué).2006.

［9］李武森，遲澤英.嵌入式高速DSP 視頻圖像處理系統(tǒng)中數(shù)據(jù)存儲(chǔ)器的接口設(shè)計(jì)［J］.紅外技術(shù)，2003，25(1):51 -54.

［10］MANUEL T.As the world turns parallel，transputer applications explode［J］.Electronics，1998(12):110 -112.