劉汝卿，李 鋒，蔣 衍，朱精果

(中國科學院 微電子研究所，北京 100094)

0 引言

隨著我國安防產(chǎn)業(yè)以及民眾安全意識的提升，安防市場規(guī)模迅速擴大,其應用領域從文博等特殊單位發(fā)展到金融、公安、交通、樓宇等周邊產(chǎn)業(yè)。其中，安防監(jiān)控領域在技術層面也已進入數(shù)字化、高清化和網(wǎng)絡化時期，在應用層面也步入了社會化安防產(chǎn)品、民用市場層[1-3]。同時，越來越多的傳感器探測技術應用到安防市場中，如分布式光纖傳感系統(tǒng)、振動光纖、聲音監(jiān)聽、紅外報警、激光雷達、視頻監(jiān)控等，其中民用攝像頭、監(jiān)控器、報警器等產(chǎn)品得到了最廣泛的普及，安防視頻監(jiān)控行業(yè)已進入了快速發(fā)展期[4-6]。

由于人工方式檢索進行視頻排查效率低下，并且?guī)缀醪豢赡軐崿F(xiàn)實時有效監(jiān)控，因此目標檢測技術已成為當前安防視頻監(jiān)控領域中非常重要的研究方向之一[7-9]。目標檢測的主要目的是從一個場景或者視頻中定位出目標的位置或者跟蹤其運動軌跡。目前目標檢測研究手段有CPU處理、GPU處理器、AI智能芯片以及FPGA、DSP等。其中CPU處理器采用串行方式效率略低，GPU及AI智能芯片多采用深度學習網(wǎng)絡框架，功耗大，開發(fā)難度大，成本高，適用于大組網(wǎng)、大互聯(lián)場景[10]。本文針對民用甚至是家用安防視頻相機系統(tǒng)，利用FPGA速度快、高性價比、內(nèi)部資源豐富等優(yōu)點[11-13]，設計并實現(xiàn)了一套基于FPGA的目標識別系統(tǒng)。

1 系統(tǒng)設計

家庭用安防視頻相機系統(tǒng)通常采用1或幾個小型相機和圖像處理平臺，對入侵人或物進行實時目標識別，利用千兆網(wǎng)線傳輸，將視頻實時顯示在終端設備上，從而實現(xiàn)對家庭安全的實時監(jiān)測，其總體結構如圖1所示。

圖1 安防相機系統(tǒng)框圖

本文設計的基于FPGA的安防樣機系統(tǒng)，主要由視頻采集模塊、圖像處理模塊、顯示器及相關電纜輔材等組成。在待觀測區(qū)位置安裝完成系統(tǒng)后，HDMI線纜把監(jiān)測處理完成后的視頻圖像實時傳送到顯示器中，從而完成對家庭安全的實時監(jiān)測。

系統(tǒng)具體結構如圖2所示，主要包括視頻采集模塊：CMOS OV7725攝像頭，圖像處理模塊：128 Mbit外部存儲器(SDRAM)、Altra公司Cyclone IV FPGA等和LCD液晶顯示器等外圍硬件。EP4CE6F17C8芯片擁有6 272個邏輯單元(LE)，15個乘法器，256個引腳封裝，滿足設計需求。

圖2 FPGA目標檢測與識別系統(tǒng)框圖

FPGA經(jīng)過IIC總線配置CMOS相機參數(shù)，從而實現(xiàn)CMOS 攝像頭采集外部圖像信息，并將數(shù)據(jù)通過外部存儲器SDRAM進行緩存。FPGA處理圖像數(shù)據(jù)后通過顯示器將目標識別結果輸出。系統(tǒng)包括數(shù)據(jù)采集模塊、灰度化處理模塊、目標識別模塊、SDRAM存儲控制模塊以及VGA實時控制模塊。

2 目標識別系統(tǒng)設計

目前目標檢測方法主要有：1)光流法，其原理為給圖像中的每個像素點賦予一個速度矢量，圖像上的點與三維物體上的點一一對應，利用運動物體的速度矢量與背景速度矢量不同的特性進行檢測。但是此方法計算量大，抗噪性能較差, 無法滿足實時性和實用性要求[14]；2)背景差分法，較簡單、直接，先將背景圖保存，再利用所需圖像與背景圖像差別進行判斷。但此方法中背景需隨時間不定期變換，且噪聲也是個不得不考慮的因素[15]；3)幀間差分法，視頻圖像幀間具有連續(xù)性，運動目標的存在會讓連續(xù)的幀與幀之間由明顯的變化，利用該現(xiàn)象可提取圖像中的運動區(qū)域, 此方法通過設定閾值可以快速檢測出運動目標, 但幀間間隔的選取以及在相差過程中容易失掉運動目標的一些像素點, 但相對簡單，實時性好，可在合適的應用場景中應用[16-17]。

2.1 數(shù)據(jù)采集模塊

CMOS OV7725 是一款集成1/4英寸單芯片VGA相機及圖像處理器的高性能傳感器，具有640×480的感光陣列，其lens chief ray angle為25°，lens size為1/4″,幀頻為60 fps，像素大小為6.0 μm×6.0 μm，成像面積為3 984 μm×2 952 μm，且能在-20～70 ℃范圍內(nèi)正常工作，滿足民用監(jiān)控市場的需求。其使用時先要對寄存器進行配置，包括采樣畫質(zhì)、輸出格式、曝光以及自動增益、自動曝光、自動對比度的模式選擇。此處寄存器設置為640×480分辨率、RGB565格式視頻輸出。FPGA接收其連續(xù)兩個像素時鐘的8 bit數(shù)據(jù)，拼接得到完整的16 bit的RGB565信號。

圖像數(shù)據(jù)采集模塊的接口信號，如圖3所示，coms_href 為攝像頭行信號，coms_pclk 為攝像頭的像素時鐘，coms_pclk 為驅(qū)動時鐘，兩者頻率一般相同，coms_data 就是8 bit的圖像數(shù)據(jù)。即利用FPGA并行處理能力將兩個8 bit像素數(shù)據(jù)拼接為rgb565 16 bit的圖像數(shù)據(jù)。

圖3 數(shù)據(jù)采集模塊

2.2 灰度化處理

通常，視頻圖像采集后需要進一步的處理，才能滿足后續(xù)目標檢測識別的需求，即實現(xiàn)RGB565格式到YCbCr信號的轉(zhuǎn)換。在灰度處理中，Y表示明亮度，值越大，顏色越白，Y越小，顏色越暗。如果輸出的RGB的值都等于這個亮度Y的值，VGA顯示的圖像就成了黑白圖像。其原理如下所示：

Y= 0.183R+ 0.614G+ 0.062B+ 16

CB= -0.101R- 0.338G+ 0.439B+ 128

CR= 0.439R- 0.399G- 0.040B+ 128

(1)

這里，由于FPGA不善于處理浮點數(shù)，因此將浮點數(shù)轉(zhuǎn)為定點數(shù)，各個系數(shù)均擴大256倍，最后在計算完之后除以256，如公式(2)所示：

Y=(77*R+150*G+29*B)>>8

U=(-43R-85G+128B+128*256)>>8

V=(128R-107G-21B+128*256)>>8

(2)

同樣，在FPGA里面，使用組合邏輯不能直接按上述公式(2)在計算，組合邏輯延時太大，導致時序不收斂，因此需要添加寄存器來切割流水線；利用FPGA并行處理的特點加速計算。這里分三級流水線處理：第一級流水線計算所有乘法；第二級流水線計算所有加法，把正的和負的分開進行加法；第三級流水線計算最終的和，若為負數(shù)取0。

2.3 目標識別處理

由于圖像采集端與輸出端不同步，幀差法需要緩存一幀的數(shù)據(jù)，若使用外部存儲，則可以減少FPGA內(nèi)部資源，本文設計的雙端口SDRAM控制器，一側讀寫端口用作幀緩存，另一端口用來緩存視頻流，如圖4所示。

圖4 SDRAM控制器實現(xiàn)流程

首先，視頻圖像經(jīng)過FPGA灰度化處理后，寫入到FPGA的雙口SDRAM控制器的接收端側，存儲當前幀視頻圖像數(shù)據(jù)，即從第二幀時刻開始兩幀圖像在設定閾值條件下做差分計算。但由于光照背景的變化以及閾值固定等原因，此時得到的差分后的二值圖像會有很大的噪聲。本系統(tǒng)去噪降噪主要采用形態(tài)學濾波法，直接去除面積較小的噪聲點。然后求得目標范圍的左上角和右下角像素坐標，與原始RGB圖像疊加后重新寫入到SDRAM2端口，此時VGA就可以顯示處理后的圖像的效果。為了提高運算速度，數(shù)據(jù)輸入輸出模塊與SDRAM控制之間增加了數(shù)據(jù)緩存fifo模塊，由于cmos相機數(shù)據(jù)率與FPGA時鐘不匹配，為保證可實現(xiàn)突發(fā)模式讀寫操作，利用FPGA片上資源開辟了多個fifo緩存區(qū)，保證數(shù)據(jù)了實時性。

2.3.1 差分處理

目標差分法，顧名思義，是用差分方法進行目標識別，通過對視頻圖像中連續(xù)兩幀，即將當前幀圖像與前一幀圖像做差分運算，從而獲得目標輪廓。當監(jiān)控市場中存在運動物體時，相鄰幀之間在灰度上有明顯差別，兩幀相減，得到相對差分值，判斷其是否大于某一閾值，進行圖像二值化，從而確定監(jiān)控圖像中有無運動目標[18-19]。

如圖4所示：視頻數(shù)據(jù)寫入sdram 寫口1側，做為緩存，通過控制信號rd1從sdram 讀口1側讀數(shù)據(jù)，經(jīng)過延時一幀后進行差分處理。本系統(tǒng)中設定閾值threshold為 15，大于閾值則認為時目標區(qū)域，設置為255，小于閾值則為0，閾值可以根據(jù)需要調(diào)節(jié)控制。另一路sdram2是當前的圖像數(shù)據(jù)。

2.3.2 形態(tài)學濾波處理

形態(tài)學是一種以形態(tài)為基礎對圖像進行分析的數(shù)據(jù)方法，對圖像先進行變換，以突出所需要的信息，使后續(xù)的識別工作能夠抓住目標最本質(zhì)的形態(tài)特征，包括膨脹、腐蝕、開運算、閉運算[20]。在FPGA中形態(tài)學濾波方式主要是實現(xiàn)腐蝕和膨脹以得到減少噪聲的目的。首先對差分處理后二值圖形進行腐蝕處理以去除小邊界和孤立點；再進行膨脹處理，填充空洞。在去掉毛刺、孤立點和銳化角的同時，使目標輪廓變得光滑。

所謂腐蝕是對圖像中目標的“收縮細化”過程，將圖像中的高亮區(qū)域或白色部分進行縮減細化，其運行結果比原圖的高亮區(qū)域更小。本次采用3*3窗口實現(xiàn)腐蝕。

膨脹將圖像的高亮區(qū)域或白色部分進行擴張，其運行結果圖比原圖的高亮區(qū)域更大。從數(shù)學的角度是就將圖像與計算核(也稱錨點)進行卷積是通過結構元素的平移控制對圖像中目標的“加長”或“變粗”過程，操作。

形態(tài)學濾波處理后，對運動目標的框選采用包圍盒算法，設計包圍盒得到上下左右 4點像素坐標，框出目標區(qū)域。通過行場信號，設計行列計數(shù)器，從而可以獲取圖像每個像素點的坐標信息，然后設計4個寄存器實時與行列計數(shù)器比較，從而實現(xiàn)對目標的框選效果。

3 系統(tǒng)驗證

3.1 模塊仿真驗證

對各個模塊進行Modelsim仿真驗證，結果如圖5～7所示。

圖5 圖像采集模塊仿真波形圖

圖5是數(shù)據(jù)采集模塊的仿真結果，其中cmos_data為實現(xiàn)輸出RGB565格式，框中的數(shù)字“03”和“04”，coms_frame_data是將連續(xù)兩個像素時鐘的8 bit數(shù)據(jù)的拼接成16 bit的數(shù)據(jù)，如圖中的數(shù)字“0304”，即實現(xiàn)數(shù)據(jù)采集模塊中8 bit轉(zhuǎn)16 bit的功能要求。

圖6為差分處理模塊的仿真結果，由框中數(shù)據(jù)可以看到data_next - data_cur = 8’d130 時，大于設定閾值15則輸出數(shù)據(jù)post_img_Bit 為255，否則為0。即兩幀圖像的差分圖像中通過閾值判斷后，靜止的物體值為0，而移動的物體保留。

圖6 差分處理仿真圖

圖7為腐蝕膨脹處理仿真波形圖，得到的是matrix_p11～matrix_p33 9個像素數(shù)據(jù)組成3×3 圖像模板，這里通過行緩存設計(緩存了兩行圖像數(shù)據(jù))，延時兩行數(shù)據(jù)后，得到完整的3×3 圖像模板，即實現(xiàn)了噪聲濾除和目標輪廓變得光滑。

圖7 腐蝕膨脹仿真波形圖

3.2 實驗結果與分析

在FPGA黑金開發(fā)板上實現(xiàn)，并配以OV7725攝像頭和VGA顯示器，構建圖像目標識別系統(tǒng)并驗證基于FPGA的實時目標檢測系統(tǒng)的實現(xiàn)效果。由于本系統(tǒng)針對視頻監(jiān)控系統(tǒng)中運動目標檢測，因此采用3種不同大小的遙控模型進行實驗，如圖8所示。

圖8 運動目標檢測圖

對象1是一輛體積為25 cm×7 cm的運動工程車模型，對象2是體積為25 cm×7 cm的運動工程車模型，對象3是0.5 cm×.057 cm的小汽車模型，對象4是170 cm×30 cm的汽車模型。從圖8中可以看出，當小車運動速度勻速時，左圖顯示圖像清晰，標識框邊界，識別率100%；當小車速度很慢或者很快時，小車圖像出現(xiàn)虛影，并且標識虛框比較明顯，與虛影相對應。

為了更好地評判該系統(tǒng)性能，本系統(tǒng)對不同實驗對象，在不同運動速度下進行8種實驗，每種實驗條件進行10次實驗。采用10次取平均法，和控制條件變量法，通過采集30 fps的圖像，驗證本系統(tǒng)的性能。具體結果如表1所示。

表1 實驗統(tǒng)計表序號

表1中，識別率表示框選面積與目標物體視覺面積的相對比值。比值100%表示本系統(tǒng)識別紅色框選面積即為目標視覺面積，誤差容忍度為±10%。由表1可以得出規(guī)律，在相同距離條件下，識別率隨目標速度的降低而變低；同時相同大小的目標物體的識別率隨距離的變小而升高。

為了進一步驗證該系統(tǒng)的在室外環(huán)境下的性能，在夏天白天光照下，將該目標識別系統(tǒng)安裝在居民室內(nèi)正面向門口樓道，樓道總長度約50 m，盡頭為一扇窗戶。在此條件下，測試結果如表1所示，可以看出，該系統(tǒng)的探測效果與目標物體大小、運動速度和距離有關。在距離80 cm條件下，最小探測物體大小為0.5×0.57 cm2，速度大于0.08 m/s時，運動目標可準確識別。

4 結束語

應對目前民用家用安防系統(tǒng)中視頻采集入侵目標自動檢測需求，利用FPGA的高速并行處理能力，設計了一款運動目標實時識別樣機系統(tǒng)，實現(xiàn)了CMOS相機運動目標檢測功能。采用幀差法對運動目標進行實時處理，節(jié)省系統(tǒng)資源，運算方法簡單、方便。從測試結果可以看出，在一定環(huán)境中，該系統(tǒng)可準確識別入侵運動物體，可處理幀頻30 fps，640×480的圖像，且實時性較好。值得一提的是，該系統(tǒng)可擴展性較強，可根據(jù)應用需求搭配分辨率更高的攝像頭，可采用多幀疊加方式增強識別效果，因此具有廣闊的應用空間。