亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于FPGA的混合高斯背景建模實現(xiàn)

        2011-08-13 06:34:00袁小龍王麗紅
        電子技術(shù)應(yīng)用 2011年9期
        關(guān)鍵詞:高斯分布高斯背景

        孫 猛,袁小龍,王麗紅

        (北京交通大學(xué) 電子信息工程學(xué)院,北京 100044)

        運動目標(biāo)檢測是計算機視覺領(lǐng)域的一個重要研究方向,是各種后續(xù)高級處理,如目標(biāo)分類、行為理解等的基礎(chǔ),在安全監(jiān)控、智能交通等領(lǐng)域都有著廣泛的應(yīng)用。一個魯棒性的運動目標(biāo)檢測方法有利于后期的特征提取、目標(biāo)跟蹤等步驟。

        常見的三種目標(biāo)檢測方法是背景差分法、幀間差分法和光流法[1]。其中背景差分法最常用,它通過當(dāng)前幀圖像與參考背景圖像相減檢測運動目標(biāo),該方法的關(guān)鍵在于創(chuàng)建和維護一個可靠的背景。有很多不同的背景模型被研究人員提出,Haritaoglu等人利用最小、最大強度值和最大時間差為場景中的每個像素進行統(tǒng)計建模,并且進行周期性的背景更新[2];Stauffer和 Grimson采取為每個像素點進行混合高斯建模的方法構(gòu)建自適應(yīng)的混合高斯背景模型,該模型能夠在線更新模型參數(shù)和權(quán)重,魯棒性地克服了光照變化、樹枝晃動等因素造成的影響[3];Stauffer和 Grimson算法采用固定的更新率來更新各高斯分布函數(shù)的參數(shù),這樣會降低對運動目標(biāo)檢測的靈敏度;Kaew-TraKulPong等人提出了改進的混合高斯背景建模算法[4],有效地改善了這一問題;OpenCV依據(jù)這個改進的算法提供了實現(xiàn)混合高斯背景模型的函數(shù)庫[5]。

        基于自適應(yīng)混合高斯背景模型的背景差分法對靜態(tài)背景場合下的運動目標(biāo)檢測有良好的魯棒性,但由于算法的計算量巨大,在PC上只能達到較低的幀率,遠不能滿足實時性要求。FPGA近年來發(fā)展迅速,它有著接近ASIC的高速度和接近軟件設(shè)計的靈活性,為計算機視覺和數(shù)字圖像處理的提速提供了一個很好的平臺。

        本文的算法基于OpenCV函數(shù)庫,對原算法進行適當(dāng)?shù)男薷模龀稣壑械亩c化方案并針對FPGA的特性設(shè)計了適合FPGA實現(xiàn)的結(jié)構(gòu),在Stratix IV開發(fā)平臺上成功實現(xiàn)了1 280×1 024高清視頻的背景建模和運動目標(biāo)檢測,具有較好的監(jiān)測效果和很好的實時性。

        1 背景建模算法

        最常見的背景建模算法是自適應(yīng)的單峰背景模型,使用一個背景值表示一個像素點,并維護這個背景值,因為低計算量和存儲量的要求,使這種模型被廣泛應(yīng)用。但當(dāng)畫面出現(xiàn)像雨雪之類的擾動時,此模型會得到很差的結(jié)果。解決上述環(huán)境擾動的更好方案就是多峰背景模型,即每個像素點用多個單峰背景模型表示。最著名的就是Stauffer和Grimson提出的自適應(yīng)混合高斯模型,對復(fù)雜背景有著較強的抗干擾能力,尤其是KaewTr-aKulPong和Bowden對此算法做出了改進后,使其算法更具魯棒性。

        1.1 混合高斯模型

        每個像素點用K個高斯分布混合表示。則某一像素點的值為Xt的概率為:

        其 中 ,μi,t、σi,t和 ωi,t是t時刻組成像素X的第i個高斯分布的均值、標(biāo)準(zhǔn)差和權(quán)重參數(shù),η是高斯概率密度函數(shù)。對于每一個新的像素值,檢測它是否與K個高斯分布匹配,匹配條件為:

        如果Xt與任一高斯分布都不匹配,則添加一個均值為Xt、方差和權(quán)值自設(shè)定的高斯分布,用它替換歷史中優(yōu)先級最低的高斯分布。權(quán)重的更新等式如下:

        其中,α 是學(xué)習(xí)率,當(dāng)有匹配時 mi,t為 1,否則為 0。

        只有匹配成功的高斯分布才更新它的均值和方差,其他的分布不變,均值和方差的更新公式如下:

        其中學(xué)習(xí)率:ρ=αη(Xt|μt,σt)

        每次更新后根據(jù)(ωk/σk)對K個分布進行排序,由前B個分布決定當(dāng)前像素的背景值。

        1.2 改進的算法

        以上經(jīng)典算法都是采用固定的更新率來更新各高斯分布函數(shù)的參數(shù),這樣會降低運動目標(biāo)檢測的靈敏度,尤其在初始階段。針對這一問題,Kaew-TraKulPong提出了改進的算法,在更新的不同階段采用不同的更新策略,有效改善了這一問題。OpenCV依據(jù)這個改進的算法提供了實現(xiàn)混合高斯背景模型的函數(shù)庫,本設(shè)計的算法即基于OpenCV函數(shù)庫。

        OpenCV加入了兩個重要變量:win_size為兩種更新策略的分界幀數(shù),對于前后兩種策略,學(xué)習(xí)率α和ρ的選取原則不同;match_sum記錄每個高斯分布的歷史匹配次數(shù)。改進后算法流程見圖1。

        圖1 改進后算法流程圖

        各步驟操作如下:

        第一幀創(chuàng)建高斯模型:用第一幀圖像給所有高斯分布參數(shù)賦初值。

        匹配檢測:檢測每個像素點與對應(yīng)K個高斯分布的匹配情況。

        更新方式(1):win_size幀前沒有匹配情況的更新。

        更新方式(2):win_size幀前有匹配情況的更新。

        更新方式(3):win_size幀后沒有匹配情況的更新。

        更新方式(4):win_size幀后有匹配情況的更新。

        排序:對每個像素更新后的K個高斯分布根據(jù)(ωk/σk)排序。

        圖像尺寸和每個像素高斯分布的個數(shù)直接影響軟件運行速度和FPGA資源占用。在VS2005環(huán)境下進行軟件驗證,選取 win_size為 200,高斯分布個數(shù)為3可以達到一個較好的檢測效果;應(yīng)用背景是1 280×1 024高清視頻的實時運動目標(biāo)檢測,對原始視頻直接進行混合高斯背景建模需要很大的數(shù)據(jù)率,是FPGA所不能達到的。針對這一問題提出了如下改進策略:

        (1)RGB空間轉(zhuǎn)換成灰度。此操作丟失顏色信息保留亮度信息,亮度信息完全可以滿足檢測目標(biāo)區(qū)域的要求,數(shù)據(jù)量減少了2/3。其轉(zhuǎn)換公式如下:

        (2)縮減圖像尺寸(Resize)處理、減小視頻尺寸、確定小尺寸圖像內(nèi)運動目標(biāo)區(qū)域后再做出同比例的反Resize,得到原始1 280×1 024視頻中的目標(biāo)區(qū)域。為了盡可能少地丟失原圖像信息,對每個4×4鄰域窗口16個像素取均值得到1個新像素。通過大量實驗驗證,此方案可以達到很好的檢測效果。

        上述改進算法在VS2005環(huán)境下運行,PC配置為:Intel雙核3.17 GHz處理器,3 GB DDR2內(nèi)存,完成一幀高斯背景更新的時間約為85 ms,完成一幀檢測的時間約為92 ms,待處理視頻為60幀/s,幀更新時間為 16.7 ms,遠不能滿足實時性要求。混合高斯背景算法需要為每個像素建立多個分布,這些分布的更新操作在PC中是串行處理的,耗費大量的運行時間。而FPGA的并行處理能力可以同時對多個分布進行更新,再加上流水線結(jié)構(gòu)帶來的高數(shù)據(jù)吞吐量,F(xiàn)PGA可以大大縮減算法的運行時間。

        (3)軟件中的高斯參數(shù)均為64 bit浮點數(shù),對于FPGA實現(xiàn),需要片外存儲器件暫存每幀的高斯參數(shù)。必須對各參數(shù)做出合理的定點化方案,以減小對片外存儲容量和數(shù)據(jù)率的要求。在Matlab R2008a環(huán)境下進行定點化仿真,經(jīng)過大量的實驗,對高斯參數(shù)做出如下定點化方案(I表示整數(shù)位,F(xiàn)表示小數(shù)位):

        定點化后每個高斯分布參數(shù)需要40 bit,每個像素3個高斯分布共120 bit。此時要求的片外存儲容量為9.375 Mbit,數(shù)據(jù)率為590 Mb/s。選用的FPGA硬件平臺為Stratix IV開發(fā)套件,開發(fā)板上的4 MB QDR II+SRAM數(shù)據(jù)速率最高可以達到1 600 Mb/s,完全滿足此方案的需求。

        2 FPGA設(shè)計

        系統(tǒng)整體模塊劃分見圖2。

        圖2 系統(tǒng)整體框圖

        Resize&RGB2gray模塊完成1 280×1 024 RGB圖像到320×256灰度圖像的轉(zhuǎn)換,將每幀的灰度值暫存于片上RAM,每完成一幀的轉(zhuǎn)換發(fā)出幀開始信號給高斯模塊和差分模塊;差分模塊完成當(dāng)前幀與背景的差運算,選取合適的閾值得到二值圖像;膨脹/腐蝕模塊用數(shù)學(xué)形態(tài)學(xué)處理(膨脹和腐蝕)去除噪聲和填補孔洞,在FPGA中采用line-buffer結(jié)構(gòu)實現(xiàn)。高斯模塊需要大量的存儲和運算,是本設(shè)計的重點和難點,下面著重介紹高斯模塊的實現(xiàn)。

        高斯模塊主要由數(shù)據(jù)調(diào)度、創(chuàng)建高斯、更新高斯、寫回4部分組成,如圖3所示。

        (1)數(shù)據(jù)調(diào)度模塊完成像素灰度值的請求、與QDR II+SRAM控制器[6]的數(shù)據(jù)交互。QDR II+SRAM控制器可以提供72 bit,250 MHz的用戶數(shù)據(jù)接口,并可以讀寫操作同時進行,高斯模塊的最高工作頻率為110 MHz,控制器的數(shù)據(jù)率完全可以滿足120 bit、110 MHz的要求。

        (2)創(chuàng)建高斯模塊利用第一幀數(shù)據(jù)初始化高斯模型的各參數(shù)。

        (3)更新高斯模塊完成高斯模型的更新,是最重要的一個模塊。3個高斯分布的匹配檢測和參數(shù)更新操作并行執(zhí)行。因為模型參數(shù)更新中涉及到一些乘除法操作,為了達到更高的處理速度,提高系統(tǒng)的數(shù)據(jù)吞吐量,此模塊采用17級的深度流水線。更新操作中不同分支路徑的延時不同,最長路徑需要17個時鐘周期,為了組成流水線短路徑采用寄存處理使所有更新分支均為17個時鐘周期。17個時鐘周期大體分為三個階段:

        第一階段需要5級流水,完成匹配檢測和更新權(quán)值。匹配檢測是判斷當(dāng)前像素值與歷史高斯分布的匹配情況,得到匹配信息給后級模塊使用;更新權(quán)值即預(yù)先計算出有無匹配的兩種權(quán)值更新結(jié)果,參數(shù)更新模塊根據(jù)匹配信息選擇出實際情況的權(quán)值。

        第二階段需要6級流水,此階段完成所有高斯參數(shù)的更新。對于匹配的分布更新均值、方差、match_sum,選擇相應(yīng)的權(quán)值輸出;當(dāng)所有分布均不匹配時創(chuàng)建新的分布替換優(yōu)先級最低的分布。

        第三階段需要 6級流水,根據(jù)(ωk/σk)對更新后的 3個高斯分布排序。

        (4)寫回模塊將更新后的高斯參數(shù)寫回數(shù)據(jù)調(diào)度模塊,然后由QDR II+控制器寫回 SRAM;同時將最高優(yōu)先級高斯的均值存于片上RAM作為當(dāng)前的背景值。

        3 資源耗用及結(jié)果分析

        所有模塊采用Verilog-HDL編寫,整個系統(tǒng)在Modelsim進行功能仿真,在Altera Stratix IV開發(fā)套件上進行驗證,核心芯片為 EP4SGX230KF40C2,資源耗用見表1。系統(tǒng)的最高工作頻率為110 MHz,完成一幀320×256圖像背景更新的最短時間為745 μs,視頻源更新幀數(shù)據(jù)時間為16.7 ms,此模塊具有很好的實時性。

        測試方案:由PC播放視頻,DVI輸入FPGA處理,F(xiàn)PGA處理結(jié)果輸出至 DVI顯示。1 280×1 024 60 Hz的DVI視頻時鐘頻率為108 MHz,F(xiàn)PGA系統(tǒng)最高時鐘頻率為110 MHz,測試時直接采用DVI時鐘作為系統(tǒng)運行時鐘。

        表1 FPGA資源耗用

        使用Signal Tap II和Matlab聯(lián)合進行板級調(diào)試,具體做法是:將Signal Tap II的采樣深度設(shè)為128 K,可以采到一整幀(320×256×8 bit)數(shù)據(jù),利用 create signalTap II list File命令可以將當(dāng)前觀測窗口內(nèi)的所有信號值導(dǎo)出,然后將導(dǎo)出的數(shù)據(jù)用Matlab顯示分析。圖4為一段視頻中第602幀F(xiàn)PGA的處理結(jié)果,從左到右依次為Resize后的灰度圖、高斯背景、差分、膨脹腐蝕后的二值圖像。圖5為同一幀視頻在VS2005中的運行結(jié)果。

        圖4 FPGA處理結(jié)果

        圖5 VS2005運行結(jié)果

        比較可知,軟件找到的目標(biāo)區(qū)域更加準(zhǔn)確,說明軟件得到的背景要比FPGA得到的背景可靠。因為FPGA中對高斯參數(shù)進行了定點化操作,運算精度要低于軟件。FPGA實現(xiàn)雖然性能上有所降低,但可以滿足檢測要求。軟件每秒只能處理10幀左右,而FPGA處理一幀圖像只需要1.5 ms,F(xiàn)PGA達到了很好的實時性。

        在Altera Stratix IV開發(fā)套件上成功實現(xiàn)了1 280×1 024高清視頻的混合高斯背景建模和運動目標(biāo)檢測,設(shè)計采用基于自適應(yīng)混合高斯背景模型的背景消減法,對環(huán)境擾動具有很好的適應(yīng)性。針對高斯建模中復(fù)雜的運算操作,設(shè)計采用了17級深度流水線,使系統(tǒng)最高工作頻率達到110 MHz;針對原算法的高數(shù)據(jù)率要求,設(shè)計了合理的Resize和定點化方案,使性能和資源耗用達到了一個較好的平衡點。經(jīng)過Modelsim仿真和板級驗證,本設(shè)計可以達到較好的檢測效果并具有非常好的實時性。此實現(xiàn)方案在嵌入式系統(tǒng)和視覺觀測系統(tǒng)都有廣泛的應(yīng)用。

        [1]吳曉陽.基于OpenCV的運動目標(biāo)檢測與跟蹤[D].杭州:浙江大學(xué),2008:47-55.

        [2]HARITAOGLU I,HARWOOD D,DAVIS L.Real-time surveillance of people and their activities[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(8):809-830.

        [3]STAUFFER C,GRIMSON W.E.L.A daptive background mixture models for real-time tracking[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer.Soc,1999,2.

        [4]KaewTraKulPong,Bowden.An improved adaptive background mixture model for real-time tracking with shadow detection[C].In Proceeding.2nd European Workshop on Advanced Video Based Surveillance Systems,AVBS01.2001,9.

        [5]劉瑞禎,于仕琪.OpenCV教程[M].北京:航空航天大學(xué)出版社,2007.

        [6]Altera Corporation.QDR II and QDR II+SRAM controller with UniPHY user guide.2010.

        猜你喜歡
        高斯分布高斯背景
        小高斯的大發(fā)現(xiàn)
        “新四化”背景下汽車NVH的發(fā)展趨勢
        利用Box-Cox變換對移動通信中小區(qū)級業(yè)務(wù)流量分布的研究
        《論持久戰(zhàn)》的寫作背景
        2種非對稱廣義高斯分布模型的構(gòu)造
        天才數(shù)學(xué)家——高斯
        一種基于改進混合高斯模型的前景檢測
        晚清外語翻譯人才培養(yǎng)的背景
        有限域上高斯正規(guī)基的一個注記
        一種改進的混合高斯模型背景估計方法*
        一级呦女专区毛片| 久草中文在线这里只有精品 | 蜜桃高清视频在线看免费1| 五十六十日本老熟妇乱| 国产成人精品999在线观看| 亚洲中文字幕无码久久2018| 午夜精品一区二区三区av免费| 伊人加勒比在线观看视频| 男人的天堂无码动漫av| 亚洲色偷偷色噜噜狠狠99| 波多吉野一区二区三区av| 高清不卡av一区二区| 亚洲精品少妇30p| 久久99精品久久久久久| 人妻少妇中文字幕久久69堂| 99久久婷婷国产一区| 女的扒开尿口让男人桶30分钟| 国产目拍亚洲精品一区二区| 免费人成视频网站在线| 国产国语按摩对白av在线观看| 无码人妻人妻经典| 中文字幕天堂在线| 国产精品亚洲一区二区三区妖精 | 99无码熟妇丰满人妻啪啪| 又黄又爽又高潮免费毛片| 好爽~又到高潮了毛片视频| 美女露出奶头扒开内裤的视频| 中文天堂国产最新| 丁香六月婷婷综合| 日本午夜一区二区视频| 免费观看91色国产熟女| 激情综合一区二区三区| 亚洲男人天堂av在线| av免费在线国语对白| 九九久久99综合一区二区| 2021久久最新国产精品| 高清亚洲精品一区二区三区| 97色伦图片97综合影院| 精品无码一区二区三区亚洲桃色| 久久午夜无码鲁丝片直播午夜精品 | 狼人香蕉香蕉在线28 - 百度 |