李甜田 張琪 張勇 張熙
摘 要:本文通過(guò)研究目標(biāo)在單一場(chǎng)景條件下的成像特點(diǎn)與背景圖像特征,提出一種基于動(dòng)態(tài)特征、靜態(tài)圖像特征結(jié)合的單一背景目標(biāo)檢測(cè)算法框架模型。然后,通過(guò)分析算法模型對(duì)目標(biāo)特征凸顯的兩種策略模式,分析其突出特征。最后,結(jié)合背景抑制分割方法,實(shí)現(xiàn)背景中目標(biāo)的自適應(yīng)溢出。
關(guān)鍵詞:?jiǎn)我槐尘?運(yùn)動(dòng)特征;靜態(tài)特征;目標(biāo)檢測(cè)
中圖分類號(hào):TP391.41文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1003-5168(2020)13-0030-05
Single Background ObjectDetection Method Based on
Dynamic and Static Combination
LI Tiantian ZHANG Qi ZHANG Yong ZHANG Xi
(The 27th Research Institute of China Electronics Technology Group Corporation,Zhengzhou Henan 450047)
Abstract: In this paper, by studying the imaging characteristics and background image characteristics of the target in a single scene, a single background target detection algorithm framework model based on the combination of dynamic characteristics and static image characteristics was proposed. Then, through the analysis of the two strategy modes of the algorithm model to highlight the target features, the prominent features were analyzed. Finally, combining with the background suppression segmentation method, the adaptive overflow of the target in the background was realized.
Keywords: single background;motion feature;static feature;object detection
1 研究背景
紅外/可見(jiàn)光成像探測(cè)系統(tǒng)能夠增強(qiáng)人們?cè)谔綔y(cè)或者檢測(cè)領(lǐng)域?qū)D像的認(rèn)知和理解能力,且具有良好的隱蔽性、較強(qiáng)的抗干擾性能、較遠(yuǎn)的作用距離和可晝夜工作等優(yōu)點(diǎn),已被廣泛地應(yīng)用于目標(biāo)探測(cè)與火控、精確制導(dǎo)、搜索跟蹤與預(yù)警以及光學(xué)遙感等軍用和民用領(lǐng)域。充分發(fā)揮紅外/可見(jiàn)光成像探測(cè)技術(shù)的優(yōu)勢(shì),提高系統(tǒng)的探測(cè)能力,對(duì)提高基于成像的探測(cè)應(yīng)用系統(tǒng)的性能具有重要的意義[1]。
針對(duì)天空背景運(yùn)動(dòng)目標(biāo),其圖像特征及實(shí)際運(yùn)動(dòng)特性具有一定的規(guī)律性和顯著性。某標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集圖像如圖1所示。
國(guó)內(nèi)很多學(xué)者已經(jīng)做了大量拓展的研究工作,并發(fā)表了相關(guān)研究成果,如2004年,尚曉清[2]研究了多尺度分析在靜態(tài)圖像處理中的應(yīng)用;2010—2011年,周慧鑫[3]、劉上乾[4]等提出基于多尺度截?cái)嗪突诩羟胁ㄗ兓葍煞N方式解決紅外復(fù)雜背景抑制方法;2015年,周慧鑫等人[5]又提出了多尺度各向異性擴(kuò)散方程的紅外弱小目標(biāo)檢測(cè)方法。
2 算法模型框架
2.1 單一場(chǎng)景背景與目標(biāo)圖像特征分析
2.1.1 場(chǎng)景背景分布特性。本文中單一場(chǎng)景指的是天空(有云或者無(wú)云),場(chǎng)景中除目標(biāo)(飛機(jī)、飛行器等)外,不存在其他大面積強(qiáng)烈干擾目標(biāo)的干擾區(qū)域。在圖像中表現(xiàn)為非目標(biāo)區(qū)域的圖像統(tǒng)計(jì)特性分布均勻,而目標(biāo)表現(xiàn)為較場(chǎng)景中的圖像特性分布具有更高的對(duì)比差異性。后續(xù)圖像目標(biāo)檢測(cè)方法均為基于此場(chǎng)景分布特性進(jìn)行分析。
2.1.2 目標(biāo)特性分析。基于單一場(chǎng)景特征條件下,目標(biāo)的特征從直觀角度分析可以直觀描述。例如:根據(jù)人的經(jīng)驗(yàn),目標(biāo)是運(yùn)動(dòng)的,目標(biāo)相對(duì)于場(chǎng)景分布更突出(更亮或者更暗,較高辨識(shí)度),目標(biāo)是一個(gè)封閉形狀的突兀區(qū)域等。通過(guò)該直觀特性分析,理想的目標(biāo)反映在圖像上應(yīng)是一個(gè)閉合的連通區(qū)域,同時(shí)應(yīng)該具有以下5個(gè)基本特性:呈現(xiàn)斑點(diǎn)狀或塊狀;較小的熵;目標(biāo)內(nèi)部近似均勻的強(qiáng)度;與其局部鄰域的差異性;具有相較于背景的快速運(yùn)動(dòng)性。
綜合單一場(chǎng)景條件下背景與目標(biāo)的特性分析,該場(chǎng)景下目標(biāo)檢測(cè)是依據(jù)目標(biāo)特性將目標(biāo)從背景中分割出來(lái),通過(guò)這一過(guò)程實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。
2.2 算法框架模型總體思路
本文目標(biāo)檢測(cè)的核心目的是凸顯單一背景中的目標(biāo),進(jìn)而通過(guò)圖像分割、目標(biāo)特性濾波等手段,實(shí)現(xiàn)圖像視頻中的目標(biāo)檢測(cè),進(jìn)一步實(shí)現(xiàn)連續(xù)圖像/視頻中的目標(biāo)跟蹤效果。本文的整體算法思路如圖2所示。
2.3 基于幀間的運(yùn)動(dòng)目標(biāo)檢測(cè)方法
幀間差分方法是通過(guò)對(duì)序列圖像中相鄰幀做差分或“相減”運(yùn)算,利用序列圖像中相鄰幀的強(qiáng)相關(guān)性進(jìn)行變化檢測(cè),從而檢測(cè)出運(yùn)動(dòng)目標(biāo)。當(dāng)場(chǎng)景中出現(xiàn)異常目標(biāo)運(yùn)動(dòng)時(shí),相鄰兩幀圖像之間會(huì)出現(xiàn)較為明顯的差別,通過(guò)直接比較相鄰兩幀對(duì)應(yīng)像素點(diǎn)灰度值的不同,選取閾值,判斷圖像對(duì)應(yīng)位置像素差值的絕對(duì)值是否大于閾值,從而提取序列圖像中的運(yùn)動(dòng)區(qū)域。該方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單,程序復(fù)雜度低,運(yùn)行速度快,對(duì)動(dòng)態(tài)環(huán)境有較好的適應(yīng)性。該方法的缺點(diǎn)是易在目標(biāo)內(nèi)部形成“空洞”現(xiàn)象和“雙影”現(xiàn)象(差分圖像物體邊緣輪廓較粗);不能提取運(yùn)動(dòng)對(duì)象的完整區(qū)域,僅能提取輪廓;算法效果嚴(yán)重依賴所選取的幀間時(shí)間間隔和分割閾值。
2.4 基于靜態(tài)單幅圖像顯著性特征檢測(cè)
基于靜態(tài)圖像目標(biāo)檢測(cè)的計(jì)算過(guò)程如下:
其中,[I]和[u]分別為原始圖像和背景抑制后的圖像;[H]為局部自適應(yīng)算子;加權(quán)系數(shù)[λE]、[λW]、[λN]和[λS]分別為一階鄰域內(nèi)4個(gè)方向上的擴(kuò)散量,其計(jì)算公式為:
其中,[ct]為擴(kuò)散函數(shù),滿足連續(xù)嚴(yán)格單調(diào)遞增,以實(shí)現(xiàn)抑制背景并增強(qiáng)目標(biāo)。
其中,
本文中[ct]選擇的函數(shù)形式為:
式中,[k]為常數(shù),通常在10~20范圍內(nèi),本系統(tǒng)選擇的[k]值為18.75。
2.5 基于特征圖像的自適應(yīng)決策邊界分割方法
圖像信息經(jīng)過(guò)平滑去噪、背景抑制(或目標(biāo)增強(qiáng))等處理后,即可通過(guò)分割的方法提取目標(biāo)的位置坐標(biāo),本文采用一種基于分塊自適應(yīng)決策的邊界分割方法[6-12]。
[wx,y]表示需要分割圖像中對(duì)應(yīng)坐標(biāo)點(diǎn)處的灰度值。若圖像w的橫、縱像素?cái)?shù)均為[K]的整數(shù)倍,則將圖像分割成[K]塊,否則,將圖像w的橫、縱像素?cái)?shù)均擴(kuò)展為[K]的整數(shù)倍,再進(jìn)行分割。然后計(jì)算自適應(yīng)邊界[T],計(jì)算公式為:
其中,[m]和[υ]分別為每一個(gè)小塊圖像取其灰度均值和標(biāo)準(zhǔn)差;[k]為常數(shù),經(jīng)驗(yàn)值為3~12;[r]([r]>0)為自適應(yīng)決策邊界系數(shù),自適應(yīng)決策邊界系數(shù)可調(diào)節(jié)決策邊界的大小。
將圖像中每一個(gè)點(diǎn)與決策邊界進(jìn)行比較,將圖像二值化,具體操作如式(11)所示:
本文中計(jì)算動(dòng)態(tài)檢測(cè)的分割閾值方法如下:記圖像大小為[m×n],[f(i,j)]為當(dāng)前幀圖像[(i,j)]的灰度值,[f′(i,j)]表示前一幀圖像[(i,j)]的灰度值,記中間變量為:
自適應(yīng)閾值為:
其中,[nl和σ]均為常數(shù),[nl=12],[σ=0.9]。
計(jì)算靜態(tài)分割閾值方法為:
自適應(yīng)閾值為:
其中,[nl和σ]均為常數(shù),[nl=12],[σ=0.9]。
2.6 基于多維特征的目標(biāo)決策策略
通過(guò)動(dòng)態(tài)目標(biāo)特征及靜態(tài)目標(biāo)特征圖像檢測(cè),并結(jié)合自適應(yīng)決策邊界圖像分割,在圖像上會(huì)呈現(xiàn)多個(gè)候選目標(biāo)。通過(guò)多個(gè)候選目標(biāo)的多個(gè)維度特征進(jìn)行決策,可以有效剔除偽目標(biāo)、虛景等容易干擾的目標(biāo)信息。本文采用管道關(guān)聯(lián)濾波器作為目標(biāo)決策的主要決策方式,管道關(guān)聯(lián)濾波器決策采用的具體特征包括多次檢測(cè)到目標(biāo)的運(yùn)動(dòng)特征(如運(yùn)動(dòng)速度,反映到圖像上可描述為幀間運(yùn)動(dòng)圖像像素的歐氏距離),多次檢測(cè)到目標(biāo)的尺度特征(如多次檢測(cè)到目標(biāo)變化尺度具有上下限),多次檢測(cè)到目標(biāo)的形狀特征(如形狀在幀間變化有限),多次檢測(cè)到的目標(biāo)灰度特征(如目標(biāo)灰度統(tǒng)計(jì)特征在幀間變化有限)。管道關(guān)聯(lián)濾波流程如圖3所示。
3 參數(shù)影響分析
3.1 自適應(yīng)閾值參數(shù)分析
基于圖像像素計(jì)算信息得到的自適應(yīng)分割閾值中[nl]、[σ]表示控制決策閾值邊界系數(shù),通過(guò)調(diào)整這兩個(gè)參數(shù)值大小可以控制圖像中目標(biāo)檢測(cè)的敏感性。通常,當(dāng)[nl]、[σ]的數(shù)值相對(duì)較大時(shí),目標(biāo)檢測(cè)敏感性能力受抑制;當(dāng)[nl]、[σ]的數(shù)值較小時(shí),目標(biāo)檢測(cè)敏感性能力提高,同時(shí)會(huì)降低抗噪聲干擾的能力。這就意味著,在實(shí)際使用時(shí),可以根據(jù)相應(yīng)的圖像使用場(chǎng)景進(jìn)行測(cè)試修改。同時(shí),[nl]與探測(cè)圖像類別相關(guān),如可見(jiàn)光圖像與紅外圖像目標(biāo)檢測(cè)中的該參數(shù)值差別較大,[σ]數(shù)值相對(duì)于同一探測(cè)圖像的不同場(chǎng)景響應(yīng)度更高,如對(duì)于可見(jiàn)光圖像,晴朗天氣下[σ]的數(shù)值相對(duì)較大,陰天等云霧較多的場(chǎng)景條件下[σ]的數(shù)值相對(duì)較小。后續(xù)可根據(jù)場(chǎng)景統(tǒng)計(jì)特征進(jìn)行參數(shù)值的自適應(yīng)調(diào)整,處理效果類似于相機(jī)等前端探測(cè)設(shè)備中的自動(dòng)曝光功能。
3.2 靜態(tài)檢測(cè)擴(kuò)散函數(shù)參數(shù)分析
本文中擴(kuò)散函數(shù)[c(t)]選擇的函數(shù)形式見(jiàn)公式(9),[t]表示灰度之差的絕對(duì)值,不同參數(shù)[k]對(duì)應(yīng)的擴(kuò)散函數(shù)曲線如圖4所示。
從圖4可以看出,隨著參數(shù)[k]數(shù)值的增大,參數(shù)曲線的斜率不斷減小,這就意味著對(duì)應(yīng)于參數(shù)更大的擴(kuò)散函數(shù)曲線,對(duì)梯度變化更小的梯度絕對(duì)值能反映的擴(kuò)張能力相對(duì)更小,對(duì)參數(shù)更小的擴(kuò)散函數(shù)曲線,對(duì)梯度變化更小的梯度絕對(duì)值能夠反映的擴(kuò)張能力相對(duì)更大。反映到實(shí)際應(yīng)用場(chǎng)景使用時(shí)可以得到如下結(jié)論:當(dāng)場(chǎng)景分布灰度更廣更均勻時(shí),對(duì)應(yīng)的參數(shù)曲線可以采用參數(shù)數(shù)值更小的參數(shù)曲線,對(duì)應(yīng)場(chǎng)景分布灰度更窄的圖像可以采用更大的參數(shù)函數(shù)曲線,不過(guò)在實(shí)際測(cè)試使用時(shí),建議采用參數(shù)更小的曲線,這樣能對(duì)微小的梯度變化更加敏感。
4 實(shí)驗(yàn)驗(yàn)證效果分析
4.1 測(cè)試效果
本文測(cè)試視頻圖像數(shù)據(jù)是通過(guò)實(shí)際工程項(xiàng)目中使用的光學(xué)系統(tǒng)采集得到的,包括可見(jiàn)光視頻和紅外圖像視頻均進(jìn)行了一系列測(cè)試,通過(guò)本文算法模型框架得到的效果如圖5、圖6和圖7所示。
利用可見(jiàn)光針對(duì)純天空背景(有云)的無(wú)人機(jī)實(shí)際檢測(cè)測(cè)試應(yīng)用場(chǎng)景如圖5所示。
利用可見(jiàn)光探測(cè)針對(duì)地面與天空交匯背景的無(wú)人機(jī)實(shí)際檢測(cè)測(cè)試應(yīng)用場(chǎng)景如圖6所示。其中圖像中天空部分占比大。
利用紅外探測(cè)針對(duì)天空背景(有云)的無(wú)人機(jī)實(shí)際檢測(cè)測(cè)試應(yīng)用場(chǎng)景如圖7所示。
圖5、圖6和圖7展示的檢測(cè)效果表明本文算法模型框架能有效地進(jìn)行目標(biāo)檢測(cè)和提取。即便在圖6中有少部分地面背景,但仍以天空背景為主的情況下,仍然能有效檢測(cè)和提取出目標(biāo)。
4.2 計(jì)算復(fù)雜度
動(dòng)態(tài)檢測(cè)計(jì)算復(fù)雜度為[O(m×n)],共進(jìn)行[mn]次減法,靜態(tài)檢測(cè)計(jì)算復(fù)雜度[O(m×n)];但是比幀間差分多做[6mn]次加減法和[4mn]次乘法。
進(jìn)行圖像閾值求解計(jì)算部分的計(jì)算復(fù)雜度為[4mn]次加減法和[mn]次乘法。
目標(biāo)聚類和管道濾波方法的計(jì)算復(fù)雜度在本文中不作為重點(diǎn),因此不做衡量。
整體而言,靜態(tài)檢測(cè)部分在整個(gè)算法模型框架中為最高計(jì)算復(fù)雜度部分,在實(shí)際應(yīng)用和工程實(shí)踐中可對(duì)此部分進(jìn)行針對(duì)性處理和實(shí)現(xiàn),以提高整體的計(jì)算效率。
5 未來(lái)的工作
5.1 該模型框架優(yōu)缺點(diǎn)
本文采用的算法框架模型設(shè)計(jì)思路直觀簡(jiǎn)單,計(jì)算復(fù)雜度相對(duì)較低,可應(yīng)用于各種硬件處理平臺(tái)(PC或嵌入式)中,并且基于本文提出的算法框架模型,可以針對(duì)實(shí)際使用需求對(duì)各個(gè)模塊參數(shù)進(jìn)行修正,能應(yīng)用于針對(duì)使用需求的場(chǎng)景特征和目標(biāo)特性。
但是,本文提出的算法處理的場(chǎng)景相對(duì)單一,單線程計(jì)算復(fù)雜度相對(duì)較高,并且多個(gè)參數(shù)的使用過(guò)多依賴于人為經(jīng)驗(yàn)設(shè)置,在實(shí)際工程應(yīng)用中需修改和調(diào)整。
5.2 改進(jìn)思路
為了適應(yīng)更多的工程應(yīng)用場(chǎng)景需求,框架中的相關(guān)參數(shù)可以進(jìn)行場(chǎng)景自適應(yīng)處理,即根據(jù)場(chǎng)景圖像的相關(guān)計(jì)算統(tǒng)計(jì)信息可以自適應(yīng)調(diào)整參數(shù)的設(shè)置,提高算法框架的魯棒性。
結(jié)合嵌入式硬件算法優(yōu)化策略,算法框架模型中的靜態(tài)檢測(cè)部分在單核處理器上運(yùn)行相對(duì)耗時(shí),而當(dāng)應(yīng)用于FPGA或GPU等嵌入式計(jì)算平臺(tái)中,由于硬件的并行處理計(jì)算架構(gòu),通過(guò)硬件邏輯實(shí)現(xiàn)大幅度降低整體計(jì)算時(shí)間,提高計(jì)算效率。因此,結(jié)合具體硬件平臺(tái)的優(yōu)化,可以將本文中目標(biāo)檢測(cè)框架模型應(yīng)用于多種使用場(chǎng)景中,以滿足多場(chǎng)景使用需求。
6 結(jié)語(yǔ)
本文通過(guò)場(chǎng)景中目標(biāo)多特征分析,采用一種基于動(dòng)靜結(jié)合的目標(biāo)檢測(cè)框架模型,該模型針對(duì)單一場(chǎng)景時(shí),能有效檢測(cè)并提取目標(biāo)。同時(shí),該模型算法結(jié)合模塊化設(shè)計(jì)思路,能通過(guò)優(yōu)化對(duì)應(yīng)模塊和修改對(duì)應(yīng)模塊的相關(guān)參數(shù),滿足針對(duì)特定場(chǎng)景的應(yīng)用需求。此外,由于該模型的設(shè)計(jì)思路相對(duì)簡(jiǎn)單,可應(yīng)用于嵌入式等多計(jì)算平臺(tái)中。在實(shí)際多個(gè)工程應(yīng)用中,該算法也進(jìn)行了實(shí)際場(chǎng)景的測(cè)試,在工程實(shí)踐中也得到了相關(guān)檢驗(yàn)和驗(yàn)證。
參考文獻(xiàn):
[1]龐英名.基于PTS和GM-CBMeMBer濾波的紅外多弱小目標(biāo)檢測(cè)跟蹤算法研究[D].西安:西安電子科技大學(xué),2017.
[2]尚曉清.多尺度分析在圖像處理中的應(yīng)用研究[D].西安:西安電子科技大學(xué),2004.
[3]周慧鑫,秦翰林,賴睿,等.基于多尺度截?cái)嗟娜跣∧繕?biāo)復(fù)雜背景抑制[J].光學(xué)學(xué)報(bào),2010(10):2812-2816.
[4]秦翰林,李佳,周慧鑫,等.采用剪切波變換的紅外弱小目標(biāo)背景抑制[J].紅外與毫米波學(xué)報(bào),2011(2):162-166.
[5]周慧鑫,趙營(yíng),秦翰林,等.多尺度各向異性擴(kuò)散方程的紅外弱小目標(biāo)檢測(cè)算法[J].光子學(xué)報(bào),2015(9):146-150.
[6] Wang chuanyun, Qin Shiyin. Adaptive detection method of infared small target based on target-background separation via robust principal compenent analysis[J]. Infared Physics & Technology, 2015(69):123-135.
[7] Lou J , Zhu W , Wang H , et al. Small target detection combining regional stability and saliency in a color image[J]. Multimedia Tools and Applications,2017(13):14781-14798.
[8]趙東,周慧鑫,于君娜,等.復(fù)雜天空背景下的紅外弱小目標(biāo)跟蹤[J].強(qiáng)激光與粒子束,2018(6):27-34.
[9]趙東,周慧鑫,秦翰林,等.基于引導(dǎo)濾波和核相關(guān)濾波的紅外弱小目標(biāo)跟蹤[J].光學(xué)學(xué)報(bào),2018(2):39-46.
[10]基于移動(dòng)式加權(quán)管道濾波的紅外弱小目標(biāo)檢測(cè)[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2007(5):743-747.
[11]董維科,張建奇,劉德連,等.基于運(yùn)動(dòng)方向估計(jì)的管道濾波算法[J].光子學(xué)報(bào),2013(4):471-474.
[12]基于移動(dòng)管道的紅外弱小目標(biāo)檢測(cè)算法與仿真驗(yàn)證研究[D].杭州:浙江大學(xué),2015.
收稿日期:2020-03-15
作者簡(jiǎn)介:李甜田(1987—),女,碩士,工程師,研究方向:光電導(dǎo)航、圖像處理;張琪(1988—),男,碩士,工程師,研究方向:光電導(dǎo)航、目標(biāo)識(shí)別與跟蹤等。