羅大鵬，羅　琛，魏龍生，韓家寶，王　勇，馬　麗

(1.中國(guó)地質(zhì)大學(xué)(武漢) 機(jī)械與電子信息學(xué)院,湖北武漢 430074；2.北京師范大學(xué)惠州附屬學(xué)校,廣東惠州 516002)

?

基于在線隨機(jī)蕨分類器的實(shí)時(shí)視覺(jué)感知系統(tǒng)

羅大鵬1，羅琛2，魏龍生1，韓家寶1，王勇1，馬麗1

(1.中國(guó)地質(zhì)大學(xué)(武漢) 機(jī)械與電子信息學(xué)院,湖北武漢 430074；2.北京師范大學(xué)惠州附屬學(xué)校,廣東惠州 516002)

本文針對(duì)不同成像條件下,目標(biāo)姿態(tài)變化對(duì)系統(tǒng)檢測(cè)性能的影響,提出一種具有自主學(xué)習(xí)能力的視覺(jué)感知系統(tǒng).該系統(tǒng)能在執(zhí)行檢測(cè)任務(wù)的同時(shí),通過(guò)快速的自主學(xué)習(xí)提高檢測(cè)性能,并保持實(shí)時(shí)目標(biāo)檢測(cè)速度.系統(tǒng)包括了目標(biāo)檢測(cè)模塊及在線學(xué)習(xí)樣本自動(dòng)獲取、標(biāo)注模塊.針對(duì)目標(biāo)檢測(cè)模塊為滿足系統(tǒng)自主學(xué)習(xí)需求,提出隨機(jī)蕨分類器的在線學(xué)習(xí)方法,使目標(biāo)檢測(cè)模塊可持續(xù)自我更新,提高檢測(cè)性能;針對(duì)樣本自動(dòng)獲取、標(biāo)注模塊則提出最近鄰分類器輔助的雙層級(jí)聯(lián)標(biāo)注方法.此外,本文提出自主在線學(xué)習(xí)框架,整個(gè)學(xué)習(xí)過(guò)程不用準(zhǔn)備初始訓(xùn)練樣本集,通過(guò)人工選定一個(gè)待檢測(cè)目標(biāo)即可進(jìn)行無(wú)需干預(yù)的自適應(yīng)學(xué)習(xí),逐漸提高檢測(cè)性能.實(shí)驗(yàn)表明,該方法在多種監(jiān)控場(chǎng)景中均有較強(qiáng)的自適應(yīng)能力和較好的目標(biāo)檢測(cè)效果.

在線學(xué)習(xí);視覺(jué)感知;隨機(jī)蕨分類器;目標(biāo)檢測(cè)

1　引言

近年來(lái),通過(guò)訓(xùn)練分類器實(shí)現(xiàn)圖像或視頻目標(biāo)快速檢測(cè)的方法[1]得到了廣泛使用.但是,該方法要準(zhǔn)備大量樣本進(jìn)行分類器訓(xùn)練,這是一項(xiàng)很繁瑣的工作.此外,攝像頭的安裝角度和高度不同會(huì)導(dǎo)致監(jiān)控視頻、圖像中的目標(biāo)成像姿態(tài)變化很大.很難準(zhǔn)備較完備樣本集將所有目標(biāo)表現(xiàn)形式都包括進(jìn)去.因此,該方法在不同成像條件下的目標(biāo)檢測(cè)魯棒性難以保證.

本文從新的角度解決這一問(wèn)題.通常一個(gè)攝像頭只監(jiān)控一個(gè)固定場(chǎng)所,成像背景及成像角度變化不大.因此可針對(duì)固定場(chǎng)景訓(xùn)練分類器,并在其執(zhí)行檢測(cè)任務(wù)的同時(shí)持續(xù)自我學(xué)習(xí),逐漸提高檢測(cè)性能,成為該場(chǎng)景專用目標(biāo)檢測(cè)器.這種學(xué)習(xí)模擬了人類視覺(jué)感知系統(tǒng)的自學(xué)能力,可自主完成,易于擴(kuò)展到其它監(jiān)控場(chǎng)景.從而將多場(chǎng)景、多視角的目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為多種成像條件下的自適應(yīng)學(xué)習(xí)問(wèn)題,提高了可行性和實(shí)用性.

實(shí)現(xiàn)自主學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng)有兩個(gè)關(guān)鍵要素:

(1)設(shè)計(jì)合適的在線學(xué)習(xí)算法,使分類器快速、有效的自主學(xué)習(xí).

早期在線學(xué)習(xí)算法是Polikar 提出的增量有監(jiān)督人工神經(jīng)網(wǎng)絡(luò)[2],2001年Oza提出了在線Boosting[3]算法.此后,Grabner給在線Boosting算法增加了特征選擇的能力,提出了在線AdaBoost算法[4],使在線學(xué)習(xí)可用于計(jì)算機(jī)視覺(jué)領(lǐng)域.該算法在線更新的弱分類器越多,分類性能越好.但在線學(xué)習(xí)速度也越慢.文獻(xiàn)[5～7]提出了改進(jìn)方法,但在線學(xué)習(xí)速度和分類器性能的矛盾一直沒(méi)有解決.

Ozuysal提出隨機(jī)蕨分類器算法[8],該分類器將多個(gè)特征融合為一個(gè)隨機(jī)蕨,不需要訓(xùn)練弱分類器,提高了分類器訓(xùn)練速度.此外,該分類器的在線學(xué)習(xí)算法,可通過(guò)更新隨機(jī)蕨后驗(yàn)概率分布實(shí)現(xiàn),因此增加隨機(jī)蕨個(gè)數(shù)及每個(gè)隨機(jī)蕨包含的特征數(shù)對(duì)在線學(xué)習(xí)速度影響不大,較好的平衡了分類器性能和在線學(xué)習(xí)速度這對(duì)矛盾.

(2)設(shè)計(jì)合適的在線學(xué)習(xí)樣本自主獲取、標(biāo)注方法

基于在線學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng)通常要求自主獲取在線學(xué)習(xí)的新樣本,并對(duì)其類別進(jìn)行自動(dòng)標(biāo)注,否則無(wú)法實(shí)現(xiàn)檢測(cè)系統(tǒng)的智能化,并且在線學(xué)習(xí)樣本標(biāo)注的正確率對(duì)訓(xùn)練過(guò)程的有效性影響較大.

Roth[9]采用了增量主元分析(IPCA)[10]算法對(duì)新樣本進(jìn)行自動(dòng)標(biāo)注,但是,這種方法對(duì)目標(biāo)檢測(cè)速度以及在線學(xué)習(xí)的速度均有一定影響.Zeisl[5]等人將半監(jiān)督學(xué)習(xí)引入到分類器的在線學(xué)習(xí)和更新中,雖然半監(jiān)督學(xué)習(xí)可以使用未標(biāo)注樣本訓(xùn)練分類器,但是這種方法需要構(gòu)造相似性函數(shù),而設(shè)計(jì)相似性函數(shù)的困難程度不亞于對(duì)大量樣本進(jìn)行標(biāo)注[11].

Kalal[12]提出通過(guò)跟蹤目標(biāo)在特征空間中的軌跡對(duì)在線學(xué)習(xí)的樣本進(jìn)行標(biāo)注,但是這種標(biāo)注必須在某個(gè)目標(biāo)的整個(gè)跟蹤過(guò)程完成后才能進(jìn)行.Qi[7]提出對(duì)樣本包進(jìn)行標(biāo)注以減小樣本錯(cuò)誤標(biāo)注對(duì)在線學(xué)習(xí)分類器性能的影響.但是,由該方法只能減小錯(cuò)誤標(biāo)注的正樣本對(duì)分類器的影響,而對(duì)于錯(cuò)誤標(biāo)注的負(fù)樣本則無(wú)能為力.

本文提出了一種基于在線隨機(jī)蕨分類器的目標(biāo)檢測(cè)系統(tǒng),采用在線隨機(jī)蕨分類器進(jìn)行視頻圖像中的目標(biāo)檢測(cè),對(duì)置信度較高的檢測(cè)結(jié)果進(jìn)行跟蹤,通過(guò)跟蹤自動(dòng)獲取在線學(xué)習(xí)新樣本,并融合最近鄰分類器[13]形成級(jí)聯(lián)的樣本類別的自動(dòng)標(biāo)注方法,實(shí)現(xiàn)系統(tǒng)的自主更新,逐漸提高檢測(cè)性能.由參考文獻(xiàn)[8,14]可知,隨機(jī)蕨分類器對(duì)錯(cuò)誤標(biāo)注樣本有較好的容錯(cuò)性,這將減輕本系統(tǒng)自動(dòng)標(biāo)注錯(cuò)誤對(duì)檢測(cè)性能的影響.

此外,文獻(xiàn)[7,9]的方法均需采集少量樣本訓(xùn)練初始分類器.其訓(xùn)練情況對(duì)分類器在線學(xué)習(xí)影響很大.本文的在線學(xué)習(xí)系統(tǒng),只需在視頻圖像中人工選取一個(gè)待檢測(cè)目標(biāo),即可進(jìn)行初始隨機(jī)蕨分類器訓(xùn)練.然后,該分類器在后續(xù)幀中進(jìn)行同類目標(biāo)檢測(cè)并以全自主方式在線學(xué)習(xí),從而易于擴(kuò)展到其它監(jiān)控場(chǎng)景或不同類別的目標(biāo)檢測(cè)系統(tǒng)中,因此有很好的應(yīng)用前景.

2　隨機(jī)蕨分類器及其在線學(xué)習(xí)算法

2.1隨機(jī)蕨分類器

隨機(jī)蕨分類器由樸素貝葉斯[15,16]分類器發(fā)展而來(lái).通過(guò)貝葉斯理論,分類器的訓(xùn)練過(guò)程是樣本特征到樣本類別的映射.給出大量帶有類別的樣本Dm=(fm,Cm),m=1,2,…,M,其中M為樣本個(gè)數(shù),f為樣本特征值,通常為N維向量,表示為:

f=(f1,f2,…,fN)

(1)

而C為樣本類別,設(shè)類別數(shù)為K,則:C∈{c1,c2,…,ck},分類器H即為:H:f→C.

隨機(jī)蕨分類器可稱為半樸素貝葉斯(Semi-NaiveBayes)分類器,它是由貝葉斯分類器發(fā)展而來(lái).即從特征集合中隨機(jī)抽取l組相同大小的特征子集,每個(gè)子集稱為一個(gè)隨機(jī)蕨,設(shè)每組子集包含s個(gè)特征即:

Fl={fl,1,fl,2,…,fl,s}

(2)

假設(shè)每個(gè)隨機(jī)蕨都是條件獨(dú)立的,因此所有特征的聯(lián)合似然分布可由下式計(jì)算:

(3)

相應(yīng)的隨機(jī)蕨分類器為:

(4)

可見(jiàn),隨機(jī)蕨分類器隨機(jī)提取多個(gè)特征構(gòu)成隨機(jī)蕨,從而可聯(lián)合多個(gè)隨機(jī)蕨進(jìn)行近似計(jì)算.

隨機(jī)蕨分類器主要用于多類目標(biāo)的分類識(shí)別,本文將其用于視頻目標(biāo)檢測(cè).即待檢測(cè)目標(biāo)作為一類,背景作為另一類,分別統(tǒng)計(jì)這兩類樣本在隨機(jī)蕨上的后驗(yàn)概率分布,下面以車輛樣本為例,說(shuō)明隨機(jī)蕨后驗(yàn)概率P(F|ck)的計(jì)算方法.如圖1所示該車輛樣本特征f由圖像塊中隨機(jī)提取的a,b兩點(diǎn)像素大小決定:

(5)

設(shè)一個(gè)隨機(jī)蕨F包含5個(gè)特征,其5對(duì)像素點(diǎn)位置如圖2所示,相應(yīng)的可獲得一個(gè)5位二進(jìn)制碼.

通過(guò)這種方式,每個(gè)樣本的隨機(jī)蕨F包含的特征可形成一個(gè)5位二進(jìn)制碼,其對(duì)應(yīng)的十進(jìn)制數(shù)有25種可能的數(shù)值,可方便的計(jì)算其后驗(yàn)概率.

對(duì)于大量的車輛樣本,如圖3所示,由相同位置的5對(duì)像素點(diǎn)可獲得每個(gè)樣本的隨機(jī)蕨數(shù)值,統(tǒng)計(jì)該數(shù)值分布即可獲得車輛樣本在該隨機(jī)蕨的后驗(yàn)概率P(F|ck).

對(duì)于其它類別,同樣準(zhǔn)備大量訓(xùn)練樣本,計(jì)算其在隨機(jī)蕨F的數(shù)值分布.為了進(jìn)一步提高隨機(jī)蕨分類器的分類精度,可將待檢測(cè)車輛目標(biāo)分為小型車和大型車,背景分為路面背景及干擾目標(biāo).分別統(tǒng)計(jì)四類目標(biāo)在隨機(jī)蕨F的分布如圖4所示.即為每一類目標(biāo)在隨機(jī)蕨F上的后驗(yàn)概率.

相應(yīng)的可計(jì)算樣本分類置信度為:

(6)

顯然一個(gè)隨機(jī)蕨對(duì)樣本的分類精度不高,可以通過(guò)式(4)聯(lián)合多個(gè)隨機(jī)蕨的分類結(jié)果.

2.2在線隨機(jī)蕨分類器算法

由2.1節(jié)可知,隨機(jī)蕨分類器的訓(xùn)練不需更新弱分類器權(quán)重及樣本權(quán)重,只需統(tǒng)計(jì)每類訓(xùn)練樣本在不同隨機(jī)蕨的后驗(yàn)概率分布即可,因此該分類器的訓(xùn)練速度較快.并且,對(duì)于隨機(jī)蕨分類器的在線學(xué)習(xí)也可通過(guò)更新后驗(yàn)概率分布實(shí)現(xiàn).

本文主要探討視頻目標(biāo)檢測(cè)問(wèn)題,與圖3,4的多類目標(biāo)分類問(wèn)題不同,需準(zhǔn)備正負(fù)樣本訓(xùn)練初始隨機(jī)蕨分類器,為了避免手工標(biāo)注初始訓(xùn)練樣本集,本文通過(guò)人工選取一個(gè)待檢測(cè)目標(biāo),然后對(duì)其進(jìn)行旋轉(zhuǎn)角度及縮放尺度變化的仿射變換自動(dòng)獲取初始正樣本集.

初始負(fù)樣本通過(guò)在圖像幀邊緣隨機(jī)取樣獲得.采用2.1節(jié)的方法統(tǒng)計(jì)正負(fù)樣本在隨機(jī)蕨不同數(shù)值上的分布,獲得初始隨機(jī)蕨分類器.

在線學(xué)習(xí)時(shí),每個(gè)隨機(jī)蕨的后驗(yàn)概率分布根據(jù)增加的正負(fù)樣本數(shù)更新.設(shè)在線學(xué)習(xí)的樣本為(fnew,ck),其中fnew為多維特征向量,ck為樣本類別,設(shè)為正樣本.下面以隨機(jī)蕨F1為例說(shuō)明隨機(jī)蕨分類器的在線學(xué)習(xí)過(guò)程:

(1)計(jì)算該樣本在隨機(jī)蕨F1的數(shù)值,設(shè)為00101,即十進(jìn)制數(shù)5.

(2)將隨機(jī)蕨F1的數(shù)值也為5的正樣本數(shù)N加1,負(fù)樣本數(shù)M不變.

艾莉沒(méi)有見(jiàn)到戴菲兒的合格證、發(fā)票、信譽(yù)卡、保修卡、使用說(shuō)明……但她相信戴菲兒所說(shuō)的每一句話。因?yàn)榘麩o(wú)法掩飾。因?yàn)樗吹酱鞣苾旱陌?，秦川的哀傷。她?tīng)到連接在他們之間的那根看不見(jiàn)的細(xì)細(xì)的線繩的崩斷之音。一頓飯的時(shí)間，她成為主人，戴菲兒成為玩偶，世界就是這般離奇，充滿變數(shù)。

(4)歸一化隨機(jī)蕨F1的后驗(yàn)概率分布.

可見(jiàn),隨機(jī)蕨分類器的在線學(xué)習(xí)過(guò)程即為統(tǒng)計(jì)各個(gè)隨機(jī)蕨數(shù)值對(duì)應(yīng)的樣本數(shù),由樣本數(shù)變化更新后驗(yàn)概率分布.因此其在線學(xué)習(xí)速度遠(yuǎn)高于其它在線學(xué)習(xí)算法.

3　自主在線學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng)

本文通過(guò)在線隨機(jī)蕨分類器構(gòu)建自主學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng),下面將首先介紹最近鄰分類器輔助樣本類別自動(dòng)標(biāo)注方法,然后詳細(xì)介紹整個(gè)自主在線學(xué)習(xí)框架.

3.1最近鄰分類器輔助樣本類別自動(dòng)標(biāo)注方法

3.1.1最近鄰分類器

最近鄰分類器是一種模板匹配的方法,首先存儲(chǔ)一定數(shù)量的正負(fù)樣本模板集:

(7)

其中p+,p-分別為目標(biāo)、背景圖像塊.對(duì)于待分類樣本p,分別計(jì)算其與正負(fù)樣本模板集的相似度S+(p,M+)及S-(p,M-):

(8)

(9)

相應(yīng)的可得:

(10)

若Sr大于閾值θNN,則該樣本為正樣本,否則為負(fù)樣本.

3.1.2最近鄰分類器的使用

由上一節(jié)可知,如何構(gòu)建合適的正負(fù)樣本模板集是最近鄰分類器的關(guān)鍵,其中尤以正樣本模板集的構(gòu)造最為重要.本系統(tǒng)中只有以下三種情況可添加正樣本模板集:

(1)初始框選的目標(biāo)可作為一個(gè)正樣本模板添加到M+中.

(2)在每幀檢測(cè)結(jié)果中,選擇置信度較高的進(jìn)行跟蹤,若跟蹤所得目標(biāo)區(qū)域附近有檢測(cè)結(jié)果與之重合,則認(rèn)為是真實(shí)目標(biāo),可作為正樣本模板添加到M+中.

(3)對(duì)跟蹤所得目標(biāo)區(qū)域附近沒(méi)有檢測(cè)結(jié)果與之重合的,則通過(guò)保守相似度Sc判斷其是否能加入正樣本模板集.

(11)

其中:

(12)

每加入一個(gè)正樣本模板,取其周圍四個(gè)相同大小的鄰域判斷是否為負(fù)樣本模板,這里引入高斯背景建模,若鄰域內(nèi)前景像素較少,則可加入負(fù)樣本模板集.

為避免模板集中,正負(fù)樣本模板較多可能造成的系統(tǒng)運(yùn)行速度下降的缺點(diǎn),本文引入模板集消減機(jī)制.由式(8)可知,待分類樣本與模板集的相似度只取決于模板集中與該樣本相似度最大的模板.據(jù)此實(shí)時(shí)統(tǒng)計(jì)各個(gè)模板求得該最大值的次數(shù),若某模板求得最大值的次數(shù)較少,則認(rèn)為該模板對(duì)最終分類結(jié)果貢獻(xiàn)不大,可以去除.此外,通過(guò)該機(jī)制,同樣可減小錯(cuò)誤的正負(fù)樣本模板對(duì)在線學(xué)習(xí)的影響.

3.2自主在線學(xué)習(xí)框架

為了實(shí)現(xiàn)在線學(xué)習(xí)樣本的自動(dòng)獲取及類別標(biāo)注,本文提出了自主在線學(xué)習(xí)目標(biāo)檢測(cè)系統(tǒng),如圖6所示.首先,在視頻幀中人工選取一個(gè)待檢測(cè)目標(biāo),訓(xùn)練初始隨機(jī)蕨分類器;然后,采用該隨機(jī)蕨分類器在后續(xù)每幀視頻圖像中進(jìn)行目標(biāo)檢測(cè),對(duì)于每個(gè)檢測(cè)結(jié)果采用最近鄰分類器判斷其是否為虛警,若是,則作為負(fù)樣本在線訓(xùn)練隨機(jī)蕨分類器;之后,對(duì)于置信度較高的檢測(cè)結(jié)果,進(jìn)行跟蹤,對(duì)每個(gè)跟蹤結(jié)果使用最近鄰分類器判斷其是否為真實(shí)目標(biāo),若是,則作為正樣本在線訓(xùn)練隨機(jī)蕨分類器,從而逐步提高分類器的目標(biāo)檢測(cè)性能,實(shí)現(xiàn)自主學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng).

可見(jiàn),本文自主在線學(xué)習(xí)系統(tǒng)只需人工選定一個(gè)待檢測(cè)目標(biāo)即開(kāi)始自主訓(xùn)練初始分類器,不需采集初始訓(xùn)練樣本,避免了初始訓(xùn)練不同對(duì)分類器在線學(xué)習(xí)的影響.此外,自主學(xué)習(xí)系統(tǒng)采用最近鄰分類器輔助樣本獲取及自動(dòng)標(biāo)注,相當(dāng)于一個(gè)兩層級(jí)聯(lián)的樣本類別自動(dòng)標(biāo)注方法,即對(duì)第一層檢測(cè)、跟蹤獲取的潛在正、負(fù)樣本,通過(guò)第二層最近鄰分類器獲取其真實(shí)的類別,從而提高了樣本類別自動(dòng)標(biāo)注的正確性.這種級(jí)聯(lián)的樣本類別自動(dòng)標(biāo)注體系可靈活設(shè)計(jì)不同的級(jí)聯(lián)數(shù)及每級(jí)采用的標(biāo)注方法,有很大的自由度.

4　實(shí)驗(yàn)與比較

首先聲明,為真實(shí)反映系統(tǒng)在線學(xué)習(xí)過(guò)程,本文并未對(duì)檢測(cè)結(jié)果進(jìn)行非最大抑制,因此檢測(cè)結(jié)果有重復(fù)檢測(cè)同一目標(biāo)的情況.實(shí)驗(yàn)采用的數(shù)據(jù)來(lái)自Caviar數(shù)據(jù)集、PETS2006數(shù)據(jù)集及自己準(zhǔn)備的車輛視頻數(shù)據(jù)集.Caviar數(shù)據(jù)集和PETS2006數(shù)據(jù)集用于驗(yàn)證行人檢測(cè)算法,部分視頻幀如圖7所示.

可見(jiàn),拍攝這兩種數(shù)據(jù)集的攝像頭成像角度差別較大.由文獻(xiàn)[17]可知這種成像角度的變化會(huì)引起目標(biāo)成像姿態(tài)的較大變化,從而影響檢測(cè)性能.本文力圖在這兩個(gè)視頻集上驗(yàn)證算法對(duì)成像角度變化的自適應(yīng)能力.此外,本文還準(zhǔn)備了一組車輛視頻數(shù)據(jù)集,如圖8所示,這組視頻的成像背景及光照變化較大,可用于驗(yàn)證本文算法對(duì)成像環(huán)境變化的自適應(yīng)能力.

由文獻(xiàn)[7,9]可知,Roth和Qi的方法均采集樣本訓(xùn)練了初始分類器,而采集樣本的多少對(duì)初始分類器及在線學(xué)習(xí)分類器的性能影響很大.為獲得公平的比較結(jié)果,本文統(tǒng)一了訓(xùn)練初始分類器的方法,均為隨機(jī)框選一個(gè)待檢測(cè)目標(biāo),通過(guò)仿射變換獲得200個(gè)正樣本,再?gòu)谋O(jiān)控視頻四周非目標(biāo)區(qū)域提取300個(gè)負(fù)樣本訓(xùn)練初始分類器.其中,本文方法采用分類器的隨機(jī)蕨個(gè)數(shù)為15,每個(gè)隨機(jī)蕨包含的的特征數(shù)為5,而Roth和Qi方法的參數(shù)與文獻(xiàn)[7,9]一致.

4.1基于在線學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng)適應(yīng)性實(shí)驗(yàn)

首先對(duì)車輛視頻數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖9所示,可見(jiàn)在線隨機(jī)蕨分類器的目標(biāo)檢測(cè)性能越來(lái)越好,而且由圖10、11可知,系統(tǒng)在不同的監(jiān)控背景及光照下都可通過(guò)自主學(xué)習(xí)逐漸提高其檢測(cè)精度,說(shuō)明了在線學(xué)習(xí)檢測(cè)系統(tǒng)的適應(yīng)性很強(qiáng).

本文記錄了每次視頻幀中虛警的數(shù)量和漏檢的數(shù)量,如圖12所示,目標(biāo)檢測(cè)系統(tǒng)在線學(xué)習(xí)初期性能較差,漏檢和虛警較多,這是由于在線訓(xùn)練正樣本較少造成的.隨著系統(tǒng)在線學(xué)習(xí)的進(jìn)行,檢測(cè)率增加,虛警也逐步增多.當(dāng)分類器進(jìn)一步在線學(xué)習(xí)后,其每個(gè)隨機(jī)蕨的后驗(yàn)概率趨于穩(wěn)定,檢測(cè)到的車輛目標(biāo)也趨于準(zhǔn)確.

圖10給出了不同背景中系統(tǒng)在線學(xué)習(xí)過(guò)程,圖11給出了夜晚環(huán)境下對(duì)車輛目標(biāo)的檢測(cè)效果.

下面我們對(duì)視頻中的行人目標(biāo)進(jìn)行檢測(cè),用于驗(yàn)證算法在不同成像角度下的自適應(yīng)能力.實(shí)驗(yàn)結(jié)果如下,其中圖13、14來(lái)自Caviar數(shù)據(jù)集,圖15、16來(lái)自PETS2006數(shù)據(jù)集,它們的成像角度有較大的差別,和上述所給出的實(shí)驗(yàn)一樣,系統(tǒng)開(kāi)始檢測(cè)時(shí)總會(huì)出現(xiàn)比較多的漏檢,一段時(shí)間后檢測(cè)率上升,虛警也隨之增多,之后檢測(cè)結(jié)果趨于準(zhǔn)確,檢測(cè)性能逐步提高.

4.2比較實(shí)驗(yàn)

我們?cè)谲囕v視頻數(shù)據(jù)集中將本文方法與Roth和Qi的方法進(jìn)行了比較,由于未收集初始樣本集,Roth和Qi的方法均未達(dá)到文獻(xiàn)[7,9]提到的檢測(cè)性能.而本文方法采用的在線隨機(jī)蕨分類器較好的平衡了分類性能和在線學(xué)習(xí)速度這對(duì)矛盾.此外,本文的級(jí)聯(lián)樣本自動(dòng)標(biāo)注算法,相對(duì)于Roth和Qi方法有較高的準(zhǔn)確率,因此有更好的檢測(cè)效果,如圖17所示.

此外,我們?cè)谲囕v視頻數(shù)據(jù)集上比較了三種算法的運(yùn)行速度,實(shí)驗(yàn)環(huán)境統(tǒng)一為2.66GHz雙核CPU及2G內(nèi)存,實(shí)驗(yàn)結(jié)果如表1所示,可見(jiàn),本文方法相對(duì)于Roth和Qi方法,有較好的實(shí)時(shí)性.

表1　三種算法運(yùn)行速度比較

方法分類器、特征是否每幀檢測(cè)編程語(yǔ)言FPSRoth的方法在線AdaBoost、Harr是C語(yǔ)言5.6Qi的方法在線多實(shí)例學(xué)習(xí)、HOG是C語(yǔ)言11.4本文方法在線隨機(jī)蕨分類器、隨機(jī)蕨數(shù)值是C語(yǔ)言22.3

5　總結(jié)與展望

本文將隨機(jī)蕨算法和在線學(xué)習(xí)理論結(jié)合起來(lái)構(gòu)建自主學(xué)習(xí)目標(biāo)檢測(cè)系統(tǒng).通過(guò)基于最近鄰分類器的級(jí)聯(lián)方法獲取在線學(xué)習(xí)的樣本并進(jìn)行自動(dòng)的類別標(biāo)注,從而使檢測(cè)模型通過(guò)在線學(xué)習(xí)逐步提高檢測(cè)性能.多組實(shí)驗(yàn)表明本系統(tǒng)可通過(guò)在線學(xué)習(xí)適應(yīng)成像角度以及成像背景的變化,獲得不錯(cuò)的檢測(cè)效果.

未來(lái),我們將進(jìn)一步提高全自主在線學(xué)習(xí)系統(tǒng)自適應(yīng)能力,并通過(guò)隨機(jī)蕨分類器的多目標(biāo)分類能力,將系統(tǒng)擴(kuò)展為多目標(biāo)自主在線學(xué)習(xí)系統(tǒng),擴(kuò)展其應(yīng)用范圍.

[1]Viola P,Jones M.Fast and robust classification using asymmetric AdaBoost and a detector cascade[A].Advances in Neural Information Processing System 14[C].Cambridge,MA:MIT Press,2002.1311-1318.

[2]Polikar R.Learn++:an incremental learning algorithm for supervised neural networks[J].IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews,Nov,2001,31(4):497-508.

[3]Oza N,Russell S.Online bagging and boosting[A].Proceedings of the 8th International Conference on Artificial Intelligence and Statistics[C].Florida,USA:Morgan Kaufmann Publishers,2001.105-112.

[4]Grabner H,Bischof H.On-line boosting and vision[A].Proceedings of the 19th IEEE Conference on Computer Vision and Pattern Recognition[C]. New York City,USA:IEEE Press,2006. 260-267.

[5]Zeisl B, Leistner C,Saffari A, Bischof H.On-line semi-supervised multiple-instance boostin[A].Proceedings of the 23th IEEE Conference on Computer Vision and Pattern Recognition[C].San Francisco,USA:IEEE Press,2010.1879-1887.

[6]Chen S T,Lin H T,Lu C J.Boosting with online binary learners for the multiclass bandit problem[A].Proceedings of The 31st International Conference on Machine Learning[C].Beijing,China:IEEE Press,2014.342-350.

[7]QI Z Q,XU Y T,WANG L S.Online multiple instance boosting for object detection[J].Neurocomputing,2011,74(10):1769-1775.

[8]Mustafa ?,Michael C,Vincent L,Pascal F.Fast keypoint recognition using random ferns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):448-461.

[9]Roth P,Grabner H,Skocaj D,Bischof,H,Leonardis A.On-line conservative learning for persondetection[A].Proceedings of 2nd Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance[C].Beijing,China:IEEE Press,2005.223-230.

[10]Skocaj D,Leonardis A.Weighted and robust incremental method for subspace learning[A].Proceedings of the 16th IEEE International Conference on Computer Vision[C].Nice,France:IEEE Press,2003.1494-1501.

[11]Chen K,Wang S.Semi-supervised learning via regularized boosting working on multiple semi-supervised assumptions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(1):129-143.

[12]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].Pattern Analysis and Machine Intelligence,2011,34(7):1409-1422.

[13]Muhammad A T,Jim E S.Improving nearest neighbor classifier using tabu search and ensemble distance metrics[A].Proceedings of the 6th IEEE International Conference on Data Mining[C].Hong Kong,China:IEEE Press,2006.18-22.

[14]Leistner C,Godec M,Schulter S,Saffari A,Werlberger M,Bischof H.Improving classifiers with unlabeled weakly-related videos[A].Proceedings of the 24th IEEE Conference on Computer Vision and Pattern Recognition[C].Colorado Springs,USA:IEEE Press, 2011.2753-2760.

[15]Domingos P,Michael P.On the optimality of the simple Bayesian classifier under zero-one loss[J].Machine Learning,1997,29(2-3):103-137.

[16]Rennie J,Shih L,Teevan J,Karger D.Tackling the poor assumptions of naive bayes classifiers[A].Proceedings of the 20th International Conference on Machine Learning[C].Washington DC,USA:IEEE Press,2003.616-623.

[17]羅大鵬,羅林波,桑農(nóng).可在線學(xué)習(xí)的視頻目標(biāo)檢測(cè)系統(tǒng)[J].信號(hào)處理,2013,29(5):615-624.

Luo D P,Luo L B,Sang N.Video object detection system with the capacity of onlinelearning[J].Signal Processing,2013,29 (5):615-624.(in Chinese)

羅大鵬(通信作者)男,1978年出生,四川瀘定縣人,于華中科技大學(xué)圖像所獲博士學(xué)位,現(xiàn)為中國(guó)地質(zhì)大學(xué)(武漢)副教授,主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理與分析,機(jī)器學(xué)習(xí)等.

E-mail:luodapeng@cug.edu.cn

羅琛女,1976年7月出生,廣東惠州人,畢業(yè)于武漢大學(xué),現(xiàn)為北京師范大學(xué)惠州附屬學(xué)校教師,主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、圖像處理與分析,機(jī)器學(xué)習(xí)等.

E-mail:1430319794@qq.com

Real Time Visual Perception System Based on Online Fern Classifier

LUO Da-peng1,LUO Chen2,WEI Long-sheng1,HAN Jia-bao1,WANG Yong1,MA Li1

(1.SchoolofElectronicInformationandMechanics,ChinaUniversityofGeosciences,Wuhan,Hubei430074,China2.HuizhouSchoolAffiliatedtoBeijingNormalUniversity,Huizhou,Guangdong516002,China)

A novel online learning object detection system is proposed,which can self learning and improve its detection performance wihout human-annotated training data.The system is composed of a object detection module and a sample labeling module.Online fern classifier is used in the object detection module because of its fast online learning speed.Consequentely,our system can learn automatically and detect objects in the real time.Samples,which are used to train the classifier online,are acquired and labeled automatically from a two stages cascade method in the sample labeling module.Instead of training initial classifier from some manual labeled training samples like other online learning detection frameworks,our system can learn automatically after specifying the object to be detected.This can greatly reduce the efforts of labelers.Experimental results on several video datasets are provided to show the adaptive capability and high detection rate of our system.

online learning;visual perception;fern classifier;object detection

2014-10-10;

2015-01-11;責(zé)任編輯:馬蘭英

國(guó)家自然科學(xué)基金(No.61302137,No.61271328,No.41202232);湖北省自然科學(xué)基金(No.2013CFB403);武漢市晨光計(jì)劃項(xiàng)目(No.2014070404010209)

TP391

A

0372-2112 (2016)05-1139-10

電子學(xué)報(bào)URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.018