蘇 寧, 郝兆才

(1.濟(jì)寧學(xué)院 產(chǎn)業(yè)學(xué)院,山東 濟(jì)寧 273155； 2.曲阜師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,山東 濟(jì)寧 273165)

0 引 言

目前，很多研究領(lǐng)域會(huì)遇到大量相似目標(biāo)的計(jì)數(shù)與重復(fù)檢測(cè)[1]任務(wù)，重復(fù)目標(biāo)檢測(cè)應(yīng)用廣泛，該技術(shù)可應(yīng)用于生產(chǎn)車間中的產(chǎn)品檢驗(yàn)、醫(yī)學(xué)研究中的細(xì)胞計(jì)數(shù)、交通節(jié)點(diǎn)的人群統(tǒng)計(jì)[2]等。執(zhí)行這些任務(wù)時(shí)，除了需要人工參與外，借助計(jì)算機(jī)技術(shù)進(jìn)行目標(biāo)自動(dòng)檢測(cè)成為必然選擇。然而，在缺少先驗(yàn)知識(shí)的情況下，自動(dòng)檢測(cè)變得很困難，其原因主要是形狀、光照以及目標(biāo)視覺(jué)復(fù)雜性等因素的影響。

目標(biāo)計(jì)數(shù)與檢測(cè)一般分為兩類，第一類方法基于不同的視覺(jué)描述符[3]。其主要方式是從圖像中提取低層描述符，預(yù)測(cè)目標(biāo)的位置信息。常用的特征有：局部方向梯度直方圖[4]、霍夫變換[5]、尺度不變特征[6]等，預(yù)測(cè)則由一些分類器完成。例如，文獻(xiàn)[7]將分層結(jié)構(gòu)的檢測(cè)器和一個(gè)像素級(jí)的分割器一起學(xué)習(xí)，以獲得更高的檢測(cè)精度。文獻(xiàn)[8]在霍夫變換中加入了更高層次的幾何約束，并結(jié)合了隨機(jī)場(chǎng)模型，但所需的計(jì)算成本較高。

第二類方法面向大量密集的對(duì)象，例如人群，該類目標(biāo)由少量像素組成，一般基于不同的紋理描述符對(duì)目標(biāo)密度進(jìn)行回歸，并通過(guò)密度積分得出目標(biāo)數(shù)量[9]。如文獻(xiàn)[10]提出一種基于密度等級(jí)分類的田間棉鈴計(jì)數(shù)算法，采用密度等級(jí)分類估計(jì)器對(duì)圖像中的全局上下文信息進(jìn)行編碼，但該方法對(duì)訓(xùn)練集的注釋要求較多，訓(xùn)練過(guò)程較為繁瑣。

上述方法一般包含訓(xùn)練過(guò)程，且要求大量樣本和目標(biāo)位置信息。因此在多樣化的場(chǎng)景中容易受到限制。本文利用圖像的重復(fù)性，對(duì)視覺(jué)特征進(jìn)行估計(jì)，提出了基于可變形部件模型(deformable part model,DPM)的目標(biāo)檢測(cè)方法，其主要思想是利用圖像中目標(biāo)外觀的絕對(duì)數(shù)量自動(dòng)對(duì)參數(shù)進(jìn)行恢復(fù)。因此，所提方法允許一定的幾何變形，且不需要瑣碎的訓(xùn)練過(guò)程。

1 提出的方法

1.1 方法流程概述

本文方法基本流程如圖1所示，分為兩個(gè)步驟：1)提取圖像中的目標(biāo)包圍框，對(duì)反復(fù)出現(xiàn)的分塊，分析其空間相關(guān)性，獲得DPM的組件參數(shù)；2)確定重復(fù)目標(biāo)的描述符，采用隨機(jī)抽樣一致性(random sample consensus,RANSAC)聚類來(lái)判定DPM指向的潛在重復(fù)目標(biāo)位置，對(duì)分類特征運(yùn)用主成分分析(principal component analysis,PCA)方法獲得分類結(jié)果。其中，潛在重復(fù)目標(biāo)是通過(guò)一個(gè)主動(dòng)學(xué)習(xí)程序適應(yīng)到輸入數(shù)據(jù)中，該學(xué)習(xí)程序要求用戶在極少數(shù)的邊緣實(shí)例上提供反饋。

圖1 本文方法的基本流程圖

1.2 提取反復(fù)出現(xiàn)的分塊

本文希望找到與目標(biāo)模式相關(guān)，且反復(fù)出現(xiàn)的分塊，提取出這些分塊，并將其作為目標(biāo)DPM的視覺(jué)描述符。為此，首先，圍繞一個(gè)隨機(jī)坐標(biāo)的一個(gè)較小正方形窗口，設(shè)為候選分塊p，計(jì)算其余圖像中圍繞著x的每個(gè)分塊之間的互相關(guān)函數(shù)ρ(x)，圖像分塊p和q之間的互相關(guān)值定義為：〈p-pu,q-uq〉/(σpσq)。其中，〈.,.〉表示點(diǎn)積算子，μ表示分塊均值，σ為標(biāo)準(zhǔn)偏差。通過(guò)設(shè)q=p得出p的自相關(guān)值，通過(guò)對(duì)ρ(x)進(jìn)行極大值抑制來(lái)定義p的出現(xiàn)映射z(x)。像素y與所用分塊維度相同，是圍繞著x的窗口中的一個(gè)像素，在任何像素y處，若ρ(x)≤ρ(y)，則設(shè)z(x)=1，式中ρ(x)>1-ε，在其他地方設(shè)z(x)=0。本文在所有報(bào)告測(cè)試中均采用ε=1/20，但預(yù)計(jì)該數(shù)值在噪聲水平較高的情況下會(huì)增加。這里使用的分塊尺寸為9×9，并假設(shè)目標(biāo)為該分塊大小的3倍。因此，本文要求用戶對(duì)圖像中的目標(biāo)之一使用一個(gè)包圍框并對(duì)圖像進(jìn)行相應(yīng)的縮放。

上述中的出現(xiàn)映射z(x)是一個(gè)二值圖，其中z(x)=1表示圖像I(x)和分塊p中的像素具有強(qiáng)烈的結(jié)構(gòu)相似性，反之則z(x)=0。因此,可以通過(guò)∑xz(x)測(cè)量p在圖像中的頻率。對(duì)該步驟進(jìn)行多次重復(fù)操作(本文考慮的候選分塊為30個(gè))并將頻率最高的分塊添加到一個(gè)反復(fù)出現(xiàn)分塊的列表中p1,p2…并保留對(duì)應(yīng)的出現(xiàn)映射z1,z2…。重復(fù)該過(guò)程，直到得出的分塊頻率降低到之前步驟中遇到的最大頻率的某個(gè)比例之下(本文該比例為30 %)。

1.3 分塊相關(guān)性分析

在找到的反復(fù)出現(xiàn)分塊中，很多分塊有極大可能性對(duì)應(yīng)著重復(fù)目標(biāo)的不同部分，因此表現(xiàn)出的空間排列具有一致性，如圖2所示。本文使用一個(gè)分塊相關(guān)分析對(duì)該空間依賴性進(jìn)行檢測(cè)，并且用其定義DPM的彈簧參數(shù)。這個(gè)步驟可以在分塊出現(xiàn)和某個(gè)特有目標(biāo)之間建立聯(lián)系，同時(shí)丟棄之前步驟中得到的離群分塊。

圖2 所有分塊出現(xiàn)及其聚類

本文利用目標(biāo)在圖像中的重復(fù)性給出映射zi和zj之間的自相關(guān)函數(shù)和互相關(guān)函數(shù)τi,j，其中,1≤i，j≤n，n為提取出的分塊數(shù)量。如果第i個(gè)分塊和第j個(gè)分塊對(duì)應(yīng)著重復(fù)目標(biāo)的兩個(gè)部分，那么這兩個(gè)分塊對(duì)相同的出現(xiàn)做出響應(yīng)。這些響應(yīng)都會(huì)記錄在zi和zj中，但為每個(gè)響應(yīng)采用一個(gè)不同的空間偏移量，該偏移量與目標(biāo)中的分塊偏移相對(duì)應(yīng)。出現(xiàn)映射中的這種空間依賴性將在兩個(gè)分塊的互相關(guān)函數(shù)中得到一個(gè)峰值，該峰值與空間偏移向量相等。

為了檢測(cè)強(qiáng)相關(guān)的分塊，本文通過(guò)對(duì)τi,j(x)中的最大值和第二大值之間的比例進(jìn)行度量，該第二大值作為一個(gè)局部最優(yōu)值(大于距其最近的8個(gè)點(diǎn))。如果該比例超過(guò)了某個(gè)因子(設(shè)置為2)，則將分塊對(duì)(i,j)標(biāo)注為相關(guān)，并通過(guò)ui,j=arg maxxτi,j(x)提取該分塊對(duì)的特有空間偏移量。

對(duì)于已找到的重復(fù)出現(xiàn)的分塊集合，其對(duì)應(yīng)于一個(gè)不完全圖的頂點(diǎn)，該圖的邊緣為強(qiáng)相關(guān)的分塊對(duì)。圖中的每個(gè)邊緣均與分塊間的平均空間偏移向量uij相關(guān)聯(lián)。接著，構(gòu)建形狀模型，將這些相關(guān)關(guān)系轉(zhuǎn)換到一組平面坐標(biāo)集中，利用該坐標(biāo)集對(duì)潛在的目標(biāo)進(jìn)行高效檢測(cè)。為了進(jìn)行整體規(guī)劃，本文利用局部線性嵌入(LLE)技術(shù)[11]，即通過(guò)式(1)進(jìn)行最小化處理，并尋找與空間偏移uij盡可能一致的全局頂點(diǎn)坐標(biāo)x1,…,xn

(1)

式中E為圖中的邊緣集合。

1.4 重復(fù)目標(biāo)檢測(cè)

1.4.1 重復(fù)目標(biāo)的潛在位置

如果DPM為樹(shù)形結(jié)構(gòu)，可通過(guò)動(dòng)態(tài)規(guī)劃[12]檢測(cè)目標(biāo)，時(shí)間復(fù)雜度為O(nN)，其中，N為圖像像素的數(shù)量，n為分塊的數(shù)量。如上文所述，本文利用出現(xiàn)映射，將范圍縮小到O(nm)進(jìn)行搜索，m為目標(biāo)出現(xiàn)的數(shù)量。由于每個(gè)實(shí)例的出現(xiàn)都可能伴隨著自身的形變，以上轉(zhuǎn)換方法消除了分塊在目標(biāo)中位置的一致性偏移，并導(dǎo)致響應(yīng)的大量聚集，如圖2所示。因此，為提取潛在位置，本文采用RANSAC算法進(jìn)行聚類。

1.4.2 重復(fù)目標(biāo)的描述符

為確定得到的簇是否表示一個(gè)真實(shí)的目標(biāo)外觀，采取了一個(gè)低維的線性分離器進(jìn)行分類。該分類基于每個(gè)簇中提取的以下幾個(gè)度量：

1)簇中的分塊數(shù)量；

2)分塊和圖像之間的平均相關(guān)值；

3)簇中的平均形變，其計(jì)算公式為

(2)

4)出現(xiàn)在簇中的分塊質(zhì)心和簇中心之間的平均距離為||∑j∈Ckyj/|Ck|-ck||。

圖3 用于分類的特征

1.4.3 重復(fù)目標(biāo)的分類

通過(guò)將每個(gè)簇的特征向量輸入一個(gè)線性支持向量機(jī)(support vector machine,SVM)，即(〈fj,w〉-b)，以判定該簇是否與一個(gè)目標(biāo)外觀相對(duì)應(yīng)，式中w和b分別為分離向量和偏移值。

本文允許用戶針對(duì)輸入圖像的特性對(duì)決策判定進(jìn)行調(diào)整。首先，啟動(dòng)w=(1,0,0,…)，即僅考慮分塊的數(shù)量，并計(jì)算所有正向判定的偏差bmin和所有負(fù)向判定的偏差bmax；然后，提取在此范圍內(nèi)均勻采樣的20個(gè)簇及其得分〈fj,w〉，允許用戶使用滑塊選擇b∈[bmin,bmax]以修改簇的分類。

已知當(dāng)前w和b，設(shè)δ±=min{|b-bmin|,|b-bmax|}，執(zhí)行以下步驟。隨機(jī)采樣7個(gè)得分作為b<〈fk,w〉

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在配置了Intel酷睿i3雙核2.4 GHz，4 GB RAM的臺(tái)式機(jī)上進(jìn)行實(shí)驗(yàn)，采用MATLAB與C++混合編程，并利用CellC軟件進(jìn)行輔助計(jì)數(shù)。實(shí)驗(yàn)的對(duì)象是生產(chǎn)線上的水杯、啤酒、藥片，以及熒光顯微鏡細(xì)胞圖像，細(xì)胞圖像來(lái)自文獻(xiàn)[13]，并與文獻(xiàn)[10]、文獻(xiàn)[14]和文獻(xiàn)[15]進(jìn)行評(píng)估比較。

2.1 不同情形的實(shí)驗(yàn)比較與分析

實(shí)驗(yàn)測(cè)試結(jié)果如表1所示，其中“較小”指的是細(xì)胞圖像，“較大”指的是在該數(shù)據(jù)集的圖像中添加了少數(shù)虛假的較大細(xì)胞[13]。“大—小”指的是在混合細(xì)胞(包括“較大”細(xì)胞)上進(jìn)行訓(xùn)練，并且在僅包含較小細(xì)胞的圖像上進(jìn)行測(cè)試。數(shù)據(jù)集中的每個(gè)圖像包含250個(gè)細(xì)胞。結(jié)果表明：與文獻(xiàn)[14]的監(jiān)督密度估計(jì)方法相比，所提目標(biāo)檢測(cè)機(jī)制具有更高的準(zhǔn)確度。表1中霍夫變換的結(jié)果誤差較大，這主要是由于不完整目標(biāo)造成得分范圍很廣，使得尋找一個(gè)合適閾值進(jìn)行出現(xiàn)檢測(cè)變得困難。

表1 測(cè)試結(jié)果

此外，如表1所示，本文從圖像中提取出的DPM比其他方法的準(zhǔn)確度更高，這是因?yàn)楸疚氖褂玫姆謮K反復(fù)出現(xiàn)和相互關(guān)聯(lián)是從整個(gè)數(shù)據(jù)中恢復(fù)的，而非從單一實(shí)例中推導(dǎo)得出。當(dāng)在包含少數(shù)較大細(xì)胞的數(shù)據(jù)集上對(duì)本文方法以及文獻(xiàn)[14]方法進(jìn)行訓(xùn)練時(shí)，文獻(xiàn)[14]方法在僅由較小細(xì)胞組成的圖像上的性能欠佳，但本文的用戶輔助可避免對(duì)訓(xùn)練數(shù)據(jù)的特定性。

為了進(jìn)一步比較，將本文方法與文獻(xiàn)[10]、文獻(xiàn)[14]和文獻(xiàn)[15]方法進(jìn)行比較，采用更多其他的數(shù)據(jù)和圖片。實(shí)驗(yàn)包括15個(gè)參與者和5個(gè)圖像，為每個(gè)參與者隨機(jī)選擇測(cè)試方法和圖像順序。表2給出了在這些用戶輔助程序的每次迭代時(shí)的平均計(jì)數(shù)誤差。其中，H1表示誤報(bào)，H0表示漏報(bào)，“點(diǎn)擊”為鼠標(biāo)總點(diǎn)擊次數(shù)，最后一列為總處理時(shí)間，加粗?jǐn)?shù)據(jù)為最優(yōu)數(shù)據(jù)。本文方法在時(shí)間欄的括號(hào)中給出了預(yù)處理時(shí)間(已記入括號(hào)外的時(shí)間內(nèi))。結(jié)果表明，文獻(xiàn)[15]和文獻(xiàn)[10]方法的精度較差。文獻(xiàn)[14]稍優(yōu)，本文所提計(jì)數(shù)程序能夠以較少的用戶時(shí)間和精力(鼠標(biāo)點(diǎn)擊)實(shí)現(xiàn)了最高的計(jì)數(shù)準(zhǔn)確度。當(dāng)考慮總目標(biāo)計(jì)數(shù)時(shí)，本文方法的準(zhǔn)確度依然相當(dāng)高。這主要得益于利用圖像中目標(biāo)外觀的絕對(duì)數(shù)量自動(dòng)對(duì)參數(shù)進(jìn)行恢復(fù)，允許目標(biāo)產(chǎn)生一定的幾何變形，具有較高的計(jì)數(shù)準(zhǔn)確度。

表2 用戶輔助程序每次迭代時(shí)的平均計(jì)數(shù)誤差

2.2 大量目標(biāo)檢測(cè)與計(jì)數(shù)實(shí)例

圖4給出了本文方法和文獻(xiàn)[14]方法所生成的樣本圖像和檢測(cè)到的目標(biāo)，瓶裝水圖像是目標(biāo)透視變形所得，其中，“#”表示鼠標(biāo)點(diǎn)擊的次數(shù)。以圖4(a)為例，(213/250;H1:0,H0:37,#:10)的意思是：文獻(xiàn)[14]統(tǒng)計(jì)出213個(gè)目標(biāo)(總目標(biāo)為250個(gè))，誤報(bào)H1為0個(gè)，漏報(bào)H0為37個(gè)，鼠標(biāo)點(diǎn)擊數(shù)為10次。由圖4可知，所提方法可以檢測(cè)統(tǒng)計(jì)出更多的目標(biāo)。雖然本文使用的特征不具備對(duì)此類變換的不變性，但每個(gè)尺寸均有足夠數(shù)量的實(shí)例，因此本文方法可以找到足夠的辨識(shí)分塊。

圖4 各方法檢測(cè)結(jié)果

3 結(jié)論與展望

本文提出了一種用于圖像重復(fù)目標(biāo)定位和計(jì)數(shù)的方法，基本思想是利用圖像中目標(biāo)反復(fù)出現(xiàn)的絕對(duì)數(shù)量，抽取圖像內(nèi)容，并使用其自身的分塊搜索重復(fù)出現(xiàn)的目標(biāo)，通過(guò)相關(guān)分析得出DPM的形狀。實(shí)驗(yàn)結(jié)果表明，所提方法能夠?qū)崿F(xiàn)更準(zhǔn)確的重復(fù)目標(biāo)檢測(cè)。

但所提方法在嚴(yán)重遮擋或目標(biāo)形變很大的圖像中，無(wú)法識(shí)別足夠數(shù)量的重復(fù)分塊和分塊出現(xiàn)。且沒(méi)有旋轉(zhuǎn)或縮放變換，因此在此情況下，所提方法可能表現(xiàn)不佳。這將是未來(lái)研究和改進(jìn)的方向。