潘智勇， 劉 揚， 劉國軍， 郭茂祖,2,3

(1 哈爾濱工業(yè)大學 計算機科學與技術(shù)學院， 哈爾濱 150001； 2 北京建筑大學 電氣與信息工程學院， 北京 100044；3 建筑大數(shù)據(jù)智能處理方法研究北京市重點實驗室(北京建筑大學)， 北京 100044； 4 北華大學 計算機科學技術(shù)學院， 吉林 吉林 132013)

引言

圖像分類和對象識別一直是計算機視覺研究的重要方向，其準確率直接受到圖像中對象特征表達的影響?，F(xiàn)階段圖像的特征表達主要基于圖像局部底層特征，如尺度不變特征變換(Scale-invariant feature transform，SIFT)[1]和方向梯度直方圖(Histogram of Oriented Gradient, HOG)[2]等。但局部特征與上層語義之間存在嚴重的“語義鴻溝”，直接影響局部底層特征對圖像中對象表達的準確性。近年來，中層特征[3-6]的提出，有效地解決了“語義鴻溝”的問題。對于圖像理解問題，主題模型[7-8]的主題以中層特征的形式表達圖像中不同尺度的對象組成部件[9]?，F(xiàn)階段主流的主題模型隱狄利克雷分配(latent Dirichlet allocation，LDA)在圖像分類和場景分類等圖像理解問題上取得了很好的應(yīng)用[10-12]。但LDA模型忽略了視覺詞匯之間的空間位置關(guān)系，一定程度上影響了模型在圖像分類的準確率。基于LDA模型，馬爾可夫主題隨機場(Markov topic random fields，MTRF)[9]在主題層利用馬爾可夫隨機場融合相鄰主題間的空間關(guān)系，提高了視覺詞匯的主題分配的準確性和圖像分類的準確率，尤其在圖像區(qū)域內(nèi)主題分配的準確性方面，表現(xiàn)得更為明顯。同時，主題表達的對象組成部件之間也呈現(xiàn)出較好的結(jié)構(gòu)關(guān)系。高效滑動子窗搜索(Efficient Subwindow Search，ESS)[13]算法是一種快速有效的區(qū)域搜索方法，可以發(fā)現(xiàn)區(qū)域內(nèi)圖像特征的結(jié)構(gòu)特征，從而準確地識別和表達對象。因此，本文以MTRF模型產(chǎn)生的主題作為圖像特征，以ESS算法搜索區(qū)域，并學習區(qū)域內(nèi)主題特征構(gòu)成的對象結(jié)構(gòu)，檢測和識別對象位置，提高對象識別的準確率。

1 融合空間信息的主題模型

隱狄利克雷分配模型基于詞匯獨立性和主題獨立性假設(shè)的條件，忽略了視覺詞匯的空間關(guān)系。但視覺詞匯是局部特征，沒有空間位置的關(guān)系，視覺詞匯無法形成有意義的對象表達。圖像的視覺詞匯是主題以一定概率聚類產(chǎn)生的結(jié)果，主題表現(xiàn)為對象的組成部件，因此，相鄰視覺詞匯由同一主題產(chǎn)生的概率較高。依據(jù)這一特點，馬爾可夫主題隨機場(Markov topic random fields，MTRF)[9]模型利用Potts模型，在主題層建立起相鄰主題間的關(guān)系，從而表現(xiàn)出相鄰視覺詞匯的位置關(guān)系。因此，主題的產(chǎn)生過程中，不僅受到多項式分布的影響，還融合了相鄰主題的關(guān)系。

MTRF的概率圖模型如圖1所示。對于由M幅圖像組成的圖像集，每幅圖像分別包含N個視覺詞匯的圖像集，其視覺詞匯由K個主題產(chǎn)生，Z={z1,z2,…,zk}。與LDA模型相似，參數(shù)α和β為模型的狄利克雷超參，避免過擬合。φ表示主題中視覺詞匯的概率分布，θ表示圖像中主題的概率分布。主題zi表示產(chǎn)生視覺詞匯wi的主題。zi與zj之間的邊代表相鄰主題之間的關(guān)系。

圖1 MTRF概率圖模型

MTRF在主題采樣分配過程中，有效地融合了相鄰主題的影響，因此，其主題采樣公式為：

p(Z|θ,α,λ)∝λf(zi,zj)+(1-λ)p(Z|θ)p(θ|α)

(1)

其中，f(zi,zj)表達相鄰主題之間的關(guān)系，數(shù)學表述公式如下：

f(zi,zj)=exp(∑iσI(zi,zj))

(2)

指示函數(shù)I體現(xiàn)主題間關(guān)系。I=1，相鄰主題相同；I=0，相鄰主題不同。推導可得數(shù)學公式如下：

(3)

并且，σ為馬爾可夫隨機場參數(shù)。參數(shù)λ表明產(chǎn)生主題的形式，具體表現(xiàn)為：當λ=1時，p(Z|θ,α,λ)∝f(zi,zj)，相鄰主題間存在關(guān)系，當前主題的產(chǎn)生受相鄰主題的影響，由馬爾可夫隨機場產(chǎn)生；當λ=0時，p(Z|θ,α,λ)∝p(Z|θ)p(θ|α)，主題間獨立，當前主題的產(chǎn)生主要受多項式分布影響。由此，一幅圖像的產(chǎn)生主要過程為：

(1)主題分布θ服從參數(shù)為α的狄利克雷分布，θ～Dir(α)。

(2)視覺詞匯在每個主題中的分布φ，φ～Dir(β)。

(3)具有N個視覺詞匯的圖像，其視覺詞匯wn的產(chǎn)生步驟可分述如下。

① 檢測主題的產(chǎn)生方式，以概率p(Z|θ,α,λ)抽取主題zn。

② 每一個視覺詞匯wn以概率p(wn|φzn)產(chǎn)生。

MTRF需要利用變分推理或采樣算法對后驗概率p(Z|W)求得近似估計。吉布斯采樣算法是一種簡單有效的采樣算法，其采樣過程是保持當前待采樣主題不變時，基于其它主題對當前主題分配進行采樣。研究中將會用到的公式如下：

(4)

其中，

p(Z,W|α,β,σ,λ)=p(Z|α,σ,λ)p(W|Z,β)∝(λf(zi,zj)+(1-λ)p(Z|θ)p(θ|α))×p(W|Z,β)

(5)

p(Z,W|α,β,σ,λ)=p(Z|α,σ,λ)p(W|Z,β)∝(λf(z,zj)+(1-λ)p(Z|θ)p(θ|α))×p(W|Z,β)

(6)

結(jié)合公式(5)和公式(6)，可得:

p(zi|Z,W)∝(λexp (∑E(i, j)σI(zi,zj))+

(7)

其中，Z為圖像中除當前主題外，其它所有主題的分配；為圖像m中除當前視覺詞匯wi之外，由主題k產(chǎn)生的視覺詞匯數(shù)；為圖像m中視覺詞匯的總數(shù)；為圖像集中，除當前詞匯wi之外由主題k產(chǎn)生的視覺詞匯wi的總數(shù)；為圖像中由主題k產(chǎn)生的視覺詞匯總數(shù)；E(i,j)為主題zi與其相鄰主題zj之間的關(guān)系。

經(jīng)過一定次數(shù)的迭代，得到后驗概率p(Z|W)的穩(wěn)態(tài)分布，并且每個視覺詞匯分配一個主題。以視覺詞匯上分配的主題表達圖像，可以形成有效的中層特征，表達對象的組成部件及部件間的關(guān)系。

2 高效滑動窗搜索算法

為實現(xiàn)對象檢測識別，人們常利用滑動窗的方法，以一定尺寸的滑動窗口在圖像中提取區(qū)域特征，利用分類器算法對獲取的窗口進行評估，檢測出對象位于不同位置的概率。但考慮到圖像中對象一般位于少數(shù)區(qū)域，因此，基于滑動窗口的方法會由于候選區(qū)域過多而造成模型效率低，系統(tǒng)資源要求高等問題。為應(yīng)對這些問題，高效滑動窗搜索(efficient subwindow search，ESS)[13]算法在不依賴對象的形狀的情況下，保證尋找到全局最大的區(qū)域。同時，ESS算法并不需要滑動搜索所有區(qū)域，因此算法運算速度很快。

ESS以高、低、左、右4個坐標參數(shù)化來表示區(qū)域邊界，利用分支限界的目標搜索方式，將參數(shù)空間分裂成不相交的子集，同時維持所有子集的最優(yōu)邊界。

其中，條件(1)確保f的上邊界，條件(2)確保獲得最優(yōu)值。

分析可知，ESS的運算速度和搜索區(qū)域的有效性，使其在對象識別任務(wù)中得到了廣泛的應(yīng)用。

3 實驗與分析

本部分實驗主要探究MTRF與ESS等結(jié)構(gòu)化算法結(jié)合實現(xiàn)對象識別的可行性和對于LDA和BOW算法的優(yōu)勢，但并未討論如何學習最優(yōu)參數(shù)，因此重點對比了相同參數(shù)條件下，MTRF與LDA和詞袋(Bag of Words, BOW)模型對象識別的準確率，實驗主要基于2個數(shù)據(jù)集：Caltech101[14]和VOC2007[15]數(shù)據(jù)集。實驗過程中，研究提取SIFT特征并學習獲得含有1 000視覺詞匯的詞典表達圖像，分別以MTRF和LDA的主題和BOW算法的詞頻作為圖像特征表達ESS算法提取的圖像區(qū)域，對比識別準確率。交并比(intersection over union，IOU)是評價對象檢測準確性常用的標準，一般情況下，IOU大于50%，可判定為模型正確識別了對象。

3.1 在Caltech101數(shù)據(jù)集的對象識別對比實驗與分析

Caltech101數(shù)據(jù)集由102類對象組成，其中101類用于圖像分類和對象識別的對象類，此外則為背景類，總共9 144幅圖像。圖像中對象主要位于圖像的中心位置，并且同類對象在圖像中尺寸和姿態(tài)等特征相似。

實驗過程中，將分別從各類對象中隨機抽取30幅圖像組成訓練數(shù)據(jù)集，其余圖像組成測試數(shù)據(jù)集。在101類對象識別過程中，MTRF、LDA的主題數(shù)設(shè)置為50時，MTRF在78類對象的識別準確率高于LDA，81類對象的識別準確率高于BOW。而MTRF的識別準確率高于LDA和BOW的10類對象的對比結(jié)果則分別如圖2、圖3所示。從圖2、圖3中可以看出，MTRF高于LDA和BOW算法的類別中，優(yōu)勢明顯。以所有類別的平均識別準確率(average accuracy)為評價指標。研究指出，MTRF和LDA的平均識別準確率即為84.15%和 81.98%, BOW的平均識別準確率為81.51%。由于MTRF算法在主題采樣分配過程中融合了相鄰主題的關(guān)系，使主題分配、尤其局部區(qū)域內(nèi)的主題分配更趨準確，因此，其識別準確率要明顯高于其它2種算法。

圖2 MTRF高于LDA的10類對象的對比結(jié)果

圖3 MTRF高于BOW的10類對象的對比結(jié)果

3.2 在VOC2007數(shù)據(jù)集的對象識別對比實驗與分析

VOC2007數(shù)據(jù)集主要由20類對象，共9 963幅圖像組成，其中，5 011幅圖像組成訓練驗證集，用于訓練模型參數(shù)；4 952幅圖像組成測試集，用于測試和評價模型。與Caltech101數(shù)據(jù)集不同，VOC2007的圖像包含多類對象，背景比較復(fù)雜，并且對象在圖像中的尺度、位置和姿態(tài)都不相同。

實驗過程中，將以訓練驗證集數(shù)據(jù)訓練ESS檢測器，以測試集數(shù)據(jù)對比模型的識別準確率，并以所有類別對象的平均分類精度均值(mean Average Precision, mAP)作為模型的評價指標。研究得出MTRF、LDA和BOW各類對象識別的實驗對比結(jié)果可見表1。其中，以平均分類精度(Average Precision，AP)作為各類對象識別準確率的指標。由表1可以看出，在各類對象的識別過程中，MTRF由于融合了相鄰主題關(guān)系，主題分配更加準確，圖像表達也更為有效，因此，對象識別的準確率更高。在數(shù)據(jù)集20類對象中，MTRF在11類對象的識別準確率要高于其它算法，而其它類別也與最優(yōu)的結(jié)果比較相近。圖4列舉出部分VOC2007數(shù)據(jù)集中，MTRF算法的對象識別結(jié)果。由圖4可以看出，MTRF與ESS算法的結(jié)合，識別范圍內(nèi)的背景很少，對象識別更準確有效。

表1 VOC2007數(shù)據(jù)集上部分對象識別準確率對比

圖4 VOC2007數(shù)據(jù)集上部分對象識別結(jié)果

4 結(jié)束語

本文提出了一種基于馬爾可夫主題隨機場和高效搜索子窗口算法的對象識別方法。該方法利用馬爾可夫主題隨機場主題分配的準確性和高效搜索子窗口算法的特點，研究搜索并識別對象。馬爾可夫主題隨機場在主題采樣分配過程中融合了相鄰視覺詞匯的空間關(guān)系，在局部區(qū)域內(nèi)主題分配和圖像表達趨于精準，主題表現(xiàn)為更具意義的對象組成部件，在相當程度上尤其利于表達對象的結(jié)構(gòu)特征。高效滑動窗搜索算法通過學習區(qū)域內(nèi)主題表達的對象結(jié)構(gòu)特征，在對象檢測和識別的實現(xiàn)上高度突顯其優(yōu)良性能。因此，對于對象識別問題，本文提出的方法，有效地提高了主題模型在對象識別問題上的準確率。