劉 彤,黃修添,馬建設,蘇 萍

(清華大學 深圳研究生院,廣東 深圳 518055) (*通信作者電子郵箱709794457@qq.com)

基于完全聯(lián)系的條件隨機場的圖像標注

劉 彤,黃修添*,馬建設,蘇 萍

(清華大學 深圳研究生院,廣東 深圳 518055) (*通信作者電子郵箱709794457@qq.com)

傳統(tǒng)的圖像標注模型通常存在兩個問題：只能夠?qū)Χ叹嚯x的像素上下文信息進行建模和復雜的模型推理過程。為了提高圖像標注的精度、簡化圖像標注的模型推理過程，采用完全聯(lián)系的條件隨機場模型進行圖像標注，提出利用基于高斯kd樹的平均場估計方法實現(xiàn)該模型的高效推理。為了更好地驗證算法的有效性，實驗的圖片數(shù)據(jù)庫不僅包含標準的圖片庫——劍橋大學微軟研究圖片庫(MSRC-9)，還包含作者制作的機械零件圖片庫(MyDataset_1)和辦公桌圖片庫(MyDataset_2)。新算法在三個圖片庫上的平均標注精度分別可以達到77.96%、97.15%和95.35%，每幅圖的平均運行時間為2 s。實驗結(jié)果表明，基于完全聯(lián)系的條件隨機場的圖像標注能夠更充分地考慮不同的像素上下文信息來提高標注精度，而基于高斯kd樹的模型推理能夠提高模型推理的效率。

條件隨機場;圖像標注;上下文信息;高斯kd樹;模型推理

0 引言

圖像標注技術能夠使計算機自動解析圖像場景,對圖像中的多類別進行分割和識別,從而完成各種需要人才能完成的任務。由于圖像標注能夠解析圖像場景,因此受到了許多國內(nèi)外學者的關注和研究。當前,許多多目標類別圖像分割和標注問題的先進技術都采用條件隨機場(Conditional Random Field, CRF)模型[1]實現(xiàn):楊耘等[2]利用圖像標注對遙感圖像進行分類,李林等[3]闡述了基于概率圖模型的整體場景理解,張微等[4]提出了基于超像素的條件隨機場的圖像分類。這些CRF模型不僅可以在圖片全局或局部區(qū)域?qū)崿F(xiàn)[5-6],還可以在像素層次實現(xiàn)[7-8]。標準的CRF模型[9]只能對圖片的局部信息進行建模,從而損失了圖片的全局信息。因此,在圖像語義分割實際應用中,一些非常直觀的錯誤就會產(chǎn)生,比如,“狗”可能會出現(xiàn)在“天空”中。為了更好地挖掘圖片的局部信息和全局信息,文獻[10]提出了多層次的CRF模型。多層次的CRF模型通過組合圖片中不同空間尺度的特征信息來獲取圖片的局部信息和全局信息。然而,雖然多尺度的CRF模型能夠同時挖掘圖片的局部和全局信息,但是因為考慮到多個層次的空間尺度,因而該模型涉及大量的變量和參數(shù)。同時,該模型的學習和推理階段采用的是隨機采樣方法,所以效率較低。因此,在圖像語義分割的實際應用中,圖片數(shù)據(jù)庫的圖片數(shù)量以及類別數(shù)量成為了制約該模型應用的兩個主要因素。2009年,Shotton等[7]通過增強學習算法[11]對圖片長距離像素的關系進行建模。Pinto等[12]提出了分層的CRF模型,該模型通過采用一種簡單的分層結(jié)構,能夠同時對圖片中長距離和短距離像素之間的關系進行建模。其中,第一層結(jié)構對圖片類別或者相鄰區(qū)域的相互關系進行建模,而第二層結(jié)構則是對相鄰像素之間的關系進行建模。雖然分層的CRF模型能夠挖掘圖片中不同層次的上下文信息,但是卻并未考慮到圖片的全局信息,從而導致圖像語義分割的結(jié)果高度依賴于局部特征信息。文獻[13]將局部信息和全局信息都作為條件隨機場的組成部分,然而由于該方法需要考慮到所有類別之間的關系,因此如果圖片中物體類別較多時,基于該模型的圖像語義分割不僅計算非常復雜,而且實驗結(jié)果精度不高。

綜上,基于不同層次條件隨機場的圖像標注存在以下不足:

1)基于區(qū)域?qū)哟蔚膱D像標注通常只能考慮相鄰區(qū)域塊的關系,無法捕捉不相鄰圖片區(qū)域塊的上下文語義信息。

2)基于像素層次的圖像標注雖然能夠在像素層次上提取圖片特征信息,但是基于像素層級的圖像標注的概率圖模型節(jié)點和節(jié)點之間的邊過多,導致模型的推理過于復雜。因此傳統(tǒng)的基于像素層次的圖像標注通常也只會考慮相鄰像素的上下文信息。

3)基于完全聯(lián)系的條件隨機場的圖像標注[13]由于每組像素對之間都存在聯(lián)系,因而模型十分復雜,從而導致模型推理變得困難。

為了解決圖像標注技術中圖片上下文信息挖掘不充分的問題,本文采用完全聯(lián)系的條件隨機場模型作為圖像標注的模型；又由于基于完全聯(lián)系的條件隨機場模型中節(jié)點和節(jié)點的聯(lián)系過多導致模型推理困難,還提出了一種新的推理方法——基于高斯kd樹[14]的平均場估計方法。

1 完全聯(lián)系的條件隨機場模型

給定定義在變量集合{X1,X2,…,XN} 上的隨機場X,N是變量個數(shù)。每一個變量的值域是標簽集合L={l1,l2,…,lK},其中K是標簽個數(shù)。同時考慮另外一個隨機場F,它是定義在變量集合{F1,F2,…,FN}上的。在本文中,Y代表大小為N的輸入圖片集合,X代表對應的圖片語義分割結(jié)果。Fj代表像素j的顏色向量,Xj表示像素j的標簽結(jié)果，因此條件隨機場(F,X)的吉布斯分布表示為:

(1)

其中:G=(ν,ε)是定義在X的圖模型,每一個團c都包含一個對應的勢能函數(shù)φc[1]。每一組標簽x∈LN的吉布斯能量為:

(2)

對應的最大后驗概率標注是:

(3)

為了書寫方便,后文用ψc(xc)代替ψc(xc|F)。

在完全聯(lián)系的CRF模型中,G是定義在X上的完全圖,CG是所有單一團(單一像素點)和成對團(像素對)的集合。對應的吉布斯能量如式(4)所示：

(4)

其中:索引i,j∈{1,2,…,N}代表像素點的索引; p代表勢能函數(shù)為成對勢能; u代表勢能函數(shù)為單一勢能。單一勢能項(unary potenials)ψu(xi)是通過訓練得到的分類器,它是通過計算像素的標簽為xi的概率分布得到的。本文中單一勢能項用到的圖片特征包括:顏色、紋理、梯度特征等。由于單一勢能項中僅考慮獨立像素的特征,因而圖片標注的結(jié)果常常不光滑并且含有噪聲,如圖1所示。

圖1 僅考慮單一勢能項的標注結(jié)果

本文中的成對勢能項(pairwise potentials)具有如下形式:

u(xi,xj)k(fi,fj)

(5)

其中每一個k(m)都是一個高斯核函數(shù),如式(6)所示:

(6)

其中:fi、fj分別是像素i、j位置任意維度的特征向量;w(m)是線性組合的權重;u表示標簽兼容函數(shù)(compatibility function)。每一個核函數(shù)k(m)的形狀由對稱正定矩陣Λ(m)確定。

針對不同的圖片特征,可以使用不同的核勢能函數(shù)。文獻[8]定義了兩種對比度敏感的核勢能,分別包括顏色和位置兩種信息,其表達式如下:

(7)

其中：Ci、Cj代表像素位置pi、pj上的顏色向量。顏色向量由RGB三維向量組成,位置向量由水平和豎直兩個方向組成。式(7)右邊第一項稱為外觀內(nèi)核(appearance kernel),第二項稱為平滑內(nèi)核(smoothness kernel)。外觀內(nèi)核基于這樣一種假設:相鄰且顏色相近的像素很可能屬于同一類別。其中像素相鄰和近似的程度由參數(shù)θ1、θ2確定。平滑內(nèi)核的作用是移除孤立的小區(qū)域[7]。

波特模型是一種最簡單的兼容函數(shù)u,它的形式為u(x1,x2)=[x1≠x2],即當x1≠x2時,u的取值為1；反之為0。因而兼容函數(shù)的作用是對相鄰且相似但是取不同類別標簽的像素對進行懲罰補償，雖然波特模型比較簡單,但是在實際應用中它通常能夠很好地工作[8]。

2 模型推理

由于高階CRF模型的精確推理是一個NP困難問題,因此本文采用一種信息傳播的近似推理算法。在完全聯(lián)系的CRF模型中的信息傳播可以通過特征空間的高斯濾波實現(xiàn),通過這種方法可以將信息傳播的復雜度從O(N2)減小到O(NlogN),其中N代表CRF模型中的節(jié)點個數(shù)。

2.1 平均場估計

為了計算精確的概率分布P(X),平均場估計通過最小化KL(Kullback-Leibler)散度從分布集合Q中尋找分布Q(X)代替精確的概率分布P(X),其中分布集合Q都可以寫成獨立的邊緣概率分布的乘積[15],即

(8)

其中:Qi(Xi)表示在變量Xi的邊緣概率分布。由式(4)可得完全聯(lián)系條件隨機場的吉布斯分布:

(9)

其中:Z是配分函數(shù)。平均場估計通過最小化KL散度尋找近似的概率分布Q(X),具體推導過程如下:

EU～Q[logQ(U)]-EU～Q[logP(U)]=

logZ+EU～Q[E(U)]

(10)

其中EU～Q代表給定分布Q下的期望值。通過拉格朗日方程可以得到邊緣概率分布Qi(Xi):

(11)

由式(5)和式(11)可得式(12)：

Qi(xi=l)=

(12)

由式(12)可得完全聯(lián)系條件隨機場的平均場估計算法:

1)按式(13)初始化概率分布Q：

Qi(xi)=(1/Zi) exp(-ψu(xi))

(13)

2)當概率分布Q不收斂時重復執(zhí)行a)～d):

a)對所有的m,計算所有像素對之間的信息傳播值:

(14)

b)考慮兼容函數(shù)對概率分布的影響:

(15)

c)局部更新式(15):

(16)

d)歸一化Qi(xi)。

上述算法的核心部分由過程a)、b)和c)組成,其中過程b)與過程c)和圖模型的變量個數(shù)成線性關系,因而執(zhí)行效率非常高。然而,在過程a)中,對于某個變量需要計算所有其他變量對該變量的信息傳播值,所以該過程具有變量的平方復雜度。在圖像語義分割中,變量個數(shù)即所有圖片的像素總數(shù),因而該過程的時間復雜度是不可接受的。本文通過近似的高維過濾使得信息傳播過程的時間復雜度從平方復雜度下降為線性復雜度。

2.2 基于高維過濾的信息傳播

從信號處理的觀點出發(fā),可以將信息傳播過程表示成高斯核函數(shù)GΛ(m)在特征空間的卷積過程,如式(17)。

(GΛ(m)?Qj(l′))(fi)-Qi(l′)=

(17)

1)下采樣:Q↓(l)←下采樣Q(l)。

2)在采樣點f↓點上進行卷積:

在實際應用中通常使用截斷的高斯函數(shù)作為高斯核函數(shù),截斷的高斯函數(shù)除了標準差以外其他參數(shù)都是0。由于采樣點的間距和標準差的距離成正比,因此對截斷高斯函數(shù)真正起作用的采樣點個數(shù)為常數(shù)，所以每一個采樣點的卷積過程可以通過常數(shù)個數(shù)的相鄰樣本點的值近似求得。

注意以上討論的時間復雜度僅僅針對特征空間是一維的情況,如果特征維度為d,那么平均場估計算法的時間復雜度和特征維度呈指數(shù)關系,即O(Nd),因此如果完全聯(lián)系的CRF模型中采用的特征較多,那么也會導致算法執(zhí)行的效率很低。本文通過高斯kd樹[14]對上述高斯卷積過程進行加速。

2.3 高斯kd樹

高斯卷積是圖像處理中常用的一種技術,通常情況下圖像的像素較多,因此傳統(tǒng)的高斯卷積效率較低。為了對高斯卷積過程進行加速,學者們提出了一些高速加速方法。圖2列出了這些年幾種高斯卷積方法的變化,其中白點表示需要計算的點,黑點表示其他特征點,六角星表示不同高斯卷積方法的局部重心，灰點也表示特征點，它和黑點是一一對應的關系，目的是為了區(qū)分處理前和處理后的特征點。假設特征點的個數(shù)為N,特征空間維度為d,需要對m個點進行卷積計算。

如圖2所示,傳統(tǒng)的高斯卷積方法只是單純地將窗口內(nèi)所有的點進行卷積,因此卷積操作的時間復雜度為O(mNd)。快速高斯卷積方法通過將窗口劃分成網(wǎng)格,然后將窗口中的每一個點放到對應網(wǎng)格中的重心上,最后對這些重心進行卷積操作。假設網(wǎng)格數(shù)量為k,那么卷積總的操作復雜度為O(mkd)。通常情況下網(wǎng)格個數(shù)小于點的個數(shù),因而快速高斯卷積方法對傳統(tǒng)的卷積方法進行了提速。和快速高斯卷積方法類似,雙邊方格高斯卷積方法同樣對窗口進行網(wǎng)格劃分,然而,雙邊方格高斯卷積方法不對每一個重心進行卷積,而是對網(wǎng)格的每一個點進行卷積,最后使用插值方式恢復特征點。因此雙邊方格高斯卷積的時間復雜度為O(mkd)。由于在通常情況下特征點的個數(shù)多于網(wǎng)格的個數(shù),所以該方法仍然能夠?qū)鹘y(tǒng)的高斯卷積加速。但是由于時間復雜度和特征維度呈指數(shù)關系,該方法并不適用于該維度特征的應用場景。改進的高斯卷積方法不再局限于規(guī)則的方格,而是將特征點按照簇(cluster)為單位進行劃分。由于每個簇的形狀可以是跨維度的,因而卷積的時間復雜度不再是和特征維度呈指數(shù)關系,高斯kd樹方法正是基于改進的高斯卷積方法被提出來的。

圖2 常見的高斯卷積方法

圖3 基于高斯kd樹的高斯卷積方法

如圖3所示,高斯kd樹方法分為以下步驟:

1)由給定數(shù)據(jù)建立高斯kd樹。樹的每一個內(nèi)部節(jié)點代表一個維的超矩形單元。和普通的kd樹不同,高斯kd樹中的每一個節(jié)點除了存儲當前劃分的維度、當前劃分的維度取值和指向兩棵子樹的左右指針外,還包含在所有數(shù)據(jù)在當前劃分維度上的最大值和最小值。

2)濺射(Splat)階段。該階段通過不同權重對不同位置的像素和它附近的采樣點進行卷積計算。

3)模糊(Blur)階段。模糊階段則是對這些相鄰的采樣點進行卷積計算。

4)截割(Slice)階段。截割階段通過某像素相鄰的采樣點從而計算該像素的輸出值。

通過重要性采樣,高斯kd樹的節(jié)點個數(shù)為m,同時假設搜索樹的采樣點個數(shù)為s。在建立高斯kd樹中,每一層需要處理O(N)各節(jié)點,由于數(shù)據(jù)的特征維度為d維,因此每個節(jié)點需要處理O(d)次。高斯kd樹的高度為log(m),因此建立高斯kd樹的時間復雜度為O(Ndlog (m))。由于每次查詢的時間復雜度為O(s(logm+d)),所以濺射階段的時間復雜度為O(Ns(logm+d)),模糊階段和截割方法的分析方法類似,它們的時間復雜度分別為O(ms(logm+d))和O(Ns(logm+d))。由以上分析可知,高斯kd樹濾波處理的總時間復雜度為O(N((s+d)logm+sd)),由于mlt;n,采樣點的個數(shù)s是個常數(shù),因此最終的時間復雜度為O(dNlogN)。和傳統(tǒng)的高斯濾波加速方法相比,該方法的時間復雜度不再具有變量個數(shù)的平方復雜度。更多有關高斯kd樹內(nèi)容參考文獻[14]。

3 模型參數(shù)設置

圖4 不同迭代次數(shù)的定性結(jié)果

表2 本文方法在MSRC-9數(shù)據(jù)庫的混淆矩陣結(jié)果 %

表3 不同方法在MyDatase_1的實驗結(jié)果精度 %

4 實驗結(jié)果和分析

4.1 圖片庫和實驗平臺

本文實驗采用的圖片庫包含標準的圖片庫——劍橋大學微軟研究圖片庫(MSRC-9)[7]。MSRC-9總共有240張圖片,由于“自行車”和“人”類別標注的不確定性,本文實驗只選取前150張圖片作為實驗圖片,并分別選取其中50%作為訓練和測試。圖片庫MyDataset_1總共有40張圖片,總共包含桌子和4種機械零件,分別是螺母、螺釘、螺柱、桌子和墊片。圖片庫MyDataset_2包含37張圖片,分別包含杯子、書本等物體。實驗設備由三個部分組成,分別是圖片采集模塊、圖片處理模塊和圖片顯示模塊。其中,圖片獲取設備采用微軟公司的Kinect 2.0,圖片處理模塊為NVIDIA Jetson TK1嵌入式開發(fā)套件,圖片顯示模塊為普通的臺式電腦顯示屏。實驗程序界面由4幅圖像組成，分別包括原始輸入圖、單一分類器處理結(jié)果[7]、手動標記結(jié)果和本文方法結(jié)果。

4.2 實驗結(jié)果和分析

表1對比了不同方法在MSRC-9圖片數(shù)據(jù)庫上的運行結(jié)果。需要注意的是,單一分類器方法也是在本文實驗平臺上運行的,由于該方法并未考慮到像素標簽之間的關系,因而運行時間為無。另外,本文方法的運行時間是在平均場估計算法的迭代次數(shù)為5時計算得到的,不同迭代次數(shù)的定性結(jié)果如圖4。由圖4可知,當?shù)螖?shù)為5時,基本上平均場算法已經(jīng)收斂,從而圖像標注的結(jié)果精度基本不變。本文余下討論的實驗結(jié)果的迭代次數(shù)都設為5。由表1可知,與RobustPnCRF方法[5]相比,本文方法在圖像語義分割結(jié)果的平均精度微小提升(0.46%)的情況下,運行時間僅為它的1/15。和單一分類器[7]相比,本文的平均精度提高了8%左右。精度提高的原因是本文采用的完全聯(lián)系的條件隨機場充分考慮了圖像中任意兩個像素點之間的聯(lián)系,更好地挖掘了圖片的上下文語義信息。而基于高斯kd樹的平均場估計方法在保證精度變化不大的條件下能夠極大地提高圖像標注推理的效率。

表1 不同方法在MSRC-9的實驗結(jié)果

表2是本文方法在MSRC-9數(shù)據(jù)庫的混淆矩陣結(jié)果。其中“飛機”和“羊”標注精度不高(54%左右)?！帮w機”標注精度不高的原因是類內(nèi)圖片特征過于復雜且差別較大,同時和其他類別的特征過于相似；而“羊”標注精度不高則是因為該數(shù)據(jù)庫中“羊”訓練圖片過少引起的。除此之外,其他類別基本上都能取得較好的結(jié)果。

表3～4分別是不同方法在MyDatase_1和MyDatase_2的實驗結(jié)果,由于“墊片”顏色以及紋理和“桌子”過于相似,因此標注精度僅達到64.93%；而其他零件以及桌子的標注精度都能達到較高的結(jié)果?！皶焙汀巴媾肌睒俗⒕鹊偷脑蚝汀皦|片”類似。由表3～4的數(shù)據(jù)可知,本文方法無論是整體精度還是類別精度都優(yōu)于其他兩種方法。

表4 不同方法在MyDatase_2的實驗結(jié)果精度 %

5 結(jié)語

本文通過完全聯(lián)系的條件隨機場模型進行圖像標注,充分考慮了圖片每組像素對之間的上下文語義信息,在一定程度上提高了圖像標注的精度。針對模型推理復雜的問題,本文還提出了基于高斯kd樹的平均場估計方法,從而將圖像推理時間縮短到2 s。雖然本文工作在圖像標注的精度和效率上都取得較好的結(jié)果,但仍然面臨一些問題,這也是下一步工作努力解決的方向:

1)在完全聯(lián)系的條件隨機場模型中如何自動選取高階項權重的最優(yōu)值。

2)當類別之間特征過于相似或者訓練圖片中某類別圖片數(shù)目較少時,如何提高該類別的標注精度。

3)如何自動選取高斯kd樹中不同階段的標準差以及采樣點個數(shù)的最優(yōu)值。

References)

[1] LAFFERTY J D, McCALLUM A, PEREIRA F C N. Conditional random fields: probabilistic models for segmenting and labeling sequence data[C]// ICML 2001: Proceedings of the Eighteenth International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 2001: 282-289.

[2] 楊耘, 徐麗. 基于分層特征關聯(lián)條件隨機場的遙感圖像分類[J]. 計算機應用, 2014, 34(6): 1741-1745. (YANG Y, XU L. Remote sensing image classification based on conditional random field with hierarchical correlated features[J]. Journal of Computer Applications, 2014, 34(6): 1741-1745.)

[3] 李林, 練金, 吳躍, 等. 基于概率圖模型的圖像整體場景理解綜述[J]. 計算機應用, 2014, 34(10): 2913-2921. (LI L, LIAN J, WU Y, et al. The review of image scenario understanding based on graphical models[J]. Journal of Computer Applications, 2014, 34(10): 2913-2921.)

[4] 張微, 汪西莉. 基于超像素的條件隨機場圖像分類[J]. 計算機應用, 2012, 32(5): 1272-1275. (ZHANG W, WANG X L. Image classification based on super-pixel condition random fields[J]. Journal of Computer Applications, 2012, 32(5): 1272-1275.)

[5] KOHLIEMAIL P, LADICKY L, TORR P H S. Robust higher order potentials for enforcing label consistency[J]. International Journal of Computer Vision, 2009, 82(3): 302-324.

[6] LADICKY L, RUSSELL C, KOHLI P, et al. Associative hierarchical CRFs for object class image segmentation[C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway, NJ: IEEE, 2009: 739-746.

[7] SHOTTON J, WINN J, ROTHER C, et al. TextonBoost for image understanding: multi-class object recognition and segmentation by jointly modeling texture, layout, and context[J]. International Journal of Computer Vision, 2009, 81(1): 2-23.

[9] VINEET V, WARRELL J, TORR P H S. Filter-based mean-field inference for random fields with higher-order terms and product label-spaces[J]. International Journal of Computer Vision, 2014, 110(3): 290-307.

[10] HE X, ZEMEL R S, CARREIRA-PERPI M A. Multiscale conditional random fields for image labeling[C]// CVPR 2004: Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2004,2:695-702.

[11] ABNEY S, SCHAPIRE R E, SINGER Y. Boosting applied to tagging and PP attachment[EB/OL]. [2017- 01- 10]. http://www. vinartus. net/spa/98b. pdf.

[12] PINTO D, McCALLUM A, WEI X, et al. Table extraction using conditional random fields[C]// Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM, 2003: 235-242.

[13] TOYODA T, HASEGAWA O. Random field model for integration of local information and global information[J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2008, 30(8): 1483.

[14] ADAMS A, GELFAND N, DOLSON J, et al. Gaussian KD-trees for fast high-dimensional filtering[J]. ACM Transactions on Graphics, 2009, 28(3): 1-12.

[15] KOLLER D, FRIEDMAN N. Probabilistic Graphical Models: Principles and Techniques — Adaptive Computation and Machine Learning[M]. Cambridge: MIT Press, 2009.

[16] SMITH S W. The Scientist and Engineer’s Guide to Digital Signal Processing[M]. San Diego, CA: California Technical Publishing, 1997: 503-534.

[17] PARIS S, DURAND F. A fast approximation of the bilateral filter using a signal processing approach[J]. International Journal of Computer Vision, 2009, 81(1): 24-52.

Imagelabelingbasedonfully-connectedconditionalrandomfield

LIU Tong, HUANG Xiutian*, MA Jianshe, SU Ping

(GraduateSchoolatShenzhen,TsinghuaUniversity,ShenzhenGuangdong518055,China)

The traditional image labeling models often have two deficiencies; they only can model short-range contextual information in pixel-level of the image and have a complicated inference. To improve the precision of image labeling, the fully-connected Conditional Random Field (CRF) model was used; to simplify the inference of the model, the mean filed approximation based on Gaussian kd-tree for inference was proposed. To verify the effectiveness of the proposed algorithm, the experimental image datasets not only contained the standard picture library MSRC-9, but also contained MyDataset_1 (machine parts) and MyDataset_2 (office table) which made by authors. The precisions of the proposed method on those three datasets are 77.96%, 97.15% and 95.35% respectively, and the mean cost time of each picture is 2 s. The results indicate that the fully-connected CRF model can improve the precision of image labeling by considering the contextual information of image and the mean field approximation using Gaussian kd-tree can raise the efficiency of inference.

Conditional Random Field (CRF); image labeling; contextual information; Gaussian kd-tree; model inference

2017- 04- 10;

2017- 05- 22。

國家863計劃項目(2015AA043302);2013年廣東省省部產(chǎn)學研合作項目(2013A090100002);2014年廣東省花都區(qū)科技計劃項目(HD14ZD004)。

劉彤(1970—),男,河南洛陽人,講師,博士,主要研究方向:計算機視覺、LED封裝; 黃修添(1991—),男,福建寧德人，碩士研究生,主要研究方向:模式識別、計算機視覺; 馬建設(1965—),男,河南鄭州人，副教授,博士,主要研究方向:計算機視覺、機器人控制; 蘇萍(1975—),女,河南洛陽人，講師,博士,主要研究方向:三維全息顯示系統(tǒng)、圖像處理。

1001- 9081(2017)10- 2841- 06

10.11772/j.issn.1001- 9081.2017.10.2841

TP391.413

A

This work is partially supported by the National High Technology Research and Development Program (863 Program) of China (2015AA043302), the Program of Industry-university-research Cooperation in Guangdong Province (2013A090100002), the Development Program of Technology Research in Guangdong Huadu District (HD14ZD004).

LIUTong, born in 1970, Ph. D., lecturer. His research interests include computer vision, LED packaging.

HUANGXiutian, born in 1991, M. S. candidate. His research interests include pattern recognition, computer vision.

MAJianshe, born in 1965, Ph. D., professor. His research interests include computer vision, robot control associate.

SUPing, born in 1975, Ph. D., lecturer. Her research interests include 3D holographic display system, image processing.