寧建紅 / 上海電機(jī)學(xué)院電子信息學(xué)院

圖像視覺(jué)屬性應(yīng)用研究綜述

寧建紅 / 上海電機(jī)學(xué)院電子信息學(xué)院

視覺(jué)屬性作為圖像表示的中間層，具有人類(lèi)可理解的語(yǔ)義特征，同時(shí)比圖像底層特征存儲(chǔ)方便，簡(jiǎn)潔高效，能夠?qū)崿F(xiàn)跨類(lèi)識(shí)別。本文介紹了屬性的定義及分類(lèi)，討論了屬性預(yù)測(cè)方法，并對(duì)圖像視覺(jué)屬性應(yīng)用的領(lǐng)域進(jìn)行了探討，分析了在各個(gè)應(yīng)用中的優(yōu)勢(shì)及不足。最后對(duì)視覺(jué)屬性的發(fā)展前景進(jìn)行了展望。

視覺(jué)屬性；屬性分類(lèi)；屬性預(yù)測(cè)；應(yīng)用

1.引言

圖像可以用屬性進(jìn)行語(yǔ)義描述，屬性可以表示圖像中對(duì)象是否存在，它可以描述對(duì)象的顏色、形狀、材質(zhì)、部件、類(lèi)別及功能，也可以表示場(chǎng)景的類(lèi)別以及上下文信息等。如斑馬是黑白相間、有條紋的動(dòng)物，這里使用了顏色、紋理屬性，飛機(jī)可以用有機(jī)翼、輪子、發(fā)動(dòng)機(jī)等部件屬性進(jìn)行描述，也可以用是金屬的、能夠飛行的材質(zhì)屬性和功能屬性進(jìn)行描述。 近年來(lái)，屬性被廣泛地應(yīng)用于計(jì)算機(jī)視覺(jué)問(wèn)題研究，如對(duì)象識(shí)別[1-3]、人臉識(shí)別[4]、場(chǎng)景識(shí)別[5]、視頻中的行為識(shí)別[6]、服裝的風(fēng)格識(shí)別[7-8]、細(xì)粒度圖像識(shí)別等問(wèn)題。屬性已經(jīng)成為搭建圖像底層特征到高層語(yǔ)義的橋梁，并且展示了自己獨(dú)特功能。

2.屬性定義及分類(lèi)

2.1 二值視覺(jué)屬性

視覺(jué)屬性的值可以是離散的，或者連續(xù)的。大部分研究者為了使用屬性進(jìn)行分類(lèi)，把屬性的值定義為存在或不存在兩種選擇，稱(chēng)之為二值視覺(jué)屬性，即每個(gè)屬性的取值范圍只有1或者0。如Farhadi[1]用二值屬性描述動(dòng)物山羊，有角、有四條腿、有頭、有毛，用二值屬性描述對(duì)象的構(gòu)成、形狀、材質(zhì)等信息，建了APascalaYahoo dataset，收集了15339幅圖像，32個(gè)類(lèi)別，64個(gè)二值屬性，Lampert建立了Animal with Attribute dataset，收集了30000幅動(dòng)物圖像，50個(gè)類(lèi)別，85個(gè)二值屬性。Patterson and Hay建立了The Sun Attribute dataset，包含了14340幅圖像，717類(lèi)別，102個(gè)二值屬性。

2.2 相對(duì)視覺(jué)屬性

從人類(lèi)的認(rèn)知角度出發(fā)，認(rèn)識(shí)和理解事物有時(shí)并不能從存在或不存在的角度去區(qū)分，有時(shí)需要運(yùn)用比較的方法去區(qū)分。Parikh和Grauman最先提出了相對(duì)視覺(jué)屬性，相對(duì)視覺(jué)屬性是指和其他圖像相比，圖像中某個(gè)屬性的強(qiáng)度或優(yōu)勢(shì)。如一幅圖像開(kāi)始不能確定人是否有微笑這個(gè)屬性。和不同的圖像比較，比A圖像微笑程度弱，比B圖像微笑程度強(qiáng)。如果只用二值屬性來(lái)表示，就無(wú)法表示。因?yàn)檫@個(gè)屬性表示一種程度。相對(duì)屬性將屬性的取值范圍擴(kuò)大，從（0,1）變成（-∞，+∞）。相對(duì)屬性的重要作用在于對(duì)樣本中同一屬性的屬性值相對(duì)關(guān)系進(jìn)行比較，確定排序關(guān)系。Parikh和Grauman提出通過(guò)對(duì)每個(gè)屬性學(xué)習(xí)排序函數(shù)的方法，給每對(duì)樣本給出相對(duì)相似性約束。但是對(duì)于不同的屬性，不同的屬性值，不具備可比性。

3.屬性預(yù)測(cè)

屬性作為圖像的中間層表示，在計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域中發(fā)揮了非常重要的作用。因此提取圖像底層特征構(gòu)建屬性分類(lèi)器，進(jìn)行屬性預(yù)測(cè)是一個(gè)必不可少的環(huán)節(jié)。Lampert提出了直接屬性預(yù)測(cè)模型DAP（Direct attribute prediction）和間接屬性預(yù)測(cè)模型IAP(Indict attribute prediction) 。DAP模型建立了固定的類(lèi)別-屬性關(guān)系，通過(guò)樣本與類(lèi)別間的訓(xùn)練，蘊(yùn)含了對(duì)屬性值的訓(xùn)練，從而取得了相關(guān)分類(lèi)器參數(shù)。在測(cè)試階段，測(cè)試樣本的屬性值可直接獲取，從而可以推知樣本所屬的類(lèi)別，這個(gè)類(lèi)別也可以是一種訓(xùn)練階段未見(jiàn)樣本的類(lèi)別。IAP模型通過(guò)訓(xùn)練樣本獲得每類(lèi)的概率，其次獲得這些類(lèi)別與屬性間的依賴(lài)關(guān)系。Wang[3]提出了條件隨機(jī)場(chǎng)模型的屬性預(yù)測(cè)方法，Yu[14]提出了概率主題模型，Scheirer將屬性分類(lèi)器輸出轉(zhuǎn)化成基于極值理論的可能性估計(jì)問(wèn)題。Parikh and Grauman進(jìn)行了相對(duì)屬性預(yù)測(cè)。

4.視覺(jué)屬性應(yīng)用

4.1 對(duì)象識(shí)別

2009年，F(xiàn)arhadi[1]提出用屬性來(lái)描述對(duì)象，屬性可以是對(duì)象的組成部分，可以是形狀，也可以是材質(zhì)，并且指明屬性具有區(qū)別對(duì)象類(lèi)的作用，使用了1000個(gè)具有類(lèi)區(qū)分能力的屬性。提取圖像底層特征用線(xiàn)性SVM分類(lèi)器對(duì)屬性分類(lèi)器進(jìn)行訓(xùn)練學(xué)習(xí)，再通過(guò)圖像的屬性中間層表示進(jìn)行圖像分類(lèi)，對(duì)象的屬性表示不僅能夠識(shí)別對(duì)象類(lèi)，而且還可以形成新的對(duì)象類(lèi)。同年，Lampert也提出用屬性表示對(duì)象，研究了訓(xùn)練類(lèi)和測(cè)試類(lèi)不相交的情況下，用屬性表示圖像，缺少訓(xùn)練集圖像的情況下，依然能夠識(shí)別新的對(duì)象類(lèi)。并提出了DAP和IAP兩個(gè)屬性預(yù)測(cè)模型。不同的類(lèi)別間可以共享屬性，屬性的特殊性使得它在轉(zhuǎn)換學(xué)習(xí)或零命中學(xué)習(xí)領(lǐng)域得到了比較廣泛的應(yīng)用。

4.2 人臉識(shí)別

Kumar et al.[4]使用了兩種分類(lèi)器：屬性分類(lèi)器和Simile分類(lèi)器。用年齡、性別、頭發(fā)顏色等視覺(jué)屬性表示人臉，采用人工標(biāo)注的人臉圖像學(xué)習(xí)分類(lèi)器構(gòu)建屬性模型,然后用屬性分類(lèi)器輸出的屬性值構(gòu)建人臉表示。Simile分類(lèi)器采用某個(gè)具體的人臉區(qū)域作為正例定義屬性,屬性值代表了其它人臉的對(duì)應(yīng)區(qū)域與它的相似程度。提出的這兩種分類(lèi)器加速了自然條件下人臉識(shí)別的性能，在LFW（Labeled Faces in the Wild）數(shù)據(jù)集上取得了較好的識(shí)別效果。

4.3 場(chǎng)景識(shí)別

場(chǎng)景識(shí)別的目標(biāo)是使計(jì)算機(jī)能夠從人類(lèi)的認(rèn)知角度來(lái)理解圖像的場(chǎng)景語(yǔ)義信息，有效辨別圖像場(chǎng)景類(lèi)內(nèi)差異性和場(chǎng)景類(lèi)間相似性。Vogel and Schiele[5]對(duì)本地圖像區(qū)域進(jìn)行語(yǔ)義屬性描述，如一幅圖像可以描述成水、巖石、植物等。圖像可以用這些區(qū)域語(yǔ)義屬性出現(xiàn)的概率來(lái)表示，并把它運(yùn)用到圖像的場(chǎng)景分類(lèi)和檢索中。

4.4 行為識(shí)別

Liu J G et al.[6]用屬性來(lái)描述人類(lèi)的各種動(dòng)作，首先人為設(shè)定動(dòng)作的一些屬性，作為潛在變量，同時(shí)從數(shù)據(jù)中學(xué)習(xí)一些數(shù)據(jù)驅(qū)動(dòng)屬性，用信息論的方法從訓(xùn)練集推導(dǎo)出這些屬性。建立了潛在SVM模型，潛在變量表示每一個(gè)行為類(lèi)的每一個(gè)屬性的重要程度，這些數(shù)據(jù)驅(qū)動(dòng)屬性擴(kuò)展了人為設(shè)定屬性的范圍，提高了動(dòng)作識(shí)別的精確性。

5.結(jié)束語(yǔ)

在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代，在對(duì)存儲(chǔ)和計(jì)算要求較高的情況下，如大規(guī)模的圖像檢索和移動(dòng)平臺(tái)上的圖像檢索，基于視覺(jué)屬性的中層圖像表示往往比基于視覺(jué)底層特征的圖像表示更簡(jiǎn)潔高效。視覺(jué)屬性表達(dá)了人類(lèi)可理解的語(yǔ)義特征，有助于將以往學(xué)習(xí)到的屬性知識(shí)遷移到新的對(duì)象或類(lèi)別上，從而減少對(duì)訓(xùn)練數(shù)據(jù)的需求。同時(shí)視覺(jué)屬性有利于人機(jī)進(jìn)行交互。目前，視覺(jué)屬性已經(jīng)應(yīng)用于計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域，并且會(huì)在更多的領(lǐng)域得到廣泛的應(yīng)用。

[1]Farhadi A，Endres I,Hoiem D,et al.Describing objects by their attributes[C].Computer Vision and Pattern Recognition,IEEE Conference on 20091778 -1785.

[2]Felix X.Yu, Liangliang Cao, Rogerio S.Feris, John R.Smith,Shih-Fu Chang.Designing Category-Level Attributes for Discriminative Visual Recognition[C].IEEE Conference on Computer Vision and Pattern Recognition,2013,771-778.

[3]Wang Y,Mori G.A discriminative latent model of object classes and attributes[C].Computer Vision–ECCV 2010，Lecture Notes in Computer Science Volume 6315,2010,155-168.

[4]Kumar N，Berg A C, Belhumeur P N et al.Attribute and simile classifiers for face verification[C].Proceedings of the IEEE International Conference on Computer Vision.2009:365 -372.

[5]Julia Vogel，Bernt Schiele.Semantic Modeling of Natural Scenes for Content-Based Image Retrieval[J].International Journal of Computer Vision,2007,72(2)：133–157.

[6]Jingen Liu,B.Kuipers，S.Savarese.Recognizing human actions by attributes[C].IEEE Conference on Computer Vision and Pattern Recognition,2011,3337-3344.

[7]Lukas Bossard,Matthias Dantone et al.Apparel Classification with Style[C].Computer Vision–ACCV 2012,Lecture Notes in Computer Science Volume 7727, 2013, 321-335.

[8]M.Hadi Kiapour, Kota Yamaguchi.Hipster Wars: Discovering Elements of Fashion Styles[C].Computer Vision–ECCV 2014,Lecture Notes in Computer Science Volume 8689,2014,472-488.