(陜西職業(yè)技術(shù)學(xué)院，陜西西安，710100)

淺談基于情感的圖像檢索系統(tǒng)

張 騫

(陜西職業(yè)技術(shù)學(xué)院，陜西西安，710100)

介紹了基于情感的圖像檢索系統(tǒng)產(chǎn)生的原因及概念，分析了圖像特征提取技術(shù)和圖像特征與情感空間映射技術(shù)，提出了系統(tǒng)設(shè)計(jì)的五個(gè)模塊，以其對(duì)系統(tǒng)的建立有一定的參考價(jià)值。

視覺特征提取；情感空間；檢索系統(tǒng)

0 引言

圖像信息以其能直接、客觀地表達(dá)信息內(nèi)容而成為網(wǎng)絡(luò)中重要的信息資源，隨著圖像信息的幾何級(jí)增長(zhǎng)，如何更加準(zhǔn)確、快速地獲取圖像，成為圖像信息檢索系統(tǒng)成敗的一個(gè)重要因素。圖像信息檢索系統(tǒng)經(jīng)歷了基于文本的圖像檢索系統(tǒng)、基于內(nèi)容的圖像檢索系統(tǒng)到基于語義的圖像檢索系統(tǒng)，并隨著計(jì)算機(jī)技術(shù)的發(fā)展不斷向智能化、專業(yè)化、個(gè)性化方向發(fā)展，基于情感的圖像檢索系統(tǒng)正是在這種環(huán)境下被提出并被廣泛研究和實(shí)踐的系統(tǒng)。

1 基于情感的圖像檢索系統(tǒng)

早期的圖像檢索系統(tǒng)主要利用對(duì)圖像進(jìn)行主題描述，進(jìn)而通過關(guān)鍵詞匹配實(shí)現(xiàn)檢索，由于個(gè)人對(duì)圖像的感知的差異，使得對(duì)圖像的描述主題不盡相同，因此對(duì)圖像的描述往往存在誤差，檢索到的結(jié)果相關(guān)性也比較低。為解決圖像信息描述不準(zhǔn)確問題，接著出現(xiàn)了基于內(nèi)容的圖像檢索系統(tǒng)，它可以對(duì)圖像的顏色、大小、紋理、等客觀信息進(jìn)行描述實(shí)現(xiàn)檢索，提高了檢索相關(guān)性。但這些都只考慮了圖像的客觀屬性，忽略了用戶檢索圖像時(shí)的主觀需求，即用戶在瀏覽圖像時(shí)的主觀感情體驗(yàn)。

為了解決這一問題基于情感的圖像檢索系統(tǒng)被提出，并被大量的研究和廣泛的實(shí)踐。用戶在進(jìn)行圖像信息檢索時(shí)，往往對(duì)檢索對(duì)象有一定情感反應(yīng)，如：厭惡，喜歡，憂郁，壓抑等。這些感情因素對(duì)檢索系統(tǒng)具有重要的參考價(jià)值，如果檢索系統(tǒng)在設(shè)計(jì)的時(shí)候能借助一定的模型和參數(shù)量化這些感情因素，那么會(huì)對(duì)圖像信息檢索結(jié)果相關(guān)度將是一個(gè)極大的提高。

基于情感的圖像檢索系統(tǒng)事實(shí)上是基于語義的圖像檢索系統(tǒng)的發(fā)展結(jié)果，其本質(zhì)是圖像檢索從客觀內(nèi)容層次向主觀體驗(yàn)層次的發(fā)展，是檢索系統(tǒng)智能化的重要表現(xiàn)。情感信息對(duì)用戶檢索檢索和瀏覽具有重要的參考價(jià)值，在對(duì)歌曲的檢索系統(tǒng)中許多都利用了基于情感的檢索，音樂檢索中關(guān)于心情的檢索如：平靜、溫柔、興奮、樂觀、憂愁、冷酷等，這些都是基于情感的檢索例子?？梢娀趫D像情感的考量是非常有必要的。

2 基于情感的圖像檢索系統(tǒng)關(guān)鍵技術(shù)

常用的檢索系統(tǒng)涉及到的關(guān)鍵技術(shù)主要有索引技術(shù)、分詞技術(shù)、搜索技術(shù)和匹配技術(shù)，基于情感的圖像檢索技術(shù)不僅要利用這些技術(shù)，同時(shí)要利用其它方法和技術(shù)來實(shí)現(xiàn)對(duì)情感要素的量化和匹配?；谇楦械膱D像檢索系統(tǒng)首先要進(jìn)行的是圖像特征的提取，在此基礎(chǔ)之上建立圖形特征與情感之間的映射。圖像的特征提取主要是顏色特征和形狀特征的提取，這就涉及到顏色和形狀特征提取技術(shù)，接著是如何將圖像的特征與情感建立關(guān)聯(lián)，這就需要特征與情感映射技術(shù)。

2.1視覺特征提取技術(shù)

顏色特征的提取常用的是顏色直方圖。它主要通過軟件計(jì)算出不同色彩在圖像中的比例并量化成具體的參數(shù),通過這些參數(shù)的分析可以得到各種所需的數(shù)據(jù)，任何一副圖像都會(huì)得到與之相對(duì)應(yīng)的直方圖信息，這對(duì)圖像信息的感情屬性判定具有重要的參考價(jià)值。現(xiàn)在出現(xiàn)較多的是CCV（Color Coherence Vector）它是色彩直方圖的改進(jìn)技術(shù)，它可以提高相同圖像色彩相似度的判定。

形狀特征提取主要采用傅里葉描述子（FD）進(jìn)行，它是對(duì)物體形狀特征進(jìn)行識(shí)別和分析的一種常用方法。通過對(duì)傅里葉變換性質(zhì)的分析，到的物體形狀，大小，方向和位置的相關(guān)數(shù)據(jù)。另外還有小波變化描述方法，它是一個(gè)時(shí)間和頻域的局域變換，因此通過它能夠有效的從圖像中提取信息，解決了傅里葉變換不能解決的許多困難問題。

2.2圖像特征與情感空間映射技術(shù)

當(dāng)利用圖像特征提取技術(shù)對(duì)圖像的特征數(shù)據(jù)提取完成以后，形成圖像的特征數(shù)據(jù)庫，每個(gè)圖像具有相對(duì)唯一的特征值，但如何將感情語義與特征數(shù)據(jù)建立關(guān)聯(lián)，就需要利用圖像特征與情感空間映射技術(shù)。情感空間的建立有很多種方法和技術(shù)，常用的方法是建立情感標(biāo)簽，通過建立情感標(biāo)簽可以將情感劃分為幾個(gè)大類，每個(gè)類都有幾個(gè)情感標(biāo)簽，以此方法來將大量的情感反應(yīng)劃分到相應(yīng)的情感標(biāo)簽類里面，這樣可以方便建立情感空間，有利于情感要素與圖像特征之間映射的建立。

圖像特征與情感空間的映射主要利用樸素貝葉斯模型（Naive Beyesian Model）來實(shí)現(xiàn)，它一般有下面幾個(gè)階段。首先是預(yù)備階段，這個(gè)階段的工作將對(duì)映射的結(jié)果有重大的影響，對(duì)映射相關(guān)性的高低有決定作用。它主要是通過人工對(duì)圖像特性的屬性進(jìn)行劃分，并將部分分類項(xiàng)與情感空間的情感標(biāo)簽進(jìn)行關(guān)聯(lián)與歸類，形成訓(xùn)練樣本集合。接著就是生成自動(dòng)映射，這個(gè)階段主要由計(jì)算機(jī)來完成，根據(jù)預(yù)備階段的訓(xùn)練樣本集合，計(jì)算每個(gè)特征屬性在樣本中出現(xiàn)的頻率和每個(gè)特征屬性劃分對(duì)情感空間中情感標(biāo)簽的條件概率估計(jì)，記錄并保存概率估計(jì)和頻率。最后是實(shí)踐階段，就是根據(jù)前兩個(gè)階段產(chǎn)生的算法和步驟，對(duì)所有圖像的特征進(jìn)行情感分類，當(dāng)輸入圖像特征的時(shí)候，得到的是圖像的情感表現(xiàn)，實(shí)現(xiàn)圖像特征到情感空間的映射。

3 基于情感的圖像檢索系統(tǒng)設(shè)計(jì)模塊

基于情感的圖像檢索系統(tǒng)設(shè)計(jì)模塊與傳統(tǒng)的圖像檢索系統(tǒng)設(shè)計(jì)模塊差別不大，在延續(xù)了傳統(tǒng)檢索系統(tǒng)，檢索模塊、索引模塊、搜集模塊之上，更加注重對(duì)情感信息的提取和檢索，使信息檢索提高到語義層次的檢索層面上來，大大提高了檢索效率。主要有以下模塊如圖1所示：

圖像信息搜集模塊：通過網(wǎng)絡(luò)蜘蛛對(duì)網(wǎng)絡(luò)上的圖像信息按照主題和視覺特征進(jìn)行進(jìn)行抓取，并將圖像存儲(chǔ)在圖像數(shù)據(jù)庫中，方便用戶的檢索和利用。網(wǎng)絡(luò)蜘蛛的設(shè)計(jì)應(yīng)該更趨向于對(duì)圖像信息的抓取，在抓取廣度和深度上應(yīng)該與傳統(tǒng)搜索引擎的網(wǎng)絡(luò)蜘蛛有所區(qū)別，使圖像信息采集庫里面的數(shù)據(jù)更加準(zhǔn)確，內(nèi)容更加合理。

預(yù)處理模塊：與傳統(tǒng)檢索系統(tǒng)相比，預(yù)處理模塊是基于情感的圖像檢索系統(tǒng)增加的模塊，正是因?yàn)橛写四K的存在，才使得基于情感的圖像檢索系統(tǒng)能專注于用戶的情感需求，能針對(duì)情感關(guān)鍵詞進(jìn)行檢索。它主要是對(duì)圖像的視覺特征進(jìn)行預(yù)處理，通過圖像視覺處理技術(shù)提取圖像的相關(guān)數(shù)據(jù)，存儲(chǔ)在圖像特征數(shù)據(jù)庫中，并通過圖像特征與情感映射技術(shù)對(duì)圖像的情感內(nèi)容進(jìn)行表述，使得圖像擁有情感的主題，它還要對(duì)圖像的情感語義進(jìn)行標(biāo)引和描述，使圖像數(shù)據(jù)庫中存儲(chǔ)的不僅僅是圖像還有圖像的情感描述。預(yù)處理模塊還要對(duì)反饋模塊提供的結(jié)果進(jìn)行處理，根據(jù)用戶的反饋結(jié)果，及時(shí)更改圖像的主題或者增加圖像的主題，使得對(duì)圖像的情感描述更加符合用戶的感覺，提高標(biāo)引的準(zhǔn)確性。

圖像索引模塊：圖像索引模塊和其他搜索系統(tǒng)的索引模塊差別不大，區(qū)別的地方主要是這里面存儲(chǔ)的主要是情感方面的主題詞，圖像的情感描述完成之后要將圖像的情感標(biāo)引和描述建立索引，并存儲(chǔ)在索引數(shù)據(jù)庫中。索引數(shù)據(jù)庫一般是按照一定的算法進(jìn)行排序和分類，排序的結(jié)果主要看算法的設(shè)計(jì)。

檢索模塊：用戶通過輸入情感相關(guān)的關(guān)鍵詞與索引數(shù)據(jù)庫中的主題進(jìn)行匹配，找出相關(guān)圖像并呈現(xiàn)給用戶。同時(shí)，要對(duì)用戶的檢索詞進(jìn)行規(guī)范性約束和提示，以提高檢索相關(guān)性。檢索模塊要將檢索結(jié)果呈現(xiàn)給用戶，用戶可以自主的選擇呈現(xiàn)結(jié)果。

反饋模塊：檢索系統(tǒng)將結(jié)果呈現(xiàn)給用戶的同時(shí)，要有相關(guān)性反饋機(jī)制，讓用戶對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)，并統(tǒng)計(jì)用戶的檢索選擇結(jié)果，及時(shí)反饋給預(yù)處理模塊，修改圖像的的描述和主題，提高索引的高相關(guān)性。

圖1 基于情感的圖像檢索系統(tǒng)模塊結(jié)構(gòu)

4 結(jié)論

檢索系統(tǒng)的發(fā)展方向是更加貼近用戶的個(gè)性化需求，更加符合人機(jī)結(jié)合的發(fā)展規(guī)律，使得檢索系統(tǒng)真正成為用戶獲取知識(shí)的知識(shí)中心?；谇楦械膱D像檢索系統(tǒng)考慮了圖像檢索過程中用戶對(duì)圖像擁有感情這一維度，滿足了用戶的檢索感性需求，提高了圖像檢索的效率，滿足了用戶個(gè)性化的需求，使檢索系統(tǒng)向?qū)I(yè)化邁進(jìn)了一步。但基于情感的圖像檢索系統(tǒng)仍需要解決很多問題來提高檢索的相關(guān)性。在圖像特征的提取技術(shù)上有待全面提高特征的獨(dú)特性和全局性，在特征與情感類型的映射研究上，還不是很成熟，還不能全面反映用戶內(nèi)心真實(shí)的情感需求，需要建立更加科學(xué)化、系統(tǒng)化、合理化的算法來實(shí)現(xiàn)圖像特征與情感要素之間的關(guān)聯(lián)。因此將來要注重研究用戶情感表達(dá)與圖像視覺特征的關(guān)系，注重更加科學(xué)、客觀的情感計(jì)算模型。也要注重用戶個(gè)性表達(dá)情感的方式，研究個(gè)性化的情感檢索系統(tǒng)，對(duì)提高檢索系統(tǒng)的人性化。

[1] 張大展.基于色彩情感的圖像檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江大學(xué),2013.

[2] 陳慧.基于顏色和情感語義特征的感性圖像檢索[J].莆田學(xué)院學(xué)報(bào),2013(10):70-73

[3] 劉琳.基于情感語義的圖像檢索系統(tǒng)模型[C].第十二屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議,2013

[4] 陸泉.基于情感的圖像檢索研究綜述[J].情報(bào)理論與實(shí)踐,2013(2):119-123.

[5] 張秀秀.基于圖像服裝檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2012.

Discussion On Image Retrieval System Based On Emotion

Zhang Qian
(Shaanxi Vocational&Technical college，Shaanxi Xian，710100)

This paper introduced the concept and reason of image retrieval system based on emotion,analyzed the technique of visual feature extraction and the mapping of image characteristics and emotional space ,proposed five designing modules of the system,in order has certain reference value to build system .

Visual feature extraction;emotional space;retrieval system