曾瑞　王英彥

摘要：隨著人類(lèi)社會(huì)的不斷進(jìn)步和信息技術(shù)的發(fā)展，對(duì)智能化設(shè)備和技術(shù)需求越來(lái)越高，為了讓計(jì)算機(jī)更好的理解世界，誕生了計(jì)算機(jī)視覺(jué)這門(mén)科學(xué)。目前計(jì)算機(jī)視覺(jué)已經(jīng)遍及生活各個(gè)方面，并且在日常生活、醫(yī)學(xué)應(yīng)用、工業(yè)檢測(cè)等領(lǐng)域中發(fā)揮重要的作用。圖像紋理是人類(lèi)觀察物體獲取的重要信息之一，也是最有感知意義的主要特征。在計(jì)算機(jī)視覺(jué)技術(shù)的應(yīng)用中，圖像分析、物體識(shí)別等應(yīng)用都和匹配密切相關(guān)。此研究從圖像的紋理特征為切入點(diǎn)，研究多模態(tài)圖像檢索技術(shù)，討論紋理特征抽象與圖像查詢(xún)的匹配方法，對(duì)跨媒體圖像檢索技術(shù)具有借鑒和指導(dǎo)意義。

關(guān)鍵詞：多模態(tài)；檢索；圖像特征

0 引言

現(xiàn)階段基于圖像檢索普遍采用方式是人工對(duì)上傳到網(wǎng)絡(luò)中的數(shù)字圖像進(jìn)行文字標(biāo)注，根據(jù)每幅圖像的視覺(jué)特征人為的設(shè)置他們的文字描述。在檢索時(shí)，使用標(biāo)注的文字作為關(guān)鍵字來(lái)檢索我們想要的數(shù)字圖像。這種依據(jù)圖像標(biāo)注的文字匹配檢索的方法簡(jiǎn)稱(chēng)為“字找圖”，它的缺點(diǎn)為：（1）由于需要大量的人工對(duì)每幅圖像進(jìn)行文字標(biāo)注，數(shù)字圖像的數(shù)量是海量的，標(biāo)注工作是非常耗費(fèi)人力和時(shí)間；（2）由于每個(gè)人對(duì)圖像的認(rèn)識(shí)不同，所以，在標(biāo)注的過(guò)程中會(huì)按照自己對(duì)圖像的認(rèn)識(shí)來(lái)選擇標(biāo)注文字，這樣會(huì)使不同的人對(duì)圖像的標(biāo)注不同，而在檢索中會(huì)產(chǎn)生很大誤差；（3）不同國(guó)家使用的標(biāo)注文字不同，所以在匹配文字時(shí)也會(huì)產(chǎn)生很大的偏差；（4）有的圖像里面含有大量的內(nèi)容，不可能用幾個(gè)關(guān)鍵字就能表達(dá)清楚。為解決標(biāo)注圖像檢索的缺陷問(wèn)題。學(xué)者著手開(kāi)展對(duì)內(nèi)容的圖像檢索技術(shù)的研究。基于多模態(tài)的圖像檢索的改善了此類(lèi)瓶頸問(wèn)題，主要從被檢圖像庫(kù)根據(jù)海量圖像特征進(jìn)行檢測(cè)和匹配，獲取圖像之間的相關(guān)性特征信息。

1 基于多模態(tài)的圖像特征匹配方法

（1）直接從圖像中尋找匹配線索，而不是通過(guò)人為的文字標(biāo)注，正因?yàn)檫@個(gè)特點(diǎn)，突破了傳統(tǒng)的關(guān)鍵字標(biāo)注的耗費(fèi)人力時(shí)間的缺點(diǎn)，而是直接對(duì)圖像本身進(jìn)行處理和分析，使檢索更貼近圖像本身。

（2）檢索可以是人機(jī)交互的，當(dāng)使用一種特征選取方式檢索的結(jié)果不能滿(mǎn)足人們的需求時(shí)，人們可以人工的改變特征選取方式使檢索結(jié)果向于人們需求的方向接近。這樣避免了計(jì)算機(jī)檢索圖像時(shí)的不靈活性，加入了人為的因素。因此，人和計(jì)算機(jī)結(jié)合檢索能使效率和準(zhǔn)確率更高。

（3）基于內(nèi)容的圖像檢索是一種相似性檢索，可以將檢索結(jié)果進(jìn)行相似性排序，我們可以采取逐步求精的算法，不斷減小檢索的范圍，直到定位到準(zhǔn)確目標(biāo)，這與傳統(tǒng)數(shù)據(jù)庫(kù)精確匹配有很大的不同。

由于這些方法，基于多模態(tài)內(nèi)容的圖像檢索漸漸成為人們研究的重點(diǎn)，此類(lèi)技術(shù)可以應(yīng)用在社會(huì)安全、遙感、醫(yī)學(xué)、數(shù)字圖書(shū)館、建筑、計(jì)算機(jī)輔助設(shè)計(jì)、地理信息系統(tǒng)、商標(biāo)版權(quán)管理、等諸多領(lǐng)域。

2 基于紋理識(shí)別的多模態(tài)的圖像檢索系統(tǒng)的框架和技術(shù)

基于紋理識(shí)別的多模態(tài)圖像檢索系統(tǒng)組成部分如圖1所示。

（1）輸入模塊：分析和獲取圖像的紋理特征值，并將特征向量輸入圖像特征數(shù)據(jù)庫(kù)。

（2）描述模塊：利用查詢(xún)抽象檢索技術(shù)，實(shí)現(xiàn)將用戶(hù)需求抽象提取相關(guān)圖像特征語(yǔ)義，并完整描述成計(jì)算機(jī)能進(jìn)行識(shí)別的特征向量。

（3）檢索模塊：與圖像數(shù)據(jù)庫(kù)的圖像紋理特征值進(jìn)行相關(guān)性匹配，根據(jù)機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)，對(duì)跨語(yǔ)義的特征向量進(jìn)行學(xué)習(xí)和篩選，獲取最符合查詢(xún)要求的圖像信息，并返回給用戶(hù)。

3 基于圖像紋理特征的檢測(cè)方法

圖像有三大底層特征，分別是顏色特征、紋理特征和形狀特征。紋理特征是顯著的視覺(jué)特征，其弱化了顏色和亮度的作用，但它吸收了表面結(jié)構(gòu)的排列與組織次序，而且表現(xiàn)出了上下文的關(guān)系，反映出了同質(zhì)再現(xiàn)的視覺(jué)特征。

紋理源于人們對(duì)物體表面觸感的概念，這種固有的內(nèi)在特征反映了物體表面的組織結(jié)構(gòu)或者上下文內(nèi)容的關(guān)系等諸多有用的信息，或者反映了圖像像素間的灰度變化情況或者顏色變化情況。組成紋理的基本元素叫作紋元或者紋理基元，是一個(gè)觸發(fā)視覺(jué)感知并且特性相對(duì)穩(wěn)定的基本單元，這些單元在一定的區(qū)域內(nèi)的不同位置會(huì)以不同的形態(tài)再現(xiàn)，主要是灰度或色彩模式呈現(xiàn)不同特點(diǎn)，其包含多個(gè)像素，在物體表面呈現(xiàn)三種：周期性、準(zhǔn)周期性或隨機(jī)性。

如今，神經(jīng)網(wǎng)絡(luò)、最近鄰分類(lèi)器、決策樹(shù)和支持向量機(jī)等模式方法已經(jīng)廣泛的應(yīng)用到了許多領(lǐng)域，譬如圖像分類(lèi)、視頻處理、檢索等。模式類(lèi)就是由一些共同屬性所決定的，模式分類(lèi)就是根據(jù)對(duì)象的特征或?qū)傩赃M(jìn)行分類(lèi)。

按照學(xué)習(xí)方法的監(jiān)督程度，也就是根據(jù)否存在先驗(yàn)知識(shí)并且是否使用到這些先驗(yàn)知識(shí)，模式分類(lèi)方法可以分為監(jiān)督分類(lèi)和非監(jiān)督分類(lèi)。

監(jiān)督分類(lèi)對(duì)各對(duì)象分類(lèi)的依據(jù)是通過(guò)訓(xùn)練樣本，選擇合適的特征參數(shù)，以此建立判別函數(shù)。監(jiān)督分類(lèi)必須要有分類(lèi)區(qū)域的先驗(yàn)類(lèi)別知識(shí)用以建立判別函數(shù)，從而獲得訓(xùn)練分類(lèi)器，它把圖像分解為多個(gè)組成部分，求解各部分之間的空間關(guān)系。一般監(jiān)督分類(lèi)在訓(xùn)練階段需要手工選擇分類(lèi)區(qū)域從而可以確定模型。

在沒(méi)有先驗(yàn)知識(shí)情況下，非監(jiān)督分類(lèi)能夠有效地分類(lèi)，是因?yàn)槠涓鶕?jù)圖像像元間的相似度和從分析數(shù)據(jù)上得到的統(tǒng)計(jì)特性，它不需要獲取判別函數(shù)集而去進(jìn)行場(chǎng)地訓(xùn)練。熟知并且常用的K-means和ISODATA法就是非監(jiān)督分類(lèi)方法，也是一種聚類(lèi)分析方法。這種方法是將圖像視作一些特征的集合，先對(duì)這些特征進(jìn)行聚類(lèi)分析，得到特征單詞和特征碼，再用統(tǒng)計(jì)方法對(duì)特征單詞和特征碼進(jìn)行統(tǒng)計(jì)分析，最后根據(jù)統(tǒng)計(jì)特征進(jìn)行有效分類(lèi)。

前面一種分類(lèi)是根據(jù)監(jiān)督程度來(lái)劃分，模式分類(lèi)方法還可以分為經(jīng)驗(yàn)型分類(lèi)方法和理論型分類(lèi)方法，此時(shí)是根據(jù)有無(wú)前人分類(lèi)算法的思想。經(jīng)驗(yàn)型方法中比較常用的有最近鄰分類(lèi)器、RBF網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)等。理論型模式分類(lèi)算法比較常用的有貝葉斯分類(lèi)器，支持向量機(jī)，這種分類(lèi)算法數(shù)量較少，遠(yuǎn)沒(méi)有經(jīng)驗(yàn)型分類(lèi)方法多。貝葉斯分類(lèi)器通過(guò)計(jì)算樣本概率的差異，將樣本進(jìn)行分類(lèi)，但是分布函數(shù)的求取較為困難；支持向量機(jī)方法SVM基于統(tǒng)計(jì)學(xué)習(xí)理論，在實(shí)際應(yīng)用中取得了一定的成效。

4 結(jié)語(yǔ)

此研究根據(jù)圖像特征信息提出了基于多模態(tài)的圖像檢索思路，研究了基于紋理的多模態(tài)檢索和樸素貝葉斯分類(lèi)的實(shí)現(xiàn)方法。設(shè)計(jì)了基于多模態(tài)內(nèi)容的圖像檢索系統(tǒng)的框架，歸納了實(shí)現(xiàn)的關(guān)鍵技術(shù)，隨著人們對(duì)信息管理要求的提高，必將有著廣泛的應(yīng)用。