王 琳，張素蘭，楊海峰

(太原科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，山西 太原 030024)

0 引 言

隨著智能科技和互聯(lián)網(wǎng)的快速發(fā)展，圖像資源信息迅猛增長，如何對圖像進(jìn)行有效自動標(biāo)注以提高圖像檢索的準(zhǔn)確性仍是計算機視覺領(lǐng)域的重要研究內(nèi)容。然而，由于人工圖像標(biāo)注的主觀性和不可靠性，使得人們對于同一幅圖像有不同的理解，造成圖像標(biāo)注的語義內(nèi)容和標(biāo)簽不符，影響了圖像檢索的準(zhǔn)確性。而且，人工給海量圖像進(jìn)行標(biāo)注也很不現(xiàn)實。因此，目前仍有不少研究人員致力于圖像語義自動標(biāo)注(automatic image annotation，AIA)[1-3]模型和方法的研究工作，主要利用人工智能、模式識別和機器學(xué)習(xí)等方法，對圖像內(nèi)容進(jìn)行語義解釋，從而使計算機可以自動獲取圖像的語義信息，幫助人們更有效地進(jìn)行圖像檢索。

其中，Cheng[4]等將圖像自動標(biāo)注方法主要分為生成模型[5]、判別模型[5]、標(biāo)簽補全[6-7]、深度學(xué)習(xí)[1,8]和最近鄰模型[9-14]等幾種。由于大規(guī)模網(wǎng)絡(luò)圖像的出現(xiàn)，以及人們通常直觀地假設(shè)相似圖像可能含有共同標(biāo)簽使得基于最近鄰模型的圖像自動標(biāo)注方法一直深受研究者的關(guān)注。Su等[9]提出了一種基于圖學(xué)習(xí)的最近鄰圖像自動標(biāo)注方法，該方法考慮了標(biāo)簽之間的相關(guān)性并將圖像到標(biāo)簽之間的距離與基于圖學(xué)習(xí)的分?jǐn)?shù)相結(jié)合來獲得標(biāo)簽的決策值。雖然該方法在一定程度上提高了圖像標(biāo)注的性能，但其采用全局特征和局部特征進(jìn)行圖像特征提取，過程比較復(fù)雜且提取到的圖像特征的辨識度不高。Verma等[10]在2PKNN[11]的基礎(chǔ)上進(jìn)行了改進(jìn)，將圖像-標(biāo)簽之間的相似性與圖像-圖像之間的相似性結(jié)合起來，并提出了一種度量學(xué)習(xí)框架，該方法利用了先進(jìn)的特征提取、編碼以及嵌入技術(shù)從而提高了標(biāo)注性能。Jin等[12]為了彌合“語義鴻溝”，提出了一種基于圖像距離度量學(xué)習(xí)的鄰域集(NSIDML)方法，不限制樣本是否帶標(biāo)簽，充分利用現(xiàn)有資源，進(jìn)而提高圖像自動標(biāo)注性能。但該方法因沒有充分考慮圖像視覺特征與標(biāo)簽之間的概率關(guān)系，一定程度上影響了圖像標(biāo)注性能。Rad等[13]利用松弛聯(lián)合非負(fù)矩陣分解(LJNMF)對圖像的高維特征進(jìn)行降維，然后再計算圖像特征間的距離，最后依據(jù)距離權(quán)重進(jìn)行標(biāo)簽傳播實現(xiàn)圖像自動標(biāo)注?？洛械萚14]先基于深度特征從視覺和語義兩個方面構(gòu)建近鄰圖像，然后根據(jù)距離計算標(biāo)簽概率實現(xiàn)圖像標(biāo)注，該方法在一定程度上提高了圖像標(biāo)注的性能，但是沒有分析圖像視覺特征與標(biāo)簽之間的依賴關(guān)系。總之，盡管這些基于最近鄰模型的圖像自動標(biāo)注方法取得了一定的效果，但是低效復(fù)雜的特征提取方式以及沒有充分考慮圖像低層視覺特征到高級語義之間的依賴關(guān)系使得圖像標(biāo)注性能仍有待提升。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)在圖像處理領(lǐng)域得到了很好的應(yīng)用[15-17]，該模型可以直接將原始圖像輸入到網(wǎng)絡(luò)中，不需要預(yù)先對圖像進(jìn)行復(fù)雜處理，并且可以自動提取圖像特征，隨著訓(xùn)練過程的深入，能夠提取出更具有辨識度的圖像特征，具有較強的表達(dá)能力。隨著卷積神經(jīng)網(wǎng)絡(luò)的深入研究，越來越多的學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像自動標(biāo)注中。如高耀東等[18]利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自主學(xué)習(xí)圖像特征，并改進(jìn)損失函數(shù)從而改善輸出結(jié)果。除了考慮高效的圖像特征提取方式，如何有效建立圖像與標(biāo)簽之間的某種關(guān)系是圖像自動標(biāo)注中需要解決的關(guān)鍵問題，而貝葉斯在不完全信息下對未知狀態(tài)進(jìn)行概率估計的理論特性，可以在已知圖像的條件下構(gòu)建圖像特征和標(biāo)簽之間的概率分布，從而可以找出圖像低層視覺特征與高級語義之間的概率關(guān)系，縮小語義鴻溝。如Verma等[19]利用貝葉斯后驗概率找尋給定樣本和標(biāo)簽的K1個最近鄰，并根據(jù)與鄰居的距離計算標(biāo)簽置信度預(yù)測標(biāo)簽，有效地提高了圖像標(biāo)注性能。因此，為改善傳統(tǒng)的基于最近鄰模型圖像自動標(biāo)注方法在圖像底層視覺特征提取和視覺特征與標(biāo)簽之間映射關(guān)系的不足，文中提出了一種改進(jìn)的基于CNN和加權(quán)貝葉斯的最近鄰圖像標(biāo)注方法，進(jìn)一步提高了圖像自動標(biāo)注性能。

1 相關(guān)工作

1.1 最近鄰模型的圖像標(biāo)注方法

最近鄰模型的圖像自動標(biāo)注方法認(rèn)為若圖像有相似的底層視覺特征，則有相似的語義標(biāo)簽。因此，最近鄰模型的圖像自動標(biāo)注方法的一般步驟為：(1)構(gòu)建圖像的底層特征；(2)根據(jù)圖像的底層視覺特征，利用距離度量方法找尋待標(biāo)注圖像的近鄰圖像；(3)利用合適的標(biāo)簽傳播方法，將近鄰圖像中的標(biāo)簽傳播給待標(biāo)注圖像。

現(xiàn)有的基于最近鄰模型的圖像自動標(biāo)注方法的改進(jìn)基本包括三個方面：(1)構(gòu)造不同的視覺特征用以提高圖像標(biāo)注性能，比如提取圖像的SIFT特征、HOG特征、進(jìn)行特征融合等等；(2)選取不同的距離度量策略，比如歐氏距離、谷歌距離等等；(3)采用優(yōu)化的標(biāo)簽傳播算法，使得圖像的標(biāo)簽可以更好地傳播?；谧罱從Ｐ偷膱D像標(biāo)注方法的代表性模型有JEC[10]、TagProp[10]、GLKNN[9]、2PKNN[11]等等。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[20]是一種在深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上提出來的多層感知機，相當(dāng)于一個圖像的特征提取器，被廣泛應(yīng)用于計算機視覺領(lǐng)域。CNN的主要特點是可以在神經(jīng)元之間進(jìn)行局部連接和權(quán)值共享，并且在一定程度上可以進(jìn)行圖像的平移、旋轉(zhuǎn)、傾斜和尺度不變性等操作，還可以同時完成圖像的特征提取以及特征分類，用來提取圖像特征十分高效。CNN的主要結(jié)構(gòu)為輸入層、卷積層、池化層、全連接層以及輸出層，經(jīng)過卷積層和池化層操作提取圖像的視覺特征圖，再通過全連接層將卷積結(jié)果與圖像全連接，根據(jù)權(quán)重計算輸出結(jié)果，以達(dá)到提高表達(dá)能力的目的。

1.2.1 卷積層

CNN在卷積層進(jìn)行特征的局部感知和參數(shù)共享，然后通過不同的卷積核和圖像像素值進(jìn)行對應(yīng)卷積運算得到圖像的特征映射，從而提取出圖像的視覺特征。這一層也是整個卷積神經(jīng)網(wǎng)絡(luò)的核心層，提取出圖像特征后，以特征圖的形式表示圖像特征。其表達(dá)式如式(1)：

(1)

其中，ai,j表示第i層的第j個卷積核對應(yīng)的特征值，對卷積核的每個權(quán)重進(jìn)行編號，ωm,n表示卷積核的第m行第n列權(quán)重，ωb表示卷積核的偏置項，×表示卷積運算，f(·)表示激活函數(shù)(此處用Relu函數(shù))。為了簡化操作和復(fù)雜數(shù)據(jù)，Relu對卷積操作得到的結(jié)果進(jìn)行非線性激活響應(yīng)，舍棄不相關(guān)數(shù)據(jù)(值小于0的數(shù)據(jù)改寫為0)。

1.2.2 池化層

卷積過程中采用多個卷積核進(jìn)行卷積操作，會使得信息冗余，因此為了減少數(shù)據(jù)量，降低計算量，減少機器負(fù)載，要進(jìn)行降維也就是池化操作。CNN的池化層對卷積層的特征向量圖進(jìn)行下采樣操作，依據(jù)特征圖的局部相關(guān)原理將卷積層處理圖像時產(chǎn)生的冗余信息減少，保留圖像的重要信息。現(xiàn)如今常用的池化操作有平均池化和最大池化等，最大池化是將對應(yīng)區(qū)域內(nèi)神經(jīng)元的最大值代替該區(qū)域進(jìn)行輸出，從而在保留圖像特征信息的同時完成數(shù)據(jù)降維。因此，文中采用大小為2×2的池化核進(jìn)行最大池化，示意圖如圖1所示。

圖1 池化核為2×2的最大池化示意圖

1.2.3 全連接層與輸出層

與卷積層的局部連接不同，全連接層采取全連接的思想，將卷積層和池化層的局部信息進(jìn)行整合，運用Softmax分類函數(shù)得到每個類別對應(yīng)的概率值，再傳遞給輸出層，進(jìn)而最終將特征圖映射為特征向量。

2 文中方法

文中給出的改進(jìn)的基于CNN和加權(quán)貝葉斯的最近鄰圖像標(biāo)注方法的具體思想架構(gòu)如圖2所示。

圖2 基于CNN和加權(quán)貝葉斯的最近鄰圖像標(biāo)注方法架構(gòu)

第一步：利用圖像的CNN特征找尋待標(biāo)注圖像的近鄰圖像，并統(tǒng)計近鄰圖像中所含有的標(biāo)簽以及標(biāo)簽個數(shù)，構(gòu)成候選標(biāo)簽集合。

第二步：篩選含有候選標(biāo)簽的圖像得到圖像集合，計算其視覺特征矩陣每一維的均值，利用貝葉斯后驗概率公式計算候選標(biāo)簽與待標(biāo)注圖像視覺特征之間的概率值，獲得候選標(biāo)簽標(biāo)注給待標(biāo)注圖像的概率。

第三步：選擇標(biāo)簽標(biāo)注圖像。考慮到待標(biāo)注圖像的近鄰圖像所含有的標(biāo)簽的頻率不同，設(shè)置一個α系數(shù)表示標(biāo)簽權(quán)重。將α系數(shù)與第二步所得的標(biāo)簽概率相結(jié)合，計算新的標(biāo)簽概率，獲得新的候選標(biāo)簽，從中選擇概率值高的前5個進(jìn)行標(biāo)注。

2.1 基于CNN獲取初始標(biāo)簽

圖像自動標(biāo)注是將最有可能代表圖像的關(guān)鍵詞標(biāo)注給圖像，那么，圖像越相似，含有相同標(biāo)簽的可能性越大。因此，進(jìn)行圖像自動標(biāo)注的首要步驟就是尋找待標(biāo)注圖像的相似圖像，也就是近鄰圖像，其中最重要的一步就是提取圖像的視覺特征。

卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征優(yōu)勢明顯，疊加卷積層和池化層構(gòu)建多層網(wǎng)絡(luò)結(jié)構(gòu)，并利用Relu函數(shù)對卷積結(jié)果進(jìn)行非線性激活，將圖像特征映射為4 096維的特征向量。文中采用圖像網(wǎng)絡(luò)大規(guī)模視覺識別挑戰(zhàn)(ILSVRC)中提出的卷積神經(jīng)網(wǎng)絡(luò)方法[21]，首先初始化卷積神經(jīng)網(wǎng)絡(luò)模型，在1 000類分類數(shù)據(jù)集ImageNet上進(jìn)行預(yù)訓(xùn)練，并基于文獻(xiàn)[22]的VGG-16模型提取4 096維的圖像特征向量，包括13個卷積層，5個最大池化層(池化核均為2×2)，2個全連接層。具體過程如下：

(1)使用數(shù)據(jù)增廣。在256×256的原始圖像中隨機選擇224×224的區(qū)域構(gòu)成輸入圖像，采用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。

(2)進(jìn)行卷積池化操作。13個卷積層均使用3×3的卷積核，步長設(shè)置為1，第二個卷積層后接一次最大池化第四個卷積層后接一次最大池化，第七個卷積層后接一次最大池化，第十個卷積層后接一次最大池化，第十三個卷積層后接一次最大池化。

(3)局部響應(yīng)歸一化。在卷積層中使用LRN進(jìn)行局部響應(yīng)歸一化，應(yīng)用在激活函數(shù)和池化函數(shù)之后，增大響應(yīng)較大的值，抑制較小的值。

(4)進(jìn)行全連接層計算。卷積操作和池化操作完成后，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)接三個全連接層不同，文中接兩個全連接層，將圖像轉(zhuǎn)化為1×1×4 096的輸出圖像，得到圖像的4 096維特征向量，并在這兩個層內(nèi)使用dropout進(jìn)行正則化，避免過擬合。

完成圖像的特征提取之后，需要根據(jù)圖像的CNN特征向量找尋待標(biāo)注圖像的近鄰圖像。使用歐氏距離計算圖像之間的視覺距離，兩幅圖像之間的距離值越小，說明兩幅圖像在視覺上越相似。近鄰圖像個數(shù)的取值將在3.2小節(jié)進(jìn)行分析。

2.2 基于貝葉斯構(gòu)建映射關(guān)系

(2)

其中，P(li)是標(biāo)簽的先驗概率，P(J)是圖像的先驗概率。參考文獻(xiàn)[19]，將P(li)對所有標(biāo)簽li設(shè)置為P(li)=1/M，其中M為常數(shù)；P(J)是測試數(shù)據(jù)中找尋待測圖像的概率，將其設(shè)置為1。

針對條件概率P(J|li)，由于平均數(shù)可以表示圖像特征矩陣中特征向量值的趨勢，而且與圖像特征矩陣中的每一個特征向量值都有關(guān)系，不會脫離圖像特征矩陣，因此利用均值結(jié)合高斯密度給定P(J|li)的計算公式：

(3)

其中，xd表示待標(biāo)注圖像的每一維的特征向量，Yi表示含有共同標(biāo)簽li的訓(xùn)練數(shù)據(jù)的子集(Yi?J)，μYi表示通過含有共同標(biāo)簽li的圖像矩陣計算得出的每一維的均值。

通過上述公式給出圖像的特征與標(biāo)簽之間的概率關(guān)系，得出一幅圖像含有某一個標(biāo)簽的概率值為多少，從而初步獲得標(biāo)簽屬于待標(biāo)注圖像的概率。

2.3 加權(quán)貝葉斯優(yōu)化標(biāo)簽概率并標(biāo)注

考慮到近鄰圖像與待標(biāo)注圖像的相似度不同，不同近鄰圖像含有的標(biāo)簽不一樣，那么含有同一個標(biāo)簽的圖像個數(shù)就不一定，即近鄰圖像中標(biāo)簽的頻率不同。因此，將標(biāo)簽頻率看作候選標(biāo)簽的權(quán)重，給定系數(shù)α計算候選標(biāo)簽的權(quán)重，系數(shù)計算公式為：

α=n/G

(4)

其中，n表示最近鄰圖像中標(biāo)簽的頻數(shù)，G表示最近鄰圖像包含的所有標(biāo)簽總數(shù)。

結(jié)合候選標(biāo)簽在近鄰圖像中的頻率，將候選標(biāo)簽的頻率值作為標(biāo)簽權(quán)重與3.2節(jié)得到的概率值相乘得到候選標(biāo)簽的最終概率值，并進(jìn)行重排，從中選擇概率值最高的k(k=5)個進(jìn)行圖像標(biāo)注。

3 實驗結(jié)果與分析

為了驗證文中所提方法的有效性，在三個基準(zhǔn)數(shù)據(jù)集Corel 5K、ESP Game以及IAPRTC-12上進(jìn)行了實驗驗證。

3.1 數(shù)據(jù)集與評估指標(biāo)

Corel 5K數(shù)據(jù)集、ESP Game數(shù)據(jù)集以及IAPRTC-12數(shù)據(jù)集的具體數(shù)據(jù)情況如表1所示。

表1 數(shù)據(jù)集統(tǒng)計

實驗采用準(zhǔn)確率(precision，P)、召回率(recall，R)以及F1值(F1)三個評估指標(biāo)度量實驗結(jié)果，計算公式如下：

(5)

3.2 參數(shù)分析

在文中方法中，參數(shù)N是待標(biāo)注圖像的近鄰圖像個數(shù)，在本小節(jié)對其進(jìn)行分析。從圖3～圖5中可以清晰地看出，在Corel 5K和ESP Game兩個數(shù)據(jù)集上三個評估指標(biāo)的值均是有一段先降再升到達(dá)峰值，然后再下降。當(dāng)N=30時，Corel 5K數(shù)據(jù)集上評估指標(biāo)的值到達(dá)峰值，N=20時比N=30時的評估指標(biāo)值略有降低，N=40時比N=30時的評估指標(biāo)值下降明顯；當(dāng)N=40時，ESP Game數(shù)據(jù)集上評估指標(biāo)的值到達(dá)峰值，N=20時比N=40時的評估指標(biāo)值略有降低，N=30時比N=40時的評估指標(biāo)值下降明顯。在IAPRTC-12數(shù)據(jù)集上，三個評估指標(biāo)值均在N=10時達(dá)到峰值，然后開始下降；當(dāng)N=20時，評估指標(biāo)的值比N=10時略有降低。因此，綜合三個數(shù)據(jù)集考慮，實驗中設(shè)置N=20。

圖3 Corel 5K數(shù)據(jù)集上評估指標(biāo)的 值隨參數(shù)N的變化

圖4 IAPRTC-12數(shù)據(jù)集上評估指標(biāo)的 值隨參數(shù)N的變化

圖5 ESP Game數(shù)據(jù)集上評估指標(biāo)的 值隨參數(shù)N的變化

3.3 對比實驗

由于文中采用CNN提取圖像特征，因此分別與采用CNN提取特征以及采用其他方法提取特征的現(xiàn)有的比較好的標(biāo)注方法進(jìn)行對比：GLKNN[9]、CCA-2PKNN[10]、NSIDML[12]、IDFRW[24]、NL-ADA[25]以及OPSL[26]。

3.3.1 與采用CNN提取特征的方法比較

表2表示一些采用CNN提取特征的基于最近鄰模型的圖像自動標(biāo)注的先進(jìn)方法與文中所提方法的實驗結(jié)果對比，其中C表示提取特征為CNN特征。CCA-2PKNN通過使用典型相關(guān)分析(CCA)將不同特征組合，包括卷積神經(jīng)網(wǎng)絡(luò)特征、編碼計算特征等等，嵌入到公共子空間從而最大化視覺內(nèi)容和文本之間的相關(guān)性。IDFRW通過集成圖形的深層特征和標(biāo)簽相關(guān)性構(gòu)建圖像特征與圖像語義之間的映射關(guān)系，從而提高標(biāo)注性能。GLKNN將圖學(xué)習(xí)方法和最近鄰方法相結(jié)合，利用圖學(xué)習(xí)方法傳播圖上對應(yīng)于測試圖像的K最近鄰標(biāo)簽，進(jìn)一步提高標(biāo)注性能。通過在Corel 5K、IAPRTC-12和ESP Game三個數(shù)據(jù)集上與傳統(tǒng)的圖像自動標(biāo)注算法進(jìn)行比較，比較結(jié)果如表2所示。

表2 在三個數(shù)據(jù)集上的實驗結(jié)果評估比較

從表2可以看出，在Corel 5K數(shù)據(jù)集上，文中方法與實驗結(jié)果相對較好的IDFRW相比，P提高了7%，R提高了13%，F(xiàn)1提高了9%。這是因為文中在獲取近鄰圖像之后進(jìn)行圖像標(biāo)簽與特征的概率構(gòu)建，避免了在更多數(shù)據(jù)下進(jìn)行關(guān)系映射，并且近鄰圖像的標(biāo)簽與待標(biāo)注圖像的聯(lián)系更緊密。在IAPRTC-12數(shù)據(jù)集上，文中方法與查準(zhǔn)率最高的CCA-2PKNN相比，P降低了4%，R提高了30%，F(xiàn)1提高了20%；與整體實驗結(jié)果較好的GLKNN相比，P提高了5%，R提高了8%，F(xiàn)1提高了4%。在ESP Game數(shù)據(jù)集上，文中方法與查準(zhǔn)率最高的TagProp-SD相比，P降低了13%，R提高了21%，F(xiàn)1提高了8%；與整體實驗結(jié)果較好的CCA-2PKNN相比，P降低了11%，R提高了18%，F(xiàn)1提高了6%；與GLKNN相比，P提高了8%，R提高了9%，F(xiàn)1提高了7%。這是由于在進(jìn)行圖像標(biāo)注時，文中在近鄰圖像的基礎(chǔ)上考慮了圖像的視覺特征與語義之間的映射關(guān)系，進(jìn)一步提高了標(biāo)注性能，而以上方法均忽略了圖像視覺特征與標(biāo)簽之間的關(guān)系。雖然查準(zhǔn)率有所降低，但是查全率與F1值均有大幅提高。

3.3.2 與采用其他方法提取特征的方法比較

圖6～圖8表示一些采用其他方法提取特征的圖像自動標(biāo)注的先進(jìn)方法與文中所提方法的結(jié)果對比。NL-ADA是Ke等人提出的屬性判別標(biāo)注框架，基于未知圖像構(gòu)造平衡數(shù)據(jù)集，并判別圖像的高頻低頻屬性，然后標(biāo)注圖像。OPSL是Xue等人提出的通過最優(yōu)預(yù)測子空間學(xué)習(xí)的方法去除特征空間的冗余信息，更好地進(jìn)行圖像表示和圖像標(biāo)注。NSIDML是Jin等人提出的基于圖像距離度量學(xué)習(xí)和鄰域集的圖像標(biāo)注方法，目的是彌合圖像之間的語義鴻溝，進(jìn)而提高圖像標(biāo)注性能。通過在Corel 5K、IAPRTC-12和ESP Game三個數(shù)據(jù)集上與傳統(tǒng)的圖像自動標(biāo)注算法進(jìn)行比較，比較結(jié)果分別如圖6～圖8所示。

圖6 在Corel 5K數(shù)據(jù)集上的實驗結(jié)果評估比較

從圖6可以看出，在Corel 5K數(shù)據(jù)集上，文中方法與實驗結(jié)果較好的NSIDML相比，P提高了1%，R提高了10%，F(xiàn)1提高了4%；從圖7可以看出，在IAPRTC-12數(shù)據(jù)集上，文中方法與實驗結(jié)果較好的NSIDML相比，P降低了11%，R提高了7%，F(xiàn)1降低了3%；從圖8可以看出，在ESP Game數(shù)據(jù)集上，文中方法與實驗結(jié)果較好的NSIDML相比，P降低了11%，R提高了13%，F(xiàn)1提高了2%。文中方法取得了一定的改進(jìn)效果，是因為文中采取卷積神經(jīng)網(wǎng)絡(luò)方法，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)卷積層和池化層的作用，圖像的特征從基礎(chǔ)的顏色、紋理等特征轉(zhuǎn)換成更適用于圖像識別的特征，能更有效地進(jìn)行待標(biāo)注圖像的近鄰圖像搜索，從而提高圖像標(biāo)注性能?？傮w來說，文中方法在Corel 5K數(shù)據(jù)集、IAPRTC-12數(shù)據(jù)集和ESP Game數(shù)據(jù)集上的實驗體現(xiàn)出了比較好的效果。

圖7 在IAPRTC-12數(shù)據(jù)集上的實驗結(jié)果評估比較

圖8 在ESP Game數(shù)據(jù)集上的實驗結(jié)果評估比較

從上述分析中可以看出，基于CNN和貝葉斯的圖像自動標(biāo)注是有效的。從結(jié)果中可以看出，在Corel 5K數(shù)據(jù)集上的實驗，文中方法的評估指標(biāo)值均優(yōu)于所比方法，在IAPRTC-12數(shù)據(jù)集和ESP Game數(shù)據(jù)集上的實驗，文中方法整體上優(yōu)于所比方法，查準(zhǔn)率有一定的降低，但查全率和F1值均高于所比方法，這是因為待標(biāo)注圖像的近鄰圖像可以為待標(biāo)注圖像提供更準(zhǔn)確的標(biāo)簽，在此基礎(chǔ)上再考慮圖像低層特征與標(biāo)簽之間的映射關(guān)系，豐富標(biāo)簽信息，可以進(jìn)一步提高圖像標(biāo)注性能。

4 結(jié)束語

文中提出了一種改進(jìn)的基于CNN和加權(quán)貝葉斯后驗概率的最近鄰圖像標(biāo)注方法，利用CNN模型提取圖像特征以獲得表達(dá)能力更強的圖像特征，并根據(jù)此特征找尋更準(zhǔn)確的待標(biāo)注圖像的近鄰圖像，從而得到更準(zhǔn)確的標(biāo)簽。再通過貝葉斯構(gòu)建圖像低層特征和語義之間的關(guān)系，選擇合適的標(biāo)簽為待標(biāo)注圖像進(jìn)行標(biāo)注。分別在三個基準(zhǔn)數(shù)據(jù)集Corel 5K、IAPRTC-12和ESP Game上進(jìn)行實驗分析，結(jié)果表明該方法可以有效提高標(biāo)注性能。