陸偉艷，鄭 鑫

?

基于MATLAB/GUI的圖像語義自動標(biāo)注系統(tǒng)

陸偉艷，鄭 鑫

(廣西民族師范學(xué)院，廣西崇左 532200)

圖像語義自動標(biāo)注系統(tǒng)對大量圖像數(shù)據(jù)庫的圖像檢索起到重要的作用，并能將圖像的視覺特征轉(zhuǎn)化為圖像的標(biāo)注字信息，給檢索用戶帶來了很大的便利。文中研究了圖像自動語義標(biāo)注系統(tǒng)的實(shí)現(xiàn)及有關(guān)技術(shù)，通過matlab中GUI的圖形用戶界面設(shè)計并實(shí)現(xiàn)了圖像自動標(biāo)注系統(tǒng)，該系統(tǒng)能較好的實(shí)現(xiàn)圖像輪廓與顏色特征的提取。提取圖像輪廓是由顏色空間來獲取整體輪廓，該方法對于顏色變化比較明顯的圖像可以很好的提取輪廓。結(jié)合顏色特征與圖像輪廓進(jìn)行相似度量，從而較好的將待標(biāo)注圖像分類，采用特征點(diǎn)匹配標(biāo)注圖像語義關(guān)鍵詞能夠比較準(zhǔn)確的對圖像進(jìn)行標(biāo)注。

Matlab/GUI；自動標(biāo)注；視覺特征；輪廓特征；圖像語義

0 引言

隨著多媒體數(shù)字影像技術(shù)與移動互聯(lián)網(wǎng)技術(shù)以及云計算存儲的迅猛發(fā)展，互聯(lián)網(wǎng)為用戶提供了驚人的大量的數(shù)字圖像資源。為了有效管理、查詢和瀏覽此大規(guī)模圖像資源，圖像檢索技術(shù)應(yīng)運(yùn)而生，已經(jīng)成為研究的一個熱點(diǎn)[1]?，F(xiàn)有的數(shù)字圖像檢索方式存在著底層特征與高層語義特征之間的“語義鴻溝”[2]。為解決‘語義鴻溝’的問題，人們就提出了基于圖像語義的檢索方式，隨之而來的問題就是圖像高層語義的映射技術(shù)及分類，自動圖像標(biāo)注等技術(shù)就順其自然成為研究者們的關(guān)注問題。如何快速、有效的實(shí)現(xiàn)對圖像自動語義標(biāo)注則得到了研究者的極大關(guān)注。

目前，不少研究者們也都在研究圖像自動標(biāo)注技術(shù)，他們所提出的方法有著各自不同的出發(fā)點(diǎn)和解決方案。本系統(tǒng)要實(shí)現(xiàn)的圖像語義自動標(biāo)注是為了自動獲取圖像的語義信息，并對待標(biāo)注圖像給予關(guān)鍵字的標(biāo)注，將標(biāo)注的關(guān)鍵字存儲，并為檢索做出支持[3]。本文主要研究圖像語義自動標(biāo)注的基本原理，基于Matlab/GUI實(shí)現(xiàn)圖像語義自動標(biāo)注系統(tǒng)，利用圖形用戶界面，用戶可以很好的操作完成圖像底層特征的提取、根據(jù)特征相似將大量的圖片進(jìn)行分類及存儲和圖像自動標(biāo)注[4]。

1 系統(tǒng)設(shè)計

本系統(tǒng)主要研究面向網(wǎng)絡(luò)龐大的沒有整理過的無序的圖像信息來設(shè)計的，由于網(wǎng)絡(luò)的信息量超大，人工標(biāo)注顯得工作量非常之大，而且由于個人情感差異和判斷差異，使得標(biāo)注無法統(tǒng)一，檢索系統(tǒng)性能不理想[5]。因此，本文設(shè)計的系統(tǒng)是對沒有預(yù)先分類好的圖像集進(jìn)行自動標(biāo)注。由給出的系統(tǒng)設(shè)計方框圖可知，系統(tǒng)首先將沒有預(yù)習(xí)分類好的待標(biāo)注圖像集進(jìn)行顏色、輪廓特征的提取，然后計算所提取的這些圖像特征的互信息量，設(shè)置恰當(dāng)?shù)拈y值將圖像集進(jìn)行分類并分別保存在各自的圖像庫中，對已標(biāo)注圖像提取特定區(qū)域的輪廓特征，并與分類好的圖像集匹配進(jìn)行自動標(biāo)注[6]。

圖1 系統(tǒng)設(shè)計構(gòu)架

2 圖像特征提取及相似度

2.1 基于圖像顏色特征分類

圖像的視覺特征主要有顏色、紋理、形狀和空間關(guān)系等[7]。在視覺特征中最為廣泛使用的是顏色特征，因為顏色特征的定義比較其他的特征明確，它的提取方法也比較簡單，并且能夠較好的體現(xiàn)出圖像中所包含的物體或者場景[8]。本文采用RGB彩色空間，由于顏色直方圖作為圖像的顏色特征在圖像識別系統(tǒng)中應(yīng)用比較廣泛，因此本系統(tǒng)提取圖像的顏色直方圖作為圖像的顏色特征[9]。通過式子（1）來描述圖像顏色的直方圖，定義顏色直方圖為H，在一副圖像中有N個像素，則在RGB的圖像顏色空間中被量化為3個不同的顏色，用表示第種顏色在整幅圖中具有的像素數(shù)那么有：

2.2 輪廓特征提取分類

本系統(tǒng)采用基于顏色的變化邊緣來對圖像進(jìn)行提取輪廓[10]，次方法是通過顏色空間來獲取整體輪廓，檢測顏色空間的變換對圖像進(jìn)行分割得到圖像輪廓，并進(jìn)行修正最終確定輪廓，該方法對顏色變化較明顯的圖像提取輪廓特征有較好的效果。基于顏色特征分割是在EXG算法灰度化的基礎(chǔ)上技術(shù)閥值進(jìn)行分割，以下式子（2）和（3）分別是EXG算法表達(dá)式與閥值表達(dá)式[11]：

（3）

2.3 圖像相似度計算及自動標(biāo)注

本文沒有采用傳統(tǒng)的分類技術(shù)，而是通過循環(huán)批量的讀入圖像數(shù)據(jù)，各自計算每一幅圖像的RGB的三個分量的顏色直方圖，利用巴氏距離對比較的兩幅圖像的個顏色分量直方圖的歸一化，計算得到相關(guān)系數(shù)，相關(guān)系數(shù)越大，那么兩幅圖像的相似度就越大，這種方法計算量較小，因此在速度上還比較快。分類的效果較好，當(dāng)然存在有誤分和漏分的現(xiàn)象，為了克服這一點(diǎn)問題，又采用提取圖像輪廓特征并在這基礎(chǔ)上提取輪廓圖像的特征點(diǎn)相互匹配進(jìn)行二次分類。

本文使用的巴氏距離公式如下：

圖像自動標(biāo)注：首先將上述待標(biāo)注的各類圖像的特定區(qū)域特征與已標(biāo)注的圖像特征進(jìn)行匹配計算，把所有匹配系數(shù)比較帥選，系數(shù)越大的排在前面并且把圖像的關(guān)鍵字分別賦給這些待標(biāo)注圖像，并顯示最相近的圖像。

3 實(shí)驗結(jié)果

本實(shí)驗從corel圖像庫中拿出200張圖像做實(shí)驗，其內(nèi)容有大海、藍(lán)天、沙灘、建筑物、公共汽車、樹和路等，其中把大海和藍(lán)天、沙灘歸為一類，有七個關(guān)鍵字。采用傳統(tǒng)的巴氏距離計算對批量相互比較計算相似度，效果不好，分類不準(zhǔn)確，比較難以設(shè)置的較精確的門限值。本文在原有的巴氏距離的基礎(chǔ)上做了一點(diǎn)改進(jìn)，計算兩幅圖像的相似度效果有很大的改進(jìn)得到較好的效果，查全率和查準(zhǔn)率有所提高。查全率和查準(zhǔn)率的定義式為：

（6）

圖3 圖像特征點(diǎn)匹配結(jié)果

圖5 輪廓特征結(jié)合顏色特征對海灘風(fēng)景分類結(jié)果

圖6 “公共汽車”自動標(biāo)注結(jié)果

4 結(jié)論

文中設(shè)計基于MATLAB/GUI的圖像分類及自動標(biāo)注系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)圖像的顏色特征提取及輪廓特征提取、圖像特征點(diǎn)提取、特征匹配相似度測量及分類、圖像自動標(biāo)注。實(shí)驗結(jié)果證明系統(tǒng)性能較好，能夠較好的基于顏色和輪廓特征進(jìn)行分類并匹配，能夠運(yùn)用簡單的算法進(jìn)行自動標(biāo)注圖像，不足之處未能實(shí)現(xiàn)大量的圖像語義自動標(biāo)注，對于大量的實(shí)現(xiàn)起來還是比較困難，因此該系統(tǒng)還需要進(jìn)一步的完善和改進(jìn)。

[1] 孫亞杰, 張永宏, 季賽.無方向數(shù)據(jù)采集的相控陣結(jié)構(gòu)健康監(jiān)測研究[J]. 數(shù)據(jù)采集與處理, 2014, (06): 1023-1029.

[2] 朱文球，劉強(qiáng). 一種新的圖像自動語義標(biāo)注與檢索算法[J]. 計算機(jī)應(yīng)用研究, 2007(7): 318-320

[3] 李志欣, 施智平, 李志清. 融合語義主題的圖像自動標(biāo)注[J]. 軟件學(xué)報, 2011(04): 213-224.

[4] 紀(jì)傳俊, 劉作濤, 產(chǎn)文. 一個基于語義上下文建模的圖像自動標(biāo)注系統(tǒng)[J]. 計算機(jī)研究與發(fā)展, 2011: 450-454.

[5] 田楓, 沈旭昆, 劉賢梅. 大規(guī)模圖像語義相關(guān)性自動標(biāo)注[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2013(02): 26-32+40.

[6] 歐陽軍林, 夏利民, 文杏梓. 結(jié)合SML與本體的圖像語義自動標(biāo)注方法[J]. 小型微型計算機(jī)系統(tǒng), 2012(09): 239-242.

[7] 紀(jì)穎. 一種基于實(shí)例的圖像自動語義標(biāo)注方法[J]. 哈爾濱理工大學(xué)學(xué)報, 2009(1): 38-42

[8] MIGNOTTE M. Segmentation by Fusion of Histogram basedK-Means Clusters in Different Color Spaces[J]. IEEE Transactions on Image Processing, 2008, 17: 780-787.

[9] GROMPONE R, JAKUBOWICZ J, MOREL J M, et al. LSD: A Fast Line SegmentDetector with a False Detection Control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(4): 722-732.

[10] 夏旸, 管海兵, 宦飛. 基于顏色與線段的圖像輪廓提取算法[J]. 通信技術(shù). 2012. 5: 58-60、65.

[11] OnyangoC, MarchantJ. Physics-based colour image segmentation for scenes containting vegetation and soil[J]. Image and Vision Computing, 2001, 19(8): 523-538.

Image Semantics Automatic Annotation System Based on MATLAB/GUI

LU Wei-yan, ZHENG Xin

(Guangxi Minzu Normal College, Chongzuo, Guangxi 532200)

Image semantics automatic annotation system plays an important role for image retrieval of large amount image database, it can transform visual features of images into annotation information, and bring great convenience for retrieval users. The article studied implementation of image semantics automatic annotation system and related technology, and realized image automatic annotation system through GUI graphical user interface design in MATLAB, which can realize extraction of image contour and feature well. For extraction of image contour, the whole contour can be extracted from color space, and it can be received well for images with obvious color change. Combined with color feature and image contour, we can carry on similarity measurement and classify annotating images. Image semantics key words annotation with feature matching can receive accurate image annotation.

Matlab/GUI; Automatic annotation; Visual feature; Profile feature; Image semantics

TP753

A

10.3969/j.issn.1003-6970.2017.04.018

廣西高?？茖W(xué)技術(shù)研究一般項目《基于圖像語義的圖像檢索技術(shù)的研究》（編號：2013YB270）

陸偉艷(1980-)，女，工學(xué)碩士，副教授，研究方向為為數(shù)字圖像處理；鄭鑫(1979-)，男，碩士，講師，主要研究方向為物聯(lián)網(wǎng)圖像技術(shù)。

本文著錄格式：陸偉艷，鄭鑫. 基于MATLAB/GUI的圖像語義自動標(biāo)注系統(tǒng)[J]. 軟件，2017，38（4）：99-103