畢學慧,劉華明,倪揚眉,李懷敏
(阜陽師范學院 計算機與信息工程學院,安徽 阜陽 236037)
基于SVM的多特征唐卡頭飾分類
畢學慧,劉華明,倪揚眉,李懷敏
(阜陽師范學院 計算機與信息工程學院,安徽 阜陽 236037)
為了能夠適應(yīng)寺院、圖書館、文化館、唐卡數(shù)字化保護研究機構(gòu)等用戶精確檢索的需要,對唐卡頭飾進行分類,從而實現(xiàn)語義標注、語義檢索,提高唐卡檢索的精準度。針對已有的唐卡頭飾分類方法具有分割困難或交互繁瑣等缺點,不利于實際應(yīng)用,因此本文提出了基于SVM的多特征唐卡頭飾分類方法。首先利用小波分割方法、FFT分割方法對頭飾進行分割,獲取頭飾輪廓信息,分別提取Hu不變矩、傅里葉不變矩、Zernike矩和頻率譜形狀特征;其次合并這兩類形狀特征,得到合并形狀特征,與頭飾的顏色特征聯(lián)合成多特征;最后SVM訓(xùn)練后分類。與其它方法相比,本文提出的分類方法具有分割效果好且交互簡單等優(yōu)點,可以達到對頭飾分類實際應(yīng)用的要求。
SVM;多特征組合;標注;頭飾分類;唐卡
唐卡(又名唐嘎、唐喀)是藏區(qū)獨特的藝術(shù)繪畫,裝裱后懸掛供奉的宗教卷軸畫,題材內(nèi)容涉及歷史、醫(yī)學、政治、文化和社會生活等多方面。唐卡被譽為中國民族繪畫藝術(shù)的珍品,被稱為藏族的“百科全書”,是民間藝術(shù)中彌足珍貴的非物質(zhì)文化遺產(chǎn)。近年來對唐卡數(shù)字化保護越來越受到重視,面對數(shù)量較大的唐卡庫,用戶經(jīng)常需要檢索唐卡,全面準確檢索到用戶要求的圖像是亟待解決的一個問題[1]。傳統(tǒng)的基于內(nèi)容的檢索大多是根據(jù)圖像的底層特征,常常會檢索到內(nèi)容相差較大的圖像,語義檢索是近年來提出的,利用底層特征建立高層語義,可以進一步提高圖像檢索的精確度。含有人物類題材的唐卡在唐卡庫中占有一定的比重,人物類頭飾大概可以分為三類(發(fā)髻、僧帽、頭冠),因此可以對人物類唐卡的頭飾進行分類,實現(xiàn)圖像的語義自動標注和語義檢索。已提出的唐卡頭飾標注方法,畢[2]等人提出了分層次分類,首先判斷是否為頭冠,不是頭冠則判定是否為發(fā)髻和僧帽,但是對分割具有較高的要求,應(yīng)用性不強;錢[3]等人提出了最小二乘法擬合頭飾輪廓線,分割對分類結(jié)果影響較大;張[4]是根據(jù)頭飾歐拉數(shù)判定是否為頭冠,如若不是,然后根據(jù)顏色特征判定是否為發(fā)髻和僧帽。但僧帽的識別率僅達到80.15%,究其原因是僧帽和發(fā)髻顏色特征受背景色干擾,并且發(fā)髻和僧帽的顏色有時變化較大;王[5]將典型輪廓點轉(zhuǎn)換到頻域空間,進而提取特征,在處理過程中,因典型輪廓點的提取,受干擾點的影響,導(dǎo)致分類失敗,并不能很好地應(yīng)用于圖像分類中。
本文從分割和特征提取兩方面進行實施改進,利用小波模分割和FFT分割方法分割頭飾信息,以獲取圖像的形狀特征,進而提取Hu不變矩、傅里葉不變矩、Zernike矩和頻率譜形狀特征,并對這兩種分割下的形狀特征合并,將合并后的形狀特征與頭飾的顏色特征聯(lián)合成多特征,再經(jīng)SVM分類器訓(xùn)練后分類。與其它分類方法的結(jié)果進行對比,驗證了本文分割方法的優(yōu)越性,彌補了單一分割方法分割不足的缺點。另外,在分割過程中無需用戶參與就可以達到頭飾自動分類的要求,可以很好地應(yīng)用于頭飾特征語義自動標注和語義檢索。
1.1數(shù)據(jù)預(yù)處理
唐卡在采集過程中,因圖像的大小、分辨率存在一定差別,因此需要對唐卡圖像進行尺寸統(tǒng)一化處理。圖1、2、3中的第一排為采集到的唐卡頭飾圖像,通過處理把頭飾區(qū)域鋪滿整個圖像,后期提取的特征將更有利于分類,圖1、2、3中的第二排為處理后的圖像。
圖1 發(fā)髻圖像
圖2 僧帽圖像
圖3 頭冠圖像
1.2頭飾輪廓分析
唐卡頭飾最顯著的特征是輪廓,圖4所示了三類頭飾的典型特征。通過分析發(fā)現(xiàn),發(fā)髻和僧帽的輪廓具有一定的規(guī)律可循,而頭冠的輪廓比較復(fù)雜,形狀不固定,一般比較復(fù)雜。文獻[2,4,5]中提出的方法,是根據(jù)一定的特征先判斷是否為頭冠,如果不是則判定是否為發(fā)髻或僧帽。然而頭飾輪廓提取并非易事,常常受到復(fù)雜背景區(qū)域顏色、紋理或邊界點的影響,使得分割方法結(jié)果并不理想,但從整體的輪廓上,可以區(qū)分頭飾的類別。
圖4 頭飾典型輪廓
1.3顏色特征分析
分析顏色特征發(fā)現(xiàn)頭飾顏色存在一定的規(guī)律,發(fā)髻頭發(fā)的顏色一般為黑灰色,顏色主要分布在90以內(nèi)的區(qū)域。僧帽的顏色不存在黑色,而背景顏色可能是黑色,顏色在90以內(nèi)的分布較少,頭冠的顏色波動范圍較大,在90以內(nèi)的顏色分布較低。通過這些信息可以對頭飾顏色特征進行提取。圖5(a)-5(c)分別為發(fā)髻、僧帽和頭冠,在以圖像的中心為原點,半徑為R的局部區(qū)域內(nèi),提取直方圖特征,R的大小影響直方圖的分布,當R=10時,直方圖如圖5(d)-5(f)所示。
圖5 三類典型頭飾局部直方圖
頭飾最典型的特征是輪廓,因此提取頭飾輪廓特征非常重要的。而提取頭飾輪廓特征必先分割獲取圖像的邊緣信息。
獲取圖像的邊緣信息時,因背景因素的干擾可能造成邊緣信息獲取不準確,例如邊緣信息丟失或邊緣細節(jié)過多,為能夠有效獲取邊緣,本文采用傅里葉高通濾波方法和小波法,可以有效地表示頭飾邊緣,而且關(guān)鍵邊緣信息不丟失。
二維傅里葉變換在圖像處理中有很多應(yīng)用,本文采用二維傅里葉變換得到傅里葉頻譜圖,對傅里葉頻譜圖高通濾波,從而能夠過濾圖像的平滑區(qū)域,保留圖像的邊緣信息。圖6演示了邊緣提取過程,其中預(yù)處理是確定圖像大小,獲得填充參數(shù),生成濾波器函數(shù)。分割處理主要是確定閾值,提取濾波后圖像的邊緣。如圖7所示是利用傅里葉高通濾波方法分割頭飾得到的邊緣信息,可以看出頭飾的關(guān)鍵輪廓信息可以很好地保留下來。
圖6 傅里葉高通濾波邊緣提取
圖7 傅里葉高通濾波分割圖
2.2小波模極大值邊緣提取
與傅里葉描述符相比,將小波變換引入到形狀描述領(lǐng)域能通過較少的點數(shù)以較高精度描述邊緣信息[6]。
公式(1)表明小波變換系數(shù)對于邊緣檢測突變點的敏感性,小波變換Wf(s,u)的模值的極大值對應(yīng)的點就是邊緣檢測點,隨著尺度的增加,邊緣信號變的比較穩(wěn)定[7]。
本文對頭飾圖像利用小波模極大值提取邊緣信息,進一步保證邊緣信息的完整性。圖8(a)、8 (b)、8(c)為圖5(a)、5(b)、5(c)的小波模極大值的分割結(jié)果圖,從中可以看出頭飾的關(guān)鍵輪廓信息完整地保留了下來。
圖8 小波模極大值分割圖
圖像尺寸統(tǒng)一后,利用中心點坐標為圓心,在局部區(qū)域統(tǒng)計圖像的顏色特征,局部區(qū)域一般采用半徑為R的圓,半徑的大小與圖像的尺寸存在一定的比例關(guān)系,圖5所示為選取局部區(qū)域及對應(yīng)的直方圖特征。為了更好地提取顏色特征,把顏色值劃分為三個區(qū)域,如公式(2)所示。
設(shè)N為顏色個數(shù),NA、NB、NC為區(qū)域A、B、C內(nèi)顏色的個數(shù);NS為不同顏色的數(shù)目,NSA、NSB、NSC為A、B、C區(qū)域內(nèi)不同顏色的數(shù)目。對顏色特征的提取主要有7個,用Color表示,則
因唐卡頭飾的分辨率大小、臉部轉(zhuǎn)向、頭部偏向、頭飾的細節(jié)變化不同等原因,在提取形狀特征時必須考慮頭飾輪廓的旋轉(zhuǎn)、平移及縮放的不變性。Hu 1962年證明了Hu的7階距具有旋轉(zhuǎn),縮放和平移不變性,廣泛應(yīng)用于輪廓的特征提取,后來劉進[8]提出的12個Hu不變距,豐富了Hu不變距的特征表現(xiàn),另外三類頭飾圖像的偏心率也具有各自特點,偏心率的提取參考文獻[9],本文提取這13個Hu特征。
Teague等以復(fù)域Zernike多項式為基,提出了具有旋轉(zhuǎn)、正交不變性的Zernike距[10-11],Zernike矩一般把Zernike矩的模作為特征來描述物體形狀。很小的Zernike矩特征向量可以很好地表示目標對象的形狀特征,低階矩特征向量描述的是目標的整體形狀,高階矩特征向量描述的是目標的細節(jié)。唐卡頭飾分類主要是依據(jù)頭飾的整體輪廓,因此本文提取7個低階Zernike距特征[12]表示頭飾的輪廓特征。
傅里葉形狀描述符是一種應(yīng)用廣泛的性質(zhì)描述符,其基本思想是用物體邊界的傅里葉變換作為其形狀描述[2]。傅里葉描述子是物體形狀曲線的傅里葉變換系數(shù),它是物體邊界曲線信號的頻域分析的結(jié)果。根據(jù)傅里葉變換的性質(zhì),傅里葉描述子與形狀的尺度、方向和曲線的起始點位置有關(guān)。因此本文采用具有旋轉(zhuǎn)、平移和尺度不變性的歸一化傅里葉描述子,具有旋轉(zhuǎn)、平移和尺度不變性[13]。同樣低階傅立葉描述子描述整體的形狀,高階傅立葉描述子刻畫目標的細節(jié),因此本文采用前6個靠前的傅里葉描述子表示頭飾整體形狀特征。
王維蘭[4]提出了頻率譜的方法實現(xiàn)頭飾分類,根據(jù)分割得到的頭飾外輪廓坐標點通過傅里葉變換,計算相應(yīng)的頻率譜|F(u)|,進而對頻率譜序列計算變化量FSC及均值FSC_AVG,關(guān)于頻率譜的計算參考文獻[4]。本文提取頻率譜變化量和均值兩個特征,使其能夠提高分類準確率。
SVM是廣泛應(yīng)用于模式識別中基于結(jié)構(gòu)風險最小原理的統(tǒng)計學習方法,在小樣本數(shù)據(jù)集中,與其它分類方法相比,SVM分類具有一定的優(yōu)勢,一般比另兩種分類器的分類效果好??紤]唐卡頭飾數(shù)據(jù)庫屬于小樣本數(shù)據(jù),本文采用SVM作為頭飾分類器實現(xiàn)分類。
模式識別的關(guān)鍵問題之一是特征提取,而形狀特征選擇與圖像分割聯(lián)系較緊密,分割結(jié)果對特征提取的精度產(chǎn)生一定的影響,從而最終影響分類的結(jié)果。在嘗試了一些分割方法之后,利用多種分割方法,分別進行特征提取,然后合并這些特征,可以進一步提高分類的效率。本文采用FFT分割方法和小波模最大值分割方法,針對各自分割結(jié)果,提取形狀特征,然后融合這些特征。圖9所示為頭飾分類的流程。
圖9 頭飾分類的流程圖
分類過程如下:
步驟1選取頭飾區(qū)域;
步驟2提取頭飾區(qū)域的7個顏色特征;
步驟3通過FFT分割方法和小波模最大值分割方法,得到各自分割結(jié)果;
步驟4對步驟3得到的兩種分割圖像分別提取13個Hu不變矩特征,7個Zernike矩特征,6個傅里葉形狀描述符特征,2個頻率譜變化量FSC和頻率譜變化量均值FSC_AVG特征,共計有28個特征;
步驟5取步驟4得到的兩種分割結(jié)果的形狀特征的最大值,加上步驟2獲取的7個顏色特征共計35個特征,作為SVM分類器的特征,選擇一部分作為訓(xùn)練集,剩余進行驗證。
本文采用的圖像庫有180幅發(fā)髻,150幅僧帽,200幅頭冠,這些頭飾的大小和分辨率不盡相同,實驗數(shù)據(jù)更具一般性。為了能夠更好地驗證本文的分類方法,經(jīng)過100次實驗,每次隨機抽取圖像庫中的370幅圖像作為SVM訓(xùn)練樣本,另外160幅圖像作為驗證樣本。為能夠使實驗結(jié)果更加趨于穩(wěn)定,對100次實驗結(jié)果取均值。
采用FFT分割和小波模分割方法,對提取的形狀特征利用分類器分類,得到SVM頭飾分類結(jié)果,分類準確率如表1所示。
若對提取的形狀和顏色兩種特征利用分類器分類,分類準確率如表2所示。通過表1、表2可知,SVM分類準確率在利用形狀和顏色特征后,分類準確率得到相應(yīng)的提高。為進一步提高分類準確率,這里合并這兩種分割結(jié)果提取的形狀特征(采用兩種分割方法獲得形狀特征,取它們的均值、最大值、最小值),并與顏色特征綜合考慮。對綜合特征利用三類分類器分類,分類準確率如表3所示。
表1 利用形狀特征分類準確率
表2 利用形狀特征+顏色特征分類準確率
表3利用綜合特征分類準確率
均值89.4 86.4 89.7分類方法分割方法兩種特征均值兩種特征最小值兩種特征最大值SVM分類%發(fā)髻93.1 90.1 91.9僧帽86.1 85.4 87頭冠89 83.6 90.2
在表3中,對比分析分類準確率的均值可以看出,利用兩種特征的最大值可以很好地保持SVM較高的分類效率。利用SVM對發(fā)髻、僧帽、頭冠進行分類,準確率分別為91.9,87,90.2,完全可以達到實際應(yīng)用的目的。
表4 與其他分類方法比較%
表4所示了不同分類方法的對比結(jié)果。從表4可以看出,本文方法的分類效果優(yōu)于文獻[3,5]。雖然本文方法的準確率沒有文獻[4]高,但文獻[4]的準確率是建立在對頭飾的精確分割上,如果分割不精確直接會影響分類準確率,不利于實際應(yīng)用。本文的方法比其他方法簡便,在用戶選取頭飾區(qū)后,分割和分類自動完成,無需用戶人機交互,更具有實際的應(yīng)用價值。
頭飾分類在唐卡語義標注和語義檢索中具有重要的應(yīng)用價值,以前的研究工作因分割問題,限制了頭飾分類的應(yīng)用。本文采用了兩種分割方法并分別提取形狀特征,然后進行融合,加上顏色特征,采用SVM分類器達到預(yù)期分類的效果,滿足了實際的應(yīng)用。另外,尋求其它頭飾特征、利用其它分類器或組合更多分類器來提高分類準確率是本文進一步研究的問題。
[1] 王維蘭,唐仕喜,錢建軍,等.基于內(nèi)容的唐卡圖像數(shù)據(jù)庫檢索系統(tǒng)[J].湛江師范學院學報,2008,29 (3):91-95.
[2] 畢學慧,劉華明,王維蘭.基于頭飾特征的唐卡標注和檢索[J].計算機科學,2014,41(2):312-316.
[3]Qian J J,Wang W L.Main feature extraction and expressionfor religious portrait Thangka image[C]//The 9th InternationalConference for Young Computer Scientists,2008:803-807.
[4] 張艷磊,王維蘭.基于頭飾特征的肖像類唐卡圖像自動標注[J].西北民族大學學報(自然科學版),2014,35 (2):16-20.
[5] 王維蘭,錢建軍,楊旦春,等.基于頻率譜變化量的唐卡圖像特征提取與表示[J].計算機工程與應(yīng)用,2011,47(22):183-187.
[6] 章毓晉.基于內(nèi)容的視覺信息檢索[M].北京:科學出版社,2003:123-124.
[7] 張靜,楊衛(wèi)平,吳友平.小波變換模極大值在遙感影像邊緣特征提取中的應(yīng)用[J].工程勘察,2008(9):45-48.
[8] 劉進,張?zhí)煨?圖像不變距的推廣[J].計算機學報,2004,27(5):668-674.
[9] 姜文卿.一種基于組合特征的商標圖像檢索算法研究[J].計算機與現(xiàn)代化,2009,1(10):82-85.
[10]Teague M R.Image analysis via the general theory of moments[J].Journal of the Optical Society of America,1980,70:920-930.
[11]Abdallah S M,Nebot E M,Rye D C.Object recognition and orientation via Zernike moment[J]Lecture Notes in Computer Science,1997,1351:386-393.
[12]高光勇,蔣國平.基于特征域和Zernike矩的多倍零水印版權(quán)認證方案[J].南京郵電大學學報(自然科學版),2012,32(6):63-68.
[13]王濤,劉文印,孫家廣,等.傅立葉描述子識別物體的形狀[J].計算機研究與發(fā)展,2002,39(12):1714-1719.
Classification of Thangka headdress based on multi-feature and SVM
BI Xue-hui,LIU Hua-ming,NI Yang-mei,LI Huai-min
(School of Computer and Information Engineering,F(xiàn)uyang Normal University,F(xiàn)uyang Anhui 236037,China)
In order to meet the precise retrieval needs of temples,libraries,cultural centers,and research institutions for the digitized protection of Thangka,the classification of headdress can be used in semantic annotation,semantic retrieval to improve the precision of Thangka retrieval.The past methods in classifying headdress,which is unfavorable for practical application,have some shortcomings such as segmentation difficulties or interaction trivia,therefore,the paper proposed the classification algorithm based on SVM and multiple features.Firstly,obtain the headdress contour using wavelet and FFT segmentation algorithm,and extract the Hu invariant moment,F(xiàn)ourier invariant moment and Zernike moment and frequency spectrum shape characteristics respectively;secondly,get shape feature by combining the two kinds of contour features,and it unites color features to generate the multiple features;Finally,train SVM and test classification.Compared with other classification methods,the proposed method by the paper has good segmentation effect and simple interactions,which can meet the requirements of headdress classification in the practical application.
SVM;multi-feature combination;label;headdress classification;Thangka
TP391
A
1004-4329(2016)02-055-06
10.14096/j.cnki.cn34-1069/n/1004-4329(2016)02-055-06
2015-10-10
國家自然科學基金項目(60875006);安徽省教育廳自然科學基金項目(2015KJ012);安徽省質(zhì)量工程項目(2013zy167);阜陽師范學院質(zhì)量工程項目(2013ZYSD05);阜陽師范學院校級項目(2015FSKJ08)資助。
畢學慧(1982-),女,講師,研究方向:計算機應(yīng)用。