寇曉斌 呂興
(1.新疆師范高等專(zhuān)科學(xué)校新疆教育云技術(shù)與資源實(shí)驗(yàn)室 新疆維吾爾自治區(qū)烏魯木齊市 830043)
(2.北京郵電大學(xué)計(jì)算機(jī)學(xué)院 北京市 100876)
面向中華優(yōu)秀傳統(tǒng)文化的研究中,文化圖案的寓意解讀是其中的重要組成部分,分析圖案背后代表的民族文化和歷史發(fā)展,對(duì)推動(dòng)中華民族文化事業(yè)意義重大。隨著時(shí)代的發(fā)展,將服飾、器皿等文化載體上的圖案進(jìn)行數(shù)字化保存為圖像已成為比必然趨勢(shì)。圖像分割是指將圖像中具有相似顏色、紋理等特征的像素聚集到一起,通過(guò)區(qū)分圖像中的前景和背景,提取出感興趣目標(biāo)的過(guò)程?,F(xiàn)有圖像分割算法應(yīng)用于文化圖案時(shí)會(huì)出現(xiàn)邊緣線(xiàn)條不連續(xù),區(qū)域缺失等問(wèn)題,如何使用圖像分割算法提取邊緣線(xiàn)條連續(xù)和區(qū)域完整的文化圖案稱(chēng)為目前急需解決的問(wèn)題。
文化圖案由于制作工藝和使用材料的復(fù)雜性,相較于自然圖像邊緣粗糙、紋理復(fù)雜,進(jìn)行分割時(shí)容易出現(xiàn)邊緣線(xiàn)條不連續(xù)的現(xiàn)象。目前的圖像分割算法包括基于圖論的分割算法、基于像素聚類(lèi)的分割算法和層次分割算法。基于圖論的分割算法將圖像視作一個(gè)圖結(jié)構(gòu),區(qū)域作為圖頂點(diǎn),區(qū)域之間的相似性作為圖的邊權(quán)重,包括GBIS 算法[1]、Graph Cuts 算法[2]和標(biāo)準(zhǔn)割算法[3]。基于像素聚類(lèi)的分割算法首先生成一個(gè)初始聚類(lèi),然后迭代將顏色、紋理、亮度等圖像特征相似的像素聚類(lèi)形成超像素直到收斂,獲得分割結(jié)果。包括Meanshift 算法[4]、Turbopixels 算法[5]和SLIC 算法[6]。層次分割算法在不同細(xì)節(jié)程度上劃分圖像區(qū)域,通過(guò)合并圖像顏色、紋理等特征相似的區(qū)域來(lái)獲得分割結(jié)果,包括MCG 算法[7]和SE 算法[8]等。為了將保證文化圖案分割結(jié)果的邊緣線(xiàn)條連續(xù)和區(qū)域完整性,本文提出一種基于邊緣先驗(yàn)的文化圖案層次分割算法,不僅能彌補(bǔ)現(xiàn)有圖像分割算法應(yīng)用于文化圖案的不足,而且能提高圖像分割的準(zhǔn)確度,獲得不同細(xì)節(jié)程度的文化圖案分割結(jié)果,為文化圖案解讀提供技術(shù)支撐。
基于邊緣先驗(yàn)的文化圖案層次分割算法主要由顏色空間轉(zhuǎn)換、邊緣檢測(cè)與區(qū)域合并分割算法組成。顏色空間轉(zhuǎn)換方法負(fù)責(zé)將輸入圖像的顏色空間模型進(jìn)行轉(zhuǎn)換,作為邊緣預(yù)測(cè)的預(yù)處理步驟。邊緣預(yù)測(cè)通過(guò)計(jì)算像素點(diǎn)的方向梯度來(lái)確定文化圖案邊緣,為區(qū)域合并分割算法作準(zhǔn)備,保證分割結(jié)果的邊緣連續(xù)性。區(qū)域合并分割算法對(duì)邊緣預(yù)測(cè)結(jié)果進(jìn)行圖像特征相似性度量,獲得最終層次分割結(jié)果。
本文將研究目標(biāo)聚焦于包含文化圖案的圖像,其來(lái)源為傳統(tǒng)民族服飾、器皿等物體的拍照與掃描,為了從圖像中分割出不同細(xì)節(jié)層次的文化圖案,保證分割結(jié)果的區(qū)域完整性,本文基于Pb 算子提出一種基于方向梯度的邊緣檢測(cè)算法,通過(guò)計(jì)算像素點(diǎn)的方向梯度預(yù)測(cè)其位于圖案邊緣的概率。
本文算法首先將圖像從RGB 顏色空間轉(zhuǎn)換到Lab 顏色空間。由于服飾等文化載體的制作材料比較粗糙,同時(shí)為了好看、保暖等目的,制作工藝比較復(fù)雜,存在多層嵌套重疊的現(xiàn)象,因此顏色多樣且分布不均勻。為了在分割時(shí)更好的提取文化圖案顏色特征,本文算法采用Lab 顏色空間模型。相較于RGB 顏色空間模型,Lab顏色空間模型色域更加寬闊,能夠表示更加寬闊的色域,更容易表現(xiàn)人眼可察覺(jué)的最小顏色差異,并且顏色分布更加均勻。
多尺度特征計(jì)算方法通過(guò)在灰度圖像的多尺度多方向上計(jì)算方向梯度信號(hào)進(jìn)行組合。首先,將輸入圖像轉(zhuǎn)化為灰度圖,分解為亮度,顏色a,顏色b 和紋理4 個(gè)獨(dú)立的特征通道,前三個(gè)通道在CIE Lab 彩色空間中計(jì)算方向梯度信號(hào),而對(duì)于紋理特征通道,首先為灰度圖像中每個(gè)像素分配一個(gè)紋理基元,再計(jì)算方向梯度信號(hào)。紋理基元的計(jì)算首先將輸入圖像轉(zhuǎn)換為灰度圖像,使用17 個(gè)高斯導(dǎo)數(shù)和中心環(huán)繞濾波器的集合與灰度圖像卷積,使得每個(gè)像素關(guān)聯(lián)于17 維響應(yīng)向量,每個(gè)濾波器包含一個(gè)數(shù)值,然后通過(guò)K 均值算法對(duì)向量聚類(lèi),聚類(lèi)中心為特定圖像的紋理基元集合,從而使得圖像中每個(gè)像素聚類(lèi)到最近的聚類(lèi)中心并被分配一個(gè)整數(shù)值,實(shí)驗(yàn)中使用K=64 能夠獲得最佳效果。
在每個(gè)特征通道上計(jì)算梯度時(shí),對(duì)圖像中的每一個(gè)像素點(diǎn)(x,y),以像素點(diǎn)(x,y)為圓心,做一個(gè)半徑為r 的圓形,用傾斜角為θ 的直線(xiàn)劃分圓形為兩個(gè)區(qū)域,分別做出兩個(gè)半圓盤(pán)區(qū)域中每一個(gè)像素點(diǎn)的灰度直方圖,代入到距離公式中進(jìn)行計(jì)算,獲得像素點(diǎn)(x,y)在θ方向上的梯度值G(x,y,θ):
為充分檢測(cè)圖像中的復(fù)雜結(jié)構(gòu),本文使用三個(gè)尺度[σ/2,σ,2σ]進(jìn)行梯度信號(hào)的計(jì)算,然后將不同尺度下的梯度信號(hào)線(xiàn)性結(jié)合得到最終的梯度方向信號(hào):
其中i 表示特征通道(亮度,顏色a,顏色b 和紋理),s 表示尺度索引
譜聚類(lèi)將方向梯度信號(hào)輸出的局部信息進(jìn)行全局化,使用點(diǎn)互信息[9]構(gòu)造一個(gè)稀疏對(duì)稱(chēng)親和矩陣W來(lái)度量像素之間的親和關(guān)系。同時(shí)使用像素的亮度、顏色和紋理特征:
求解的廣義特征向量{v0,v1,...vn}對(duì)應(yīng)于n+1 個(gè)最小特征值λ(本文設(shè)置n=16)。
方向梯度值和譜聚類(lèi)結(jié)果分別攜帶局部邊緣線(xiàn)索和全局邊緣線(xiàn)索,使用線(xiàn)性結(jié)合以獲得最終邊緣概率:
基于方向梯度的邊緣檢測(cè)算法將文化圖案的位于邊緣的像素點(diǎn)標(biāo)記出來(lái),檢測(cè)出線(xiàn)條連續(xù)的文化圖案,本文以此結(jié)果為基礎(chǔ),結(jié)合壓縮理論與韋伯定律,提出一種基于邊緣先驗(yàn)的層次分割算法。算法通過(guò)檢測(cè)圖像的顏色、紋理、區(qū)域尺度與空間交織特征,迭代合并具有相似圖像特征的像素,最終實(shí)現(xiàn)文化圖案的層次分割。整體算法步驟如表1所示。
表1:圖像區(qū)域特征提取算法
本文實(shí)驗(yàn)所用圖像均為文化數(shù)據(jù)集中的圖像,部分由本人從研究文化的書(shū)籍中掃描,部分來(lái)源于網(wǎng)絡(luò)公開(kāi)圖像。如圖1所示為兩類(lèi)文化圖像的層次分割結(jié)果,其區(qū)別是圖像中的文化圖案是否連接在一起。對(duì)于第一類(lèi)圖像,圖案之間有明顯的區(qū)分,圖案之間沒(méi)有發(fā)生連接,為高區(qū)分度圖像。對(duì)于第二類(lèi)圖像,分割圖案之間相距很近甚至連接在一起,容易被劃分為一個(gè)圖案,為低區(qū)分度圖像。
圖1:低區(qū)分度圖像層次分割結(jié)果
本文使用其他分割算法與本文提出的算法進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比,選擇文化數(shù)據(jù)集作為實(shí)驗(yàn)圖像,驗(yàn)證本文算法在文化圖案上的分割效果優(yōu)于其他區(qū)域分割算法。區(qū)域分割算法眾多,本文選擇GBIS[1]和MNCut[12][13]兩種算法進(jìn)行對(duì)比。這兩種算法是目前應(yīng)用最為廣泛的圖像分割算法,學(xué)術(shù)界通過(guò)優(yōu)化和改進(jìn)這兩種算法使得圖像分割在多個(gè)領(lǐng)域中大放異彩。GBIS 是基于圖論的算法,通過(guò)度量區(qū)域之間的邊緣強(qiáng)度來(lái)合并分割區(qū)域,設(shè)置不同閾值獲得不同的分割結(jié)果。MNCut 算法是NCut 的改進(jìn),在多尺度下進(jìn)行Ncut 算法,獲得復(fù)雜度低而效果更好的分割結(jié)果。GBIS 和MNCut 算法不是層次分割算法,因此本文調(diào)整算法參數(shù)獲得區(qū)域數(shù)相同的分割結(jié)果進(jìn)行實(shí)驗(yàn)對(duì)比。如圖2所示。
圖2:高區(qū)分度圖像層次分割結(jié)果
如圖3所示,實(shí)驗(yàn)選取了文化圖案中的花作為輸入,并且與應(yīng)用最為廣泛的GBIS 和MNCut 算法進(jìn)行對(duì)比。實(shí)驗(yàn)中設(shè)置分割區(qū)域數(shù)為12。圖3 中,每一行第一列為原圖,每一行第二、三、四列依次為GBIS、MNCut 和本文算法分割實(shí)驗(yàn)結(jié)果。第一行中GBIS算法無(wú)法分割出圖像的基本區(qū)域,分割結(jié)果無(wú)法辨識(shí),MNCut 算法能夠分割出圖像的基本區(qū)域,但是邊緣粗糙,與原圖差距較大,本文算法分割出的區(qū)域相較于前兩張更加完整,并且符合人類(lèi)視覺(jué)感知。第二行中GBIS 算法能夠分割出圖像基本區(qū)域,但是不完整,圖中右下角的花沒(méi)有分割出來(lái),MNCut 算法能夠分割出部分區(qū)域,但另一部分區(qū)域與背景混雜,無(wú)法辨識(shí),本文算法能夠完整分割出所有區(qū)域,并且辨識(shí)度高。第三行中GBIS基本能夠分割出所有區(qū)域,但是在圖像中花朵、葉子和背景分割到了一起,MNCut 算法能夠分割出部分區(qū)域,但是與原圖相差較大,本文算法能夠分割出完整區(qū)域并且與原圖相似。從實(shí)驗(yàn)結(jié)果可以看出,本文算法分割結(jié)果區(qū)域完整,更加接近人類(lèi)對(duì)區(qū)域分割的視覺(jué)感知,并且保留了更多細(xì)節(jié)。
圖3:區(qū)域合并算法實(shí)驗(yàn)對(duì)比
為了驗(yàn)證本文算法的先進(jìn)性,采用分割覆蓋度量(Segmentation Covering)[14]、概率蘭德指數(shù)(Probabilistic Rand Index,PRI)[15]和信息變化度量(Variation of Information,VI)[16]三個(gè)客觀(guān)評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)分割結(jié)果。
將GBIS、MNCut 和本文算法在文化數(shù)據(jù)集圖像200 張上進(jìn)行分割測(cè)試,客觀(guān)評(píng)價(jià)結(jié)果如表2所示。
表2:客觀(guān)評(píng)價(jià)結(jié)果
針對(duì)現(xiàn)有分割算法應(yīng)用于文化圖案分割時(shí)出現(xiàn)的線(xiàn)條斷裂和區(qū)域缺失問(wèn)題,本文提出一種基于邊緣先驗(yàn)的圖像層次分割算法。將輸入圖像顏色空間從RGB 空間轉(zhuǎn)換到Lab 空間,使用圖像顏色、紋理和亮度特征在多方向多尺度上計(jì)算圖像邊緣,保證文化圖案的線(xiàn)條連續(xù),對(duì)于圖像其他區(qū)域,使用顏色、紋理、區(qū)域和交織特征進(jìn)行壓縮與合并,獲得圖像層次分割結(jié)果。實(shí)驗(yàn)表明,本文算法能夠提取線(xiàn)條連續(xù)和區(qū)域完整的文化圖案,同時(shí)對(duì)其他類(lèi)型文化圖案具有普適性。