歐陽(yáng)昭相

摘要：針對(duì)少數(shù)民族服飾具有的典型紋樣圖案和款式特征，提出一種基于區(qū)域一圖非對(duì)稱匹配的少數(shù)民族服飾圖像檢索方法，首先利用gPb-OWT-UCM算法對(duì)檢索圖像進(jìn)行區(qū)域分割，然后將分割后圖像中的每個(gè)區(qū)域特征與未分割的待檢索圖像進(jìn)行基于動(dòng)態(tài)規(guī)劃的非對(duì)稱匹配，并通過評(píng)估匹配組的布局一致性計(jì)算少數(shù)民族服飾圖像之間的相似度，最后通過排序?qū)崿F(xiàn)圖像檢索任務(wù)。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)基于外觀特征的方法相比，該方法不僅可以獲得較好的圖像檢索效果，還可以通過相似區(qū)域匹配結(jié)果呈現(xiàn)不同少數(shù)民族服飾獨(dú)有的風(fēng)格特征，為少數(shù)民族服飾文化的數(shù)字化保護(hù)與傳承提供有效途徑。

關(guān)鍵詞：圖像匹配;圖像檢索;少數(shù)民族服飾

DOI：10.11907/rjdk.201439開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）005-0227-04

0 引言

隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展以及數(shù)字信息技術(shù)、多媒體技術(shù)的廣泛應(yīng)用，數(shù)字媒體資源數(shù)量的快速增長(zhǎng)使得人們很難從大數(shù)據(jù)中獲取有效且有價(jià)值的信息。因此，圖像檢索技術(shù)成為近年來數(shù)字圖像應(yīng)用領(lǐng)域的一個(gè)研究熱點(diǎn)，并已成功應(yīng)用于自然圖像、醫(yī)學(xué)圖像等圖像檢索中。少數(shù)民族服飾是民族文化的重要體現(xiàn)之一，從計(jì)算機(jī)視覺角度分析民族服裝視覺特征，不僅可以準(zhǔn)確描述并迅速分析民族服飾表現(xiàn)出的顏色、紋理、形狀等顯著特征，還可挖掘出更深層次、人類肉眼無法識(shí)別的潛在信息，幫助學(xué)者更客觀、全面、深入地進(jìn)行民族服飾研究。目前，在民族服裝圖像資源檢索應(yīng)用方面，隨著多媒體技術(shù)的迅速發(fā)展，少數(shù)民族服裝學(xué)術(shù)研究、藝術(shù)設(shè)計(jì)等領(lǐng)域的需求也在不斷擴(kuò)大，但實(shí)際上在網(wǎng)絡(luò)龐大的數(shù)據(jù)庫(kù)中尋找適合的少數(shù)民族服飾圖像資源時(shí)，很多時(shí)候并不能得到令人滿意的結(jié)果。其原因除少數(shù)民族服飾資源相對(duì)較少外，更多的是因?yàn)榕c普通自然圖像視覺特征相比，少數(shù)民族服飾蘊(yùn)含特征突出、色彩絢麗、紋理復(fù)雜、圖騰豐富，而傳統(tǒng)基于手工設(shè)計(jì)特征的檢索方法存在很大的局限性，從而給圖像檢索帶來了很大挑戰(zhàn)。

近年來隨著服裝網(wǎng)絡(luò)市場(chǎng)需求的不斷增長(zhǎng)，服裝分割、檢索等方面研究得到越來越多關(guān)注，一些學(xué)者也進(jìn)行了少數(shù)民族服飾圖像檢索相關(guān)研究。如申旭梅等提出一種基于顏色與邊緣方向直方圖特征的少數(shù)民族服飾檢索方法，并在其自建的包含白族、景頗族、哈尼族、苗族、布依族、佤族共6個(gè)民族的少數(shù)民族服飾圖像數(shù)據(jù)集上進(jìn)行驗(yàn)證。針對(duì)傳統(tǒng)基于全局特征圖像檢索方法的不足，趙偉麗等提出一種基于區(qū)域綜合匹配的民族服裝圖像檢索方法，通過模糊顏色直方圖對(duì)不同顏色區(qū)域提取紋理、形狀等特征，再進(jìn)行區(qū)域一區(qū)域的加權(quán)匹配與檢索。但由于該方法對(duì)區(qū)域的劃分依賴于顏色信息，會(huì)出現(xiàn)不準(zhǔn)確的情況，因此區(qū)域匹配的優(yōu)勢(shì)并未得到體現(xiàn)。由于少數(shù)民族服裝包含的視覺信息更加豐富和抽象，傳統(tǒng)基于底層設(shè)計(jì)方法的特征表征能力與可辨別性較差，在應(yīng)用中存在很大的局限性，還需探索更有效的民族服飾圖像檢索方法。

因此，本文提出一種基于區(qū)域一圖非對(duì)稱匹配的少數(shù)民族服飾圖像檢索方法，充分利用不同少數(shù)民族服飾在紋樣圖案和款式等方面表現(xiàn)出的顯著特征，通過評(píng)估檢索圖像分割區(qū)域與待檢索圖像之間非對(duì)稱匹配組的布局一致性，計(jì)算兩幅圖像的相似性，最終完成少數(shù)民族服飾檢索。

1 算法描述

本文首先采用gPb-OWT-UCM算法對(duì)少數(shù)民族服飾圖像進(jìn)行輪廓檢測(cè)與分割，然后利用區(qū)域一圖的點(diǎn)匹配算法計(jì)算少數(shù)民族服飾圖像的相似性，最后通過相似度排序完成民族服飾圖像檢索。

1.1 輪廓檢測(cè)與分割

全局邊緣概率一方向分水嶺變換和超度輪廓圖（globalized Probability of boundary.Oriented Watershed Transform and UCM，gPb-OWT-UCM）算法是一種自底向上的分割方法，其中超度輪廓圖（Uhrametric Contour Map，UCM）是Arbelaez等提出的基于邊緣檢測(cè)的圖像層次分割方法。該方法自底向上進(jìn)行圖像層次分割，通過多次迭代進(jìn)行區(qū)域合并從而構(gòu)造一種加權(quán)輪廓圖，其顯著特點(diǎn)是可以通過設(shè)置任何閾值產(chǎn)生一組閉合曲線。定義初始分割圖G=（P₀，K₀，W（K₀）），其中區(qū)域P₀為圖的節(jié)點(diǎn)，連接相鄰區(qū)域的邊K₀為圖的邊，相鄰區(qū)域的不相似性度量W（K₀）為邊的權(quán)重，gPb-OWT-UCM算法描述如下：

輸入：CPb檢測(cè)器生成的初始輪廓圖，OWT初始化邊權(quán)重W（K₀）。

輸出：迭代分割結(jié)果。

Stepl：選擇W（K₀）中權(quán)重最小的邊。

Step4：如果K0為空，則停止迭代;否則更新權(quán)重W（K₀），并執(zhí)行Stepl。

該過程也可理解為區(qū)域樹的生成過程，葉子節(jié)點(diǎn)是區(qū)域P₀的初始元素，根是整幅圖像。通過區(qū)域的不相似性對(duì)邊進(jìn)行排序，不斷迭代合并最相似的區(qū)域進(jìn)行UCM層次分割，在每一層次分割過程中刪除當(dāng)前權(quán)重最小的邊，而剩余邊緣權(quán)重都大于被刪除的邊緣權(quán)重，從而構(gòu)建一個(gè)多種尺度下具有索引層次結(jié)構(gòu)的輪廓圖，最終通過選取尺度得到合適的輪廓作為最佳分割結(jié)果。

1.2 區(qū)域一圖點(diǎn)匹配

由于圖像特征局部描述符如SIFT對(duì)部分遮擋、光照變化和雜波具有魯棒性，因此在目標(biāo)識(shí)別和圖像檢索任務(wù)中經(jīng)常使用這些局部特征完成點(diǎn)一點(diǎn)匹配。但在進(jìn)行基于外觀的特征匹配時(shí)，如果單獨(dú)使用局部特征則容易受到噪聲影響，通常會(huì)附加一些幾何約束在初始點(diǎn)匹配池中選擇一致的匹配點(diǎn)。Kim等提出一種基于密集SIFT特征的匹配算法，根據(jù)自底向上分割結(jié)果的分組匹配對(duì)具有非參數(shù)幾何約束的一般對(duì)象進(jìn)行比較，具體描述如下：

輸人：分割后的圖像I₁，未分割的待匹配圖像I₂。

輸出：兩幅圖像匹配分?jǐn)?shù)s。

Stepl：提取兩幅圖像的密集SIFT特征。

Step2：將圖像I₁每個(gè)區(qū)域內(nèi)的網(wǎng)格（grid）中心看作一個(gè)點(diǎn)，然后分別從縱向和橫向?qū)⑦@些匹配點(diǎn)用“字符串”形式進(jìn)行串聯(lián)表示，即P_i（p₁…，p_li）。其中l(wèi)_i表示第i個(gè)區(qū)域內(nèi)點(diǎn)的個(gè)數(shù)，pk與p_k+l是相鄰點(diǎn)。

Step3：通過SIFT匹配為“字符串”的每個(gè)點(diǎn)在圖I₂中尋找候選匹配點(diǎn)集C：[C₁，…，C_li），其中C_k為點(diǎn)p_k對(duì)應(yīng)的候選匹配點(diǎn)集。

Step4：通過動(dòng)態(tài)規(guī)劃從候選匹配點(diǎn)集中尋找最優(yōu)匹配M*={m₁，…，m₂}，其中m_k∈C_k。

Step5：假設(shè){（p₁，m₁），…，（p_n，m_n）}為所有n個(gè)點(diǎn)的匹配點(diǎn)集合，定義圖I₁、圖I₂的匹配分?jǐn)?shù)s為：

其中，函數(shù)G（·）表示幾何形變項(xiàng)，A（·）表示外觀相似性項(xiàng)，O（·）表示序約束項(xiàng)，D（·）表示位移約束項(xiàng)，且每一項(xiàng)都設(shè)置了不同權(quán)重值。

在匹配過程中，首先尋找分割圖像上每個(gè)區(qū)域的點(diǎn)與未分割圖像內(nèi)點(diǎn)之間的對(duì)應(yīng)組，然后通過動(dòng)態(tài)規(guī)劃目標(biāo)求解有效增強(qiáng)每個(gè)區(qū)域一圖像匹配組的布局一致性，最后通過評(píng)估對(duì)應(yīng)組并集的外觀和幾何一致性計(jì)算兩幅圖匹配程度。該方法是一種非對(duì)稱匹配，其允許不同區(qū)域內(nèi)匹配之間的變形，尤其在匹配非剛性對(duì)象的每個(gè)部分或計(jì)算多對(duì)一匹配時(shí)具有更大的靈活性。

1.3 相似度計(jì)算與圖像檢索

通過上述步驟即可得到兩幅圖的匹配分?jǐn)?shù)，分?jǐn)?shù)越高，表示兩幅圖像越相似。通過計(jì)算數(shù)據(jù)集中所有兩兩圖像之間的匹配分?jǐn)?shù)即可得到一個(gè)相似矩陣S，如式（5）所示。

其中，s_i，j代表第i幅查詢圖像與數(shù)據(jù)集中第j幅圖像之間的相似度，顯然S是一個(gè)對(duì)稱矩陣，其主對(duì)角線上的元素值均為1。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)說明

本實(shí)驗(yàn)采用的少數(shù)民族服飾數(shù)據(jù)集共有600幅圖像，包含白族、景頗族、哈尼族、苗族、布依族、佤族6個(gè)民族各100幅服飾圖像。該數(shù)據(jù)集圖像大多來源于網(wǎng)絡(luò)，圖像分辨率較低，圖像像素為128x96或96x128。大部分服飾圖像中有多個(gè)服飾對(duì)象，或具有復(fù)雜背景。

2.2 評(píng)價(jià)指標(biāo)

將本實(shí)驗(yàn)數(shù)據(jù)集中每一幅圖像都作為查詢圖像進(jìn)行檢索，并根據(jù)相似度排序返回排名靠前的若干相關(guān)圖像，然后通過計(jì)算平均查準(zhǔn)率（Average Precision，AP）和平均查全率（Average Recall，AR）評(píng)價(jià)算法檢索性能。AP和AR計(jì)算方法如式（6）、式（7）所示。

其中，N為查詢圖個(gè)數(shù)，P_i、P_i分別為第i幅查詢圖像的檢索查準(zhǔn)率和查全率，N_k為檢索返回前k個(gè)圖像中的正確圖像個(gè)數(shù)，N_A為檢索返回圖像個(gè)數(shù)，N_i為第i幅圖像在數(shù)據(jù)集中相關(guān)圖像個(gè)數(shù)。

2.3 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)中圖像輪廓檢測(cè)與分割采用文獻(xiàn)[11]的算法代碼，參數(shù)設(shè)置相同。在提取SIFT特征時(shí)，采樣步長(zhǎng)nstep設(shè)置為6，采樣grid尺度設(shè)置為4個(gè)尺度[4，6，8，10];在動(dòng)態(tài)規(guī)劃代價(jià)函數(shù)計(jì)算過程中，參數(shù)ω_g，ω_a，ω_o，ω_d分別設(shè)置為1.0、1.25、1.5、4.0。

2.4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法在少數(shù)民族服飾圖像檢索中的性能，實(shí)驗(yàn)從兩方面進(jìn)行對(duì)比與分析。

2.4.1 圖像匹配效果

本文采用的區(qū)域一圖匹配算法首先需要進(jìn)行圖像輪廓檢測(cè)與分割，然后進(jìn)行匹配。下面給出兩組實(shí)驗(yàn)，如圖l、圖2所示。

從圖l中第一行匹配結(jié)果可以看到，該算法對(duì)白族代表性帽飾中的元素都能進(jìn)行較好的匹配;第二行是多個(gè)對(duì)象區(qū)域的匹配效果，進(jìn)一步說明了區(qū)域一圖非對(duì)稱匹配不是僅局限于區(qū)域一區(qū)域的匹配，而是可以在被匹配圖像中任何區(qū)域進(jìn)行匹配。圖2為采用區(qū)域一圖非對(duì)稱匹配與經(jīng)典SIFT算法匹配效果對(duì)比。本組實(shí)驗(yàn)中匹配圖像是一幅具有復(fù)雜背景的服飾圖像，第一行匹配為本文采用的區(qū)域一圖非對(duì)稱匹配效果，可以看到對(duì)于服飾上部分帽飾穗子以及腰間、袖口、前襟、褲腿上的花紋圖案都能進(jìn)行很好的匹配，相比之下，由于受到復(fù)雜背景的影響，SIFT算法匹配效果不是很理想。

通過以上兩組實(shí)驗(yàn)可以得出，由于基于區(qū)域一圖的非對(duì)稱匹配通過UCM層次分割過濾了背景等干擾因素，在匹配過程中考慮了外觀相似性和幾何一致性，同時(shí)允許不同區(qū)域內(nèi)匹配之間的變形，因此在少數(shù)民族服飾匹配中具有顯著優(yōu)勢(shì)。

2.4.2 圖像檢索性能

本組實(shí)驗(yàn)對(duì)不同方法的檢索性能進(jìn)行分析與對(duì)比。圖3為當(dāng)檢索返回的圖像數(shù)量從l增加到100時(shí)的平均檢索準(zhǔn)確率變化曲線，可以看到隨著檢索返回圖像數(shù)量不斷增加，平均檢索準(zhǔn)確率逐漸下降，從返回l幅時(shí)的100%下降至返回100幅時(shí)的約30%，其原因是當(dāng)檢索返回圖像數(shù)量增多時(shí)，檢索難度隨之增加。同時(shí)也看到由于服飾款式及顏色多樣，以及圖像分辨率低、背景復(fù)雜等原因，少數(shù)民族服飾檢索存在巨大的挑戰(zhàn)。

將不同方法在檢索性能上的表現(xiàn)進(jìn)行對(duì)比，檢索返回前12幅圖像的檢索準(zhǔn)確率與查全率，比較結(jié)果如表l所示。

其中，HOG、LBP、LDP分別為方向梯度直方圖、局部二進(jìn)制模式和局部方向模式，均為基于紋理、方向的統(tǒng)計(jì)特征，相比之下，LDP特征描述了圖像紋理和形狀特征，具有較強(qiáng)的特征辨別能力。從對(duì)比結(jié)果可以看出，LDP準(zhǔn)確率稍高于HOG和LBP，但這些基于外觀統(tǒng)計(jì)特征的方法易受到復(fù)雜背景等于擾因素影響，而本文方法通過服飾分割和非對(duì)稱匹配更關(guān)注于服飾部分特征，因此得到了較高的平均查準(zhǔn)率和平均查全率。圖4展示了檢索返回的前10幅圖像結(jié)果示例，其中每一行第一幅圖像為相應(yīng)查詢圖像，方框?yàn)殄e(cuò)誤結(jié)果。從檢索結(jié)果可以看出，本文方法對(duì)于分辨率較低的少數(shù)民族服飾圖像，在具有復(fù)雜背景、多服飾對(duì)象、部分偏轉(zhuǎn)等情況下大多仍表現(xiàn)較好。

3 結(jié)語(yǔ)

本文提出一種基于圖像匹配的少數(shù)民族服飾圖像檢索方法，該方法首先對(duì)檢索圖像進(jìn)行區(qū)域分割，然后與圖像集中的待檢索圖像進(jìn)行基于區(qū)域一圖的非對(duì)稱匹配，最后通過評(píng)估匹配結(jié)果計(jì)算少數(shù)民族服飾圖像之間的相似度，從而完成檢索任務(wù)。實(shí)驗(yàn)結(jié)果表明，本文方法能夠獲得較好的檢索效果，尤其對(duì)于具有圖騰圖案或獨(dú)特款式等顯著特征的少數(shù)民族服飾檢索具有一定優(yōu)勢(shì)。然而，由于數(shù)據(jù)集圖像分辨率低且存在復(fù)雜背景，還需結(jié)合少數(shù)民族服飾顏色和紋理等特征以進(jìn)一步提高檢索準(zhǔn)確率。