王 爽 袁葦航

1(江蘇經(jīng)貿(mào)職業(yè)技術(shù)學院 江蘇 南京 211168)2(南京大學計算機軟件新技術(shù)國家重點實驗室 江蘇 南京 210046)

0 引 言

當前，數(shù)碼印花作為一種新型的印花方式，憑借其效率高、打樣成本低、印制效果好、污染少等優(yōu)點，越來越能夠滿足印花消費市場中日趨多樣的需求。但是，在數(shù)碼印花的實際生產(chǎn)過程中，矢量印花圖樣的設(shè)計主要通過藝術(shù)家設(shè)計或者人工摳圖的方式完成，存在成本高、周期慢等問題，制約了數(shù)碼印花企業(yè)生產(chǎn)能力提升。因此，從大量成型印花圖像中自動發(fā)現(xiàn)滿足設(shè)計意圖的印花圖樣，并合成提取印花圖樣，形成新的印花圖像，能夠大幅度簡化印花圖像的創(chuàng)作和設(shè)計過程，達到為印花企業(yè)個性化印染降低設(shè)計成本的目的。

本文主要討論采用重復模式發(fā)現(xiàn)的方法從印花圖像中自動識別和提取印花圖樣，尤其是種類和大小分布不均，識別和提取困難較大的印花圖樣。

已有的重復模式方法在處理框架上主要分為兩類。第一類從重復模式的定義出發(fā)，利用模式內(nèi)容的一致性推理重復模式。例如：Liu等[1]將重復模式表示為低層特征點的空間組合，并用貪心的隨機自適應搜索對圖像的重復模式統(tǒng)一表示進行優(yōu)化，該方法能夠處理非結(jié)構(gòu)性的重復模式空間排列形式，但對于多個對象實例組成的重復模式效率太低。Spinello等[2]根據(jù)低層興趣點和形狀特征學習字典，從而分析模式內(nèi)容的重復性，并用條件隨機場推理重復模式的空間排列結(jié)構(gòu)。文獻[3-6]通過在圖像中采樣高層圖像塊并進行仿射不變的內(nèi)容一致性分析，檢測內(nèi)容相似的圖像塊作為重復模式，并基于結(jié)構(gòu)完全場生成重復模式的空間排列結(jié)構(gòu)。這些方法雖然也對檢測到的重復模式進行空間分布的推理和發(fā)現(xiàn)，但在原理上它們只是將其作為一個后處理過程，難以滿足印花圖像中多種類型實例檢測的需求。

第二類重復模式發(fā)現(xiàn)方法從模式的空間分布出發(fā)，利用重復模式空間結(jié)構(gòu)的規(guī)則性發(fā)現(xiàn)重復模式，由于人造圖像中重復模式的空間分布結(jié)構(gòu)一般都為二維晶格結(jié)構(gòu)，所以本文只比較基于晶格模型的重復模式發(fā)現(xiàn)方法。Schindler等[7]通過隨機選取模式基元并建立晶格模型參數(shù)候選，通過投票機制確定晶格結(jié)構(gòu)模型。文獻[8-11]為了提高對于圖像視角變換或失真引起的晶格結(jié)構(gòu)的非剛性形變的魯棒性，在初始的晶格模型基礎(chǔ)上用馬爾可夫隨機場進行重復模式的優(yōu)化。這類方法通過模式空間分布的規(guī)則性推理模式，雖然可以解決第一類方法中無法解決的多類別問題，但對于模式內(nèi)容較為復雜的情況，比如出現(xiàn)不同大小的同種類型的對象時，會陷入局部最優(yōu)，無法滿足印花圖像的多尺度需求，因此不適用于印花圖像的重復模式發(fā)現(xiàn)。

為了解決印花圖像的多類型多尺度問題，本文提出了針對數(shù)字印花圖像的重復模式發(fā)現(xiàn)方法，將印花圖像表示為一個屬性圖，并將重復模式表示為屬性圖上特定粒度的子圖結(jié)構(gòu)。在建模的基礎(chǔ)上，設(shè)計了獲取對象重復模式的整體流程，通過結(jié)構(gòu)推理和對象內(nèi)容聚類來分析對象的尺度與類別，再通過圖像建模更新對象的空間結(jié)構(gòu)，最后利用重復性空間關(guān)系分析得到空間一致性對象，從而生成印花圖樣。實驗驗證了本文方法在印花圖像集上的有效性，并從定性和定量兩方面顯示了對比其他方法的優(yōu)勢。

1 重復模式建模

重復模式的宏觀定義為包含了圖像完整重復性元素的最小粒度對象組合，其中粒度是重復模式的尺度在具體的對象層面上的對應。完整重復性元素是指重復模式的尺度必須包含重復性對象和重復性對象空間分布，因此基于重復模式可以重建印花圖像。印花圖像間重復模式粒度存在較大差異，主要有兩種可能情況：1)單個對象，即重復模式的尺度是前景對象；2)多個對象以特定幾何結(jié)構(gòu)的分布，即重復模式的尺度是多個對象實例的空間組合，并且多個對象實例可能屬于相同類別但有不同狀態(tài)，也可能屬于多個類別。印花圖像的重復模式進行形式化表示，并對模式之間重復性的度量方式進行研究，使其能夠統(tǒng)一表示不同類別、尺度、狀態(tài)的對象所組成的不同粒度重復模式。

1.1 模式表示

本文采用一個有結(jié)構(gòu)的屬性圖來表示印花圖像中的全局對象信息，如圖1所示。對于圖像i，建立屬性圖Gi=(Vi,Ei)，對于Vi中的每個節(jié)點vj，其屬性代表該節(jié)點對應的對象j的中心坐標。若兩節(jié)點在圖像空間相鄰，則用一條邊連接，邊集Ei={eab:(va,vb,θab,dab),?a,b∈Pi,a≠b}，對于Ei中的每條邊eab，其屬性代表它將頂點va和vb相連，在圖像空間由頂點va到vb的角度方向為θab，并且長度為dab。由于構(gòu)成印花圖像的印花圖樣中組成元素分布均勻的特性，每個對象實例鄰接的對象實例在數(shù)量和幾何拓撲結(jié)構(gòu)上一般也都是相似的。

圖1 屬性圖示例

1.2 模式重復性度量

基于重復模式的屬性圖表示，較為直觀的模式重復性度量方法是通過計算子圖之間的同構(gòu)性對重復模式實例進行兩兩匹配。通過一個子圖匹配過程實現(xiàn)同一個屬性圖中子圖間同構(gòu)性的度量。

本文用一個匹配度矩陣M來表示屬性圖中頂點與頂點、邊與邊的匹配度，其中對角元素(ia,ia)表示頂點對(vi,va)之間的匹配度：

(1)

式中：A(vi,va)代表不同的前景對象i與a之間的相似度，只有當頂點所對應的對象類別、狀態(tài)一致時才能夠進行匹配。

子圖匹配問題是一個NP-hard問題，由于本文工作中兩兩重復模式的重復性度量這一子問題的數(shù)據(jù)規(guī)模較小，所以采用目前較為通用和高效的整數(shù)二次規(guī)劃方法[12](Integer Quadratic Programming)來對其進行優(yōu)化。每兩個子圖的匹配過程通過將一對匹配頂點作為初始化狀態(tài)，并在此基礎(chǔ)上推理最優(yōu)的匹配子圖。同時，由于屬性圖在較為稀疏的情況下即可表示重復對象及其空間分布關(guān)系，稀疏性可以作為約束直接對子圖匹配優(yōu)化進行剪枝，以進一步提高子圖匹配的效率：

(2)

式中：系數(shù)h>1/min(M)，以保證對于任意一對頂點i和j，若M中沒有能同時包含這兩個頂點的匹配邊，則yij直接固定為0。

2 方法設(shè)計

本文方法能夠自動發(fā)現(xiàn)多類型對象構(gòu)成的印花圖像中的多尺度重復模式，主要處理流程可分為如下兩個階段：混合表示生成階段和重復性對象空間組合分析階段。算法基本流程如圖2所示。

圖2 對象重復模式發(fā)現(xiàn)方法流程

1)在混合表示生成階段，首先利用圖像的低層特征檢測全局的對象實例候選，并以候選的對象實例作為初始化分別進行對象內(nèi)容的一致性分析和對象空間結(jié)構(gòu)分析。然后通過結(jié)合候選對象的內(nèi)容信息與空間結(jié)構(gòu)信息對候選對象進行過濾，并建立圖像的屬性圖。

2)在重復性對象空間組合分析階段，基于屬性圖模型，首先通過基于子圖匹配的重復性空間關(guān)系分析過程，分析同類對象實例間空間鄰接關(guān)系的一致性，用匹配的屬性子圖表示重復性對象空間組合，并將子圖匹配過程中的異常配對節(jié)點判斷為異常節(jié)點。其次判斷異常節(jié)點對所對應的對象實例之間的仿射變換、缺失等狀態(tài)，在屬性圖中更新對象實例狀態(tài)信息，從而迭代地進行對象實例的重復性空間關(guān)系分析和狀態(tài)更新，以優(yōu)化對象重復性和對象空間分布重復性信息。當圖像中的所有異常節(jié)點都被確定時，通過一個隨機抽樣一致算法[13](Random Sample Consensus)估計重復模式的晶格排列結(jié)構(gòu)參數(shù)，從而估計重復模式的尺度，并根據(jù)模式尺度提取重復模式實例。

利用這兩個階段分別實現(xiàn)了對象的“內(nèi)容一致性”和“空間結(jié)構(gòu)一致性”，從而滿足了印花圖像對多類別和多尺度的需求。

3 方法實現(xiàn)

3.1 結(jié)構(gòu)推理

通過計算空間相鄰的候選對象之間的局部位置關(guān)系，對輸入圖像建立全局的結(jié)構(gòu)圖，并根據(jù)候選對象的空間分布及顯著性信息估計候選對象的包圍框尺寸。由于給定了候選對象的中心位置后拓撲結(jié)構(gòu)合理的空間排列結(jié)構(gòu)不唯一，結(jié)構(gòu)推理的流程類似于基于產(chǎn)生器[4]的結(jié)構(gòu)推理方法。首先統(tǒng)計圖像中相鄰候選對象之間邊的角度，確定空間結(jié)構(gòu)的顯著方向。然后根據(jù)每種候選排列約束對每個候選對象生成相應的產(chǎn)生器，計算產(chǎn)生器之間的連接生成候選的圖像空間結(jié)構(gòu)，并利用候選的結(jié)構(gòu)圖結(jié)合圖像顯著性信息估計每個候選對象的包圍框，如圖3所示。

圖3 候選對象包圍框

由于構(gòu)成印花圖像的印花圖樣中組成元素分布均勻的特性，每個對象實例鄰接的對象實例在數(shù)量和幾何拓撲結(jié)構(gòu)上一般也都是相似的，因此本文令印花圖像結(jié)構(gòu)圖中所有節(jié)點的度約束不大于4，從而保證拓撲結(jié)構(gòu)的稀疏性。

3.2 對象內(nèi)容聚類

由于印花圖像中對象的語義性較弱，難以建立統(tǒng)一的類別標注標準，因此已有的有監(jiān)督對象分類方法均難以適應。所以本文采用基于視覺詞袋(Bag-of-visual-word)特征模型和Mean-shift聚類的無監(jiān)督對象內(nèi)容一致性分析方法。

首先對輸入圖像提取低層圖像特征SIFT描述子。為了提高特征描述子的尺度，使其能夠有效表示候選對象，對每個候選對象建立視覺詞袋模型以獲得對象尺度的特征。然后使用Torii等[14]提出的軟匹配算法和近似K近鄰算法[15]，對特征點集中的每個特征點計算臨近的視覺單詞。

由于單幅印花圖像中對象類別數(shù)目不確定，因此本文通過自適應確定類別數(shù)量的Mean-shift聚類算法判斷候選對象的內(nèi)容一致性。

3.3 圖像建模

候選對象的聚類是對候選對象內(nèi)容信息的檢測，因此可以利用該信息對初始候選對象進行過濾，并更新對象的空間結(jié)構(gòu)。根據(jù)候選對象的位置、包圍框尺寸、類別、空間結(jié)構(gòu)，我們可以對印花圖像建立屬性圖模型。

首先根據(jù)候選對象的顯著性均值對候選對象的包圍框進行非極大值抑制(Non Maximum Suppression, NMS)，將過于臨近并且顯著度較低的候選對象標記為異常點，并將抑制每個異常點的節(jié)點記錄為父節(jié)點。若異常點與其父節(jié)點類別一致，則說明該節(jié)點同屬于一個前景對象，因此將異常點丟棄；若不一致則保留。

對過濾后的候選對象集合重新建立候選對象空間結(jié)構(gòu)，并在不同頂點度約束候選空間結(jié)構(gòu)中判斷最佳空間結(jié)構(gòu)，如圖4所示(其中虛線方框內(nèi)的點代表異常點，k=2時為最優(yōu)結(jié)構(gòu))。

圖4 候選空間結(jié)構(gòu)

3.4 重復性空間關(guān)系分析

重復模式包括重復對象及重復性對象空間分布，基于圖像屬性圖提出的子圖匹配算法度量圖像中任意粒度的重復性對象空間分布關(guān)系，獲得子圖形式表示的重復性對象空間組合，從而確定同類對象實例之間空間鄰接關(guān)系一致性，提高重復性分析的粒度，以輔助重復模式尺度的發(fā)現(xiàn)。

根據(jù)圖像的屬性圖建立n×n維匹配度矩陣M，對每類重復對象集合建立一個親和度矩陣以統(tǒng)計同類對象間的空間鄰接關(guān)系的一致性，同時減少重復計算。迭代地計算對象間重復性空間關(guān)系，得到子圖匹配結(jié)果。異常節(jié)點對為匹配的子圖中匹配的節(jié)點對相鄰接的無法匹配的節(jié)點對，如圖5所示(上下兩個連通區(qū)域中對應的點為匹配節(jié)點，不對應的節(jié)點為異常節(jié)點)。

圖5 重復性對象空間關(guān)系分布示意圖

4 實驗結(jié)果與分析

本文數(shù)碼印花數(shù)據(jù)集由印染廠商提供并整理的509幅印花圖像。對象實例標注采用人工指定實例中心以及設(shè)置重復模式的尺度。使用者只需標注圖像設(shè)計模式尺度內(nèi)的對象實例，標注的對象實例可按照晶格模型延伸到整個圖像空間，從而降低人工標注的成本。

4.1 方法定性分析

為驗證本文方法的有效性，分別對非遮擋對象組成的印花圖像集中單類單尺度、多類單尺度和多類多尺度對象組成的印花圖像進行了重復模式發(fā)現(xiàn)，最終檢測并提取的重復模式實例如圖6所示。其中一個連通子圖代表一個重復模式實例，灰色矩形框代表了重復模式尺度?？梢钥闯?，對于多類實例對象中不同類別和尺度重復對象組成的多尺度重復模式，本文算法都能準確發(fā)現(xiàn)模式尺度，并提取重復模式實例。

圖6 重復模式發(fā)現(xiàn)結(jié)果

4.2 方法定量分析

已有重復模式發(fā)現(xiàn)方法主要分為利用模式內(nèi)容的一致性與利用重復模式空間結(jié)構(gòu)的規(guī)則性兩類，分別選擇具有代表性的文獻[8]和文獻[3]方法，設(shè)計實驗進行模式實例檢測有效性和算法執(zhí)行效率的比較。

由于有效重復模式實例不唯一，難以直接與Ground-Truth標注的模式實例對比從而驗證模式實例檢測的有效性，而已有重復模式發(fā)現(xiàn)方法中，文獻[9]提出的同質(zhì)性(Homogeneity score，H-score)指標可以有效測量檢測的重復模式實例之間的內(nèi)容一致性，從而對重復模式實例的檢測結(jié)果進行評價。對于每幅圖像中檢測的不同重復模式實例，其包圍框尺寸可能不一致，本文將其通過仿射變換統(tǒng)一映射為50×50的圖像塊。計算每幅印花圖像中重復模式實例的同質(zhì)性得分為：

H=median{std(I(1)),std(I(2)),…,std(I(m))}

(3)

式中：std(I(i))為圖像I中重復模式實例之間第i個像素值的標準差；歸一化的重復模式實例圖像塊共有m個像素；median{}表示輸出中值的函數(shù)。對不同方法中對象尺度匹配成功的重復模式實例進行有效性檢測，對重復模式實例的圖像塊中所有像素的標準差取中位數(shù)作為該圖像的H-score，并對每類數(shù)據(jù)集計算H-score的均值和標準差，實驗結(jié)果如表1所示。

表1 本文方法與已有方法的平均成功率比較 %

可以看出，本文提出的重復模式發(fā)現(xiàn)方法在三類子集上的H-score均低于已有方法，表示本文方法發(fā)現(xiàn)的重復模式實例內(nèi)容一致性更高。由于文獻[8]算法無法區(qū)分重復對象之間可能的狀態(tài)信息，因此它容易將內(nèi)容近似的對象作為重復模式，導致重復模式實例之間內(nèi)容差異較大。而文獻[3]方法在初始化重復模式實例鄰域內(nèi)搜索內(nèi)容相似圖像塊并更新重復模式實例，容易陷入局部最優(yōu)(如圖6中多尺度多類別對象構(gòu)成的重復模式檢測結(jié)果所示)。因為本文算法基于重復對象及其空間分布關(guān)系發(fā)現(xiàn)重復模式實例，所以對于對象子集中不同圖像的檢測結(jié)果較為魯棒，H-score的標準差均低于已有方法。而由于人工標注Ground-Truth存在誤差，本文方法對于多類多尺度對象的H-score均值和單類單尺度對象的H-score標準差均低于Ground-Truth的標注結(jié)果。

同時，我們通過度量不同算法在不同數(shù)據(jù)集的平均執(zhí)行時間來評價重復模式發(fā)現(xiàn)方法的效率。實驗結(jié)果如表2所示。由于本文算法的平均執(zhí)行時間與重復模式尺度以及圖像中的對象實例數(shù)量正相關(guān)，而單類單尺度對象和多類單尺度對象組成的印花圖像大多對象實例數(shù)量較少，并且重復模式尺度較小，因此算法的平均執(zhí)行時間得到了一定的改善，而對于多類多尺度對象，本文方法的平均執(zhí)行時間也與效率較高的已有算法大致近似。

表2 與已有方法的平均執(zhí)行時間比較

5 結(jié) 語

本文提出了一種同時利用對象實例的重復性與對象實例之間空間分布的重復性共同發(fā)現(xiàn)重復模式尺度并檢測模式實例的方法，不僅能檢測由實例對象組成的印花圖像中可能存在的多類和多尺度重復對象，還能基于圖像中的對象實例信息高效自動地發(fā)現(xiàn)重復模式的尺度，并有效提取圖像中由對象實例之間空間組合而成的重復模式實例。本文方法為重復模式發(fā)現(xiàn)提供了一個新思路，并且為基于重復模式的印花圖樣創(chuàng)作提供了一個新途徑，避免了從無到有的高成本印花圖樣創(chuàng)作過程。