盧 明，侯小剛，韓曉彤，趙海英，4

1.甘肅讀者動漫科技有限公司，蘭州 730030

2.北京郵電大學(xué) 人工智能學(xué)院，北京 100876

3.北京郵電大學(xué) 數(shù)字媒體與設(shè)計藝術(shù)學(xué)院，北京 100876

4.北京郵電大學(xué) 世紀學(xué)院 移動媒體與文化計算北京市重點實驗室，北京 102101

傳統(tǒng)紋飾是中華優(yōu)秀文化的重要載體，對傳統(tǒng)紋飾的挖掘與理解是進行中華優(yōu)秀傳統(tǒng)文化傳承的重要途徑之一[1-2]?，F(xiàn)今對傳統(tǒng)紋飾相關(guān)解讀大多由領(lǐng)域?qū)＜覍?shù)據(jù)進行整理以傳統(tǒng)媒介的方式呈現(xiàn)，任務(wù)量大且呈現(xiàn)內(nèi)容有限。如何利用計算機手段輔助實現(xiàn)傳統(tǒng)紋樣的演化分析研究，具有重要的現(xiàn)實意義[3-4]。本文提出一種基于知識推理技術(shù)開展對傳統(tǒng)紋飾挖掘與解讀的新方法，首先對從新石器時代到清朝結(jié)束各個時期不同地域紋飾的相關(guān)知識與特定形態(tài)進行分析，然后基于其基本信息構(gòu)建傳統(tǒng)紋飾語義網(wǎng)，最后使用知識推理相關(guān)技術(shù)開展對傳統(tǒng)紋飾演化過程的挖掘與解讀。

1 相關(guān)工作

目前，關(guān)于演化關(guān)系發(fā)現(xiàn)方法的研究主要集中在如下三個方面的研究：基于邏輯規(guī)則的關(guān)系推理、基于表示學(xué)習(xí)的關(guān)系推理和基于深度學(xué)習(xí)的關(guān)系推理。下面從這三個方面分別對該領(lǐng)域相關(guān)研究工作進行簡要總結(jié)。

1.1 基于邏輯規(guī)則的關(guān)系推理

邏輯規(guī)則模型的典型工作主要包括基于馬爾科夫網(wǎng)絡(luò)的馬爾科夫邏輯網(wǎng)絡(luò)模型[5]和基于貝葉斯網(wǎng)絡(luò)的概率關(guān)系模型[6]。邏輯規(guī)則模型的工作原理是通過將概率模型與人工定義的一階謂詞邏輯規(guī)則相結(jié)合以實現(xiàn)必要的邏輯推理。該模型雖然在小規(guī)模知識庫上具有較好的優(yōu)越性，但也存在兩方面的不足：首先是算法模型復(fù)雜度較高，難以很好地適應(yīng)于大規(guī)模知識圖譜；其次是過于依賴領(lǐng)域?qū)＜抑R，難以規(guī)?；瘧?yīng)用。

為解決上述問題，不同學(xué)者提出了不同的解決方案。如Schoenmackers等提出了基于統(tǒng)計機器學(xué)習(xí)的FOIL算法[7]，該算法在小規(guī)模數(shù)據(jù)集上取得了較高的準確率，但由于大規(guī)模知識圖譜中的實體和關(guān)系復(fù)雜多樣，難以窮舉出所有推理模式且計算復(fù)雜度過高，推理效率較低，因此FOIL算法同樣難以適應(yīng)數(shù)據(jù)規(guī)模較大的關(guān)系推理任務(wù)。為提升以上邏輯規(guī)則模型在知識圖譜中的推理效率，Lao等[8]提出了路徑排序算法（path ranking algorithm，PRA），該算法是邏輯規(guī)則模型的典型代表性，在一定程度上緩解了傳統(tǒng)邏輯推理算法依賴專家定制邏輯規(guī)則以及模型計算復(fù)雜度過高的問題。Gardner等發(fā)現(xiàn)關(guān)系路徑的稀疏性是影響PRA算法推理能力的主要因素，為降低在稀疏圖中時間復(fù)雜度，Gardner等提出了SFE算法[9]，該算法在推理準確率和計算效率上都優(yōu)于PRA算法。Wang等[10]通過挖掘知識圖譜中的頻繁模板來生成規(guī)則。Galárrage等[11]基于開放世界假設(shè)（open world assumption）的規(guī)則提出一種用于模擬負例的新方法，但該方法難以適應(yīng)大型知識圖譜挖掘。隨后該團隊又提出了修剪策略及查詢重寫技術(shù)[12]，以適應(yīng)對大型知識圖譜規(guī)則挖掘的有效性。

1.2 基于表示學(xué)習(xí)的關(guān)系推理

基于表示學(xué)習(xí)方法的主要原理是首先對知識圖譜中的實體及其關(guān)系降維，然后在低維空間計算三元組事實成立的概率。2013年Mikolov等提出的word2vector語言學(xué)習(xí)模型[13-14]使表示學(xué)習(xí)方法受到普遍關(guān)注，發(fā)現(xiàn)實體之間的關(guān)系向量可以通過兩個詞向量的偏移量表示。TransE算法[15]是知識表示學(xué)習(xí)模型的代表之一，該模型實現(xiàn)了將實體及關(guān)系在同一空間中進行表示，用r表示關(guān)系向量，h表示頭實體向量，t表示尾實體向量，則關(guān)系r可以表現(xiàn)為向量h與相鄰t的平移，即h+r=t。但該算法在處理自反關(guān)系或?qū)?yīng)關(guān)系時，會出現(xiàn)不同的實體可能具有相同或相似的向量。為解決這一不足，不同學(xué)者提出了不同解決方案。如Wang等提出了TransH模型[16]。Xiao等利用表示學(xué)習(xí)建模思路提出了TransG模型[17]，該模型采用貝葉斯非參數(shù)無線混合模型對關(guān)系進行建模。

1.3 基于深度學(xué)習(xí)的關(guān)系推理

基于深度學(xué)習(xí)的關(guān)系推理模型的本質(zhì)是模仿人類大腦進行感知和認知，通過對輸入數(shù)據(jù)進行逐層非線性變換，可將數(shù)據(jù)在原始空間的特征分布轉(zhuǎn)換到另一個特征空間，從而自動學(xué)習(xí)提取層次化的特征表示，因此適用于抽象關(guān)系推理。

Scoher等[18]最早將神經(jīng)網(wǎng)絡(luò)應(yīng)用到關(guān)系推理領(lǐng)域，利用實體對在特定關(guān)系下的語義關(guān)聯(lián)進行建模，設(shè)計了單層感知機模型，但是該模型無法充分挖掘?qū)嶓w與關(guān)系之間的語義相關(guān)性，且模型的表達能力較弱，計算效率較低。

隨著深度學(xué)習(xí)的興起，Xie等[19]提出了一種基于描述的知識表示學(xué)習(xí)方法DKRL，該模型利用知識圖譜中已有實體的描述信息降低數(shù)據(jù)稀疏性對推理模型性能的影響，提高模型對實體和關(guān)系的區(qū)分力。Neelakantan等[20]基于PRA算法與RNN提出了組合模型Path-RNN，首先利用PRA算法得到知識圖譜中的關(guān)系路徑特征模式，然后根據(jù)路徑模式中關(guān)系出現(xiàn)的先后順序依次將關(guān)系向量作為RNN的輸入，并經(jīng)過訓(xùn)練得到實體對之間的潛在關(guān)系預(yù)測模型。

2 基于知識推理的演化關(guān)系發(fā)現(xiàn)算法

傳統(tǒng)紋飾種類多樣、形態(tài)各異、變化過程復(fù)雜，具有豐富的文化底蘊。但目前對紋飾的演化關(guān)系的研究工作主要依靠領(lǐng)域?qū)＜业南闰炛R進行知識發(fā)現(xiàn)與推理，任務(wù)繁重且艱巨。為了輔助領(lǐng)域?qū)＜覍鹘y(tǒng)紋飾演化過程的挖掘與解讀的效率，本文在前期工作的基礎(chǔ)上[21]，通過構(gòu)建傳統(tǒng)紋飾語義網(wǎng)，結(jié)合知識推理和關(guān)系發(fā)現(xiàn)方法，提出了一種基于知識推理的演化關(guān)系發(fā)現(xiàn)算法，其流程框架圖如圖1所示。關(guān)系構(gòu)建是將傳統(tǒng)紋飾的圖像信息和標簽信息按照某種規(guī)則構(gòu)建傳統(tǒng)紋飾語義網(wǎng)。知識推理是根據(jù)數(shù)據(jù)的屬性和數(shù)據(jù)之間的關(guān)系使用適當?shù)囊?guī)則或算法預(yù)測紋飾的演化路徑，圖1（c）綠色線表示該過程挖掘出的演化路徑。關(guān)系發(fā)現(xiàn)是選擇對可能的演化路徑追蹤紋飾的演化過程。

2.1 傳統(tǒng)紋飾語義網(wǎng)構(gòu)建

傳統(tǒng)紋飾的圖像信息用于計算紋飾之間的視覺相似度。由于傳統(tǒng)紋飾的形狀復(fù)雜多變，再加上本文使用的數(shù)據(jù)多來源于書籍致使圖像中噪聲過多，使用傳統(tǒng)的特征提取算法效果不佳。為了使得本文算法在工程上應(yīng)用使用體驗更為良好，本文通過調(diào)用目前較為成熟的百度相似度圖片檢索接口來計算紋飾視覺之間的相似度，通過將視覺相似度和文本相似度融合，構(gòu)建了多特征相似度度量函數(shù)，如式（1）所示，以計算視覺P和文本Q之間的相似性。

圖1 傳統(tǒng)紋飾演化關(guān)系發(fā)現(xiàn)流程圖Fig.1 Flow chart of traditional ornamentation evolution relationship discovery

其中，α、β和λ分別表示圖像相似度、本相似度和圖像相似度的權(quán)重。通過在傳統(tǒng)紋樣數(shù)據(jù)集上進行仿真實驗得出，α、β和λ的取值范圍分別為[0.124 1，0.701 554]、[0.394 286，0.867 919]和[0.30，0.40]，對應(yīng)的相似度度量函數(shù)的取值范圍為[0.255 493，0.988 492]。以相似度度量值為權(quán)重，以傳統(tǒng)紋飾為節(jié)點，繪制如圖2所示的視覺關(guān)系網(wǎng)。

文本信息用于構(gòu)建傳統(tǒng)紋飾知識網(wǎng)，對傳統(tǒng)紋飾的文本描述主要包括紋飾名稱、紋飾類型、載體名稱、載體類型、出土城市、出土省份、制造時期等屬性。紋飾類型包括動物紋、植物紋、幾何紋和人物紋四種。出土城市表示該文物出土的地點，如貴南市。出土省份表示該文物出土地所在的省份，如青海省。制造時期表示該文物的制造時間，如新石器時代。根據(jù)以上描述，由七星紋相關(guān)信息形成的紋飾知識結(jié)構(gòu)如圖3所示。多個紋飾之間通過出土地點、制造時期、紋飾類型等共有的屬性建立聯(lián)系從而構(gòu)成傳統(tǒng)紋飾知識網(wǎng)。

2.2 基于知識推理的演化關(guān)系發(fā)現(xiàn)算法

用G=(Ei,Ri)表示所構(gòu)建的傳統(tǒng)紋飾知識網(wǎng)，其中Ei用來表示某個紋飾i或某個紋飾i所具有的相關(guān)屬性，Ri表示紋飾i與之相鄰的紋飾間的相關(guān)關(guān)系，長度為k的路徑L的關(guān)系序列表示為{R1,R2,…,Rk}或者。例如，三元組數(shù)據(jù){（云雷紋，時期，商周），（商周，發(fā)展，春秋戰(zhàn)國）}表示的路徑關(guān)系是云雷紋時→期商周發(fā)→展春秋戰(zhàn)國。依據(jù)關(guān)系網(wǎng)G=(Ei,Ri)，在PRA算法的基礎(chǔ)上設(shè)計基于知識推理的演化關(guān)系發(fā)現(xiàn)算法。因為PRA算法是基于隨機游走模型的知識推理算法，在基于兩個節(jié)點之間的偏序關(guān)系這一假設(shè)條件，在忽略節(jié)點間的偏序關(guān)系的情況下，可以最大程度地實現(xiàn)本文紋飾節(jié)點間的關(guān)系發(fā)現(xiàn)。本文基于知識推理的演化關(guān)系發(fā)現(xiàn)算法的主要步驟如下：

步驟1查找已知推理關(guān)系下目標節(jié)點對之間所有的連通路徑。遍歷關(guān)系網(wǎng)G=(Ei,Ri)的所有點，構(gòu)建以每個初始點s i為起點在有限步數(shù)k之內(nèi)到達的所有集合Π。

圖2 傳統(tǒng)紋飾視覺關(guān)系網(wǎng)Fig.2 Traditional ornamentation visual network

圖3 七星紋知識結(jié)構(gòu)圖Fig.3 Seven-star pattern knowledge structure diagram

步驟2對連通路徑進行特征量化。對Π中的所有路徑π=(E1,E2,…,Ek,Ek+1)，其中E1稱作起始點s,Ek+1稱作終端點e，轉(zhuǎn)化為關(guān)系路徑R=R1,R2,…,Rk，并計算每條關(guān)系路徑的權(quán)重。從節(jié)點s沿著關(guān)系路徑R到達節(jié)點e的概率p(s,e;π)是以起始點s沿著關(guān)系路徑π到達終端點e的概率，p(s,e;π)的計算方式如式（2）所示：

其中，π′表示一條新路徑，是指在關(guān)系路徑π中刪除終端關(guān)系rl后形成的路徑，range(π′)表示以初始節(jié)點s為起點，在關(guān)系路徑π′上所有節(jié)點形成的集合。如果節(jié)點s無法通過路徑π到達節(jié)點e，則p(s,e;π)的值為0。

本文采用式（3）計算從節(jié)點e′出發(fā)沿著關(guān)系rl到達節(jié)點e的概率P(e|e′;rl)。

其中，rl(e′,e)代表節(jié)點e′和節(jié)點e之間的關(guān)系，1表示節(jié)點e′和節(jié)點e之間存在關(guān)系，0表示節(jié)點e′和節(jié)點e之間不存在關(guān)系。 |rl(e′,·)|表示節(jié)點e′的出度。

步驟3計算路徑特征權(quán)重。對關(guān)系路徑進行排序，從而建立關(guān)系推理模型以進行知識推理，在進行知識推理時通過設(shè)定兩個紋飾視覺相似度的大小，并進一步提高推理結(jié)果的準確性與可靠性。

3 仿真實驗與分析

3.1 實驗數(shù)據(jù)及環(huán)境

為驗證本文提出的算法在傳統(tǒng)紋飾數(shù)據(jù)集上的效果，本節(jié)在傳統(tǒng)紋飾數(shù)據(jù)進行了實驗。首先對《中國紋樣全集》四冊書進行掃描，然后通過圖文分離、關(guān)鍵詞提取、標簽分類等方法構(gòu)建傳統(tǒng)紋飾知識庫，該庫中主要包含的標簽有圖片信息、載體、出土城市、省份、時期、發(fā)展和相似，部分數(shù)據(jù)還具有寓意、結(jié)構(gòu)、別名、裝飾位置等屬性，最后根據(jù)這些屬性及其關(guān)系構(gòu)建傳統(tǒng)紋飾語義網(wǎng)。本文整理的不同時期不同地域的紋飾共有1 500個，紋飾之間形成的關(guān)系有13 600個。本文在Windows環(huán)境下進行實驗，實驗設(shè)備配置：操作系統(tǒng)Win7，處理器i5，內(nèi)存16 GB，開發(fā)環(huán)境IDEA2017，JDK1.7。

3.2 實驗結(jié)果

使用基于節(jié)點之間具有雙向關(guān)系假設(shè)的路徑排序算法對其進行實驗，因為兩個紋飾之間的相連的最長路徑為6，所以本實驗計算從一個節(jié)點出發(fā)能夠在6步內(nèi)到達的所有路徑。k（取值為2～6）步到達的路徑個數(shù)如圖4所示，橫坐標代表k的取值，縱坐標代表k步所到達的路徑數(shù)量。實驗表明，路徑特征的權(quán)重值越高，說明兩個節(jié)點之間利用該條路徑作為推理規(guī)則的影響力越大，推理出“演化”這個關(guān)系的可能性越大。在傳統(tǒng)紋飾演化關(guān)系發(fā)現(xiàn)的過程中，紋飾的視覺特征也起著一定的作用，所以選擇能夠計算紋飾的相似度的路徑進行推理。

圖4 k步到達的路徑數(shù)量Fig.4 Number of paths taken in k steps

基于以上推理規(guī)則來挖掘紋飾的演化過程，為了更直觀地展示紋飾的演化過程，本文使用Echarts對忍冬紋的演化過程進行呈現(xiàn)，如圖5所示，綠色帶箭頭的曲線表示紋飾的變化過程。根據(jù)挖掘的結(jié)果，可以得到以下信息：忍冬紋起源于漢代時期的卷云紋，象征著高升如意；然后發(fā)展成北朝的忍冬紋，形成了波狀、二方連續(xù)和四方連續(xù)的結(jié)構(gòu)形式。隨后，唐代時期忍冬紋演化為纏枝卷草，多出現(xiàn)于織繡中，呈波狀彎曲狀，表達了幸福溫情、生命常駐等美好寓意。最后演化為明代時期的香草紋，又稱為“纏枝花”，這一時期的結(jié)構(gòu)基本穩(wěn)定，處于成熟期，是益壽與吉祥的象征。而對于一些在演變過程中形狀發(fā)生變化太大造成本文算法效果不太效果的紋飾，未來可以考慮依靠領(lǐng)域?qū)＜业南闰炛R實現(xiàn)。

4 結(jié)語

圖5 卷云紋演化過程Fig.5 Evolution of moire

我國傳統(tǒng)紋飾歷史悠久、內(nèi)容豐富、結(jié)構(gòu)多樣，受時間、地域、歷史環(huán)境等諸多因素的影響使紋飾之間具有一定的內(nèi)在聯(lián)系，手動構(gòu)建紋飾之間的關(guān)系任務(wù)繁重。本文首先對從新石器時代到清朝結(jié)束各個時期不同地域紋飾的相關(guān)知識與特定形態(tài)進行分析，然后基于其基本信息構(gòu)建傳統(tǒng)紋飾語義網(wǎng)，最后使用知識推理相關(guān)技術(shù)開展對傳統(tǒng)紋飾演化過程的挖掘與解讀，從而提出了一種基于知識推理相關(guān)技術(shù)開展對傳統(tǒng)紋飾的挖掘與解讀的新方法，實現(xiàn)了傳統(tǒng)紋樣演化路徑的發(fā)現(xiàn)。最后本文通過可視化呈現(xiàn)的方式驗證了所提方法的可行性。目前本文算法僅在小型知識圖譜上運行效果較好，未來還需進一步進行算法優(yōu)化以適用于大型知識圖譜。