盧 璐,袁高騰,梅 嘉,肖文美,李木子
(1 南京林業(yè)大學(xué) 圖書館,南京 210037;2 河海大學(xué) 計算機與信息學(xué)院,南京 211100;3 南京林業(yè)大學(xué) 繼續(xù)教育學(xué)院,南京 210037)
近年來,得益于“人文記憶”研究的深入推進,面向圖像的人文計算領(lǐng)域得到了越發(fā)廣泛的關(guān)注。許慎在《說文解字》中提到“畫成其物,隨體詰詘”,意為文字和圖像共同構(gòu)成了文化表達、交流和傳承的載體[1]。南宋鄭樵認(rèn)為,圖文互文極具史料價值,曾在《通志》中寫到“置圖于右,索象于圖?!保?]。司馬相如《子虛賦》:“眾物居之,不可勝圖”[3]中的“圖”即為事物的形象,文化內(nèi)蘊的表征,而“象”為“圣人之意”,需要深度分析。歐文·潘諾夫斯基對圖像和文化關(guān)系作了相當(dāng)完備的闡述[4]。貢布里希認(rèn)為,文化思想傳播離不開圖像。文字描述可以做思之抵達與言之切近,極具現(xiàn)實主義和浪漫主義色彩,而圖像突破了不同文化語言的藩籬,避免文字表述間離性,拓寬了思維層面對文化分析的基本視域。
海德格爾闡述的“世界圖像”[5]、米歇爾提出的“圖像表征”[6]、“圖像轉(zhuǎn)向”[7]都在文化思考的邏輯關(guān)系上,代入對圖像本質(zhì)的闡釋。詹姆斯·吉布森構(gòu)建了現(xiàn)代社會對視覺文化交互方式[8]。西方學(xué)者認(rèn)為,圖像是特定文化存在和發(fā)揚的根底,在流傳中可以直觀呈現(xiàn)出本體的表象,蘊含的文化記憶從隱匿到澄明,揭示圖像傳遞的情感和背后的隱喻,[9]通過圖像表征的敞開域可以進行分析、分類和存儲。
雖然圖像信息豐富,但是大部分用戶仍處于“圖像孤島”的困境,難以在第一時間進行圖像資源的最優(yōu)選擇。多米尼克·洛佩斯論述的“圖像再現(xiàn)”[10]的理論中提到,如果進行圖像的優(yōu)化需要著重關(guān)注圖像“面”的差異導(dǎo)致的辨識模式上的差異,遂提出“識別的動態(tài)性”。
本文所涉“云錦圖像”主要突出的是其作為“視覺史料”的身份,包括紋樣、花色、材質(zhì)、紋理、組織結(jié)構(gòu)等類別特征[11]。目前,國內(nèi)外很多作為史料展現(xiàn)的圖像數(shù)字人文項目初見成效。如《蒙娜麗莎》數(shù)字化存儲[12]、歐盟博物館藏品分類[13]、敦煌藝術(shù)圖像規(guī)范標(biāo)準(zhǔn)[14]、故宮博物院文物服務(wù)庫、中世紀(jì)藝術(shù)索引等。但大部分圖像項目局限于“冰凍式”的靜態(tài)采集、存儲與展現(xiàn),只做了主題、時間和地域等大體分類,只有少數(shù)針對圖像和語義結(jié)合進行了實體識別,但沒有實現(xiàn)大規(guī)模應(yīng)用,鮮有對圖像本體紋樣和組織結(jié)構(gòu)深度挖掘和內(nèi)源性關(guān)聯(lián)研究。
云錦是中國絲織工藝的最高成就,迄今已有1600 多年的手工織造歷史,享有“錦中之冠”的美譽。云錦的紋樣題材具有托物言志深厚情感,作品與材質(zhì)上的美術(shù)元素表現(xiàn)了創(chuàng)作者的氣韻風(fēng)骨[15],使其紋樣圖必有意,意必吉祥,需要借助圖像識別分類技術(shù)來探究源文化形態(tài)的本真狀態(tài),展現(xiàn)歷史綿延性和強韌性,為云錦圖像后續(xù)應(yīng)用打下基礎(chǔ)。
云錦圖像數(shù)據(jù)識別與存儲涉及藝術(shù)、人文、情報、計算機等多個學(xué)科領(lǐng)域。筆者主要探究圖像內(nèi)在紋理特征提取和動態(tài)性演變,因此主要涉及兩方面的知識背景:圖像識別分類研究現(xiàn)狀與云錦圖像紋樣特征提取研究現(xiàn)狀。
1.1.1 圖像識別方法
目前,常見圖像識別方法有:
(1)設(shè)置模糊集識別方法。常用來識別醫(yī)學(xué)圖像,分類匹配率精準(zhǔn)度較高,但過于依賴圖像的特征;
(2)人工神經(jīng)網(wǎng)絡(luò)方法。自動擬合非線性模型,避開人為操作主觀性影響,客觀且簡化,但對圖像樣本、硬件性能和相關(guān)參數(shù)解釋都要求很高,很難廣泛應(yīng)用;
(3)統(tǒng)計識別方法和識別結(jié)構(gòu)方法。通過特征向量的數(shù)學(xué)提取或者子模型逐層識別還原,都可以對圖像進行簡單分類,但無法識別圖像整體結(jié)構(gòu)。
1.1.2 織物圖像識別研究進展
織物的圖像識別和分類是目前圖像學(xué)領(lǐng)域的難關(guān)。由于織物具有紋理繁復(fù)、織線材質(zhì)多樣和組織結(jié)構(gòu)復(fù)雜等特性,現(xiàn)面臨數(shù)據(jù)預(yù)處理時顏色失真、模糊、噪聲濾除困難、局部特征不易提取等困境。相關(guān)學(xué)者通過不同技術(shù)構(gòu)建實例模型,李敏等[16]利用快速傅里葉變換和形態(tài)濾波,處理小提花織物紋樣的周期特點,淡化一般性紋路,著重加工紋樣特殊點,提高疵點檢測精確度。張開生等[17]通過機器視覺算法和卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(CRNN)技術(shù),對磁性纖維加密圖像進行特征提取。由于女紅作品背景復(fù)雜繁多,存在圖像特征不易提取且難以分割的問題,包萍萍等[18]采用閾值和字符圖像分割的技術(shù),將女書圖像的背景進行去噪處理,取得了不錯的濾除效果。
圖像紋理是人們視覺系統(tǒng)對自然界物體表面現(xiàn)象的一種感知,可描述和區(qū)分不同物體的重要特征。針對不同類別的云錦圖像,可以采用頻譜法提取圖像的紋理特征,其本質(zhì)是將基本紋理基元以及在圖像區(qū)域中的不同形式出現(xiàn)的“副本”,用在不同尺度和方向上的子波能量分布表示出來。本文主要采用Gabor 紋理特征分析圖像,選用了8 個方向、5 個尺度的Gabor 函數(shù),對圖像進行濾波提取圖像特征,并對特征進行分析、分類。
云錦歷史悠久、品種繁多,目前大體上分為“庫緞、庫錦、庫金、妝花”4 類。同一件云錦作品上,紋樣題材的選取、色彩的搭配、構(gòu)圖板式的風(fēng)格都有定位。根據(jù)纏枝、寓意和均衡進行不同材質(zhì)絲線的色相純凈度的調(diào)和,糅合變化更細(xì)膩絢麗,最終達到逐花異色,軒昂華麗的效果。云錦整個制作過程,貫穿了文化內(nèi)涵的開發(fā)[19],豐富了云錦圖像美感。云錦圖像和其它織物一樣,都是由不同組織點構(gòu)造,根據(jù)浮沉交織規(guī)律的不同,形成各異的組織結(jié)構(gòu)。如,平紋是由經(jīng)線和緯線相互一浮一沉的交織而成;斜紋是無數(shù)緯組織點圍繞一個經(jīng)組織點,反之亦然;緞紋各點是有規(guī)律散布且經(jīng)緯線僅一個組織點。隨著經(jīng)緯紗重疊變化,不同織線沉浮規(guī)律交錯,織成的圖像色影豐富??椌€材質(zhì)不同,有的是孔雀羽毛和鴕鳥羽毛加捻而成,與金銀線交織而成的織物層次多變。
云錦圖像遵循“立象以盡意”的藝術(shù)特征[20],從中提取的不同紋樣處于相互纏繞、勾連和均衡之中,特征提取起來十分繁難。目前,四大品種結(jié)構(gòu)分類見表1。
表1 云錦品種、紋樣和組織結(jié)構(gòu)分類表Tab.1 Classification of Yunjin based on varieties,patterns and organizational structure
本文從南京市云錦博物館收集了12 組尺寸為8 000*6 000 的云錦圖像,根據(jù)博物館官方花本集,對云錦類別進行標(biāo)記,包括手工段和電機段兩大部分,共計12 個類別。本文主要對12 個不同類別的云錦圖案進行分析研究。其中包括:八寶底紋料、四合如意填花料、新百花料、普天同慶料、喜字并蒂蓮料牡丹錦料、凝香富貴料、氣象萬千料和電機的龍紋料等。其中,八寶底紋料又包含多個顏色。如粉橘、深土和紫等。
本文對上述不同的云錦料進行收集,并完成云錦圖案的分類識別。收集的云錦圖像數(shù)據(jù)如圖1 所示。
圖1 不同類別云錦圖像Fig.1 Different types of Yunjin images
本文主要對云錦圖像進行紋理分析,提取不同類別云錦圖像紋理特征,通過對不同圖像特征的分析,構(gòu)建云錦類別識別模型。構(gòu)建步驟如下:
Step 1收集不同圖像和不同品種的云錦(來自云錦研究所官方花本集),利用掃描器收集掃描云錦圖像,并對云錦圖像劃分子區(qū)域,構(gòu)建云錦圖像數(shù)據(jù)集。
Step 2依據(jù)云錦類別,對圖像添加標(biāo)簽構(gòu)建數(shù)據(jù)樣本;使用小波分析對云錦圖像進行去噪,完成圖像的預(yù)處理;使用Gabor 濾波器對云錦圖像的子區(qū)域進行濾波,得到云錦圖像的紋理特征。
Step 3使用機器學(xué)習(xí)中不同的分類器分析圖像特征,對紋理特征進行分類,構(gòu)建分類模型。
本文提出的模型由數(shù)據(jù)預(yù)處理、紋理分析、特征選擇、機器學(xué)習(xí)分類等部分組成。首先,對圖像進行去噪,獲取興趣區(qū)域,并設(shè)置興趣區(qū)域標(biāo)簽;其次對興趣區(qū)域進行紋理分析,提取不同的紋理特征,依次比較不同的圖像紋理,選擇合適的紋理特征,并進行特征選擇以降低特征的維度,壓縮特征大小;然后對比不同的分類算法,包括SVM、KNN 等分類器對云錦圖像特征進行自動分類。模型結(jié)構(gòu)如圖2 所示。
圖2 模型結(jié)構(gòu)整體框架Fig.2 The overall framework of the model structure
如圖2 所示,數(shù)據(jù)預(yù)處理包括圖像數(shù)據(jù)的讀取、圖像去噪等;紋理分析包括Gabor 濾波、特征采樣組成;分類模型包括參數(shù)優(yōu)化、特征選擇、特征篩選等組成,構(gòu)建好分類特征后使用多種分類器對特征進行比較分類,對比不同方法的分類精度和效率。
數(shù)據(jù)預(yù)處理的主要目的是完成圖像的去噪,以及獲取興趣區(qū)域,方便構(gòu)建分類模型。由于云錦圖像是掃描儀掃描后的圖像,受相機鏡頭和云錦樣本的影響,圖像會存在噪音。因此需要對原始圖像進行降噪處理[21]。本文的主要目標(biāo)是判斷云錦圖像的類別,考慮到不同云錦圖像花紋有不同的邊緣特征,去噪的目的是為了消除圖像上離散的點,因此采用中值濾波的方式對圖像進行濾波去噪[22]。
中值濾波抑制噪聲,其基本原理是將云錦圖像某點相鄰域中各點值的中值代替該點,讓周圍的像素值接近真實值,從而消除孤立的噪聲點的去噪方法,是非線性信號處理技術(shù)[23]。該方法是用一個二維滑動模板W,將圖像在W內(nèi)的像素值按大小進行排序,生成單調(diào)上升(或下降)的二維數(shù)據(jù)序列。相關(guān)公式如下:
式中,W為二維模板;f為原始圖像;g為處理后的圖像。中值濾波去噪后的圖像如圖3 所示。
圖3 中值濾波去噪Fig.3 Median filter denoising
如圖3 所示,圖像(b)中細(xì)微的點較圖(a)有所減少。完成圖像的去噪任務(wù)之后,根據(jù)專業(yè)人員的標(biāo)記,選擇合適的興趣區(qū)域。興趣區(qū)域的大小為100*100,并依據(jù)標(biāo)簽構(gòu)建數(shù)據(jù)集。由于一張云錦圖像上有多個興趣區(qū)域,需要構(gòu)建合適的云錦圖像數(shù)據(jù)。經(jīng)過篩選,本文共采集到12 個類別576 幅云錦圖像。圖4 為篩選的部分云錦圖像數(shù)據(jù)。
圖4 云錦圖像興趣區(qū)域Fig.4 Interest area of Yunjin image
特征分析由圖像紋理分析、特征處理、特征選擇等內(nèi)容組成。主要包括對12 個類型的云錦圖像進行特征比較,根據(jù)不同樣本類別之間的可分性,對特征進行排序、降維,得到關(guān)鍵的幾個特征,并使用常用的分類器對特征進行分類,調(diào)節(jié)分類器參數(shù),得到分類結(jié)果,以驗證不同特征的分類效果。
以Gabor 小波為基礎(chǔ)的多分辨率濾波器紋理分析稱為Gabor 紋理分析。二維Gabor 濾波器能很好地描述哺乳動物大腦視覺皮層中可接收的信息域的分布,兩者在空間、頻域上均具有相似的局部特點。因此在對不同類別的云錦圖像使用Gabor 濾波器有一定的優(yōu)勢。
在空間域中使用Gabor 濾波器組,對云錦圖像的興趣區(qū)域進行濾波分解。一個二維Gabor 濾波器是一個正弦平面波調(diào)制的高斯核函數(shù)。Gabor 濾波器的脈沖響應(yīng),可以定義為一個正弦平面波乘以高斯函數(shù)。由于乘法卷積性質(zhì),Gabor 濾波器脈沖響應(yīng)的傅里葉變換是其調(diào)和函數(shù)的傅里葉變換和高斯函數(shù)傅里葉變換的卷積。Gabor 濾波器由實部和虛部組成,二者相互正交。二維Gabor 函數(shù)公式為:
式中:ω為高斯函數(shù)的復(fù)調(diào)制頻率。
g(x,y)的傅里葉變:
以g(x,y)為母小波,通過對g(x,y)進行適當(dāng)尺度變換和旋轉(zhuǎn)變換,可以得到自相似的一組濾波器,稱為Gabor 濾波器,即:
式中:x′=a-m(xcosθ+ysinθ);y′=a-m(- xcosθ+ysinθ);θ=;a-m為尺度因子;k為方向的數(shù)目。通過改變m和n,便可以得到一組方向和尺度都不同的濾波器組。
Gabor 濾波器組的非正交性,意味著濾波后的圖像存在冗余信息。為了消除這些冗余信息,在設(shè)計濾波器時要確保Gabor 濾波器組的響應(yīng)在頻譜上半峰幅值能相互接觸,并且互不重疊??刹捎靡韵鹿綔p少冗余信息:
式中:a=;Uh和Ul分別為高頻和低頻的中心頻率;S為尺度;k為方向個數(shù)。公式(3)中ω=Uh。
圖5 為一組a=、n=0、k=8、m=0,1,2,3…8 的Gabor 小波函數(shù)。由圖可以得出,二位的Gabor濾波器能夠在多個方向上獲取特征。
圖5 Gabor 小波函數(shù)提取特征1Fig.5 Feature extraction 1 from Gabor wavelet function
圖6 為一組,a=、k=8、m=0、n=0,1,2,3,4 的Gabor 小波函數(shù)。由圖可見,Gabor 濾波器能夠在不同尺度下獲取圖像特征。
圖6 Gabor 小波函數(shù)提取特征2Fig.6 Feature extraction 2 from Gabor wavelet function
依次選擇由5 個尺度、8 個方向組成的40 組Gabor 濾波器組,依次對云錦圖像興趣區(qū)域進行濾波。濾波過程如圖7 所示。
圖7 濾波過程圖Fig.7 Filtering process diagram
在對云錦圖像興趣區(qū)域的濾波后,得到相應(yīng)的特征圖像,需要對其進行分析。由于每個云錦圖像都有40 組特征圖像,每張圖像的大小為100*100,依次將圖像展開,得到大小為1*400 000 的特征序列。為了減少特征維度,以1 000 為單位依次對特征序列進行采樣,所得到的采樣效果如圖8 所示。
圖8 特征采樣圖Fig.8 Feature sampling diagram
如圖8 所示,由于有12 個不同類別的云錦,在圖像上顯示較為復(fù)雜。為了對其進行有效區(qū)分,以兩類為一組在圖上進行比較,如圖9 所示。初步分析可知,不同類別的云錦圖案是能夠通過Gabor 特征進行分辨的。
圖9 特征對比Fig.9 Feature comparison
由于高維數(shù)據(jù)存在很多冗余或不相關(guān)的特征,因此需要對特征進行選擇。通過分析特征的可分性,篩選出關(guān)鍵特征,完成特征的選擇。
本文主要對特征的可分性進行判據(jù)排序,完成特征的篩選。對400 個屬性的重要性進行排序,采用基于統(tǒng)計的可分性判據(jù),計算每個屬性的相對重要性,并選擇不同數(shù)量的關(guān)鍵特征。其方法如下:
3.3.1 對特征數(shù)據(jù)進行歸一化處理
由于采用不同尺度的Gabor 濾波器提取特征,則不同尺度下特征數(shù)值相差過大。因此,需要對特征數(shù)據(jù)進行歸一化處理,減少實驗誤差。選用離差標(biāo)準(zhǔn)化方法將特征值映射到-1~1 之間,轉(zhuǎn)換公式如下:
式中:x為原始的特征值;xmin為所有特征值的最小值;xmax為所有特征值最大值。
3.3.2 針對不同屬性
由于同類物體內(nèi)各樣本之間存在共性,因此類內(nèi)樣本間屬性距離應(yīng)該比不同類樣本間屬性距離小。根據(jù)類內(nèi)間距離對特征進行排序,計算公式如下:
式中:K為樣本數(shù)量;{ai}為點集;aki為點集中i個點的第k個分量。
為了篩選出關(guān)鍵特征,需依次計算每個屬性點到點集的距離,并依據(jù)距離值對屬性進行排序。排序公式如下:
式中:β為設(shè)置的特征權(quán)重因子,dist為特征點到點集的距離。idx值越大,表明該屬性分類效果越好。
通過對云錦圖像的紋理分析發(fā)現(xiàn),不同類別的云錦,紋理特征上存在差異。為了有效的區(qū)分不同類別的云錦圖像,本文使用貝葉斯分類、k 近鄰分類兩種分類器對特征進行分類,并通過對分類器的調(diào)參獲取較為精準(zhǔn)的分類精度。
貝葉斯分類的基本思想為:對于給出的待分類項,求解在此項出現(xiàn)的條件下,各個類別出現(xiàn)的概率,其最大者,就認(rèn)為此待分類項屬于該類別[24]。貝葉斯分類結(jié)果的混淆矩陣如圖10 所示。
圖10 貝葉斯分類結(jié)果Fig.10 Bayesian classification results
如圖10 所示,12 個類別的云錦,總體分類結(jié)果最高在38%左右。表明Gabor 紋理特征能夠區(qū)分不同類別的云錦。
其次,選擇K 近鄰分類(KNN),對12 種類別的云錦紋理特征進行分類。KNN 算法是有監(jiān)督學(xué)習(xí)分類算法,通過計算測試樣本和所有訓(xùn)練樣本的距離。根據(jù)最近的K個訓(xùn)練樣本的類別,通過多數(shù)投票的方式進行預(yù)測。該算法具有不需要參數(shù),訓(xùn)練時間短等優(yōu)點。
利用Gabor 紋理分析獲取圖像特征,并通過特征篩選,獲取不同數(shù)量的特征,并通過調(diào)節(jié)KNN 算法的K值,驗證最佳分類精度。KNN 分類結(jié)果的混淆矩陣如圖11 所示。
圖11 KNN 分類結(jié)果Fig.11 KNN classification results
如圖11 所示,K值為4 時精度最高,分類精度為56.31%。由此可見,使用KNN 算法對Gabor 紋理特征進行分類是有效的。
本文對不同類別的云錦進行紋理分析,并完成了紋理特征的分類。由于不同類別的云錦料之間的差異較大,因此分類結(jié)果也存在較大誤差。因此,對12 類云錦料的分類精度只在57%左右,但也證實了不同的云錦料在圖像上存在差異。
本文通過使用Gabor 濾波器對不同材質(zhì)肌理、色彩和紋樣意象的云錦進行濾波,以及紋理特征增強,精細(xì)化紋理疏密、虛實、冷暖對比,抑制同質(zhì)化紋理特征,提高了不同云錦料的分類精度。結(jié)果表明,不同材料的云錦圖像,可以利用紋理間的差異進行區(qū)分。
本文算法實現(xiàn)了首次運用到云錦這類工藝繁復(fù)意蘊深厚的非遺物質(zhì)文化遺產(chǎn)的圖像資源上,取得不錯的實驗精度。但在準(zhǔn)確度和擴展度方面仍有較大的提升空間。在后續(xù)研究中,考慮擴展更細(xì)粒度的肌理紋樣及樣本規(guī)模,進一步實現(xiàn)實體識別優(yōu)化。同時,將結(jié)合云錦圖像資源的語義信息抽取技術(shù),以便于實現(xiàn)本體知識元的關(guān)聯(lián)和推理,更好展現(xiàn)云錦魅力,講好中國故事,為探索基于數(shù)字人文視域下紋理分類研究提供新的研究思路和方法。