王 珺,孫進(jìn)越,俞 凱,劉 成,吳 晨,陳有路,胡琦瑤

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.西北大學(xué) 文化遺產(chǎn)學(xué)院,陜西 西安 710127;3.西安市文物保護(hù)考古研究院,陜西 西安 710054;4.咸陽博物院,陜西 咸陽 712000;5.陜西省絲綢之路文化遺產(chǎn)數(shù)字化保護(hù)與傳承協(xié)同創(chuàng)新中心,陜西 西安 710127)

中國古代青銅器歷史悠久,體現(xiàn)著各個時期的文化特點,蘊(yùn)含著極高的研究價值[1]。青銅器銹蝕類別標(biāo)識任務(wù)，是對青銅器表面的不同銹蝕進(jìn)行識別標(biāo)識,特別是有害銹的標(biāo)識,從而為后續(xù)不同銹蝕的處理以及青銅器的保護(hù)及修復(fù)提供依據(jù)。然而,由于青銅器銹蝕產(chǎn)生較為隨機(jī),且銹蝕混雜,不易識別,這些因素給青銅器銹蝕標(biāo)識帶來了極大的挑戰(zhàn)[2]。現(xiàn)有的青銅器銹蝕標(biāo)識多采用人工方式,不僅耗時耗力,還會因個人經(jīng)驗差異帶來標(biāo)識的不一致性[3],有些方法甚至需要取樣,對文物樣本帶來二次損傷。因此,迫切需要研究無損且智能的青銅器銹蝕標(biāo)識方法。

近年來,隨著文物保護(hù)研究手段的日益豐富,以及人工智能的飛速發(fā)展,開發(fā)智能且無損的青銅器銹蝕標(biāo)識方法成為可能。其中,高光譜成像技術(shù)作為一種無損的數(shù)據(jù)采集技術(shù),在農(nóng)業(yè)[4]、遙感[5]、軍事等領(lǐng)域應(yīng)用廣泛,近幾年,在文物分析與保護(hù)領(lǐng)域也嶄露頭角,特別是在書畫、壁畫等文物保護(hù)研究中取得受人矚目的進(jìn)展[6]。高光譜圖像包含著豐富的光譜信息,且具有“圖譜合一”的特點,而不同銹蝕的本質(zhì)是不同的化學(xué)組成,其具有光譜差異,因此,基于高光譜成像與分析的銹蝕標(biāo)識成為可能。

本文將基于現(xiàn)有先進(jìn)的深度學(xué)習(xí)等方法[7],深入挖掘青銅器銹蝕的光譜與空間特征,提出一種基于多分組策略LSTM和CNN的端到端青銅器銹蝕類別標(biāo)識網(wǎng)絡(luò)框架(multi-group LSTM and CNN,MGLC)。該框架由一個CNN網(wǎng)絡(luò)和多分組策略的LSTM網(wǎng)絡(luò)構(gòu)成,LSTM可以從光譜序列中提取更為有效的光譜特征,而多分組策略可以同時兼顧局部和全局的光譜特征,增加對銹蝕識別的準(zhǔn)確率;在此基礎(chǔ)上,聯(lián)合CNN網(wǎng)絡(luò),兼顧光譜與空間特征,更有利于標(biāo)識有害銹病害的分布。

1 相關(guān)工作

1.1 青銅器的特點

由于組成成分的原因,青銅器具有在空氣中極易氧化的性質(zhì)。受地理環(huán)境和埋藏條件的影響,青銅器銹蝕產(chǎn)物分布在整個器物表面，形成銹蝕均勻分布區(qū)域和銹蝕不均勻分布區(qū)域,常見的青銅器銹蝕產(chǎn)物包括粉狀銹、土銹、鈣結(jié)物等[8],如圖1所示。多種多樣的銹蝕產(chǎn)物，以及自身空間排布緊密的結(jié)構(gòu)特點，給青銅器銹蝕類別標(biāo)識任務(wù)帶來了極大的挑戰(zhàn)。

圖1 青銅器表面銹蝕類別示意圖Fig.1 Schematic diagram of corrosion types on the surface of bronzes

1.2 高光譜圖像分類

高光譜圖像分類是利用其豐富的光譜-空間信息對遙感圖像的地物類別標(biāo)識[9]。青銅器高光譜圖像在未破壞青銅器原始空間信息的前提下,為標(biāo)識任務(wù)提供了豐富的光譜信息。隨著深度學(xué)習(xí)的飛速發(fā)展,越來越多的深度學(xué)習(xí)方法也被應(yīng)用于高光譜圖像分類,其中包括很多像素級分類的方法[10]。Yang等人提出了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)用于解決高光譜圖像的分類任務(wù)[11],但是，僅僅使用卷積來進(jìn)行特征提取，沒有考慮各個光譜維度特征之間的相關(guān)性，以及光譜序列的上下文信息,在處理空間分辨率較小的青銅器高光譜圖像時，不能將關(guān)注點更多地集中在光譜信息上,其結(jié)果往往區(qū)域性不強(qiáng),精確度不高,可視化結(jié)果較差。Hochreiter S等人提出的基于LSTM網(wǎng)絡(luò)的上下文特征提取網(wǎng)絡(luò),在自然語言處理(NLP)方面取得了巨大的進(jìn)展[12],其可以較好地提取出目標(biāo)上下文之間的聯(lián)系,從而提升模型的整體效果,鑒于此特點,Xu等人提出了基于LSTM網(wǎng)絡(luò)的光譜特征提取方法,但是其不能兼顧局部和全局特征[13],分類準(zhǔn)確度仍有待提高。因此,本文將CNN網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)相結(jié)合,使空間特征和光譜特征同時用于青銅器銹蝕識別任務(wù)中,為了在光譜特征的提取過程中兼顧局部和全局特征,在LSTM網(wǎng)絡(luò)中還引入了粗細(xì)兩種粒度的光譜分組策略。

2 方法介紹

2.1 MGLC

MGLC網(wǎng)絡(luò)分為CNN網(wǎng)絡(luò)和多分組策略的LSTM網(wǎng)絡(luò)兩個部分,CNN網(wǎng)絡(luò)由多個卷積層和池化層組合構(gòu)成,多分組策略LSTM網(wǎng)絡(luò)由兩種策略的LSTM并聯(lián)構(gòu)成,MGLC網(wǎng)絡(luò)框架如圖2所示。在圖2中,青銅器高光譜圖像F∈RC×H×W(C、H、W分別表示圖像的長度、寬度和光譜數(shù)量)進(jìn)入到網(wǎng)絡(luò)后會分別通過CNN網(wǎng)絡(luò)和多分組策略LSTM來提取空間特征和光譜特征。在CNN網(wǎng)絡(luò)中,首先使用PCA方法對圖像進(jìn)行降維[14],提取出特征豐富的波段,得到降維圖像F′∈RC×H×D,然后使用3×3的卷積核對降維圖像F′進(jìn)行3次卷積特征提取得到支路空間特征FC3,再利用非線性函數(shù)Relu激活,每次卷積后得到的特征都通過池化層再一次降維。為了將淺層與深層特征更好地融合,獲取更豐富的空間特征,將空間特征FC3以及第一層卷積池化后的特征FC1通過全連接層后合并得到空間特征FC。在多分組策略LSTM網(wǎng)絡(luò)中,首先輸入圖像粗細(xì)粒度的兩種不同光譜組合,并經(jīng)過LSTM網(wǎng)絡(luò)分別提取光譜特征FS1和FS2,然后，將兩種光譜特征FS1、FS2通過全連接層后合并得到光譜特征FS。最后,將空間特征FC和光譜特征FS合并,送入全連接層,再利用softmax函數(shù)得到分類結(jié)果。由于在MGLC網(wǎng)絡(luò)中,不僅獲取了青銅器高光譜圖像的空間信息,還兼顧了全局與局部的光譜維信息,能夠獲得較滿意的結(jié)果。

圖2 MGLC網(wǎng)絡(luò)框架Fig.2 MGLC network framework

2.2 多分組策略LSTM

由于高光譜圖像每一像素點連續(xù)光譜曲線類似于連續(xù)有序的向量,因此，有學(xué)者采用LSTM網(wǎng)絡(luò)進(jìn)行光譜特征的提取[11]。但是，高光譜圖像光譜波段數(shù)量多,僅采用一種光譜分組策略,很難兼顧光譜的局部與全局特征,導(dǎo)致光譜特征不能充分提取。因此，本文引入了兩種光譜分組策略,分別以粗細(xì)兩種粒度獲取光譜的局部與全局特征。

1)分組策略1

pi(M′+5),…,pi(2M′)]，

pi(2M′+5),…,pi(3M′)]，

pi(TM′+5),…,pi(τM′)]。

2)分組策略2

pi(1+(M′-1)τ)]，

pi(2+(M′-1)τ)]，

pi(3+(M′-1)τ)]，

如圖3所示,分組策略2側(cè)重于全局特征,劃分的短序列之間光譜波段相聚較小,得到的光譜特征之間聯(lián)系緊密,較好的表現(xiàn)光譜的整體性;但是短序列內(nèi)部光譜波段跨度較大,光譜波段離散,局部特征有所不足。

圖3 光譜分組策略Fig.3 Schematic diagram of frequency band classification strategy

因此,兩種分組策略可以兼顧局部與全局的光譜特征,能夠更充分提取光譜信息,在后文實驗中也進(jìn)行了驗證。

2.3 參數(shù)詳情

MGLC網(wǎng)絡(luò)是一個多支路并行的神經(jīng)網(wǎng)絡(luò),采用RMSProp算法優(yōu)化[15],學(xué)習(xí)率是0.001,衰減因子是0.9。由于青銅器高光譜圖像是三維立方體數(shù)據(jù),數(shù)據(jù)量大,所以在CNN支路上采用PCA降維,盡可能減少網(wǎng)絡(luò)參數(shù),使網(wǎng)絡(luò)盡快達(dá)到最優(yōu)。最終在多尺度CNN的3個卷積層中選取的卷積核個數(shù)均為32,卷積感受也均為3*3,具體參數(shù)如表1所示;多分組策略LSTM網(wǎng)絡(luò)具體參數(shù)如表2所示。

表1 CNN網(wǎng)絡(luò)參數(shù)Tab.1 CNN network parameters

表2 多分組策略LSTM網(wǎng)絡(luò)參數(shù)Tab.2 Multi-LSTM network parameters

3 實驗

首先,為了驗證多分組策略的有效性,本文設(shè)計了3種分組策略組合進(jìn)行消融實驗；其次,將所提出的方法與現(xiàn)有網(wǎng)絡(luò)方法進(jìn)行實驗對比,所有的實驗結(jié)果均取20次實驗的平均值；此外,在未進(jìn)行標(biāo)定的區(qū)域也進(jìn)行了實驗,以驗證提出方法對更大區(qū)域的標(biāo)識效果,由于沒有標(biāo)準(zhǔn)標(biāo)識結(jié)果,本文采用專家評價的方法,由專業(yè)人員使用RX-100超景深三維顯微鏡對青銅器進(jìn)行掃描,通過20倍放大顯微圖輔助評價。本文中所有實驗均在一臺擁有8核i7-2060、16GB RAM的計算機(jī)上運(yùn)行,網(wǎng)絡(luò)模型采用Tensorflow深度學(xué)習(xí)框架構(gòu)建。評價指標(biāo)采用常用的平均精度(AA)、整體精度(OA)和Kappa系數(shù)。

3.1 數(shù)據(jù)集

本文實驗的青銅器樣本在河南發(fā)掘,現(xiàn)保存于西北大學(xué)文化遺產(chǎn)學(xué)院。由于年代久遠(yuǎn),青銅器表面布滿了各種類別的銹蝕物。在實驗過程中,本文利用Specim IQ高光譜照相機(jī)獲取青銅器的高光譜數(shù)據(jù),如圖4所示。Specim IQ高光譜照相機(jī)的空間分辨率為512×512,光譜范圍為397～1 003 nm,光譜分辨率為0.4～1 μm。為了減少其他光源、背景信息等客觀因素對銹蝕識別結(jié)果的影響,原始數(shù)據(jù)進(jìn)行了輻射校正、圖像裁剪等預(yù)處理。

圖4A是青銅器的真彩色圖像,總共有21 265個像素,其中3 529個像素具有銹蝕類別標(biāo)簽,其余像素?zé)o標(biāo)簽。有標(biāo)簽的像素點作為訓(xùn)練集和測試集,并通過計算客觀指標(biāo)評價方法的有效性。如圖4B所示,總共包含了6種銹蝕類別,每一種類別的訓(xùn)練樣本、測試樣本個數(shù)如表3所示。

圖4 青銅器高光譜數(shù)據(jù)集Fig.4 Bronze hyperspectral data set

表3 青銅器數(shù)據(jù)集訓(xùn)練和測試樣本數(shù)量Tab.3 Number of training and test samples for bronze dataset

3.2 消融實驗

為了驗證多分組策略的LSTM網(wǎng)絡(luò)的性能,本文設(shè)計了兩種對比網(wǎng)絡(luò):CNN-LSTM-1,由CNN網(wǎng)絡(luò)和分組策略1組成;CNN-LSTM-2,由CNN網(wǎng)絡(luò)和分組策略2組成;本文提出的MGLC網(wǎng)絡(luò),則采用CNN網(wǎng)絡(luò)和分組策略1、2共同組成;此外,還與無多分組策略特征提取網(wǎng)絡(luò)CNN進(jìn)行比較。分類結(jié)果如表4所示,使用了分組策略的網(wǎng)絡(luò)性能總是優(yōu)于僅使用CNN網(wǎng)絡(luò)的分類性能,例如，在表4中CNN-LSTM-1、CNN-LSTM-2、MGLC網(wǎng)絡(luò)，無論是AA、OA還是Kappa都優(yōu)于CNN網(wǎng)絡(luò),說明將空間與光譜特征結(jié)合,能有效提升網(wǎng)絡(luò)整體的分類性能。多分組策略較單一分組策略分類精度更優(yōu),這是因為多分組策略兼顧了光譜的整體和局部特征。此外,分組策略2比分組策略1的分類效果略優(yōu),其原因有兩個：①與分組策略1相比,在相同的感受步長情況下分組策略2可感知的光譜序列范圍更廣,可以學(xué)習(xí)到更多的光譜信息;②由于分組策略2光譜與光譜之間的間隔更小，使得網(wǎng)絡(luò)可以在相鄰光譜之間學(xué)習(xí)到更加充分的上下文信息。

綜上所述,MGLC網(wǎng)絡(luò)在分類時不僅將空間特征和光譜特征同時兼顧,在提取光譜特征時還同時考慮了整體特征和局部特征,取得了較好的分類結(jié)果。

表4 不同分組策略的網(wǎng)絡(luò)分類精度Tab.4 Network classification accuracy of different grouping strategies %

3.3 與現(xiàn)有方法對比試驗

為了驗證MGLC方法的有效性,與現(xiàn)有方法進(jìn)行了對比。由于現(xiàn)有一些文物高光譜圖像處理都是在ENVI軟件上完成的,所以本文選取了基于ENVI上的 PCA、SVM的分類方法、基于 LSTM 的高光譜圖像分類[16]、基于 CNN 的高光譜圖像分類[17]，以及僅基于多分組策略光譜特征提取的分類網(wǎng)絡(luò)(LSTM1&2)作為對比方法。需要說明的是,LSTM1&2 是本文所提出的基于光譜特征提取的分類網(wǎng)絡(luò),主要目的是進(jìn)一步驗證光譜特征和空間特征結(jié)合的分類效果?；赑CA的方法是通過SVM分類器分類,SVM的參數(shù)由5層的交叉驗證決定,在參數(shù)設(shè)置上,采用相關(guān)論文的默認(rèn)值,實驗中訓(xùn)練樣本占總樣本數(shù)量的5%。

圖5展示了不同方法的銹蝕識別結(jié)果,通過圖5可以清晰地看出,本文提出的MGLC方法視覺效果優(yōu)于所有對比方法。圖5B和圖5C的分類效果最差,鈣結(jié)物、綠銅礦、粉狀銹、藍(lán)銅礦、紅銅礦均有錯分。與圖5B和圖5C相比圖5E和圖5F在粉狀銹這一類別有了很大提升,但是，其余類別的分類效果還有待提高,在鈣結(jié)物和綠銅礦這兩個類別上仍有明顯錯誤。相比之下,圖5D中鈣結(jié)物具有較好的分類效果。在圖5G中每個類別之間的分界清晰,區(qū)域性更明顯,具有更好的分類效果。

表5利用客觀評價指標(biāo)展示了不同方法之間的識別性能,通過表5可以看出,傳統(tǒng)分類方法PCA和SVM的分類效果不盡人意。僅使用分組策略的LSTM深度學(xué)習(xí)方法和LSTM1&2深度學(xué)習(xí)方法在3個指標(biāo)上都至少提高了3%以上,CNN方法更是提升了15%以上。這一結(jié)果表明,相較于傳統(tǒng)分類方法，深度學(xué)習(xí)方法在青銅器銹蝕標(biāo)識任務(wù)也能夠取得更好的效果。本文提出的MGLC方法與CNN方法相比,在AA類別分類平均精度提高了4.8%,在OA整體分類精度提高了4.1%,Kappa系數(shù)提高了5.2%,說明本文方法有著不錯的分類效果。從表5也可以看出,本文的方法MGLC可以將6類銹蝕類別都較好地標(biāo)識出來,并且6個類別都取得了最高的分類精度,由于類別2土銹和類別4綠銅礦的光譜曲線極為相似,所以，在對比網(wǎng)絡(luò)中這兩類的標(biāo)識精度都不是很高,但本文的方法都將其提升到95%以上。

圖5 不同算法在青銅器數(shù)據(jù)集上的分類結(jié)果Fig.5 Classification results of different algorithms on bronze ware data sets

表5 不同算法在青銅器數(shù)據(jù)集上的分類精度Tab.5 Classification accuracy of different algorithms on bronze dataset %

3.4 未標(biāo)識區(qū)域?qū)嶒?/h3>

為了進(jìn)一步驗證MGLC方法的效果,對樣本更多的區(qū)域進(jìn)行了標(biāo)識,并與現(xiàn)有方法進(jìn)行比較。由于沒有準(zhǔn)確的標(biāo)識結(jié)果，所以采用專家評價的方式進(jìn)行評價。首先,采用RX-100超景深顯微鏡對樣本放大20倍,以更清楚地通過目視觀察對銹蝕類別進(jìn)行判別；其次,對照幾種方法的標(biāo)識結(jié)果分別進(jìn)行評價。圖6A為放大20倍的示意圖(由于版面限制,進(jìn)行了縮小處理),采集時采用HR-2016的鏡頭,圖中標(biāo)尺每格為15 000 μm。

通過放大圖與幾種標(biāo)識結(jié)果的比較可以發(fā)現(xiàn),圖6B和圖6C對于藍(lán)色藍(lán)銅礦與紅色的赤銅礦識別過于敏感。其中，圖6B將左下區(qū)域土銹中不明顯的紅色銹蝕標(biāo)識過多,左上區(qū)的不明顯藍(lán)色銅銹標(biāo)識過多,粉狀銹與綠銅礦標(biāo)識不夠準(zhǔn)確,對于真實的銹蝕分布有一定的偏離。圖6C更是將綠色的綠銅礦與藍(lán)銅礦混為一種區(qū)域,不太符合真實的情況。圖6D比較籠統(tǒng)地將銹層從表面高低錯落與顆粒度大小、密度不同等特征劃分了幾個大致的區(qū)域,有一定的空間分布價值,但不能單獨用于表達(dá)銹蝕的分布情況。圖6E雖然比較準(zhǔn)確地標(biāo)識出上半部綠色綠銅礦與土銹、鈣結(jié)合的混合,準(zhǔn)確區(qū)分了土銹與鈣結(jié)合,但是,對于左下區(qū)域土銹中的紅色赤銅礦過于敏感,將左下區(qū)域的藍(lán)銅礦也識別過度,因此，也不能單獨用于標(biāo)識銹蝕分布。對比樣品放大20倍的照片,圖6F非常細(xì)致地標(biāo)識了6種銹蝕的分布,準(zhǔn)確地識別了藍(lán)銅礦與綠銅礦,成功地將整個區(qū)域的土銹準(zhǔn)確地標(biāo)識出來,對于粉狀銹和紅色赤銅礦標(biāo)識準(zhǔn)確，對左下區(qū)域的土銹與紅色赤銅礦的混合狀態(tài)也準(zhǔn)確表達(dá)出來了。由此可見,LSTM分組方法可以充分利用光譜信息,智能標(biāo)識6種銹蝕的分布。由圖6G可以看出,本文提出的方法MGLC準(zhǔn)確地把銹蝕分布與銹蝕表面高低錯落、顆粒度、密度等不同信息進(jìn)行了綜合展示,突出每一種銹蝕相對集中分布的區(qū)域,特別是有害銹“粉狀銹”所處的位置。同時,智能地將左上區(qū)與左下區(qū)的堿式碳酸銅分成了上藍(lán)下綠,從樣品的顯微照片來看,上半?yún)^(qū)域的綠色銅銹是有偏藍(lán)色的特點,MGLC把其標(biāo)識為藍(lán)色這一點顯示出智能計算拉大分辨能力的優(yōu)勢。綜上所述,從智能識別到文物保護(hù)工作中繪制銹蝕分布圖的功能需要來考慮,本文提出的方法標(biāo)識的銹蝕類別分布比較符合文物保護(hù)病害圖繪制的需要。

圖6 不同算法在青銅器數(shù)據(jù)集有標(biāo)簽面的全圖分類結(jié)果Fig.6 Classification results of different algorithms in bronze dataset with labeled surface

4 結(jié)語

本文提出了一種基于分組LSTM與CNN的青銅器銹蝕類別智能標(biāo)識方法。該方法在CNN網(wǎng)絡(luò)的基礎(chǔ)上引入了多分組策略的LSTM網(wǎng)絡(luò),CNN網(wǎng)絡(luò)可以獲取豐富的空間信息,多分組策略的LSTM可以探索光譜的上下文信息,從而充分利用了青銅器高光譜圖像的空間信息和光譜信息,達(dá)到對青銅器表面銹蝕智能標(biāo)識的效果。實驗結(jié)果表明,本文的方法標(biāo)識準(zhǔn)確率較高,且每個類別之間的分界清晰,區(qū)域性更明顯,標(biāo)識的銹蝕類別分布較符合文物保護(hù)病害圖繪制的需要。但是，由于青銅器銹蝕存在混疊現(xiàn)象,對標(biāo)識產(chǎn)生干擾,這是后續(xù)將進(jìn)一步解決的問題。