蔚道權(quán)，王慧琴，王可，王展，甄剛

（1 西安建筑科技大學(xué)信息與控制工程學(xué)院，西安 710055）

（2 陜西省文物保護(hù)研究院，西安 710075）

0 引言

壁畫是中國(guó)文化長(zhǎng)河中的瑰寶，在歷史、科學(xué)和藝術(shù)等方面具有很高的研究?jī)r(jià)值，顏料作為壁畫的重要?jiǎng)?chuàng)作材料，是其重要組成部分。由于年代久遠(yuǎn)及各種環(huán)境因素的影響，壁畫出現(xiàn)不同程度的畫面模糊、顏料脫落等問題，對(duì)顏料鑒定和識(shí)別是壁畫后期維護(hù)的重要前提。近年來，多光譜成像技術(shù)作為基于成像學(xué)和光譜學(xué)發(fā)展起來的新興技術(shù)，為壁畫顏料高效檢測(cè)識(shí)別提供了可靠方法［1］。多光譜圖像是具有數(shù)個(gè)波段或者數(shù)十個(gè)波段組成的“數(shù)據(jù)立方體”，光譜技術(shù)與成像技術(shù)結(jié)合在一幅圖像中，含有豐富的光譜信息和空間信息［2］。在給定已知類別標(biāo)簽的樣本數(shù)據(jù)情況下，多光譜圖像顏料的分類實(shí)質(zhì)為通過分析不同顏料的空譜特征來選擇特征參數(shù)的過程，特征空間被劃分成不同的子空間，每個(gè)像素點(diǎn)被指定給相關(guān)的子空間。

多光譜圖像顏料分類逐漸成為光譜數(shù)據(jù)分析的研究熱點(diǎn)，GONG Mengting 等［3］用高光譜成像系統(tǒng)采集現(xiàn)代中國(guó)畫的高光譜圖像，利用光譜角填圖法對(duì)繪畫所用顏料進(jìn)行分類和識(shí)別；ZHANG Chenfeng 等［4］對(duì)文物顏料光譜吸收特征進(jìn)行參量化分析，并通過改進(jìn)的光譜吸收特征擬合算法與標(biāo)準(zhǔn)光譜進(jìn)行匹配識(shí)別，從而得到識(shí)別結(jié)果；BU Yajing 等［5］根據(jù)不同物質(zhì)對(duì)光的吸收特性不同，提出了一種基于可見光譜的顏料識(shí)別方法；LI Junfeng 等［6］針對(duì)取樣分析技術(shù)破壞壁畫文物完整性問題，提出非接觸式可見光譜法原位無損識(shí)別壁畫文物礦物質(zhì)顏料物質(zhì)成分和粒徑的方法。WANG Yu 等［7］利用顯微激光拉曼光譜儀對(duì)大昭寺轉(zhuǎn)經(jīng)廊壁畫顏料進(jìn)行了分析，并發(fā)現(xiàn)壁畫中使用了合成有機(jī)顏料甲苯胺紅。LIANG Jinxing 等［8］提取光譜曲線的一階與二階導(dǎo)數(shù)特征，構(gòu)建古代壁畫常用顏料庫(kù)光譜數(shù)據(jù)庫(kù)，計(jì)算待鑒別顏料與數(shù)據(jù)庫(kù)參考樣本在光譜特征空間中的匹配誤差，實(shí)現(xiàn)顏料物質(zhì)屬性的鑒別。LI Junfeng 等［9］提出一種非接觸式可見光譜法原位無損識(shí)別壁畫文物礦物質(zhì)顏料物質(zhì)成分和粒徑的方法。

特征提取是多光譜圖像分類的關(guān)鍵步驟，傳統(tǒng)的多光譜圖像顏料分類算法只考慮圖像的光譜特征，而忽略圖像的空間相關(guān)性，并且在壁畫的采集過程中，稀疏采集導(dǎo)致其光譜反射率非線性較強(qiáng)，其空間分辨率高度相關(guān)性，影響壁畫多光譜圖像分類精度。近年來，深度學(xué)習(xí)方法被成功用于多光譜圖像分類研究［10-12］，與傳統(tǒng)多光譜分類算法相比，深度學(xué)習(xí)方法通過構(gòu)建網(wǎng)絡(luò)框架能夠自動(dòng)地從數(shù)據(jù)中挖掘所需要的深層特征，對(duì)分類任務(wù)具有較強(qiáng)的魯棒性，在分類精度方面有較大提升。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net‐work，CNN）、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）等深度學(xué)習(xí)模型被應(yīng)用于多光譜圖像分類，并取得了一定的效果，但是上述模型無法充分利用多光譜圖像的空譜信息。

本文提出了一種聯(lián)合空間信息和光譜信息的多光譜壁畫顏料分類方法，采用CNN 和LSTM 分別提取多光譜圖像的空間特征和光譜特征，LSTM 中雙曲正切激活函數(shù)提取多光譜圖像非線性特征，CNN 中線性整流函數(shù)映射特征圖到非線性空間，提高稀疏壁畫多光譜圖像顏料的分類精度。

1 相關(guān)原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

壁畫多光譜圖像稀疏采集會(huì)導(dǎo)致圖像中光譜反射率的非線性增強(qiáng)，進(jìn)而影響分類精度。深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)可以提取多光譜數(shù)據(jù)的非線性特征，其結(jié)構(gòu)內(nèi)的線性整流函數(shù)（Rectified Linear Unit，ReLU）將多光譜數(shù)據(jù)從線性空間映射到非線性空間。在壁畫多光譜圖像空間維度中，卷積神經(jīng)網(wǎng)絡(luò)將中間特征圖經(jīng)過激活函數(shù)再輸出，使卷積后的線性映射轉(zhuǎn)換成非線性映射，其結(jié)構(gòu)主要由卷積層、池化層和全連接層組成［13］，其中卷積層第l+l 層輸出表達(dá)式為

式中，Zl+1表示第l+1 層的特征圖輸出，表示第l層，第k個(gè)通道的特征圖輸出，b為偏置量，Z(i，j)為對(duì)應(yīng)輸出的特征圖像素值為第l+1 層，第k個(gè)通道的權(quán)重矩陣，K為特征圖的通道數(shù)，(x，y)表示像素點(diǎn)的位置，f和s0分別對(duì)應(yīng)卷積核的大小和卷積步長(zhǎng)。

在多光譜圖像分類中，空間信息主要指空間上下文信息，具體表現(xiàn)為相近像元為同類的可能性較大，對(duì)于壁畫圖像來說，待分類顏料屬于含其相鄰像元數(shù)目最多類別的可能性最大，即相鄰像元相關(guān)性較強(qiáng)，因此引入卷積神經(jīng)網(wǎng)絡(luò)提取壁畫多光譜中空間維度上的顏料特征。本文所用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如圖1，其結(jié)構(gòu)由3 層卷積層和3 層池化層組成，卷積層的卷積核大小為3×3，數(shù)量為32，激活函數(shù)為ReLU，池化層的步長(zhǎng)為2×2，填充方式為SAME。因壁畫顏料區(qū)域大小形狀不一，不同尺度、不同抽象級(jí)別的特征對(duì)分類結(jié)果皆有重要影響，并且隨著卷積層數(shù)的加深，特征圖的大小不斷減小，丟失小區(qū)域顏料的細(xì)節(jié)信息。為有效提取不同尺度特征，引入多尺度融合策略將淺層特征與深層特征進(jìn)行融合，進(jìn)一步提高壁畫多光譜圖像分類精度。但是僅利用卷積神經(jīng)網(wǎng)絡(luò)提取空間特征太過單一，無法充分利用多光譜圖像“圖譜合一”的特點(diǎn)，因此加入長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)提取多光譜圖像光譜特征。

圖1 空間特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Spatial feature extraction network structure

1.2 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)

基于單特征的分類方法精度較低［14］，且稀疏壁畫多光譜圖像光譜反射率的非線性也會(huì)影響分類精度，結(jié)合多光譜數(shù)據(jù)空譜合一的特點(diǎn)，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，利用其結(jié)構(gòu)中雙曲正切激活函數(shù)完成對(duì)光譜特征的非線性提取。作為循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［15］的變體，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）因能有效抑制RNN 反向傳播階段時(shí)梯度消失或梯度爆炸［16］現(xiàn)象，在處理長(zhǎng)序列數(shù)據(jù)時(shí)有較好表現(xiàn)。多光譜圖像的光譜數(shù)據(jù)實(shí)質(zhì)上可視為序列數(shù)據(jù)，其波段之間具有序列相關(guān)性。LSTM 作為RNN 的改進(jìn)網(wǎng)絡(luò)，增加了內(nèi)部狀態(tài)和門控機(jī)制，其主要核心部分包括輸入門、遺忘門、輸出門和自循環(huán)連接。其中輸入門i(t)控制當(dāng)前時(shí)刻的候選狀態(tài)信息保存需求量，遺忘門f(t)控制上一時(shí)刻內(nèi)部狀態(tài)遺忘信息需求量，輸出門o(t)控制當(dāng)前時(shí)刻對(duì)外部狀態(tài)h(t)的內(nèi)部狀態(tài)輸出需求量。步長(zhǎng)為t的LSTM 前向傳播過程如式（2）～（6）所示。

InputGate：

ForgetGate：

OutputGate：

CellState：

LSTMOutput：

式中，Wi、Wf、Wo、Wc、Ui、Uf、Uo和Uc為權(quán)重矩陣，bi、bf、bo和bc為偏差向量，i(t)、f(t)、o(t)分別表示t時(shí)刻輸入門、遺忘門和輸出門的輸出，c(t)和c(t-1)表示t時(shí)刻和t-1 時(shí)刻的狀態(tài)單元，h(t-1)、h(t)分別表示t-1 時(shí)刻和t時(shí)刻網(wǎng)絡(luò)的輸出，σ為sigmoid 激活函數(shù)，具體形式為?σ(x)=，⊙表示點(diǎn)積，g表示tanh 激活函數(shù)，形式為g(x)=。

如圖2 所示，將壁畫多光譜圖像進(jìn)行光譜重組，輸出一維光譜向量到LSTM 中，在無監(jiān)督情況下主動(dòng)學(xué)習(xí)深度光譜特征，利用LSTM 提取多光譜圖像的光譜信息。在光譜維度相鄰波段間光譜反射率具有高度相關(guān)性，且光譜數(shù)據(jù)本質(zhì)為序列數(shù)據(jù)，LSTM 可關(guān)注相鄰序列數(shù)據(jù)之間的上下文信息，即相鄰波段之間的光譜信息。因此利用上述特性可高效提取多光譜數(shù)據(jù)中光譜特征，達(dá)到多光譜圖像高精度分類的目的。

圖2 光譜特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Spectrum feature extraction network structure

1.3 空譜聯(lián)合特征網(wǎng)絡(luò)

壁畫多光譜圖像含有大量空間特征和光譜特征，僅利用CNN 提取空間特征或LSTM 提取光譜特征無法充分利用壁畫多光譜的圖像“空譜合一”特性，導(dǎo)致顏料分類精度較低，因此將二者結(jié)合為空譜聯(lián)合特征網(wǎng)絡(luò)。傳統(tǒng)多光譜圖像分類方法如K近鄰法［17］、最大似然法［18］及支持向量機(jī)［19］法，僅考慮圖像的空間信息或光譜信息，忽略了相應(yīng)域的光譜信息相關(guān)性，且稀疏采集方式對(duì)分類精度有一定影響。對(duì)于壁畫多光譜圖像而言，其光譜反射率呈現(xiàn)非線性特點(diǎn)，深度學(xué)習(xí)中的激活函數(shù)可以提取非線性光譜特征。激活函數(shù)給神經(jīng)元加入非線性元素，使神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)，因此將LSTM 和CNN 的激活函數(shù)引入壁畫多光譜圖像顏料分類網(wǎng)絡(luò)中，映射多光譜數(shù)據(jù)到非線性空間，提高光譜非線性特征的表達(dá)能力。

CNN 因其強(qiáng)大的特征提取能力，逐漸成為多光譜圖像分析的主流算法，但其應(yīng)用于壁畫多光譜圖像分類尚存在一些問題。文獻(xiàn)［20］將CNN 用于高光譜圖像分類，由于壁畫多光譜圖像同時(shí)具有豐富的空間信息和光譜信息，且卷積和池化操作只提取壁畫二維空間特征，忽略了多光譜圖像光譜維度上的光譜特性，很大程度上影響了模型分類性能。壁畫多光譜圖像的顏料類別復(fù)雜多樣，僅利用光譜信息或者空間信息很難適應(yīng)壁畫多光譜數(shù)據(jù)。由文獻(xiàn)［21］可知，結(jié)合空間和光譜信息的方法可有效提高光譜信息分類精度。文獻(xiàn)［22］中提出一種基于3 維卷積遞歸神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類方法，雖提取了空間信息與光譜信息，但對(duì)多通道高分辨率壁畫多光譜圖像而言，遞歸神經(jīng)網(wǎng)絡(luò)無法處理長(zhǎng)序列的多光譜數(shù)據(jù)。因此利用LSTM 時(shí)序連接結(jié)構(gòu)提取壁畫多光譜圖像的光譜特征，解決了多光譜數(shù)據(jù)非線性對(duì)分類結(jié)果的影響。

本文將CNN 和LSTM 整合為空譜聯(lián)合特征網(wǎng)絡(luò)（Space-Spectrum Joint Feature，SSJF），網(wǎng)絡(luò)結(jié)構(gòu)如圖3。網(wǎng)絡(luò)主體由卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)組成，上分支使用LSTM 提取光譜特征，通過激活函數(shù)Tanh 將多光譜輸出特征圖映射在［?1，1］范圍，提取非線性光譜特征的同時(shí)有效避免了梯度消失；下分支使用CNN 提取空間特征，在卷積后使用ReLU 函數(shù)映射至非線性空間，調(diào)整輸出特征矩陣將負(fù)值修正為0，大于或等于0 的數(shù)值保持不變。同時(shí)將多通道三維多光譜數(shù)據(jù)立方體展平為一維光譜向量，輸入到LSTM中，通過遺忘門及輸出門獲取有效光譜特征向量。融合LSTM 和CNN 所提特征圖為空譜聯(lián)合特征圖，經(jīng)過前向傳播建立網(wǎng)絡(luò)模型，設(shè)計(jì)網(wǎng)絡(luò)損失函數(shù)，通過反向傳播最小化損失函數(shù)，最后利用softmax 分類器輸出每類顏料對(duì)應(yīng)概率值。

圖3 空譜聯(lián)合特征提取網(wǎng)絡(luò)Fig.3 Space-spectrum joint feature extraction network

整體網(wǎng)絡(luò)流程為：

Step1：對(duì)于上分支LSTM，設(shè)X∈Rr×c×n為原始多光譜數(shù)據(jù)，其中r、c、n為多光譜圖像高、寬及通道數(shù)。將三維多光譜圖轉(zhuǎn)換為一維光譜向量，對(duì)于當(dāng)前時(shí)刻輸入xt，有

式中，xt∈RM為當(dāng)前時(shí)刻輸入，W∈R4D×(D+M)和b∈R4D為網(wǎng)絡(luò)參數(shù)，D為數(shù)據(jù)維度，M為超參數(shù)RD為通過非線性函數(shù)得到的候選狀態(tài)，ct-1為上一時(shí)刻記憶單元；tanh 為雙曲正切激活函數(shù)，形式為tanh=，⊙為向量元素乘積。

Step2：對(duì)于下分支CNN，設(shè)X∈Rr×c×n為原始多光譜數(shù)據(jù)，經(jīng)過三次卷積核最大池化操作后，第l層的輸出特征映射為

式中，al為第l層激活后輸出，maxpool 表示最大池化，ReLU 表示線性整流函數(shù)，al-1為第l-1 層激活后輸出，Wl和bl分別表示第l層的權(quán)重及偏置。

Step3：將LSTM 和CNN 提取的特征進(jìn)行拼接，經(jīng)Softmax 得到每一類顏料概率值，對(duì)于多光譜圖像多分類問題，類別標(biāo)簽為y∈{1，2，...，C}。給定一個(gè)樣本x，Softmax 回歸預(yù)測(cè)屬于類別c的條件概率為

式中，p(y=c|x)表示樣本x屬于c類的概率，wc是第c類的權(quán)重向量。

網(wǎng)絡(luò)損失函數(shù)定義為

式中，Lcnn、Llstm、Ljoin分別為卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和空譜聯(lián)合特征網(wǎng)絡(luò)的損失函數(shù)為第i個(gè)訓(xùn)練樣本對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽，yi為真實(shí)類別標(biāo)簽，m為訓(xùn)練集的大小。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集分為兩部分，第一部分為自制多光譜顏料板，如圖4 所示，其中包含鉻黃、雌黃、藤黃、頭綠、四綠、頭青、天蘭、四青、青金石、深紅、大紅、朱膘、赭石、銀朱14 種顏料色塊多光譜圖像，圖像大小為187×500，光譜波段數(shù)為16，波長(zhǎng)分別在400 nm，460 nm，480 nm，520 nm，540 nm，580 nm，600 nm，640 nm，660 nm，700 nm，740 nm，780 nm，820 nm，860 nm 和900 nm。圖4（a）為在CIE 標(biāo)準(zhǔn)照明體D65 光源下660 nm 處多光譜圖像示意圖，圖4（b）為各種顏料的RGB 三色圖，多光譜顏料板數(shù)據(jù)集按1：9 劃分為訓(xùn)練集和測(cè)試集，表1為數(shù)據(jù)集具體劃分，其中Training 和Test 兩欄分別代表訓(xùn)練集和測(cè)試集的像素點(diǎn)個(gè)數(shù)。第二部分為自制模擬壁畫，如圖5 所示，圖像大小為1 370×1 030，光譜波段數(shù)為16，光譜分辨率和多光譜顏料板相同，其中圖5（a）為660 nm 處光譜圖像示意圖，圖5（b）為真彩色圖像。

圖5 自制模擬壁畫Fig.5 Self-made mock murals

表1 多光譜顏料板訓(xùn)練集和測(cè)試集劃分Table 1 The division of training set and test set of multispectral paint board

圖4 多光譜顏料板Fig.4 Multispectral pigment board

2.2 顏料板及模擬壁畫分析

將多光譜顏料板中的顏料標(biāo)記為訓(xùn)練標(biāo)簽，鉻黃標(biāo)記為1，雌黃標(biāo)記為2，以此類推，為了定量評(píng)價(jià)各模型的性能，使用OA 和Kappa 系數(shù)作為性能指標(biāo)，OA 表示訓(xùn)練樣本中分類正確的百分比例，越接近100%說明分類精度越高，Kappa 系數(shù)是基于混淆矩陣的精度衡量指標(biāo)，代表與完全隨機(jī)分類相比分類減少的錯(cuò)誤百分比，其取值范圍為［?1，1］，評(píng)價(jià)指標(biāo)可分別表示為

式中，TP 表示真實(shí)值為正樣本，預(yù)測(cè)值為正樣本；TN 表示真實(shí)值為負(fù)樣本，預(yù)測(cè)值為負(fù)樣本；FP 表示真實(shí)值為負(fù)樣本，預(yù)測(cè)值為正樣本；TN 表示真實(shí)值為正樣本，預(yù)測(cè)值為負(fù)樣本。po表示每一類正確分類的樣本數(shù)量之和除以總樣本數(shù)，pe=。

采用小批量隨機(jī)梯度下降算法優(yōu)化網(wǎng)絡(luò)模型，訓(xùn)練階段設(shè)置epoch 為500，網(wǎng)絡(luò)采用端到端的方式訓(xùn)練，所有參數(shù)通過Adam 算法進(jìn)行優(yōu)化，初始學(xué)習(xí)率為0.000 1，β1=0.9，β2=0.999，batch_size 為128，Keras 框架搭建空譜聯(lián)合網(wǎng)絡(luò)模型，硬件環(huán)境為Intel i7-8700，3.20 GHz 處理器，16 GB RAM，NVIDIA RTX 2070顯卡。

多光譜顏料板訓(xùn)練結(jié)果如圖6，其中圖6（a）為16 通道多光譜圖，圖6（b）為真實(shí)類別標(biāo)簽，圖6（c）為L(zhǎng)STM 分類結(jié)果，可以看出其網(wǎng)絡(luò)大致分類出所標(biāo)記的顏料的類別，但LSTM 更多關(guān)注多光譜圖像的光譜特征，沒有考慮到空間特征，實(shí)際分類效果與真實(shí)結(jié)果相差較遠(yuǎn)。圖6（d）為CNN 分類結(jié)果，相比于LSTM，可以看出CNN 對(duì)顏料色塊的線條、形狀等空間特征分類效果較好。圖6（e）為SSJF 結(jié)果，與只考慮光譜特征或者空間特征的方法相比，空譜聯(lián)合特征的分類結(jié)果更接近類別標(biāo)簽。

圖6 不同方法在顏料板下的訓(xùn)練結(jié)果Fig.6 The training results of different methods under the paint board

定量分析如表2 所示，從表中數(shù)據(jù)可知空譜聯(lián)合特征網(wǎng)絡(luò)對(duì)各個(gè)顏料的分類的準(zhǔn)確度結(jié)果較好，相對(duì)于只提取光譜特征或只提取空間特征的網(wǎng)絡(luò)來說，空譜聯(lián)合特征網(wǎng)絡(luò)的OA 和Kappa 系數(shù)都高于只提取單一特征的分類方法。

表2 不同方法在顏料板下的分類精度Table 2 Classification accuracy of different methods under pigment board

從圖7 中每個(gè)方法對(duì)每類顏料的分類結(jié)果來看，SSJF 對(duì)顏料的分類準(zhǔn)確度均高于CNN 和LSTM 的分類準(zhǔn)確度，LSTM 中tanh 和sigmoid 激活函數(shù)能夠給神經(jīng)網(wǎng)絡(luò)加入非線性因素，使得LTSM 具有良好的非線性逼近能力，CNN 中的卷積操作可以提取局部區(qū)域的特征信息，避免了相鄰顏料錯(cuò)分為相同種類的情況，消除了光譜分辨率非線性和空間相關(guān)性對(duì)分類結(jié)果的影響，并且融合LSTM 和CNN 提取的光譜信息和空間信息，充分利用多光譜圖像的空譜信息，進(jìn)一步提高了壁畫多光譜圖像的分類精度。

圖7 顏料板分類結(jié)果Fig.7 Color board classification results

為了驗(yàn)證模型的普適性，將調(diào)優(yōu)后的模型預(yù)測(cè)自制模擬壁畫中的顏料，對(duì)模擬壁畫分別采用最小距離分類法（Minimum Distance Classification，MDC）、光譜信息散度法（Spectral Information Divergence，SID）、光譜角制圖法（Spectral Angle Mapping，SAM）、支持向量機(jī)法（Support Vector Machine，SVM）和本文的空譜聯(lián)合特征網(wǎng)絡(luò)（Space-Spectrum Joint Feature，SSJF）。實(shí)驗(yàn)結(jié)果如圖8，其中圖8（a）為MDC 分類結(jié)果，從圖上來看結(jié)果較差，出現(xiàn)顏料錯(cuò)分的情況；圖8（b）為SID 分類結(jié)果，可以看出對(duì)細(xì)節(jié)部分分類較差；圖8（c）為SAM 分類結(jié)果，與SID 分類結(jié)果相似；圖8（d）為SVM 分類結(jié)果，從圖像上可以看出總體精度較好，對(duì)于銀朱、鉻黃、四綠等顏料都得出較為正確的結(jié)果；圖8（e）和（f）分別為卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)分類結(jié)果，圖8（g）為空譜聯(lián)合網(wǎng)絡(luò)的分類結(jié)果，本文算法將CNN 和LSTM 各自分類殘缺的部分進(jìn)行補(bǔ)齊，對(duì)自制壁畫中的顏料進(jìn)行了正確分類，相比于其他傳統(tǒng)算法，對(duì)自制壁畫中人物衣服中的顏料分類的結(jié)果更為準(zhǔn)確。

圖8 不同方法在自制壁畫下的分類結(jié)果Fig.8 Classification results of different methods under self-made murals

為判定分類結(jié)果的真實(shí)有效，采用主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法相結(jié)合的方式對(duì)圖像分類結(jié)果進(jìn)行評(píng)價(jià)，主觀圖像質(zhì)量評(píng)價(jià)方法采用雙刺激損傷分級(jí)法對(duì)壁畫多光譜圖像的分類結(jié)果進(jìn)行打分。相比主觀圖像質(zhì)量評(píng)價(jià)方法來說，客觀評(píng)價(jià)方法應(yīng)用更準(zhǔn)確、廣泛，最常用的有均方根誤差（Root Mean Squared，RMSE）法、峰值信噪比法（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性法（Structural Similarity Image Metric，SSIM）。

對(duì)于主觀評(píng)價(jià)方法，通常采用圖像主觀質(zhì)量5 級(jí)評(píng)分表進(jìn)行打分，邀請(qǐng)陜西省文物保護(hù)研究院相關(guān)專家和本項(xiàng)目組人員，共10 人進(jìn)行評(píng)價(jià)，分為5 組，每組2 人。利用雙刺激損傷分級(jí)法對(duì)比分類結(jié)果和原圖，觀察待測(cè)圖像的分類結(jié)果，根據(jù)表3 圖像主觀質(zhì)量5 級(jí)評(píng)分表，得出待測(cè)圖像的質(zhì)量等級(jí)，評(píng)價(jià)結(jié)果如表4，MDC為Very bad，SID 為Poor，SAM 和SVM 均為Generally，MSCNN 和LSTM 均為Better，SSJF 為Very good，由表可知，相比較其他算法，SSJF 的分類結(jié)果較好。

表3 圖像主觀評(píng)價(jià)度量尺度表對(duì)對(duì)比Table 3 Comparison of the scales of subjective image evaluation

表4 雙刺激損傷分級(jí)法主觀評(píng)價(jià)結(jié)果Table 4 Evaluation results of dual stimulation injury classification method

對(duì)各算法分類結(jié)果采用RMSE、PSNR 和SSIM 進(jìn)行客觀評(píng)價(jià)，其中RMSE 為預(yù)測(cè)值與真實(shí)值偏差的平方與觀測(cè)次數(shù)比值的平方根，其值越小代表誤差越小，越接近真實(shí)值；PSNR 表示信號(hào)最大可能功率和影響它的表示精度的破壞性噪聲功率的比值，其數(shù)值越高說明與原圖越相似；結(jié)構(gòu)相似性SSIM 表現(xiàn)在圖像的像素間存在著很強(qiáng)的相關(guān)性，其取值范圍為［0，1］，值越大，表示圖像失真越小，越相似。評(píng)價(jià)結(jié)果如表5，其中SSJF 的RMSE、PSNR 和SSIM 均優(yōu)于其他分類算法，可知該算法有效地對(duì)壁畫多光譜圖像顏料進(jìn)行了分類。

表5 圖像質(zhì)量客觀評(píng)價(jià)結(jié)果Table 5 Objective evaluation results of image quality

表6 為不同方法對(duì)自制模擬壁畫的分類精度對(duì)比，與LSTM 和CNN 相比，SSJF 對(duì)每一類的顏料的分類準(zhǔn)確度分別提高了0.11～8.22 和0.09～7.12，且OA 和Kappa 較LSTM 提高了1.42 和0.024 3，較CNN 提高了1.29 和0.022 1。綜上，空譜聯(lián)合特征網(wǎng)絡(luò)明顯優(yōu)于其他傳統(tǒng)算法，OA 和Kappa 系數(shù)分別為99.97% 和0.999 5。

表6 不同方法對(duì)自制模擬壁畫的分類精度Table 6 Classification accuracy of self-made simulated murals by different methods

從圖9 可知，空譜聯(lián)合特征網(wǎng)絡(luò)（SSJF）的整體精確度都高于傳統(tǒng)壁畫多光譜圖像分類方法，并且對(duì)各個(gè)顏料分類精確度基本上都達(dá)到了99%以上，Kappa 系數(shù)（Kappa×100）也達(dá)到了99.95。相對(duì)于其他分類算法，SSJF 算法都優(yōu)于單特征算法的分類精度。

圖9 自制壁畫分類結(jié)果Fig.9 Self-made mural classification results

2.3 真實(shí)壁畫多光譜成像數(shù)據(jù)分析

相比于自制壁畫圖像，由于受到長(zhǎng)期病害的侵蝕，真實(shí)壁畫表面情況復(fù)雜，對(duì)顏料分類結(jié)果產(chǎn)生較大影響，需要對(duì)壁畫多光譜圖像進(jìn)行去噪和配準(zhǔn)等預(yù)處理。真實(shí)壁畫來自于研究團(tuán)隊(duì)在天津某寺廟拍攝的一幅因竭陀尊者圖像的部分區(qū)域，如圖10 所示，圖中左側(cè)為因竭陀尊者真彩圖像，右側(cè)為裙子部分的16 通道光譜圖像。搭建CCD 多光譜相機(jī)拍攝環(huán)境采集壁畫多光譜圖像，利用分光元件對(duì)目標(biāo)壁畫進(jìn)行多通道成像，各個(gè)通道的像素值代表目標(biāo)壁畫在此通道上的光譜反射情況，將所有通道結(jié)合形成數(shù)據(jù)立方體，再進(jìn)行圖像配準(zhǔn)，得到光譜分辨率從400 nm 到940 nm 的16 通道的多光譜圖像。

圖10 因竭陀尊者裙子部分16 通道多光譜圖Fig.10 16-channel multispectral image of Venerable Injanta′s skirt

圖11（a）為原始樣本，圖11（b）為分類結(jié)果，選取因竭陀尊者裙子部分中ROI1 和ROI2 區(qū)域作為測(cè)試樣本，采用調(diào)優(yōu)后的空譜聯(lián)合特征模型預(yù)測(cè)樣本，得出分類結(jié)果，并與標(biāo)準(zhǔn)顏料板進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，空譜聯(lián)合特征網(wǎng)絡(luò)分類方法較好地分出了顏料種類，LSTM 中的Tanh 函數(shù)提取的非線性光譜特征，減小了非線性對(duì)分類精度的影響，且LSTM 解決了反向傳播階段產(chǎn)生的梯度消失和梯度爆炸的問題，提高了該壁畫中人物裙子的分類效果，同時(shí)CNN 中ReLU 函數(shù)把特征圖映射到非線性空間，加速了網(wǎng)絡(luò)訓(xùn)練的速度，降低了壁畫多光譜相鄰像元之間的相關(guān)性，提高了模型非線性特征的表達(dá)能力。CNN 中局部連接及參數(shù)共享機(jī)制大大減小了訓(xùn)練參數(shù)量，使訓(xùn)練更快收斂至全局最小點(diǎn)。同時(shí)本文深度空譜聯(lián)合特征網(wǎng)絡(luò)也受人眼神經(jīng)元細(xì)胞感受機(jī)理的啟發(fā)，模擬人腦視覺處理信息的機(jī)理，建立空譜聯(lián)合特征深度網(wǎng)絡(luò)模型。壁畫多光譜圖像存在同色異譜現(xiàn)象，在不同光源下，不同物質(zhì)可能顯現(xiàn)出相同的顏色，但其光譜反射率不同。本文空譜聯(lián)合特征網(wǎng)絡(luò)算法所用數(shù)據(jù)為光譜數(shù)據(jù)，其分類結(jié)果可從物理層面杜絕顏料分類誤差，避免在色度空間的誤分類情況。其中ROI1 區(qū)域和ROI2 區(qū)域預(yù)測(cè)準(zhǔn)確度分別為99.86%和99.90%，同時(shí)模型也預(yù)測(cè)出其他未知顏料，從圖11（b）中分類結(jié)果上看，不僅預(yù)測(cè)出所標(biāo)記的ROI 區(qū)域的顏料，且對(duì)于ROI1 和ROI2 以外的區(qū)域（圖中標(biāo)記區(qū)域）顏料也成功預(yù)測(cè)，驗(yàn)證了本文空譜聯(lián)合網(wǎng)絡(luò)用于壁畫顏料分類的有效性。

圖11 裙子部分區(qū)域樣本及分類結(jié)果Fig.11 Partial region samples and classification results of skirts

3 結(jié)論

本文提出一種空譜聯(lián)合特征方法識(shí)別壁畫多光譜圖像顏料類別，利用CNN 和LSTM 分別提取多光譜圖像的空間特征和光譜特征，對(duì)壁畫顏料進(jìn)行分類識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文方法可有效地提高待測(cè)顏料的分類準(zhǔn)確度，并且OA 和Kappa 系數(shù)都高于其他算法。傳統(tǒng)基于儀器的測(cè)量方法需要直接接觸壁畫，可能會(huì)對(duì)文物造成損壞，為避免該問題，采用多光譜成像技術(shù)和深度學(xué)習(xí)算法識(shí)別顏料種類，該方法可快速、無損且無接觸式地識(shí)別出壁畫顏料的種類，其分類結(jié)果可以作為壁畫修復(fù)和朝代鑒定的參考材料。