張換換， 王慧琴*， 王可， 王展， 甄剛， 賀章

（1.西安建筑科技大學(xué) 信息與控制工程學(xué)院， 陜西 西安 710055；2.陜西省文物保護(hù)研究院， 陜西 西安 710075；3.陜西省考古研究院， 陜西 西安 710054）

1 引言

壁畫(huà)作為我國(guó)最古老的繪畫(huà)藝術(shù)形式之一，存世數(shù)量巨大、色彩瑰麗、內(nèi)容豐富，具有極高的藝術(shù)和研究?jī)r(jià)值，是中國(guó)文化遺產(chǎn)的重要組成部分。這些珍貴的壁畫(huà)在數(shù)千年時(shí)間里受到了人類(lèi)和自然的嚴(yán)重破壞，需要得到及時(shí)的保護(hù)和修復(fù)。壁畫(huà)的線稿決定了其主要結(jié)構(gòu)以及內(nèi)容，是保護(hù)和修復(fù)的關(guān)鍵環(huán)節(jié)。

傳統(tǒng)的壁畫(huà)線稿提取方法多為手工繪制，效率較低，只能繪制肉眼所看到的壁畫(huà)信息，無(wú)法獲取可見(jiàn)光之外的隱藏信息。光譜成像技術(shù)可以得到更為寬廣光譜范圍的圖像，從而獲得更加豐富的信息［1］?，F(xiàn)階段基于光譜數(shù)據(jù)提取線稿的方法大都將光譜反射率相近的像素聚類(lèi)從而分出屬于線稿顏色的邊緣，最常用的有光譜角分類(lèi)［2］和支持向量機(jī)分類(lèi)［3］。這類(lèi)方法需要選擇純凈像元作為參考與光譜庫(kù)光譜曲線進(jìn)行對(duì)比，對(duì)人工干預(yù)的依賴(lài)度較高。針對(duì)壁畫(huà)數(shù)字化保護(hù)問(wèn)題，需要探索研究一種更加高效且準(zhǔn)確的數(shù)字化壁畫(huà)線稿自動(dòng)提取技術(shù)。

壁畫(huà)圖像線稿的提取可以作為圖像邊緣檢測(cè)問(wèn)題進(jìn)行處理。目前基于邊緣檢測(cè)的線稿提取主要分為傳統(tǒng)邊緣檢測(cè)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的邊緣檢測(cè)基于圖像梯度，通過(guò)方向?qū)?shù)掩碼（梯度方向?qū)?shù)）求卷積得到圖像的邊緣，如Sobel算子［4］、Prewitt算子［5］和目前最常用的Canny算子［6］。由于只基于梯度計(jì)算，易受噪聲影響，其淺層結(jié)構(gòu)不太明顯，會(huì)丟失梯度不明顯的線條，導(dǎo)致提取出的邊緣不連貫。Kang等人［7］提出了一種基于流的高斯差分（Flow-based Difference of Gaussians， FDoG）濾波框架構(gòu)建邊緣正切流，提高了線條的連續(xù)性和平滑程度，但是容易受噪聲影響。由于大多數(shù)古代壁畫(huà)經(jīng)過(guò)人為和自然等因素的破壞，導(dǎo)致壁畫(huà)圖像存在大量的噪聲。使用現(xiàn)有的邊緣檢測(cè)算法大多對(duì)壁畫(huà)的線條進(jìn)行視覺(jué)上的增強(qiáng)，如果忽略圖像本身的噪聲，很難從壁畫(huà)中提取出線稿草圖。

近年來(lái)，深度學(xué)習(xí)在邊緣提取方面逐漸顯示出優(yōu)勢(shì)，可以從原始像素點(diǎn)到抽象的語(yǔ)義概念逐層提取信息，目前基于學(xué)習(xí)的邊緣檢測(cè)方法如RCF［8］、BDCN［9］、DexiNed［10］等都有出色的邊緣提取性能。Su等人［11］提出了一種用于高效輪廓檢測(cè)的像素差網(wǎng)絡(luò)（PiDiNet），將經(jīng)典的輪廓檢測(cè)算子引入深度神經(jīng)網(wǎng)絡(luò)，邊緣檢測(cè)的效果較好。但將深度學(xué)習(xí)技術(shù)應(yīng)用于壁畫(huà)線稿提取也面臨著巨大的挑戰(zhàn)，目前邊緣檢測(cè)模型的訓(xùn)練和評(píng)估都是基于公開(kāi)的自然圖像數(shù)據(jù)集進(jìn)行，沒(méi)有可以用于進(jìn)行壁畫(huà)邊緣檢測(cè)的公開(kāi)數(shù)據(jù)集。

壁畫(huà)本身的病害及殘損情況使壁畫(huà)線稿的提取難度加大。本文提出了一種基于像素卷積平衡的壁畫(huà)多光譜圖像線稿提取方法，對(duì)壁畫(huà)多光譜數(shù)據(jù)進(jìn)行最小分離噪聲變換選取最優(yōu)波段，根據(jù)壁畫(huà)線稿的梯度方向分布，采用像素差卷積提取感興趣區(qū)域的邊緣特征。在側(cè)輸出層引入尺度增強(qiáng)模塊（Scale Enhancement Module，SEM）利用膨脹卷積生成多尺度特征。設(shè)計(jì)損失函數(shù)解決CNN提取出的線稿邊緣模糊以及存在大量陰影的問(wèn)題，獲取線稿清晰邊界。使用訓(xùn)練后的模型可以提取出較為完整且清晰的壁畫(huà)線稿。

2 相關(guān)原理及方法

2.1 最優(yōu)主成分波段選擇

由于多光譜壁畫(huà)數(shù)據(jù)量大，波段數(shù)目多且波段之間相關(guān)性高，存在數(shù)據(jù)冗余的問(wèn)題，因此將最小噪聲分離變換（MNF）應(yīng)用到提取壁畫(huà)特征信息中，去除噪聲以及對(duì)數(shù)據(jù)進(jìn)行降維。MNF本質(zhì)上是兩次主成分變換。第一次變換用于分離和重新調(diào)節(jié)壁畫(huà)數(shù)據(jù)中的噪聲，并去除各個(gè)波段之間的相關(guān)性；第二次變換通過(guò)各波段的特征值判斷壁畫(huà)數(shù)據(jù)內(nèi)在維數(shù)。通過(guò)兩次變換將壁畫(huà)數(shù)據(jù)中有效信息與噪聲分離，并按照信噪比形成新的波段排列。在MNF變換后輸出的波段中，壁畫(huà)數(shù)據(jù)的主要信息都集中在特征值大的波段，后面特征值小的波段主要以噪聲為主，因此選擇特征值大且圖像清晰的波段作為最優(yōu)主成分波段進(jìn)行線稿提取。

2.2 網(wǎng)絡(luò)總體模型

線稿提取的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，整體框架由主干網(wǎng)絡(luò)和側(cè)輸出層組成。主干網(wǎng)絡(luò)分為4個(gè)階段進(jìn)行壁畫(huà)圖片特征提取，每個(gè)階段由像素差卷積塊（PDC）和最大池化層組成，直接將梯度信息提取的過(guò)程集成到卷積運(yùn)算中，捕獲有利于邊緣檢測(cè)的圖像梯度信息，從豐富的壁畫(huà)數(shù)據(jù)中提取感興趣的特征圖學(xué)習(xí)。側(cè)輸出層是在每組卷積層結(jié)束時(shí)連接一個(gè)尺度增強(qiáng)模塊（SEM），使用膨脹卷積增加網(wǎng)絡(luò)神經(jīng)元的感受野，更好地捕捉輸入特征圖的局部信息，進(jìn)一步豐富多尺度特征。然后經(jīng)過(guò)1×1卷積層進(jìn)一步將特征體積縮減為單個(gè)通道映射，將其插值到原始大小，再使用Sigmoid函數(shù)創(chuàng)建邊緣映射，最終預(yù)測(cè)的邊緣圖融合了4個(gè)階段的單通道特征圖與拼接層、卷積層和Sigmoid函數(shù)創(chuàng)建。該網(wǎng)絡(luò)的輸入和輸出分別是壁畫(huà)最優(yōu)主成分波段圖像和相應(yīng)的線稿。

圖1 本文算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Architecture of the proposed network

2.3 基于梯度知識(shí)的像素差卷積

在深度學(xué)習(xí)中，使用卷積運(yùn)算提取特征來(lái)降低圖像的維數(shù)，將卷積核的權(quán)值與對(duì)應(yīng)區(qū)域的圖像矩陣中的像素值進(jìn)行點(diǎn)乘累加，即：

式中：xi是輸入像素，wi是k×k卷積核中的權(quán)重。卷積運(yùn)算的本質(zhì)是提取圖像的強(qiáng)度信息［12-13］，在運(yùn)算過(guò)程中根據(jù)損失函數(shù)的梯度下降來(lái)更新卷積核的權(quán)值，從圖像中獲得部分梯度信息，但是梯度信息所占的比例太小，無(wú)法提取到較完整的邊緣結(jié)果。傳統(tǒng)的圖像濾波算子在對(duì)圖像域進(jìn)行運(yùn)算時(shí)，由于算子是固定的，相當(dāng)于對(duì)圖像域內(nèi)的像素值進(jìn)行差分運(yùn)算，因此可以很好地提取圖像的重要梯度信息。所以，卷積方法定義為差分卷積，在卷積運(yùn)算中，將卷積核覆蓋的圖像域中的像素替換為像素差，如式（2）所示：

式中：xi和x'i是當(dāng)前局部patch中的像素，wi是k×k卷積核中的權(quán)重。是從圖像中選取的像素對(duì)集合，m≤k×k。

壁畫(huà)輪廓的梯度在各個(gè)方向上分布，所以像素差卷積（Pixel Difference Convolution ，PDC）的差速方向?yàn)楦鱾€(gè)方向。為了獲取豐富的壁畫(huà)梯度信息，每個(gè)像素差卷積塊采用3個(gè)殘差塊構(gòu)成，從而避免退化以及通道數(shù)的增加。殘差塊內(nèi)部使用可分離的深度卷積結(jié)構(gòu)［14-15］進(jìn)行輕量化，每個(gè)深度可分離卷積依次采用中心PDC（CPDC）、角PDC（APDC）和徑向PDC（RPDC）這3種方向上的差分卷積。如圖2所示，APDC是對(duì)鄰域特征進(jìn)行順時(shí)針?lè)较虻膬蓛刹罘?；CPDC是對(duì)鄰域特征進(jìn)行中心差分；RPDC是對(duì)更大感受野鄰域的外環(huán)和內(nèi)環(huán)進(jìn)行差分。差分卷積在保留了壁畫(huà)圖像強(qiáng)度信息的同時(shí)獲得了更明顯的梯度信息，使提取到的壁畫(huà)紋理信息更加明顯。

圖2 3種不同策略的差分卷積實(shí)例Fig.2 Instance of differential convolution with three different strategies

差分卷積提取線稿特征圖的過(guò)程由圖1（b）所示，首先將差分運(yùn)算生成的梯度矩陣M與大小相同的權(quán)核w進(jìn)行卷積，從豐富的壁畫(huà)數(shù)據(jù)中提取感興趣的特征圖學(xué)習(xí)。

然后對(duì)yPDC1的結(jié)果進(jìn)行ReLU激活函數(shù)和1×1卷積運(yùn)算，對(duì)線性單元進(jìn)行校正。

式中，wij和bij是常規(guī)卷積運(yùn)算在第i～j層的權(quán)重和偏差。

最后，采用剩余學(xué)習(xí)策略創(chuàng)建快捷連接，實(shí)現(xiàn)快速推理和易于訓(xùn)練。

式中：X表示整個(gè)輸入圖像，yPDC2是X經(jīng)過(guò)像素差卷積后的殘差結(jié)果，yPDC表示RPDC層的最終輸出。

2.4 尺度增強(qiáng)模塊

不同的卷積層描述不同的尺度。為了在網(wǎng)絡(luò)中實(shí)現(xiàn)不同尺度的邊緣檢測(cè)，使用尺度增強(qiáng)模塊（Scale Enhancement Module，SEM）增強(qiáng)每個(gè)卷積層中學(xué)習(xí)的多尺度表示。在每組PDC層結(jié)束時(shí)的側(cè)輸出層插入尺度增強(qiáng)模塊，其網(wǎng)絡(luò)架構(gòu)如圖1（c）所示。該模塊由多個(gè)并行的不同膨脹率的卷積組成。使用膨脹卷積在不降低特征圖分辨率或增加參數(shù)的情況下，擴(kuò)大了神經(jīng)元的感受野，通過(guò)融合具有不同膨脹率的空洞卷積層的結(jié)果來(lái)豐富圖像的多尺度特征。尺度增強(qiáng)模塊不同于特征金字塔提取多尺度特征，避免了更深層次的網(wǎng)絡(luò)以及重復(fù)的特征融合。

在SEM模塊中，給定一個(gè)卷積濾波器w∈Rh×w的二維輸入特征圖為x∈RH×W，在(i，j)上特征圖的膨脹卷積輸出y∈RH'×W'可以表示為：

其中，r為膨脹率，表示輸出特征圖的步長(zhǎng)。對(duì)于每個(gè)SEM，應(yīng)用K個(gè)不同擴(kuò)張速率的擴(kuò)張卷積。對(duì)于第k個(gè)膨脹卷積，將其膨脹率設(shè)為rk=max(1，r0×k) 。

2.5 基于圖像相似度的損失函數(shù)

線稿圖像的生成是一個(gè)像素級(jí)分類(lèi)任務(wù)（圖像中所有的像素分類(lèi)為邊緣像素和非邊緣像素）。目前解決二元分類(lèi)問(wèn)題常用到交叉熵?fù)p失。由于圖像的邊緣和非邊緣像素在數(shù)量方面非常不平衡，因此直接使用交叉熵?fù)p失函數(shù)將無(wú)法訓(xùn)練網(wǎng)絡(luò)?，F(xiàn)階段較好的基于深度學(xué)習(xí)的邊緣檢測(cè)方法中基本都采用加權(quán)交叉熵?fù)p失策略［16］，即在邊緣和非邊緣像素上設(shè)置權(quán)重來(lái)平衡交叉熵?fù)p失，在加權(quán)交叉熵中加入了閾值η。若某個(gè)像素為邊緣像素的概率小于閾值η，則認(rèn)為這個(gè)像素為非邊緣像素，否則為邊緣像素：

但是加權(quán)交叉熵通常會(huì)不可避免地將邊緣附近的像素錯(cuò)誤分類(lèi)，忽略了像素級(jí)別不平衡的問(wèn)題，導(dǎo)致提取出來(lái)的線稿不理想，出現(xiàn)假邊（假陽(yáng)性像素）、缺少真邊（假陰性像素）以及在紋理區(qū)域中形成暗陰影。受Dice系數(shù)［17］可以解決類(lèi)別不平衡［18］問(wèn)題的啟發(fā)，在線稿提取模型中引入Dice系數(shù)。Dice系數(shù)（公式（9））是兩個(gè)集合之間重疊的度量，范圍在0～1之間。如果兩個(gè)集合P和G完全重疊，則DSC將其最大值設(shè)置為1；如果兩個(gè)集合根本不重疊，則將其最小值變?yōu)?。

因此，使用1-Dice系數(shù)作為Dice損失（公式（10））以最大化兩組之間的重疊，其中pi和gi分別表示預(yù)測(cè)和標(biāo)簽的相應(yīng)像素值。在線稿提取的場(chǎng)景中，標(biāo)簽邊緣像素和預(yù)測(cè)邊緣像素可以視為兩組。通過(guò)Dice損失，兩組像素值被訓(xùn)練得逐漸重疊，其中分母為全局尺度的邊緣像素總數(shù)，分子為局部尺度上兩個(gè)集合之間的重疊。

本文提出一種基于圖像相似度的損失函數(shù)組合的策略，將Dice損失和加權(quán)交叉熵?fù)p失相結(jié)合。加權(quán)交叉熵?fù)p失是每個(gè)對(duì)應(yīng)的像素對(duì)之間預(yù)測(cè)與標(biāo)簽的距離之和，集中于像素級(jí)間的差異。Dice損失可以被認(rèn)為是圖像級(jí)的，關(guān)注兩組圖像像素的相似性，使兩組像素值在訓(xùn)練數(shù)據(jù)上的距離最小化。因此，組合損失能夠逐級(jí)地最小化從圖像級(jí)到像素級(jí)的距離，獲得較為清晰的圖像邊緣。最終的損失函數(shù)定義為交叉熵?fù)p失函數(shù)和Dice損失函數(shù)的組合：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用公開(kāi)數(shù)據(jù)集BIPED和標(biāo)定的壁畫(huà)數(shù)據(jù)集測(cè)試所提模型的可用性和有效性。其中，BIPED數(shù)據(jù)集包含250對(duì)自然圖像和邊緣標(biāo)簽，標(biāo)定的壁畫(huà)數(shù)據(jù)集包含50對(duì)不同場(chǎng)景的高清彩繪壁畫(huà)。為了避免模型訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，通過(guò)裁剪、旋轉(zhuǎn)、平移、縮放等策略增加兩組數(shù)據(jù)集中的數(shù)據(jù)量。

訓(xùn)練階段分為兩部分，首先使用BIPED數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，然后利用標(biāo)定的壁畫(huà)數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)。這樣不僅可以利用自然圖像中形狀、紋理等低級(jí)特征，也解決了壁畫(huà)數(shù)據(jù)集稀缺的問(wèn)題。另外，采集到5組天津獨(dú)樂(lè)寺壁畫(huà)不同場(chǎng)景的光譜圖像來(lái)進(jìn)行模型的評(píng)價(jià)。

3.2 實(shí)驗(yàn)設(shè)置

本文所有實(shí)驗(yàn)均在NVIDIA GTX 3090 GPU上進(jìn)行。采用Pytorch實(shí)現(xiàn)網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練階段輸入的圖像尺寸為512 pixel×512 pixel。選擇Adam優(yōu)化器，具體參數(shù)如下：初始學(xué)習(xí)率為0.005，以多步方式衰減（在epoch8和12，衰減率為0.1）。在預(yù)訓(xùn)練階段，模型經(jīng)過(guò)30次迭代收斂；在微調(diào)階段，模型經(jīng)過(guò)20次迭代收斂。

3.3 實(shí)驗(yàn)結(jié)果分析

將提出的壁畫(huà)線稿提取模型與目前較好的邊緣檢測(cè)方法FDoG［7］、RCF［8］、DexiNed［10］、PiDiNet［11］進(jìn)行對(duì)比，同時(shí)采用結(jié)構(gòu)相似指數(shù)（SSIM）、均方根誤差（RMSE）、峰值信噪比（PSNR）對(duì)不同方法提取的線稿進(jìn)行評(píng)價(jià)。此外，對(duì)基于光譜信息提取線稿的方法SVM［2］、SAM［3］和CNN也進(jìn)行了實(shí)驗(yàn)對(duì)比。

3.3.1 評(píng)估指標(biāo)

針對(duì)壁畫(huà)線稿的提取結(jié)果，結(jié)合圖像質(zhì)量評(píng)價(jià)指標(biāo)：均方根誤差（RMSE）［19］、結(jié)構(gòu)相似性［19］（SSIM）和峰值信噪比（PSNR）［19］進(jìn)行評(píng)價(jià)。

（1）結(jié)構(gòu)相似性

SSIM是一種符合人眼視覺(jué)特性的圖像客觀評(píng)價(jià)指標(biāo)，主要從亮度、對(duì)比度和結(jié)構(gòu)3方面衡量?jī)煞鶊D像的相似度，如式（12）所示：

其中：x表示標(biāo)定圖像，y表示預(yù)測(cè)的線稿圖像，σx和σy為對(duì)應(yīng)圖像的方差，σxy為協(xié)方差。SSIM取值范圍為［0，1］，其值越大表示線稿提取的效果越好。

（2）均方根誤差

RMSE是衡量預(yù)測(cè)的線稿圖像Yi與標(biāo)定的線稿f(xi)之間的偏差，通常情況下較低的均方根誤差優(yōu)于較高的均方根誤差，如式（13）所示：

（3）峰值信噪比

PSNR用來(lái)衡量處理后圖像噪聲情況與失真程度的客觀準(zhǔn)則。其值越大，表示預(yù)測(cè)的線稿相對(duì)于原圖像噪聲越小、質(zhì)量越高。具體表達(dá)式如式（14）所示：

式中，n為決定圖像灰度級(jí)的像素比特?cái)?shù)，其值一般取8，即灰度級(jí)為256。MSE的表達(dá)式如式（15）所示：

式中：H、W分別代表圖像的高和寬，x(i，j)代表圖像像素點(diǎn)所在位置的坐標(biāo)。

3.3.2 與現(xiàn)有的圖像邊緣檢測(cè)方法對(duì)比

本文所提方法與上述幾種算法的壁畫(huà)線稿提取結(jié)果如圖3所示。FDoG算法無(wú)法有效抑制噪聲的干擾，如圖3（b）所示，提取的線稿中存在大量的噪點(diǎn)且線條連續(xù)性較差；基于深度學(xué)習(xí)的RCF對(duì)噪聲抑制力較強(qiáng)，提取的線稿連續(xù)但邊緣模糊，同時(shí)壁畫(huà)中細(xì)小的特征則完全丟失，如圖3（c）所示；DexiNed提取的線稿相對(duì)完整，但對(duì)噪聲抑制能力較差，如圖3（d3）所示，在壁畫(huà)背景有一定的損壞情況下，該方法在提取線稿的同時(shí)也提取出了壁畫(huà)的損壞部位；PiDiNet提取出的線條連續(xù)性較好，對(duì)噪聲的魯棒性較好，但線條都有一定程度的缺失且提取的圖案邊緣存在大量的模糊，如圖3（e）所示；而本文方法提取出來(lái)的線條具有較好的連續(xù)性且信息比較完整，同時(shí)獲得了較為清晰的邊緣，如圖3（f）所示。實(shí)驗(yàn)結(jié)果證明，本文方法提取的線稿結(jié)果明顯優(yōu)于其他幾種方法。

圖3 壁畫(huà)光譜圖像線稿提取方法對(duì)比Fig.3 Comparison of sketch extraction methods for mural spectral images

為了驗(yàn)證模型的有效性，采用SSIM和RMSE指標(biāo)來(lái)定量評(píng)價(jià)壁畫(huà)線稿提取效果，結(jié)果如表1所示，其中粗體表示最佳結(jié)果。從指標(biāo)上看，本文方法在SSIM和RMSE方面均優(yōu)于文獻(xiàn)［7-8］、［10-11］中的方法，SSIM和RMSE指標(biāo)分別提高了2%～22%、2%～16%，與PiDiNet方法相比提高了2%～10%、2%～4%。實(shí)驗(yàn)表明，該模型提取出來(lái)的線稿結(jié)構(gòu)完整性較好。從評(píng)價(jià)指標(biāo)的結(jié)果來(lái)看，基于深度學(xué)習(xí)的方法優(yōu)于某些傳統(tǒng)方法，本文所提方法優(yōu)于其他基于深度學(xué)習(xí)的線稿提取算法，在一定程度上證明了所提方法在提取壁畫(huà)線稿上的可行性。

表1 與其他方法的定量比較Tab.1 Quantitative comparison with other methods

3.3.3 關(guān)于改進(jìn)有效性的討論

本文通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證線稿提取模型各模塊的有效性。本文主要提出采用像素差卷積（PDC）、尺度增強(qiáng)模塊（SEM）以及組合損失函數(shù)獲取清晰完整的線稿圖像。為了驗(yàn)證各模塊的有效性，在壁畫(huà)數(shù)據(jù)集上對(duì)模型進(jìn)行了消融實(shí)驗(yàn)，采用數(shù)據(jù)集的最佳數(shù)據(jù)集尺度（ODS）和最佳圖像尺度（OIS）作為模型的指標(biāo)。定量結(jié)果見(jiàn)表2，可視化結(jié)果見(jiàn)圖4。在消融實(shí)驗(yàn)中，PDC層被標(biāo)準(zhǔn)卷積層取代，組合損失函數(shù)被加權(quán)交叉熵函數(shù)代替。

表2 本文方法在不同模塊下的ODS和OIS比較Tab.2 Comparison of ODS and OIS for the methods in this paper under different modules

圖4 消融實(shí)驗(yàn)的可視化結(jié)果Fig.4 Visualization results of the ablation experiment

從表2可以看出，在原始模型中加入PDC、SEM模塊以及組合損失函數(shù)，模型的ODS和OIS分別提高了0.027和0.02。圖4（a）是去除PDC層后提取出的壁畫(huà)線稿，其ODS和OIS分別下降了0.012和0.014，線條連續(xù)清晰但大量細(xì)節(jié)丟失，壁畫(huà)上的山體以及浪花花紋并未完整提取出來(lái)。實(shí)驗(yàn)證明PDC層與普通卷積層相比，可以更好地捕捉圖像中的梯度信息，有利于邊緣檢測(cè)。圖4（b）是去除SEM模塊后提取出的壁畫(huà)線稿，線條清晰但是丟失小部分細(xì)節(jié)，其ODS和OIS分別下降了0.011和0.01。圖4（c）是未使用組合損失函數(shù)策略提取出的壁畫(huà)線稿，線稿基本完整，其ODS和OIS分別下降了0.002和0.007，驗(yàn)證了PDC層和SEM模塊的有效性，但提取出的線條仍存在線條不清晰及紋理區(qū)域形成陰影的情況，證明提出的損失函數(shù)策略可以生成清晰的線條。

3.3.4 與基于光譜信息提取線稿的方法對(duì)比

以上對(duì)比方法僅使用壁畫(huà)多光譜數(shù)據(jù)的最優(yōu)主成分波段，多光譜圖像系統(tǒng)采集的反射率光譜未得到充分利用。目前最常用的基于光譜信息提取線稿的方法是將光譜反射率相近的像素聚類(lèi)，將整個(gè)壁畫(huà)分成代表不同光譜反射率的區(qū)域，以線稿顏料為主的像素會(huì)聚集在一起從而提取出線稿區(qū)域。為了驗(yàn)證本文所提線稿提取方法的效果，與目前常見(jiàn)的3種方法：基于光譜角分類(lèi)［2］、基于向量機(jī)分類(lèi)［3］和基于CNN的線稿顏料分類(lèi)進(jìn)行對(duì)比，對(duì)比結(jié)果如圖5所示。采用峰值信噪比法（PSNR）和結(jié)構(gòu)相似性（SSIM）對(duì)結(jié)果進(jìn)行分析，定量結(jié)果如表3所示。

表3 基于光譜信息提取線稿的定量結(jié)果對(duì)比Tab.3 Comparison of ODS and OIS for the methods in this paper under different modules

表4 在BIPED數(shù)據(jù)集中不同算法的定量結(jié)果對(duì)比Tab.4 Comparison of quantitative results of different algorithms in the BIPED dataset

圖5 壁畫(huà)線稿提取對(duì)比實(shí)驗(yàn)Fig.5 Comparison experiment of Mural sketch extraction

圖5（b）是采用光譜角分類(lèi)提取的壁畫(huà)線稿，可看出屬于線稿的黑色顏料部分被提取出，并且衣裙上顏料也被誤當(dāng)成線稿顏料，導(dǎo)致提取出的線稿信息不完整。這主要是這類(lèi)方法需要選擇純凈像元，像素值的光譜曲線越接近線稿光譜曲線的值，該像素點(diǎn)越會(huì)被分為線稿。由于線稿上的純凈像元較少同時(shí)部分顏料色彩相近，沒(méi)有辦法完全將線條剝離出來(lái)從而導(dǎo)致線稿的錯(cuò)誤提取。圖5（c）使用SVM來(lái)提取壁畫(huà)線稿，提取出的線稿噪聲較小，但包含了較多不屬于線稿本身的錯(cuò)誤信息。圖5（d）采用CNN方法對(duì)線稿顏料進(jìn)行分類(lèi)，提取出的線稿相比于SAM較為完整但是也沒(méi)有將線稿完全剝離出來(lái)。由表3定量結(jié)果可見(jiàn)，本文方法的PSNR和SSIM均優(yōu)于其他3種方法，這也在一定程度上表明，依靠像素聚類(lèi)分離的方法雖然充分利用了光譜信息，但是由于壁畫(huà)表面成分復(fù)雜且顏料變質(zhì)等原因，難以得到純凈的端元，分離出真正的線稿成分。

3.4 BIPED數(shù)據(jù)集測(cè)試

為了驗(yàn)證所提模型的性能，本文在BIPED公開(kāi)數(shù)據(jù)集上進(jìn)行模型訓(xùn)練與驗(yàn)證。

本文所提模型與其他算法相比的定量結(jié)果如表2所示。可以看出，本模型的ODS值為0.839，相較PiDiNet提高0.005；OIS值為0.857，較PiDiNet提高0.007。與PiDiNet輸出的邊緣圖像對(duì)比結(jié)果如圖6所示?？梢钥闯?，PiDiNet提取出的邊緣圖像部分線條模糊。本文所提方法提取出的邊緣清晰且部分細(xì)節(jié)突出，較好地解決了邊緣陰影模糊的問(wèn)題。

圖6 PiDiNet與所提方法結(jié)果對(duì)比Fig.6 Comparison of the results of PiDiNet and the proposed method

4 結(jié)論

本文研究了現(xiàn)有針對(duì)光譜壁畫(huà)數(shù)據(jù)進(jìn)行線稿提取的方法，分析了壁畫(huà)線稿提取的難點(diǎn)，并提出一種基于多光譜成像與深度學(xué)習(xí)結(jié)合的壁畫(huà)線稿提取方法。為了提取清晰的壁畫(huà)線稿以及感興趣邊緣特征，將像素差卷積引入模型中，加入SEM模塊豐富多尺度特征，同時(shí)在損失函數(shù)中引入Dice系數(shù)解決非邊緣像素點(diǎn)的錯(cuò)誤分類(lèi)問(wèn)題從而提取出清晰的線稿。與對(duì)比實(shí)驗(yàn)方法相比，本文所提方法針對(duì)有損壞的多光譜成像壁畫(huà)提取出的線稿圖像SSIM和RMSE分別提高2%～10%、2%～4%，可以提取出較為完整且清晰的線稿圖像。在BIPED數(shù)據(jù)集中對(duì)模型進(jìn)行了驗(yàn)證，其ODS和OIS較PiDiNet分別提高0.005和0.007。