王詩涵,呂書強,李麗紅,侯妙樂,寧 波

[1. 北京建筑大學測繪與城市空間信息學院,北京 100044;2. 建筑遺產(chǎn)精細重構(gòu)與健康監(jiān)測北京市重點實驗室(北京建筑大學),北京 100044;3. 天津中科譜光信息技術(shù)有限公司,天津 300380; 4. 云岡石窟研究院,山西大同 037007]

0 引 言

中國作為文明古國,歷史悠久,文物種類繁多,包括摩崖石刻、彩塑壁畫、古建筑、書畫等。文物記載古人的精神文化生活、風土人情和重要的歷史事件,并且通常使用文字加以描述和修飾。因此,文字信息為學者們探索古人不同時期的社會文明和生活習俗提供了重要的科學依據(jù)。

世界文化遺產(chǎn)云岡石窟開鑿于公元5世紀中葉,時值北魏王朝強盛時期,石窟造像內(nèi)容融匯了東西方雕刻藝術(shù),其規(guī)模氣勢宏大、造像博大精深,在中國石窟屆里首屈一指。云岡石窟中造像雖多但銘記文字甚少,而石窟中流傳的北魏、遼、金、元、明、清等各時期的文字資料為研究當時石窟文化、歷史背景、宗教藝術(shù)等提供了重要的珍貴資料。但是云岡石窟經(jīng)過1 500多年的歷史,由于自然或人為原因的破壞,文物表面出現(xiàn)褪色,一些重要文字逐漸模糊難以辨認甚至消失,給學者們的研究造成了阻礙。因此,對文物表面文字信息的探索成為文物保護的重要環(huán)節(jié)。

近年來,國內(nèi)外許多學者對文物表面字跡的提取與增強方法進行了一系列研究。Han等[1]提出一種適用于藏文文字輪廓提取的組合方法,改善了西藏歷史文獻圖像二值化效果不佳的問題。Tournié等[2]通過對短波紅外高光譜成像數(shù)據(jù)進行處理,得到隱藏的古希臘文字。呂繼增[3]通過圖像分割和同態(tài)濾波獲取碑文圖像文字的骨架,利用一種文字主干提取方法提取出文字輪廓,最后通過圖像融合獲得碑文圖像中較清晰的文字。Devi等[4]針對石刻表面文字與背景難以區(qū)分的問題,利用基于模糊熵的自適應(yīng)閾值處理方法,有效區(qū)分出石刻圖像的前景特征。Wu等[5]通過端元提取方法獲取背景區(qū)域與墨的光譜曲線,并對光譜曲線的特征進行分析,然后利用密度分割提取出墓葬上的大量文字。Narang等[6]提出了一種識別古代梵文的系統(tǒng),包括圖像二值化、文字分割和文字識別階段。2020年,楊雪韻[7]通過構(gòu)建黑色字跡增強指數(shù)提取出石刻和墓葬表面的褪色文字,并利用卷積神經(jīng)網(wǎng)絡(luò)對所提取的文字進行識別。同年,潘悅等[8]通過構(gòu)建文字增強指數(shù)TEI,對古代石碑墨書高光譜影像的古文字區(qū)域進行了實驗,并發(fā)現(xiàn)十余處人眼難以識別的文字信息。2021年,楊秀璋等[9]提出了一種自適應(yīng)圖像增強及區(qū)域檢測的水族文字提取與分割算法,該算法能夠有效降低圖像噪聲并提取水族文字。

目前對于文字提取的研究多集中于數(shù)字圖像,獲取的光譜特征有限,另一方面是通過構(gòu)建字跡增強指數(shù)來實現(xiàn)文字的提取,但是這種方法未能充分利用圖像的空間特征。由于高光譜數(shù)據(jù)是將光譜特征與成像技術(shù)相結(jié)合的圖像數(shù)據(jù),因此,提出了一種基于流形學習與光譜解混相結(jié)合的文物表面字跡增強方法。該方法能夠有效增強褪色文字,為文物考古研究提供參考。

1 研究對象與數(shù)據(jù)預處理

1.1 研究對象

高光譜數(shù)據(jù)采集于云岡石窟第38窟西壁,第38窟是云岡現(xiàn)存最精美的小型洞窟,從不同角度展示了石窟雕鑿風格,具有其他早期石窟不可替代的科學價值[10]。該窟窟內(nèi)為長方體空間,寬約2 m,進深約1.4 m,高約1.95 m,空間相對狹小,但雕刻內(nèi)容豐富,龕像精美莊嚴,堪稱杰作。西壁整體為一鋪折屏式盝形龕,正中倚坐一佛,左右梢間各立二佛,龕上一排整齊的倚坐佛,大約表現(xiàn)的西方凈土世界,如圖1所示。然而,受人為或自然因素的影響,石窟雕像已有一定程度的損壞[11],其表面的文字變得模糊不清難以辨認。本工作選取一景包含褪色文字的高光譜影像進行字跡增強,為文物保護、考古研究工作提供參考。

圖1 云岡石窟第38窟西壁

1.2 數(shù)據(jù)獲取與預處理

1.2.1數(shù)據(jù)獲取 利用VNIR400H型地面高光譜成像儀獲取高光譜圖像,成像畫幅為1 392×1 000像素,光譜范圍為400～1 000 nm,光譜分辨率為2.8 nm。為減少外界光源干擾,獲取數(shù)據(jù)時通常采用接近日光光源的鹵素燈作為數(shù)據(jù)采集的照明裝置,成像儀相機的光圈固定為4.0。圖2為利用MNF逆變換后的高光譜數(shù)據(jù)合成的真彩色圖像,紅綠藍波段分別為band384、band242和band98,利用此區(qū)域的高光譜圖像進行字跡增強研究。

圖2 研究區(qū)域真彩色圖像

1.2.2預處理 在獲取高光譜圖像的過程中成像儀距離目標較近,因此,大氣對輻射亮度的影響很小可忽略不計,預處理過程主要包括反射率校正和影像去噪,反射率校正見式(1)。

(1)

式中,R為反射率校正后的高光譜圖像;Rraw為獲取的原始高光譜圖像;Rwhite為標準反射板數(shù)據(jù);Rdark為暗電流數(shù)據(jù)。

原始高光譜數(shù)據(jù)有1 040個波段,由于儀器本身的影響,使得處于兩端的波段噪聲較大,因此去除前后各50個波段,并且對剩余的940個波段進行最小噪聲分離正逆變換,克服噪聲對影像質(zhì)量的影響。

2 研究方法

文物表面的字跡增強流程見圖3。首先,將獲取的高光譜圖像進行反射率校正和MNF正逆變換。其次,利用基于流形學習的等距映射(isometric feature mapping,ISOMAP)非線性降維方法得到信息量最大圖像并歸一化,采用多層非負矩陣分解的解混方法,提取出影像中的文字信息。最后,將歸一化圖像與字跡豐度圖結(jié)合實現(xiàn)字跡區(qū)域的增強,利用形態(tài)學變換提取單個文字。

圖3 文物表面字跡增強流程

2.1 基于流形學習的ISOMAP非線性降維

由于石窟表面覆蓋不同的顏料,導致高光譜圖像中一個像元內(nèi)可能不僅僅包含一種端元,并且不同顏料之間的多重反射作用使得高光譜數(shù)據(jù)具有非線性,因此,利用傳統(tǒng)的線性降維方法并不能得到較好的效果。流形學習是高光譜數(shù)據(jù)非線性降維的主要方法之一,2000年被首次提出。利用流形學習方法對高維數(shù)據(jù)進行非線性降維可以保持數(shù)據(jù)的相對幾何結(jié)構(gòu),使得原本在高維空間中相近的數(shù)據(jù)點在降維后的低維空間中依舊相近[12]。在流形結(jié)構(gòu)中,兩個數(shù)據(jù)點之間的真實距離是指沿著流形表面的最短距離,即為測地線距離。ISOMAP算法的原理是使用測地線距離表示高維數(shù)據(jù)中的流形結(jié)構(gòu),然后應(yīng)用多維縮放(multiple dimensional scaling,MDS)算法[13],發(fā)現(xiàn)高維空間中的低維坐標,從而更好地保留高光譜圖像的全局特征。

使用ISOMAP算法對高光譜圖像進行非線性降維,設(shè)高維空間中觀測樣本點X={x1,x2,…,xn}?RD。首先,將高維空間中的每個點與其最鄰近的k個點直接連接,與其他的點不直接連接,從而構(gòu)建出鄰近圖G,觀測樣本的k鄰近可以表示為:

(2)

然后,求出鄰近圖G中任意兩點xi,xj間的最短路徑dG,近似為測地線距離,并得到測地線距離矩陣DG,即:

dG(xi,xj)=min{dG(xi,xj),

dG(xi,xl)+dG(xl,xj)}

(3)

l=1,2,…,N

(4)

最后,在測地線距離矩陣上使用MDS算法計算出所有數(shù)據(jù)點的低維映射,實現(xiàn)對字跡高光譜圖像的非線性降維和特征提取。

2.2 多層非負矩陣分解

經(jīng)典的非負矩陣分解(nonnegative matrix factorization,NMF)算法已廣泛應(yīng)用于圖像的分析和處理領(lǐng)域[14],但是它得到的圖像特征都是淺層的,而石窟表面具有豐富的線狀特征,因此,為了提高分解后數(shù)據(jù)的性能,采用多層非負矩陣分解方法(multilayer nonnegative matrix factorization,MLNMF)對石窟表面的顏料進行解混,提取出文字特征。圖4為多層非負矩陣分解的原理圖,即采用多層結(jié)構(gòu)對觀測矩陣X進行分解,在第一層進行分解,得到A1和S1。然后在第二層,將第一層的結(jié)果S1分解為A2和S2,重復進行到最大值L層。另外,為了提高分解后圖像的局部特性,對每一層分解的端元矩陣和豐度矩陣進行了稀疏性約束,使得最后得到的字跡豐度圖中文字特征更加完整,式(5)和式(6)為MLNMF的函數(shù)[15]。

圖4 多層非負矩陣分解原理

αA‖Al‖1/2+αS‖Sl‖1/2

(5)

(6)

式中,X為觀測矩陣;A為端元矩陣;S為豐度矩陣;t為迭代數(shù);α0和T為常數(shù);l表示分解的第l層;αA和αS為正則化參數(shù)。

3 結(jié)果與分析

3.1 文物表面字跡增強

對反射率校正后的高光譜圖像進行MNF正逆變換,選取出包含文字特征最豐富的波段,為第2波段,如圖5a所示。利用等距映射對MNF正逆變換后的高光譜圖像進行非線性降維,輸出前10個波段圖像,通過計算信息熵選取出信息量最豐富的圖像,為ISOMAP降維后的第一波段圖像,如圖5b所示。另外,為了更好地觀察非線性降維效果,通過平均梯度、信息熵和邊緣強度評價指標將其與MNF正變換后包含文字信息的第2波段進行對比,結(jié)果如表1所示。可以發(fā)現(xiàn),經(jīng)過等距映射降維后的第1波段圖像優(yōu)于MNF降噪后的第2波段圖像,并且字跡得到增強。

表1 MNF與ISOMAP結(jié)果對比

圖5 MNF與ISOMAP結(jié)果圖像對比

石窟表面覆蓋不同種類的顏料,每種顏料都具有獨特的光譜特征,通過多層非負矩陣分解的解混方法對預處理后的高光譜圖像進行解混,使得字跡顏料與其他顏料區(qū)分,并通過在解混過程中增加稀疏約束的方法最大程度的保留文字特征,得到的字跡豐度圖如圖6,通過視覺觀察,可以辨認出的文字有“居”“長”“安”“市”“上”,另外,其他褪色的文字也得到了增強。

圖6 字跡豐度圖

為了進一步提升字跡的增強效果,將空間信息與光譜信息相結(jié)合,在提取顏料光譜特征的同時兼顧高光譜圖像的全局特征,將ISOMAP降維后得到的第1波段圖像進行歸一化處理,然后將其與字跡區(qū)域豐度圖加權(quán)平均得到字跡增強影像。選取圖7中標示的紅框內(nèi)文字區(qū)域,分別計算歸一化的ISOMAP第1波段圖像、字跡豐度圖以及字跡增強圖像的信息熵。從表2可以看出,字跡增強圖像的紅框內(nèi)文字區(qū)域信息熵值要高于歸一化的ISOMAP第1波段圖像和字跡豐度圖,表明該方法在兼顧圖像空間和光譜特征的同時,更好地增強了字跡信息。圖7a為經(jīng)過ISOMAP降維得到的第1波段圖像歸一化的結(jié)果;圖7b為通過多層非負矩陣分解得到的字跡豐度圖;圖7c為歸一化圖像與字跡豐度圖加權(quán)平均得到的字跡增強圖像;圖7d為Nikon D850數(shù)碼相機拍攝的數(shù)字圖像;圖7e為利用MNF逆變換后的高光譜數(shù)據(jù)合成的真彩色圖像,紅綠藍波段分別為band384、band242和band98;圖7f是為了提升視覺效果,將字跡增強圖像與真彩色圖像進行HSV融合得到的字跡融合圖像。可以看出,最終的字跡融合圖像較真彩色圖像中的文字有了明顯的增強,說明所提字跡增強方法的有效性。

表2 文字區(qū)域信息熵對比結(jié)果(紅框內(nèi))

圖7 云岡石窟38窟字跡增強結(jié)果對比

使用平均梯度[16]和邊緣強度[17]兩個指標評價文字的增強效果。應(yīng)用平均梯度G客觀描述圖像的清晰度,G的數(shù)值越大,說明圖像的細節(jié)越多且清晰,反之,圖像越模糊。

邊緣強度是圖像邊緣紋理信息的客觀描述,E的數(shù)值越大,說明圖像質(zhì)量越好且更清晰,反之,圖像越模糊。即:

從表3可以看出,與真彩色圖像相比,字跡融合圖像的紅框內(nèi)文字區(qū)域在平均梯度和邊緣強度兩項指標上都有了很大的提升,說明本文字跡增強方法的有效性。

表3 字跡增強結(jié)果對比(紅框內(nèi))

為進一步識別石窟表面的文字,在字跡增強圖像上裁剪出每個文字區(qū)域,并通過二值化和形態(tài)學變換的方法增強字跡,包括膨脹運算、腐蝕運算,以及應(yīng)用兩種方法組合而成的開運算和閉運算。通過膨脹運算使字跡區(qū)域范圍變大,將與字跡區(qū)域接觸的背景點合并到字跡中,使字跡線條邊界向外部擴張,可以填充字跡筆劃中的某些空洞。腐蝕運算可以使字跡區(qū)域范圍變小,造成字跡線條的收縮,消除字跡區(qū)域以外無意義的噪聲點。開運算是先腐蝕后膨脹,閉運算是先膨脹再腐蝕。將二值化后的文字圖像做形態(tài)學變換處理,使文字線條更加流暢,增加文字的識別度。得到的形態(tài)學變換后的文字如圖8所示,第一列為在字跡增強圖像中裁剪出的單個文字二值化的結(jié)果;第二列是在二值圖基礎(chǔ)上做膨脹運算的結(jié)果圖;第三列是在膨脹基礎(chǔ)上做腐蝕運算的結(jié)果圖;第五列是在二值圖基礎(chǔ)上做開運算的結(jié)果圖;第六列是在二值圖基礎(chǔ)上做閉運算的結(jié)果圖。從上至下可以識別出的文字依次為“居”“長”“安”“市”“上”“?！薄?/p>

圖8 字跡提取圖

為驗證基于流形學習和多層非負矩陣分解的字跡增強方法具有普適性,選取山西省朔州市的一景買地券數(shù)據(jù)進行驗證,結(jié)果如圖9所示。

通過對比買地券數(shù)據(jù)的合成真彩色圖像和字跡融合圖像可以發(fā)現(xiàn),原本模糊的文字得到了明顯的增強,增強后的圖像中字跡與背景的區(qū)分度較高,表明該方法在文物表面的褪色文字增強方面具有較好的普適性。

3.2 不同增強方法結(jié)果對比

圖10是利用主成分分析(principal components analysis,PCA)特征提取算法、楊雪韻[7]提出的基于光譜增強指數(shù)的字跡提取方法以及本研究字跡增強方法得到的字跡增強圖像,由于PCA和光譜增強指數(shù)的字跡增強結(jié)果都為灰度圖像,故將其與本研究得到的字跡增強圖像進行對比。表4為4種方法所得字跡增強圖像的平均梯度和邊緣強度計算結(jié)果。

表4 不同增強方法的平均梯度與邊緣強度(紅框內(nèi))

圖10 不同增強方法對比

表4可以看出,字跡增強圖像的紅框內(nèi)文字區(qū)域在數(shù)值上高于其他3種方法的數(shù)值,說明本文提出的方法能夠更好地增強文物表面的褪色文字。

4 結(jié) 論

針對文物表面的文字褪色和模糊不清問題,提出了將高光譜圖像的空間信息與光譜信息相結(jié)合的方法增強字跡,通過等距映射非線性降維得到信息量最豐富圖像,并兼顧文字的光譜特征,利用多層非負矩陣分解的方法將字跡與背景區(qū)分,得到字跡豐度圖,將二者結(jié)合得到字跡增強圖像,并通過形態(tài)學變換得到字跡提取圖。以云岡石窟第38窟的一景高光譜數(shù)據(jù)為例進行驗證,實驗結(jié)果表明,本方法能夠有效地增強文物表面的文字,為文物保護工作者深入分析文物奠定技術(shù)基礎(chǔ)。