亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度風格遷移網(wǎng)絡的文物數(shù)字拓片生成技術

        2023-12-31 00:00:00吳廣,王元浩
        科技創(chuàng)新與應用 2023年14期

        摘" 要:數(shù)字拓片是指在不接觸文物的前提下獲得文物對應的拓片圖像的方法,該方法不僅避免對文物本體的損害,而且能夠獲得真實精準的高質量拓片圖像,保證提取質量的有效性。為解決傳統(tǒng)數(shù)字拓片生成方法獲得拓片圖像中存在的細節(jié)損失問題,該文提出一種基于深度風格遷移網(wǎng)絡的數(shù)字拓片生成方法,該方法借助生成對抗網(wǎng)絡強大的特征提取能力和數(shù)據(jù)擬合能力,在保留文物本身紋理細節(jié)信息的同時,增強生成拓片圖像效果的真實性和自然性。實驗結果表明,該文提出的方法能夠生成質量更高、紋理細節(jié)信息更豐富的數(shù)字拓片圖像,對文物保護和文化傳承發(fā)揮著至關重要的作用。

        關鍵詞:文物保護;生成對抗網(wǎng)絡;數(shù)字拓片;風格遷移;深度學習

        中圖分類號:TP391" " " 文獻標志碼:A" " " " " 文章編號:2095-2945(2023)14-0036-05

        Abstract: Digital rubbing refers to the method of obtaining rubbings corresponding to cultural relics without contact with cultural relics. This method can not only avoid damage to cultural relics, but also obtain real and accurate high-quality rubbings images to ensure the effectiveness of extraction quality. In order to solve the problem of detail loss in traditional digital rubbing generation methods, a digital rubbing generation method based on depth style migration network is proposed in this paper. With the help of the strong feature extraction ability and data fitting ability of generating antagonistic network, this method not only retains the texture detail information of cultural relics, but also enhances the authenticity and naturalness of generating rubbings image. The experimental results show that the method proposed in this paper can generate digital rubbings with higher quality and richer texture details, which plays a vital role in cultural relic protection and cultural heritage.

        Keywords: cultural relic protection; generating confrontation network; digital rubbing; style transfer; deep learning

        拓片是我國一項古老的優(yōu)秀傳統(tǒng)技藝,是記錄中華民族文化的重要載體之一。一般是使用宣紙和墨汁,將碑文、器皿等文物上的文字或圖案清晰地復制下來,大量文化遺產信息都是通過拓片得以留傳下來的。特別是碑刻石刻、畫像石(磚)、甲骨文字、青銅器銘文和古代錢幣等文物拓片具有很高的歷史價值、藝術價值和文化價值。

        1" 相關研究現(xiàn)狀

        1.1" 傳統(tǒng)拓片工藝

        在制作工藝上,傳統(tǒng)方法主要是在文物上覆蓋宣紙,以上墨捶打的方式獲取拓片,對操作流程,使用的工具、材料都有嚴格規(guī)定,操作不當,可能會對文物本體造成損傷。為保護文物,目前國家已經禁止商業(yè)售賣文物拓片。此外,傳統(tǒng)的拓片工藝對操作者專業(yè)性和技術性要求較高,受天氣條件、地理環(huán)境等客觀因素的制約,制作效率和制作質量不穩(wěn)定。同時,傳統(tǒng)工藝制作的拓片不利于信息提取和資源共享,受限于紙張的材質問題,對保存的方法有較高的要求,不易長期保存。

        1.2" 文物數(shù)字化

        文物數(shù)字化即借助計算機、掃描儀等硬件設備,采取數(shù)字化的技術手段,對文物本體進行掃描和處理,進行數(shù)字化的存檔和展示。隨著硬件設備及軟件技術實力的不斷提升,數(shù)字化獲取和處理文物信息的科技手段在文物保護領域得到廣泛應用,以更優(yōu)的現(xiàn)代化整理、收集和記錄方式對文化遺產信息進行最大限度的提取保存和傳承活化。通過這種方法一方面降低了文物保護的成本和隱患,另一方面打破了傳統(tǒng)方法有限的展示需要和保真效果,使文物信息能夠更加精準完整且安全長久地保存。并且,在文物的展示與活化中,通過數(shù)字化平臺的轉化,能夠讓更多的人走近文物,從中體會中華文化的博大精深,更方便地接觸到珍貴文物,而不受到時間、地點和財力的限制[1]。

        1.3" 數(shù)字拓片技術

        當代的計算機技術在諸如水粉、水彩畫仿真、油畫仿真和三維場景模擬等方面已經取得了卓有成效的研究成果。近年來,陸續(xù)有研究者開始嘗試將計算機技術運用到拓片制作領域中,現(xiàn)有的數(shù)字拓片技術主要包括:基于數(shù)字圖像處理技術的數(shù)字拓片技術、基于三維模型的數(shù)字拓片生成和基于激光點云和近景影像的數(shù)字拓片生成方法。第一類方法通過對相機拍攝碑刻的圖片采用數(shù)字圖像處理技術,從而獲得數(shù)字拓片。以往的技術多利用Photoshop等圖像軟件將碑刻圖像處理成數(shù)字拓片[2],但需要有較多的人工干預;更進一步的,朱曉麗等[3]運用MATLAB編寫程序對圖像進行局部閾值和均值濾波方法來獲得數(shù)字拓片,然而其自動化程度有限。此外,該類方法往往受限于采集圖像的質量,如光照不均、噪聲嚴重等。針對這一問題,Wang等[4]對石刻文字采用各向異性擴散算法進行平滑處理,通過二值化去除石刻圖像中的噪聲。然而此類方法對圖像的拍攝環(huán)境、分辨率及光照條件要求較高,且自動化程度仍有限。

        針對上述第一類問題中存在的拍攝環(huán)境要求高等問題,有研究人員通過提升數(shù)據(jù)采集的硬件設施等方法進行解決。如基于三維模型的數(shù)字拓片生成方法,該方法通過三維激光掃描設備獲得的點云數(shù)據(jù)或者基于碑刻圖像進行三維重建的碑刻三角網(wǎng)格進行處理獲得碑刻的數(shù)字拓片。例如惠鵬宇[5]提出一種基于三維數(shù)據(jù)掃描提取石碑石刻數(shù)字拓片的方法。該方法需要進行手工選點,選點結果會影響Delaunay三角剖分生成的投影面,進而影響深度圖和最終結果。最后一類方法是基于激光點云和近景影像的數(shù)字拓片生成方法,該方法緩解了基于數(shù)字圖像處理方法獲取數(shù)字拓片存在的圖像投影、圖像配準等問題。但此類研究比較少,點云數(shù)據(jù)難以獲取等問題也限制了此類技術的發(fā)展。

        隨著深度學習技術的發(fā)展,卷積神經網(wǎng)絡在計算機視覺和圖像處理領域展現(xiàn)出強大的應用潛力。文物正射圖像與拓片圖像的轉換,本質上是圖像到圖像之間的映射關系,深度學習模型強大的特征學習和表征能力為數(shù)字拓片的獲取提供了可能。因此,本論文提出一種基于生成對抗網(wǎng)絡的數(shù)字拓片生成技術,旨在實現(xiàn)自動化、批量化的文物圖像到數(shù)字拓片的轉換,從而在確保穩(wěn)定高質量輸出的同時,有效解決手工拓片獲取難、保存難等問題,進而實現(xiàn)智能化數(shù)字拓片生成,助推傳統(tǒng)文物的保護和傳承。

        1.4" 本文工作

        本文將生成對抗網(wǎng)絡應用到數(shù)字拓片中,主要的工作內容如下。

        1)搭建生成對抗網(wǎng)絡,設計合適的生成器與判別器模型,采用合適的激活函數(shù)及學習率。

        2)設計合理的損失函數(shù),構建模型訓練策略,調整參數(shù)以提高生成數(shù)字拓片圖像質量。

        3)設計搭建數(shù)字拓片網(wǎng)頁前端,提供接口上傳石刻文物正攝圖像,調用訓練好的模型生成文物對應的數(shù)字拓片圖像。

        2" 相關技術介紹

        2.1" 生成對抗網(wǎng)絡

        生成式對抗網(wǎng)絡是一種深度學習網(wǎng)絡,是近年來在復雜分布上的無監(jiān)督學習中最具前景的方法之一,其包括生成器和判別器2個部分。生成器和判別器相互博弈,最終達到動態(tài)平衡以生成看似真實的模擬數(shù)據(jù)。一個優(yōu)秀的生成對抗模型需要構建良好的訓練方法,否則可能由于神經網(wǎng)絡模型的自由性而導致模式崩潰、生成圖像質量不佳等問題。在原始的生成對抗模型理論中,并不要求生成模型和判別模型都是神經網(wǎng)絡,只需要擬合出相應的生成和判別的函數(shù)。由于深度學習模型強大的數(shù)據(jù)擬合和特征提取能力,因此本文采用深度神經網(wǎng)絡來搭建生成器和判別器,具體模型結構和訓練策略將在下面進行介紹。

        2.2" 風格遷移算法

        圖像風格遷移[6],是指將一張圖片的風格轉移到另一張圖片上,并保持圖像的主要內容不變。一般情況下,將內容保持不變的圖片稱為內容圖,把含有所需要的風格圖片稱為風格圖。風格遷移算法分為2個部分,第一部分為風格重構部分,該部分用深度神經網(wǎng)絡來提取圖像的風格特征,隨著卷積層數(shù)的提升,圖像的風格會逐漸清晰;第二部分為內容重構部分,該部分同樣采用深度神經網(wǎng)絡提取深度的圖像特征,但在這個過程中會丟失掉部分細節(jié)信息,隨后將提取的風格和內容進行融合,最后得到風格遷移結果。

        目前基于神經網(wǎng)絡的風格遷移算法[7]主要分為2類,一類是基于在線圖像優(yōu)化的慢速神經網(wǎng)絡算法,另一類是基于在線模型優(yōu)化的快速神經網(wǎng)絡方法。在線圖像優(yōu)化的基本思想分別從內容和風格圖像中提取內容和風格特征,并將2個特征重新組合成為目標圖像,之后依據(jù)生成圖像與目標圖像的差異在線迭代重建目標圖像。上述的2類方法均是基于在線圖像優(yōu)化的方法進行的。但是對于第一類算法,隨著學習風格數(shù)量的增加,模型的尺寸通常會隨著變大。第二類方法則通過充分探索單個網(wǎng)絡的能力,將內容與風格結合到網(wǎng)絡中進行風格識別,有效解決第一類算法的局限性。

        3" 基于深度風格遷移的數(shù)字拓片生成技術

        3.1nbsp; 技術流程

        本小節(jié)著重介紹了基于深度風格遷移的數(shù)字拓片生成技術的整個開發(fā)實施路徑。首先,通過分析以往手工拓片的制作步驟和特點,總結目前國內外現(xiàn)有的數(shù)字拓片方法所存在的重難點問題,本文結合生成對抗網(wǎng)絡與對比學習等方法,提出了一種基于生成對抗網(wǎng)絡的文物正射圖像到數(shù)字拓片圖像轉換的深度學習模型,其中包括深度卷積神經網(wǎng)絡的構建、損失函數(shù)的設計及模型訓練和調優(yōu)3個階段,進而實現(xiàn)以大數(shù)據(jù)平臺為基礎的全數(shù)字化、全智能化的端到端式的數(shù)字拓片轉換。

        3.2" 技術實現(xiàn)

        本小節(jié)重點介紹了如何利用深度學習和風格遷移實現(xiàn)數(shù)字拓片自動生成技術模型建立的運行系統(tǒng)體系。通過整合篩選已有數(shù)據(jù),構建深度學習模型,推廣模型應用場景,本文提出一種拓片數(shù)據(jù)數(shù)字化保護系統(tǒng),包括數(shù)據(jù)處理層、模型構建層與模型應用層3個體系層次。

        3.2.1" 數(shù)據(jù)處理層

        數(shù)據(jù)處理層包括數(shù)據(jù)收集、數(shù)據(jù)預處理2個階段。根據(jù)指定的數(shù)據(jù)標準對收集到的數(shù)據(jù)進行篩選整合,包括數(shù)據(jù)清洗、數(shù)據(jù)補全、數(shù)據(jù)增強等關鍵步驟,從而解決源數(shù)據(jù)中存在的數(shù)據(jù)缺失、數(shù)據(jù)類別不平衡、數(shù)據(jù)規(guī)格不一等問題,進而建立數(shù)據(jù)尺寸統(tǒng)一、類別豐富的純凈數(shù)據(jù)集,為后期的模型訓練提供準確數(shù)據(jù),提高精準度。

        3.2.2" 模型構建層

        手工拓片存在步驟繁復、耗時耗力等問題,且對拓印人員的專業(yè)水平有較高要求。借助深度學習和計算機視覺技術制作數(shù)字拓片,可以節(jié)約時間、減輕專業(yè)拓印人員的壓力,實現(xiàn)批量化數(shù)字拓印制作,從而更好地傳承中華優(yōu)秀傳統(tǒng)文化。模型構建是拓片數(shù)字化制作的關鍵環(huán)節(jié),由于文物類型不同(甲骨文、磚瓦、碑刻等),應結合文物所處環(huán)境、自身材質等信息分類進行模型構建及后續(xù)模型應用推廣。根據(jù)所持有數(shù)據(jù)特性,采用生成對抗網(wǎng)絡或者深度卷積神經網(wǎng)絡進行模型建模,以實現(xiàn)實體文物正射圖像到數(shù)字化拓片的轉換。

        為了獲得高分辨率、真實自然的數(shù)字拓片,需要進行損失函數(shù)的設計。通過最小化預測結果和真實拓片圖像之間的細節(jié)、紋理差異,以獲得高質量數(shù)字化拓片。利用預處理后的大量數(shù)據(jù)訓練生成對抗網(wǎng)絡模型,篩選模型中的關鍵參數(shù),并在模型訓練過程中對關鍵參數(shù)進行調優(yōu),從而獲得最優(yōu)模型,實現(xiàn)自動化數(shù)字拓片輸出。圖1展示了本文提出方法的模型結構,該模型使用多層圖像塊的對比損失,最大化相對應的多層圖像塊之間的互信息,最后將生成器和Encoder相結合,取得對應的生成圖像。

        ■=G(z)=Gdec(Genc(x)) ," " (1)

        式中:G(z)為生成器模型;Gdec為生成器中的解碼器模型;Genc(x)為生成器中編碼器模型。在此模型中,網(wǎng)絡結構如圖2所示,主要是由編碼器Encoder和解碼器Decoder兩個部分組成。將解碼器與編碼器組合成為生成對抗網(wǎng)絡模型,圖像的生成過程如公式(1)所示。在訓練過程中采用生成對抗損失L(G,D,X,Y)對風格圖像進行處理,使得重構生成的圖像與源圖像在內容上保持一致。對于風格遷移部分,則采用對比學習的方法,從風格圖像中提取多個部分作為對比學習的正負樣本,從內容圖像中提取部分作為query部分,讓query與正樣本信息相關聯(lián),與負樣本信息形成對比,采用Noise Contrastive Estimation(NCE)框架,最大化互信息對模型進行訓練,實現(xiàn)對內容圖像風格的轉換。在對比學習階段,采用" " " " (G,H,Y)一致性損失來避免生成器對產生的圖像造成不必要的影響。綜上,本文的總損失為

        。 (2)

        如公式(2)所示,本算法的損失包括生成對抗損失及文物正攝圖像和文物拓片圖像的一致性損失。同時因為對比學習采用的是輸入圖像中不同部位的圖像來作為正負樣本,如圖2中的實線框部分代表了對比學習的正樣本信息,而從文物圖像中獲取的部分圖像信息代表對比學習中的負樣本信息。因此本模型不要求輸入的圖像是成對數(shù)據(jù),即文物正攝圖像和對應的拓片圖像為一組成對圖像。這一優(yōu)勢極大地提高了本模型的魯棒性。

        3.2.3" 模型應用層

        本小節(jié)主要介紹石刻文物數(shù)字拓片生成的前端。為了實現(xiàn)自動化、智能化、交互式數(shù)字拓片制作,開發(fā)數(shù)字拓片系統(tǒng),用戶僅需自主選擇或者上傳待拓印的實體文物圖像,經過系統(tǒng)內部模型處理后,只需幾秒即可自動輸出對應的拓片圖像。該系統(tǒng)的應用,不僅能夠實現(xiàn)文物的數(shù)字化管理和保護,而且在推動文物數(shù)字化展示方面起到重要作用。

        3.3" 實驗結果

        本節(jié)采用第三節(jié)中建立的風格遷移模型,借助大量的拓片圖像和文物正攝圖像對該風格遷移模型進行訓練。將模型訓練成功后,通過輸入文物的正攝圖像自動生成與文物對應的數(shù)字拓片圖像。實驗結果展示在圖3中。

        如圖3所示,當選擇好需要的圖像文物拓片的風格后,通過向模型中輸入文物的正攝圖像來獲取文物對應的數(shù)字拓片圖像。本文的方法獲得的數(shù)字拓片圖像能夠盡可能地保留文物本身的紋理細節(jié)信息,這主要是由于卷積神經網(wǎng)絡強大的特征提取能力。另外得益于對比學習算法的采用,生成的數(shù)字拓片圖像的整體風格與傳統(tǒng)手工拓片風格更接近,更符合真實的人類視覺感知。

        4" 結論

        拓片文物一直是中華文化的重要組成部分,拓片保留下的不只是前人所思所想,更是后來人對中華文化的思考與繼承。但是由于拓片技術的傳承困難,導致現(xiàn)存的拓片匠人越來越少。如何獲得高質量的文物拓片是當前文物保護領域的難題之一。隨著深度學習技術的不斷發(fā)展,卷積神經網(wǎng)絡在計算機視覺和圖像處理領域展現(xiàn)出日益強大的分布擬合能力。本文嘗試借助神經網(wǎng)絡強大的數(shù)據(jù)擬合和特征提取能力,結合風格遷移與對比學習的方法,將現(xiàn)代計算機技術與文物拓片相結合,實現(xiàn)利用深度學習網(wǎng)絡獲取文物拓片的整體風格分布,并將這種分布與文物的正攝圖像相結合,實現(xiàn)利用深度學習網(wǎng)絡獲得文物的拓片圖像?;谏疃蕊L格遷移的數(shù)字拓片算法,實現(xiàn)對文物拓片的自動化、批量化、智能化的生成實驗結果顯示,該方法生成數(shù)字拓片圖像更加接近傳統(tǒng)的手工拓片。因此本文提出的方法解決了文物拓片獲取困難、保存困難等問題。并且基于深度風格遷移的數(shù)字拓片算法的輸入只需要文物的正攝圖像,不需要與文物產生接觸,因此在獲得數(shù)字拓片的過程中不會對文物本體造成損害,更好地實現(xiàn)了對傳統(tǒng)文物的保護。

        可以發(fā)現(xiàn)本文提出的方法不只是對文物的主體部分進行了風格遷移,對于文物正攝圖像的背景部分也造成影響??紤]在后續(xù)的工作中為算法增加目標識別模塊。在將文物的正攝圖像輸入到基于深度風格遷移的數(shù)字拓片算法前先對文物的正攝圖像進行主體識別,對主體部分進行分割后,將主體部分送入到算法中生成只有文物主體部分的拓片圖像,這樣的結果更加接近傳統(tǒng)手工拓片獲得的圖像。

        參考文獻:

        [1] 朱曉麗,張春新,吳中福.“數(shù)字拓片”構想及實驗研究[J].同濟大學學報(社會科學版),2011,22(3):82-88.

        [2] 朱曉麗,吳中福.基于photoshop實現(xiàn)浮雕圖像“數(shù)字拓片”的技術研究[J].計算機科學,2008,35(12):224-228.

        [3] 朱曉麗,吳中福,李穎.基于MATLAB實現(xiàn)石刻浮雕圖像“數(shù)字拓片”技術的研究[J].計算機科學,2009,36(2):268-270.

        [4] WANG S Z, LEE H J. Dual-binarization and anisotropic diffusion of Chinese characters in calligraphy documents[C]// International Conference on Document Analysis amp; Recognition, 2001.

        [5] 惠鵬宇.一種基于三維數(shù)據(jù)掃描提取石碑石刻數(shù)字拓片的方法:CN104268924B[P].2017.

        [6] ZHENG C X, CHAM T J, CAI J F. The Spatially-Correlative loss for various image translation tasks[J].2021.

        [7] ZANG Y, HUANG H, LI C F,et al.基于筆畫風格分析的繪畫風格渲染[J].journal of computer science amp; technology, 2013,28(5):762-775.

        久久精品国产av一级二级三级| 91亚洲人成手机在线观看| 久久精品国产成人午夜福利| 永久中文字幕av在线免费| 欧美老妇交乱视频在线观看 | 国产精品无码久久久久免费AV| 一本久道视频无线视频试看| 一区二区三区最新中文字幕| 欧美亚洲色综久久精品国产| 国产在视频线精品视频www666| 人妻尤物娇呻雪白丰挺| 45岁妇女草逼视频播放| 国偷自产一区二区免费视频| 亚洲红怡院| 久久婷婷夜色精品国产| 最近免费中文字幕中文高清6| 怡红院免费的全部视频| 久久久国产精品免费无卡顿| 精品国产一区二区三区av新片| 日日摸夜夜添夜夜添高潮喷水| 色翁荡息又大又硬又粗又视频图片| 午夜精品久视频在线观看| 日韩av水蜜桃一区二区三区| 丰满熟女高潮毛茸茸欧洲视频| 九九久久精品国产| 精品熟妇av一区二区三区四区| 国产欧美久久久精品影院| 国产精品高清视亚洲一区二区| 99久久久无码国产精品秋霞网| 中国年轻丰满女人毛茸茸| 激情人妻中出中文字幕一区| 国产在线观看91一区二区三区| 久久久精品人妻久久影视| 国产乱人视频在线观看播放器| 精品亚洲一区二区三区在线播放 | 亚洲av成人无码网站大全| 2021国产精品久久| 精品极品视频在线观看| 国产午夜福利在线观看红一片| 日韩精品久久久一区| 国产剧情亚洲一区二区三区|