張瑞瑞,周 強(qiáng),王 瑩,羅宏杰,張 靜,王 芬
(1.陜西科技大學(xué)電氣與控制工程學(xué)院,西安 710021;2.陜西科技大學(xué)材料科學(xué)與工程學(xué)院,西安 710021; 3.上海大學(xué)材料科學(xué)與工程學(xué)院,上海 200444)
我國(guó)陶瓷歷史源遠(yuǎn)流長(zhǎng),文物資源豐富。隨著我國(guó)人民物質(zhì)生活的不斷提高,愈來(lái)愈多的人對(duì)陶瓷文物產(chǎn)生了興趣,古陶瓷的鑒定、保護(hù)和傳承日益重要。在古陶瓷的鑒定過(guò)程中,產(chǎn)品的斷源斷代最為關(guān)鍵[1],其技術(shù)難度也最高。自古以來(lái)主要的斷源斷代方法是利用“眼緣”[2],即依靠鑒定人員長(zhǎng)期積累下來(lái)的經(jīng)驗(yàn)來(lái)判斷,不可避免地融入主觀因素的影響,更重要的是缺乏多元信息數(shù)據(jù)管理與大數(shù)據(jù)分析,致使隱藏在其中的許多有用信息被忽略或誤讀,這嚴(yán)重影響到古陶瓷技術(shù)的傳承與發(fā)揚(yáng)光大。
在多元的陶瓷產(chǎn)品信息中,產(chǎn)品器型具有鮮明的時(shí)代和地域特征,因此古陶瓷器型在鑒定中發(fā)揮著無(wú)可比擬的作用[3]。尤其是在當(dāng)今的信息化時(shí)代,數(shù)字化的古陶瓷器型能夠通過(guò)特征提取和分析,總結(jié)各個(gè)歷史時(shí)期與不同窯口器物的結(jié)構(gòu)特征,發(fā)現(xiàn)古陶瓷器型演變規(guī)律,為古陶瓷斷源斷代和真?zhèn)握鐒e提供參考依據(jù),且對(duì)于深入研究陶瓷器型藝術(shù)特征與文化、審美之間的關(guān)系,甚至陶瓷器型與金屬、玻璃器型之間的關(guān)系等,都十分重要。
但是由于古陶瓷產(chǎn)品器型的多樣性和復(fù)雜性,使得精確提取陶瓷器型難度大,效率低,常規(guī)的測(cè)量方法通常難以獲得器型的真實(shí)參數(shù)。而且大多古陶瓷真品保存在各大博物館及私人收藏家之手,出于安全或隱私的考慮,這些陶瓷產(chǎn)品的擁有者或單位一般不愿意將其價(jià)格昂貴的古陶瓷接受儀器設(shè)備的掃描和數(shù)據(jù)采集,即使勉強(qiáng)同意也必須經(jīng)過(guò)繁瑣復(fù)雜的手續(xù),使得古陶瓷數(shù)據(jù)三維掃描舉步維艱。這些都造成了在當(dāng)今信息膨脹的大數(shù)據(jù)時(shí)代,古陶瓷器型數(shù)字化資料嚴(yán)重欠缺的問(wèn)題,從而嚴(yán)重制約了器型大數(shù)據(jù)研究的進(jìn)程。
近年來(lái),利用機(jī)器視覺(jué)技術(shù)將二維圖像信息精確地還原為三維器型模型,已經(jīng)成為古陶瓷研究的一個(gè)新方向。吳雋等[4]在撇口碗的曲線擬合方面做了一定工作,熊露等[5]對(duì)撇口碗的邊緣特征進(jìn)行了一定研究。雖然已經(jīng)有不少研究者嘗試?yán)酶鞣N圖像處理方法獲得古陶瓷器型,但是由于二維圖像不同程度地存在圖像畸變、圖像背景復(fù)雜以及圖像質(zhì)量差別大等問(wèn)題,使得提取到的器型模型誤差大,還原出的三維器型變形嚴(yán)重。這些問(wèn)題長(zhǎng)期難以突破已經(jīng)成為古陶瓷器型三維還原技術(shù)發(fā)展的桎梏。
為此,本文在解決復(fù)雜背景下輪廓提取、圖像畸變校正等技術(shù)瓶頸的前提下,研制了一套基于機(jī)器視覺(jué)技術(shù)的古陶瓷器型三維還原算法,該算法能夠通過(guò)圖像增強(qiáng)、畸變補(bǔ)償及曲線非線性擬合等機(jī)器視覺(jué)和模式識(shí)別技術(shù)構(gòu)建古陶瓷器型的精確模型,以少量的參數(shù)獲取完整的古陶瓷器型信息。
古陶瓷器型三維還原算法主要包括器型圖像增強(qiáng)、圖像畸變校正、古陶瓷器型建模和古陶瓷器型三維重現(xiàn)等模塊。算法流程框圖如圖1所示。
圖1 古陶瓷器型三維還原算法工作原理圖Fig.1 Working principle diagram of 3D reduction algorithm for ancient ceramic vessel type
從二維圖像中精確提取古陶瓷器物輪廓是器型三維還原的第一步,但是由于目前形式多樣、版本眾多的古陶瓷圖像普遍存在圖像像素低、成像模糊、陶瓷器物與背景對(duì)比度低等圖像質(zhì)量問(wèn)題,由這樣的圖像還原出來(lái)的三維模型與真實(shí)古陶瓷器型相差甚遠(yuǎn),精度極低,甚至根本無(wú)法獲得三維模型。為此,本算法先使用小波變換對(duì)圖像進(jìn)行邊緣增強(qiáng),提高古陶瓷邊緣可辨識(shí)度,對(duì)古陶瓷邊緣輪廓實(shí)現(xiàn)清晰提取和準(zhǔn)確定位,具體過(guò)程為:
(1)原始圖像的小波分解。
利用式(1)、式(2)對(duì)原始圖像大小為M×N的圖像f(x,y)進(jìn)行二維離散小波變換,將原始圖像分解成為含有圖像輪廓信息的低頻子圖像帶和以背景噪聲為主的高頻子圖像帶。
(1)
(2)
(2)濾除圖像中的背景噪聲成分
(3)
最后利用公式(3)的小波逆變換公式合成邊緣增強(qiáng)后的圖像[8],可實(shí)現(xiàn)對(duì)圖像邊緣增強(qiáng),達(dá)到突出陶瓷器物圖像邊緣輪廓的目的[9]。
相機(jī)在二維成像時(shí),由于拍攝角度、距離以及鏡頭差異等問(wèn)題所造成的圖像畸變現(xiàn)象,給器型的三維還原精度帶來(lái)巨大的影響。為此本文提出一種利用橢圓霍夫變換的圖像拍攝角度估計(jì)方法,精確估計(jì)相機(jī)相對(duì)于圖像各個(gè)區(qū)域的拍攝角度,并在此基礎(chǔ)上利用透視變換方法實(shí)現(xiàn)二維圖像分區(qū)畸變補(bǔ)償。具體步驟如下:
(1)根據(jù)古陶瓷的輪廓圖像,提取其頂部和底足部分輪廓曲線;
(2)使用基于霍夫變換的橢圓輪廓檢測(cè)算法[10],擬合輪廓圖像頂部和底足橢圓模型[11];
(3)根據(jù)橢圓計(jì)算出該圖像的拍攝角度。角度計(jì)算過(guò)程如圖2所示。
圖2 拍攝角度幾何模擬圖Fig.2 Geometric simulation of shooting Angle
在理想條件下,假設(shè)相機(jī)為平行入射光線,相機(jī)以θ角度拍攝半徑為m的陶瓷器型時(shí),該器型頂部pqvw面在ABCD平面成像為一橢圓,拍攝角度可由式(4)計(jì)算得到,同理根據(jù)輪廓線提取器物下邊沿輪廓線同樣可以得出對(duì)于古陶瓷下邊緣的拍攝角度θ下。
θ≈arcsin(b/a)
(4)
式中:a與b由圖2中模型測(cè)量得到。
(4)圖像縱向畸變矯正。根據(jù)上下兩個(gè)角度θ上和θ下,可以估計(jì)古陶瓷二維平面每一水平截面的成像角度θi,利用式(5)對(duì)原始圖像進(jìn)行縱向的畸變矯正,式(5)中,l和l' 分別為矯正前后縱向尺寸。
l'=l/cos(arcsinθi)
(5)
(5)圖像水平方向的畸變校正。采用透視變換算法[12],根據(jù)畸變圖像所在空間與標(biāo)準(zhǔn)圖像空間線性對(duì)應(yīng)的思想,通過(guò)透視變換矩陣,對(duì)圖像鏡頭所造成的橫向畸變進(jìn)行校正,如式(6)所示。
(6)
對(duì)經(jīng)過(guò)畸變矯正后的古陶瓷邊緣輪廓圖像提取側(cè)邊緣輪廓基線,構(gòu)建該基線的數(shù)學(xué)模型。該側(cè)邊緣輪廓模型的準(zhǔn)確性,直接影響三維建模的效果。由于神經(jīng)網(wǎng)絡(luò)在原則上可以逼近任意非線性曲線,因此本文利用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)古陶瓷側(cè)邊緣輪廓基線的精確建模。
構(gòu)建輸入層、隱藏層和輸出層3層神經(jīng)網(wǎng)絡(luò)[17]。其中網(wǎng)絡(luò)的輸入層和輸出層均為1個(gè)節(jié)點(diǎn),即輸入層接收為1×1的側(cè)邊緣曲線橫坐標(biāo)數(shù)據(jù),輸出層對(duì)應(yīng)生成1×1的側(cè)邊緣曲線預(yù)測(cè)的縱坐標(biāo)數(shù)據(jù)。隱藏層激活函數(shù)選用非線性的Sigmoid函數(shù)對(duì)輸入輸出數(shù)據(jù)進(jìn)行非線性映射。在構(gòu)建網(wǎng)絡(luò)隱層節(jié)點(diǎn)個(gè)數(shù)時(shí),為了保證在網(wǎng)絡(luò)的誤差收斂到盡可能小的前提下,能夠減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間,同時(shí)避免網(wǎng)絡(luò)對(duì)樣本的過(guò)擬合現(xiàn)象,經(jīng)多次實(shí)驗(yàn)調(diào)整網(wǎng)絡(luò)參數(shù),最終選定使用30個(gè)神經(jīng)元節(jié)點(diǎn)用于隱藏層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建。為了保證訓(xùn)練精度,設(shè)定網(wǎng)絡(luò)迭代次數(shù)為500次,訓(xùn)練過(guò)程中均為誤差(MSE)收斂到0.001為止。
將樣本和標(biāo)簽不斷送入構(gòu)建的BP網(wǎng)絡(luò)中,通過(guò)對(duì)信號(hào)的正向傳播和基于誤差的參數(shù)反饋修改,網(wǎng)絡(luò)根據(jù)偏差不斷向梯度下降的方向,迭代調(diào)整各神經(jīng)元節(jié)點(diǎn)的權(quán)值和閾值,直至誤差降到目標(biāo)范圍內(nèi)。這里直接給出本文神經(jīng)網(wǎng)絡(luò)傳遞公式,如式(7)、(8)所示。
y'l=f(w1lxi),l=1,2,…,L
(7)
(8)
式中:xi表示輸入數(shù)據(jù),這里表示i個(gè)橫坐標(biāo);y'l表示隱藏層中L個(gè)神經(jīng)元對(duì)應(yīng)的輸出;yi表示輸出結(jié)果,這里表示i個(gè)由橫坐標(biāo)獲取的縱坐標(biāo);w表示權(quán)值,f表示網(wǎng)絡(luò)的激活函數(shù)。
圖3 算法流程框圖Fig.3 Flow diagram of algorithm
BP網(wǎng)絡(luò)建模的關(guān)鍵是訓(xùn)練樣本和標(biāo)簽的獲取。本文使用的樣本和標(biāo)簽為側(cè)邊緣輪廓線對(duì)應(yīng)的橫縱坐標(biāo)。將古陶瓷原始圖像進(jìn)行輪廓線提取和畸變矯正等處理后,根據(jù)輪廓邊緣曲率變化對(duì)校正后的古陶瓷輪廓圖像分別提取其左上、右上、左下和右下端點(diǎn)作為兩條側(cè)邊緣輪廓線的起止端點(diǎn),以此獲取其準(zhǔn)確的側(cè)邊緣曲線。之后再通過(guò)四個(gè)端點(diǎn)獲取對(duì)稱的中心軸線并以其為x軸,提取任意一條側(cè)邊緣輪廓線上的每一個(gè)像素點(diǎn),映射其對(duì)應(yīng)x軸的橫縱坐標(biāo)值,作為BP網(wǎng)絡(luò)的訓(xùn)練樣本,用于本文BP網(wǎng)絡(luò)的樣本及標(biāo)簽訓(xùn)練。
BP神經(jīng)網(wǎng)絡(luò)建立的古陶瓷側(cè)邊緣輪廓曲線模型包含著旋轉(zhuǎn)體古陶瓷器型的完整信息,可以作為器型的原始數(shù)據(jù)保存,因此可以通過(guò)該曲線模型,繞器型中心軸線旋轉(zhuǎn)獲取器型三維模型,即為最終古陶瓷器型三維重現(xiàn)模型。
本文算法完整的流程圖如圖3所示。流程中k用來(lái)表示圖像增強(qiáng)算法的使用次數(shù),而交互式提取模塊則是屬于自動(dòng)曲線提取不夠精確時(shí)的輔助手段。其具體步驟如下:
(1)對(duì)讀取的原始圖像使用小波變換,在銳化增強(qiáng)輪廓的同時(shí)對(duì)圖像降噪,再使用邊緣檢測(cè)算法提取圖像邊緣輪廓,圖像增強(qiáng)算法可重復(fù)使用達(dá)到最佳效果,這里設(shè)定上限最多為三次,超出上限后使用交互式提取算法輔助提??;
(2)對(duì)提取的輪廓圖像執(zhí)行視角畸變校正算法,獲取矯正之后的古陶瓷輪廓圖像;
(3)對(duì)校正后的圖像提取側(cè)邊緣輪廓基線,同時(shí)在程序中使用交互式操作輔助提取算法對(duì)其進(jìn)行增強(qiáng);
(4)將提取的側(cè)邊緣輪廓線使用神經(jīng)網(wǎng)絡(luò)建模,之后對(duì)其繞中軸線旋轉(zhuǎn),獲取該旋轉(zhuǎn)體古陶瓷圖像的三維模型。
使用上海大學(xué)文物器型非接觸數(shù)字化掃描測(cè)量設(shè)備(SDGTC-2017)對(duì)古陶瓷器物進(jìn)行三維模型掃描,以所獲得的古陶瓷實(shí)物標(biāo)準(zhǔn)的點(diǎn)云數(shù)據(jù)作為標(biāo)準(zhǔn)尺寸,用于驗(yàn)證本文方法的準(zhǔn)確性。
本實(shí)驗(yàn)以常見(jiàn)的玉壺春瓶和采桑葡罐的二維圖像作為還原對(duì)象,詳細(xì)展示古陶瓷從二維圖像到三維模型的完整還原過(guò)程。通過(guò)對(duì)二維圖像的輪廓增強(qiáng)、視角畸變矯正、側(cè)邊緣輪廓曲線建模和器型三維重現(xiàn)等步驟完成對(duì)陶瓷器型的三維還原。還原步驟如圖4和圖5所示。Sample 1與Sample 2分別代指玉壺春瓶與采桑葡罐。
圖4 玉壺春瓶三維還原步驟Fig.4 Steps of 3D restoration of the sample 1
圖5 采桑葡罐三維還原步驟Fig.5 Steps of 3D restoration of the sample 2
3.2.1 自適應(yīng)視角矯正技術(shù)對(duì)提高三維還原精度的作用
通過(guò)仿真實(shí)驗(yàn),分別采用本文的自適應(yīng)視角矯正算法和傳統(tǒng)畸變矯正算法提取古陶瓷側(cè)邊緣輪廓,然后對(duì)比二者的精度。實(shí)驗(yàn)結(jié)果如圖6所示,圖中的左右兩條紅色曲線為標(biāo)準(zhǔn)的玉壺春瓶側(cè)邊緣輪廓曲線,它是根據(jù)三維掃描儀獲取的實(shí)物標(biāo)準(zhǔn)點(diǎn)云數(shù)據(jù)由插值函數(shù)擬合而成;左邊的藍(lán)色曲線為采取傳統(tǒng)的視角矯正方法對(duì)二維圖像進(jìn)行處理后獲得的玉壺春瓶側(cè)邊緣輪廓曲線;右側(cè)的藍(lán)色曲線為采用本文的視角矯正算法對(duì)二維圖像進(jìn)行處理后獲取的玉壺春瓶側(cè)邊緣輪廓曲線。
對(duì)比發(fā)現(xiàn):本文算法對(duì)于提高曲線擬合誤差較大區(qū)域(圖6中圈出部分)的擬合精度作用十分顯著,使得整個(gè)陶瓷邊緣輪廓曲線的擬合誤差由原來(lái)2.6%下降為0.8%。
3.2.2 神經(jīng)網(wǎng)絡(luò)技術(shù)提高三維還原精度
為了驗(yàn)證BP神經(jīng)網(wǎng)絡(luò)擬合曲線的精度,通過(guò)實(shí)驗(yàn)對(duì)比本文的神經(jīng)網(wǎng)絡(luò)算法與傳統(tǒng)多項(xiàng)式插值函數(shù),比較兩種方法在構(gòu)建古陶瓷側(cè)邊緣模型上的精度差別。圖7(a)為使用古陶瓷側(cè)邊緣曲線的樣本數(shù)據(jù)訓(xùn)練BP網(wǎng)絡(luò)時(shí),MSE誤差隨迭代訓(xùn)練的收斂曲線。圖7(b)為使用以上兩種方法構(gòu)建的采桑葡罐側(cè)邊緣輪廓曲線建模的效果圖。
由圖7(a)可知,500次迭代后,曲線MSE誤差只有5.12×10-3左右,而由圖7(b)可以看出,兩種方法對(duì)采桑葡罐側(cè)邊緣建模的整體效果都比較好,但通過(guò)圖8構(gòu)建的采桑葡罐側(cè)邊緣局部輪廓細(xì)節(jié)模型效果圖可看出,本文方法構(gòu)建的曲線模型更為逼近采桑葡罐的頸部、尾部以及底座等形狀較為奇異部分的輪廓細(xì)節(jié),數(shù)據(jù)表明,其模型擬合精度的均方誤差(MSE)僅為5.12×10-3,遠(yuǎn)小于傳統(tǒng)方法的均方誤差(MSE)1.82×10-2,為實(shí)現(xiàn)古陶瓷的三維精確還原打下堅(jiān)實(shí)基礎(chǔ)。
圖6 對(duì)玉壺春二維圖像側(cè)邊緣輪廓線畸變校正效果對(duì)比Fig.6 Compares of distortion correction effect of side edge contour curve of the 2D image of sample 1
圖7 BP網(wǎng)絡(luò)訓(xùn)練過(guò)程誤差曲線(a)和采用2種方法構(gòu)建的采桑葡罐側(cè)邊緣輪廓曲線模型的效果圖(b)Fig.7 Error curve of BP network training process (a) and effect diagrams of side edge contour curve model of sample 2 with two methods
圖8 采用本文及傳統(tǒng)方法構(gòu)建的采桑葡罐側(cè)邊緣局部輪廓細(xì)節(jié)模型的效果圖Fig.8 Effect diagrams of side edge contour local detail model of sample 2 by using this paper's method and traditional method
3.3.1 黑底紅紋小嘴瓶和采桑葡罐圖像三維還原實(shí)驗(yàn)
對(duì)黑底紅紋小嘴瓶和采桑葡罐二維圖像構(gòu)建器型模型和器型三維重現(xiàn)的過(guò)程分別如圖9與圖10所示。為了驗(yàn)證算法還原精度,從三維掃描儀掃描實(shí)物獲得的點(diǎn)云坐標(biāo)數(shù)據(jù)中等間距提取50個(gè)點(diǎn)作為標(biāo)準(zhǔn)數(shù)據(jù),用于檢驗(yàn)算法構(gòu)建器型模型的精度。Sample 3代指黑底紅紋小嘴瓶。
圖9 黑底紅紋小嘴瓶三維還原對(duì)照?qǐng)DFig.9 3D reduction control diagram of sample 3
圖10 采桑葡罐三維還原對(duì)照?qǐng)DFig.10 3D reduction control diagram of sample 2
3.3.2 黑底紅紋小嘴瓶和采桑葡罐圖像三維還原的魯棒性和精確性實(shí)驗(yàn)
通過(guò)改變拍攝角度、拍攝距離獲得不同古陶瓷二維圖像,用以驗(yàn)證該算法三維還原的精確性和魯棒性。
具體測(cè)試數(shù)據(jù)如表1所示。其中測(cè)試距離為相機(jī)鏡頭距離古陶瓷中心距離,測(cè)試角度為鏡頭中心對(duì)準(zhǔn)古陶瓷器物中心時(shí)鏡頭與水平地面之間的夾角,使用可取度表述不同條件圖片的成像質(zhì)量,H_NRMSD為縱向正規(guī)化均方根誤差百分?jǐn)?shù),W_NRMSD為水平方向正規(guī)化均方根誤差百分?jǐn)?shù)。
將拍攝的不同距離、不同角度下的兩種器型圖像,使用本文算法流程獲取其三維還原模型與標(biāo)準(zhǔn)模型數(shù)據(jù)對(duì)比,分析發(fā)現(xiàn)本算法在H_NRMSD和W_NRMSD指標(biāo)下的誤差均在1.7%以內(nèi),可知本算法利用二維圖像還原三維器物的還原精度高,其適應(yīng)拍攝條件變化的魯棒性強(qiáng),克服了傳統(tǒng)三維還原方法中無(wú)法徹底解決的圖像畸變、輪廓模型非線性等技術(shù)難題。
表1 黑底紅紋小嘴瓶和采桑葡罐測(cè)試數(shù)據(jù)Table 1 Test data of the sample 3 and sample 2
續(xù)表
3.3.3 玉壺春瓶圖像三維還原的精度實(shí)驗(yàn)
為了進(jìn)一步檢驗(yàn)該算法的還原精度,使用上海大學(xué)文物器型非接觸數(shù)字化掃描測(cè)量設(shè)備和市面上的先進(jìn)三維掃描儀EinScan-SP兩種三維掃描儀分別對(duì)玉壺春瓶進(jìn)行掃描,下文分別記為1號(hào)和2號(hào)掃描儀,綜合兩組點(diǎn)云數(shù)據(jù)提取的高度數(shù)據(jù)和側(cè)邊緣輪廓數(shù)據(jù)并與本文算法提取的數(shù)據(jù)進(jìn)行對(duì)比分析,實(shí)驗(yàn)測(cè)試數(shù)據(jù)如表2所示,以1號(hào)獲得的數(shù)據(jù)為標(biāo)準(zhǔn)值檢驗(yàn)并對(duì)比本文方法和2號(hào)三維掃描儀的精度。表2中H1、W1表示本文算法構(gòu)建的陶瓷器型輪廓模型在豎直和水平兩個(gè)方向的精度,H2、W2表示2號(hào)三維掃描儀獲取數(shù)據(jù)在豎直和水平兩個(gè)方向的精度。
表2 玉壺春瓶測(cè)試數(shù)據(jù)Table 2 Test data of the sumple 1
根據(jù)表2測(cè)試數(shù)據(jù)可知,本文算法對(duì)器型側(cè)邊緣建模精度相比2號(hào)掃描儀更逼近1號(hào)標(biāo)準(zhǔn)數(shù)據(jù),由圖11能更直觀地看到這一結(jié)論。
圖11 玉壺春瓶側(cè)邊緣三組對(duì)照數(shù)據(jù)Fig.11 Comparison data of three groups of side edges of the sample 1
通過(guò)對(duì)器型圖像增強(qiáng)、圖像畸變校正、古陶瓷器型建模和古陶瓷三維重現(xiàn)等一系列算法的研究,獲得了完整的古陶瓷器型三維還原算法。實(shí)驗(yàn)表明當(dāng)拍攝角度從-10°~10°范圍內(nèi),分辨率在4萬(wàn)像素以上時(shí),本算法能以低于1.7%的誤差精確還原陶瓷器物的三維模型。大大方便了古陶瓷的分析研究和復(fù)原展示工作,為古陶瓷器型研究提供了一種新方法。