孟詩語,黃英來*,趙 鵬,李 超,劉鎮(zhèn)波,劉一星,徐 艷
1. 東北林業(yè)大學(xué)信息與計算機(jī)工程學(xué)院,黑龍江 哈爾濱 150040 2. 東北林業(yè)大學(xué)材料科學(xué)與工程學(xué)院,黑龍江 哈爾濱 150040 3. 良匠古箏制作研究院有限公司,江蘇 揚(yáng)州 225001
隨著人類物質(zhì)生活水平的改善,人們越來越追求精神生活水平,樂器作為一種高雅的娛樂器具,越來越受人們的歡迎。古箏是中國獨(dú)特且重要的民族樂器之一,具有極高的演奏價值。隨著人們對于古箏樂的喜愛程度越來越高,人們對于古箏的聲學(xué)質(zhì)量要求也越來越高。撥動琴弦,以琴弦為初始振動發(fā)聲體,通過面板起到共振和傳遞能量的作用,讓我們聽到優(yōu)美的音樂。在古箏結(jié)構(gòu)中,面板木材的好壞很大程度上決定了古箏的音色優(yōu)美與否。因泡桐木材具有良好的導(dǎo)音性能,多用來制作古箏面板,所以本實驗以泡桐木材為研究對象?,F(xiàn)在對于判別木材優(yōu)劣的方法多為由具有經(jīng)驗的樂器技師依靠肉眼觀測,根據(jù)QB/T 1207.3—2011標(biāo)準(zhǔn)判定木材的顏色、紋理等因素得出木材的等級。然而人工判別的方法依靠口對口方式流傳,不利于古箏等級判別方法的傳承,并且低效且易受主觀性影響,判別結(jié)果具有不確定性,因此提出一種可靠、準(zhǔn)確和快速的計算機(jī)判別木材等級的方法對樂器制作工廠具有重要的指導(dǎo)意義。
近紅外光譜是指波長范圍為700~2 500 nm的電磁波,記錄了分子基頻振動的倍頻和組合頻信息[1]。由于近紅外光譜儀器具有分光方式多樣、測量附件種類多和操作過程簡潔等優(yōu)點(diǎn),近幾年近紅外光譜廣泛應(yīng)用于農(nóng)業(yè)、食品工業(yè)和醫(yī)學(xué)等不同領(lǐng)域。在木材工業(yè)方面,近紅外光譜也具有廣泛的應(yīng)用。例如,Hwang等[2]使用近紅外光譜和偏最小二乘方法對韓國的建筑常用樹木松樹進(jìn)行了分類識別。Inagaki等[3]使用近紅外光譜成功對熱降解木材進(jìn)行了動力學(xué)分析。呂斌等[4]使用近紅外光譜和反向傳播神經(jīng)網(wǎng)絡(luò)對尾葉桉、馬尾松等三種木材進(jìn)行了識別。然而由于偏最小二乘方法無法承擔(dān)大數(shù)據(jù)量樣本的計算代價,反向傳播神經(jīng)網(wǎng)絡(luò)易陷入局部極值,傳統(tǒng)機(jī)器學(xué)習(xí)方法判別時間較長。
卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)具有從復(fù)雜多維數(shù)據(jù)中選擇并提取有效特征的優(yōu)點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)已廣泛應(yīng)用于圖像識別[5]、音頻處理[6]、生物信息處理[7]等領(lǐng)域,均具有非常突出的表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)也已在木材圖像領(lǐng)域展開了很多研究,例如徐珊珊等使用卷積神經(jīng)網(wǎng)絡(luò)成功識別多種木材缺陷[8]。
基于以上背景,因卷積神經(jīng)網(wǎng)絡(luò)充分考慮輸入數(shù)據(jù)的空間相關(guān)性,與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比具有更少的計算參數(shù),同時近紅外光譜可以充分表征古箏木材的化學(xué)成分信息,所以本工作基于卷積神經(jīng)網(wǎng)絡(luò)模型對板材的光譜數(shù)據(jù)進(jìn)行分析,進(jìn)而實現(xiàn)判別古箏面板用木材等級的研究。
泡桐木材由瓊花古箏樂器廠提供,由富有經(jīng)驗的樂器廠技師挑選出高級品、中級品以及普及品三個等級的木材各600塊,即共1800塊板材用于近紅外光譜實驗,樣品大小為1 cm×1 cm×1 cm。樣本分配情況如表1所示。
表1 數(shù)據(jù)集劃分
采集光譜數(shù)據(jù)的儀器為Ocean Optic NIR512,該儀器光譜范圍為900~1 700 nm,分辨率為3.0 nm FWHM,在保證測量環(huán)境溫度,濕度恒定的情況下重復(fù)測量三次,取其平均值作為實驗數(shù)據(jù)樣本。由于全光譜首末端數(shù)據(jù)大多為噪聲,故剔除后用于分析的波段為929.21~1 653.43 nm,數(shù)據(jù)集中光譜基本信息統(tǒng)計情況如表2所示。分析過程所使用的軟件為Python 3.6,通過Tensorboard觀察模型準(zhǔn)確率、損失值等變化。
表2 數(shù)據(jù)集基本信息
1.3.1 光譜預(yù)處理
在實際應(yīng)用中,測量得到的光譜信號含有大量有用信息,但同時還夾雜著噪聲。盡管噪聲振幅較小,但也會對光譜信號的真實形狀和幅度產(chǎn)生影響,不利于信號的進(jìn)一步分析和處理。因此,需要降噪預(yù)處理。近紅外光譜信息去噪和提取的方法有很多種, 例如微分方法、平滑方法和標(biāo)準(zhǔn)正態(tài)變量變換等。其中平滑方法可以提高數(shù)據(jù)的信噪比,微分方法具有高通濾波的功能,消除光譜的漂移和散射影響,可以將光譜峰窄化和尖化,放大了樣本的光譜特征,并且求導(dǎo)后產(chǎn)生的曲線保留了原始信號的定量特點(diǎn)。所以采用在Savitzky Golay(S-G)平滑基礎(chǔ)上應(yīng)用一階和二階微分方法,從而尋求最適合的預(yù)處理方法。
1.3.2 核主成分分析
近紅外光譜數(shù)據(jù)通常維度高,如若將全部光譜數(shù)據(jù)參與實驗計算,計算量較大,所以通常進(jìn)行數(shù)據(jù)壓縮。核主成分分析是主成分分析方法的延伸,可以挖掘出數(shù)據(jù)中的非線性信息。核主成分分析引入核函數(shù)思維,基本原理是通過非線性映射將輸入空間變換到高維特征空間使其線性可分,在高維特征空間下使用主成分分析完成特征提取工作[9]。本實驗數(shù)據(jù)壓縮和提取的方法為核主成分分析,經(jīng)過多次試驗最終選取徑向基核函數(shù)為核函數(shù),參數(shù)gamma為10,主成分個數(shù)為30。
1.3.3 特征波長提取
除了主成分分析和核主成分分析等方法可以減低數(shù)據(jù)樣本的計算量,波長選取方法同樣也可以簡化實驗?zāi)P?,并且消除無關(guān)變量,提高模型的表現(xiàn)。
本文使用連續(xù)投影算法(successive projections algorithm,SPA)進(jìn)行波長選擇。SPA通過向量的投影分析,在含有冗余信息的波長變量中選擇出最佳的波長變量組,根據(jù)均方根誤差確定最佳的變量數(shù),從而使變量之間的共線性達(dá)到最小[10]。連續(xù)投影算法采用的是向前循環(huán)選擇方法,將最大投影向量的波長變量引入波長組合,因此可以較大程度上消除共線信息。
1.3.4 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中最經(jīng)典的模型之一,它巧妙的減少了參數(shù)數(shù)量并且達(dá)到了全連接神經(jīng)網(wǎng)絡(luò)實現(xiàn)不了的效果,同時相比于傳統(tǒng)機(jī)器學(xué)習(xí)算法,無需進(jìn)行手工提取特征,也無需使用特征提取算法,在模型訓(xùn)練中自動完成特征的提取和抽象工作,同時實現(xiàn)模式分類。CNN的基本結(jié)構(gòu)通常由卷積層、池化層和全連接層三個部分組成,細(xì)節(jié)又可以分為濾波器、步長、卷積操作和池化操作等。
本所使用的實驗數(shù)據(jù)是古箏面板用木材的近紅外光譜數(shù)據(jù),所以使用一維卷積神經(jīng)網(wǎng)絡(luò)作為特征提取算法,一維卷積神經(jīng)網(wǎng)絡(luò)模型的卷積核提取信息過程如圖1所示。
1.3.5 古箏面板木材等級識別模型
基于CNN模型提取木材特征和判別古箏面板用木材的等級的輸入層數(shù)據(jù)分別為經(jīng)過預(yù)處理后核主成分分析提取的30個主成分變量和經(jīng)過連續(xù)投影算法選取的特征波長變量組。模型中分別包括兩層卷積層、一層池化層和全連接層結(jié)構(gòu),具體設(shè)置如下。
圖1 卷積核提取信息過程
第一層卷積核尺寸為9,為了更好地優(yōu)化模型,訓(xùn)練模型時在第一層卷積層中引入批量歸一化策略。在第二卷積層應(yīng)用多通道卷積核策略,即在本卷積層中使用兩個不同尺寸的卷積核。其中第一個卷積核尺寸為7,第二個卷積核尺寸為5。在第二卷積層后面加一個步長為2的池化層,池化層濾波器尺寸為2,為了防止過擬合,在訓(xùn)練模型的時候采用Dropout機(jī)制,將池化后所計算得到的結(jié)點(diǎn)的10%丟棄,即keep_prob值為0.9。最后將所提取的光譜特征通過函數(shù)進(jìn)行拉平操作。
對全連接層結(jié)構(gòu)的設(shè)計: 將通過兩層卷積層提取的不同等級古箏面板用木材的特征送入全連接層。通常,在模型結(jié)構(gòu)末端設(shè)置1~3層全連接層,從而訓(xùn)練CNN結(jié)構(gòu)的補(bǔ)充信息,這使得所提出的模型能夠充分學(xué)習(xí)不同等級的古箏面板用木材的特征。經(jīng)過多次試驗,第一全連接層神經(jīng)元個數(shù)設(shè)置為256,第二全連接層神經(jīng)元的個數(shù)為3。最后,再把其輸出變量經(jīng)過Softmax函數(shù)獲得預(yù)測等級的概率,從而獲得最終的等級判別結(jié)果,Softmax函數(shù)計算方法如式(1)所示,其中S為原始向量,S=[S1,S2,…,SN],P為映射計算后的新向量,P=[P1,P2,…,PN]。
(1)
模型中激活函數(shù)的主要作用是提供網(wǎng)絡(luò)的非線性建模能力,所以使用不同激活函數(shù)的網(wǎng)絡(luò)模型具有的學(xué)習(xí)能力不同。Sigmod函數(shù)、Tanh函數(shù)和Relu函數(shù)為常用的激活函數(shù)。相比Sigmoid和Tanh函數(shù),Relu函數(shù)具非飽和的特點(diǎn),收斂速度更快,并且提供了網(wǎng)絡(luò)模型的稀疏表達(dá)能力,所以本實驗所涉及的激活函數(shù)均為Relu函數(shù)。
學(xué)習(xí)率的選取對于一個模型的自主學(xué)習(xí)能力至關(guān)重要,本模型使用退化學(xué)習(xí)率機(jī)制進(jìn)行學(xué)習(xí),學(xué)習(xí)率初始值設(shè)置為0.01,衰減指數(shù)為0.9,為了防止過擬合,本模型采用了early stopping策略,網(wǎng)絡(luò)的初始迭代次數(shù)設(shè)置為50。
同時為了防止過擬合現(xiàn)象,本模型選擇交叉熵函數(shù)與模型權(quán)重系數(shù)L2正則化的結(jié)合作為模型的損失函數(shù),具體計算公式如式(2)所示,其中W為模型權(quán)重,cross_entropy為交叉熵。
(2)
古箏面板用木材的原始光譜數(shù)據(jù)如圖2所示。在近紅外光譜中,因為單一的譜帶可能是由幾個基頻的倍頻和組合頻組成,所以近紅外光譜的譜帶重疊嚴(yán)重。由圖2可知,不同等級的古箏面板用木材的近紅外光譜大致相同,肉眼難以區(qū)分。在1 194,1 468和1 584 nm處附近有明顯的吸收峰,在1 115,1 298和1 643 nm處附近有肩峰。其中1 468 nm吸收峰由O—H鍵的一級倍頻所引起,1 194 nm處由C—H基團(tuán)伸縮振動的二級倍頻所引起[11]。
圖2 原始光譜
分別經(jīng)過Savitzky Golay一階和二階微分預(yù)處理后的光譜如圖3和圖4所示??梢钥闯鰞煞N預(yù)處理方法均使光譜譜峰特征更加明顯,不同程度地放大了不同等級的古箏面板用木材的光譜差異,這也為準(zhǔn)確判別古箏面板用木材的等級提供了可能。
圖3 S-G一階微分預(yù)處理
為了確定最佳預(yù)處理方法,分別將經(jīng)過Savitzky Golay一階和二階微分預(yù)處理的面板用木材光譜經(jīng)過核主成分分析后提取的特征變量送入CNN實驗?zāi)P停詫嶒災(zāi)P蜆?gòu)建過程中的損失值和對測試集樣本的識別準(zhǔn)確率作為評價指標(biāo),確定最終的實驗預(yù)處理方法。表3為評價指標(biāo)詳情。
圖4 S-G二階微分預(yù)處理
表3 預(yù)處理方法評價
從表3可以看出Savitzky Golay一階微分預(yù)處理方法具有更佳的表現(xiàn)。從而確定為最佳光譜預(yù)處理方法。
通過連續(xù)投影算法對經(jīng)過一階微分方法預(yù)處理過的光譜數(shù)據(jù)進(jìn)行波長選取。通常均方根誤差值最小時可以獲得光譜波長變量數(shù)目的最優(yōu)解。經(jīng)過迭代后,可知預(yù)測集的均方根誤差最小值為0.398,光譜預(yù)處理后選取的波長變量具體如圖5所示。
圖5 最優(yōu)解下的對應(yīng)波長
由圖5可知,選取的波長變量數(shù)目為18,分別為1 163,1 189,1 205,1 231,1 243,1 346,1 362,1 375,1 445,1 455,1 525,1 533,1 544,1 550,1 584,1 620,1 647和1 651 nm。
將預(yù)處理后的面板光譜數(shù)據(jù)中所選擇的特征波長變量組作為本文提出的CNN模型的輸入,觀察模型構(gòu)建過程中的損失值和樣本識別準(zhǔn)確率,最終測試集準(zhǔn)確率為88.3%,損失值最低為0.233??梢钥闯?,1 163~1 243,1 346~1 375和1 525~1 584 nm為主要的特征波段,其中1 163~1 243 nm對應(yīng)于C—H基團(tuán)伸縮振動二級倍頻帶,1 346~1 375 nm對應(yīng)于半纖維素中C—H基團(tuán)伸縮振動和變形振動的混合帶[12],1 525~1 584 nm對應(yīng)于O—H鍵伸縮振動的第一泛音帶。盡管連續(xù)投影算法具有較高的數(shù)據(jù)壓縮率,但是在測試集樣本識別準(zhǔn)確率上表現(xiàn)欠佳,雖篩選出特征波長,但無法包含全部的表征不同等級古箏面板用木材的關(guān)鍵特征信息。因卷積神經(jīng)網(wǎng)絡(luò)模型具有非線性變換特點(diǎn),所以核主成分分析方法更能有效提取不同等級的古箏面板用木材光譜數(shù)據(jù)的信息特征并減少實驗計算量。至此確定了本實驗的最佳數(shù)據(jù)壓縮方法為核主成分分析。
為了更加直接體現(xiàn)CNN模型的穩(wěn)定性和合理性,圖6分別展示了CNN模型在應(yīng)用一階微分預(yù)處理和核主成分分析提取后的光譜數(shù)據(jù)集的構(gòu)建及識別過程中準(zhǔn)確率和損失值的變化。
圖6 模型評估
從圖6可以看出通過應(yīng)用early stopping策略,實驗?zāi)P驮诘?9次迭代停止訓(xùn)練,模型收斂速度快,模型泛化能力較強(qiáng)。
通過卷積神經(jīng)網(wǎng)絡(luò)模型對古箏面板用木材的近紅外光譜數(shù)據(jù)進(jìn)行分析,從而實現(xiàn)判別板材的等級。綜合對比分析后,Savitzky Golay一階微分方法和核主成分分析方法為最佳的光譜預(yù)處理和數(shù)據(jù)壓縮方法,同時確定了區(qū)分不同等級古箏面板用木材的關(guān)鍵譜帶。最終模型對預(yù)測集樣本識別準(zhǔn)確率為95.5%,判別效率高。表明所提出的CNN網(wǎng)絡(luò)模型與近紅外光譜相結(jié)合的實驗方法可以有效提取出不同等級古箏面板用木材的關(guān)鍵特征,并有效快速地判別木材的等級。