謝軍明 王立海 林文樹 郝泉齡 解光強(qiáng) 孟慶凱 李怡娜 闞相成
(東北林業(yè)大學(xué),哈爾濱,150040)
樹木內(nèi)部腐朽是常見的一種缺陷,腐朽病的發(fā)生不僅對樹木自身生長及木材使用存在危害,且其危害嚴(yán)重時對森林公園的旅游活動也有一定程度的安全隱患,降低森林旅游資源的價值[1]。因此,根據(jù)無損檢測技術(shù)并聯(lián)合智能算法對活立木腐朽程度進(jìn)行分級,有利于監(jiān)測活立木的健康情況,可對森林公園林木健康情況進(jìn)行及時有效的干預(yù),同時對林木防護(hù)也具有重要意義。
目前,利用無損檢測手段并結(jié)合智能算法對活立木腐朽分級的研究較少。劉國榮等[2]將樹干解析為木圓盤,以圓盤腐朽面積占總面積之比,將腐朽程度劃分為5個等級。段新芳等[3]采用應(yīng)力波測定儀對西藏古建筑上的腐朽與蟲蛀木構(gòu)件進(jìn)行無損檢測和目測腐朽觀察,分析健康材和腐朽材的應(yīng)力波傳播速度,確定表層腐朽分級與無損檢測結(jié)果基本一致。梁善慶[4]根據(jù)應(yīng)力波斷層圖像,利用腐朽斷面中剩余健康材徑向厚度與樹干半徑的比值對樹干進(jìn)行危險性定量評價,將其分為無危險,警惕,危險3個級別。Yue et al.[5]使用應(yīng)力波斷層掃描儀及電阻斷層成像儀對水曲柳、小葉楊進(jìn)行檢測,根據(jù)其成像特征將木材腐朽嚴(yán)重程度分為2個階段:早期階段、晚期階段。以上研究均是根據(jù)無損檢測或目測方式對立木腐朽進(jìn)行分級,其效率低且還需有豐富經(jīng)驗(yàn)的人員。對此,郝泉齡等[6]根據(jù)無損檢測指標(biāo)建立邏輯回歸模型預(yù)測腐朽等級,但其準(zhǔn)確率不高。因此,需探尋一種更好的模型提高立木腐朽分級的準(zhǔn)確率。
機(jī)器學(xué)習(xí)算法用以解決立木腐朽分級問題,對判定樹木健康情況提供了一種新的思路和方法,其最初由無監(jiān)督分類方法(聚類、稀疏自編碼、限制玻爾茲曼機(jī)等)發(fā)展到監(jiān)督分類方法(邏輯回歸、支持向量機(jī)、決策樹等),準(zhǔn)確率不斷提高,分類效果越來越顯著[7]。目前這些方法存在一些不足之處,邏輯回歸分類方法容易欠擬合且其分類精度不高[8];支持向量機(jī)的決策邊界易受不平衡數(shù)據(jù)集影響;決策樹容易過擬合[9];無監(jiān)督分類方法則需要大量的樣本或?qū)Ψ诸愵悇e難以控制。因此,需要探索更穩(wěn)定,更適用的機(jī)器學(xué)習(xí)方法來處理立木腐朽程度的分級問題。
隨機(jī)森林是由許多決策樹組合而成的一種機(jī)器學(xué)習(xí)算法,其保留決策樹的優(yōu)點(diǎn),克服其缺點(diǎn),同時可以提高分類的精度,并具有處理類不平衡數(shù)據(jù)的能力,其優(yōu)越的性能在醫(yī)學(xué)、食品、農(nóng)林等眾多領(lǐng)域廣泛使用[10-14]。綜上所述,本研究擬將隨機(jī)森林用于腐朽分級中,以無損檢測數(shù)據(jù)構(gòu)建隨機(jī)森林模型,對活立木的健康狀況進(jìn)行監(jiān)督分類,同時與邏輯回歸,支持向量機(jī),決策樹算法進(jìn)行比較,依據(jù)腐朽分級評價指標(biāo)的有效性,將活立木健康狀況的預(yù)測值與實(shí)測值進(jìn)行分析比較,判斷模型的穩(wěn)定性及可靠性,為立木腐朽分級判別提供一種方法。
五營森林公園位于黑龍江省伊春市五營區(qū)(129°6′~129°30′E,47°54′~48°19′N),森林公園總面積14 141 hm2,森林覆蓋率89.2%,有亞洲面積最大的紅松林,該地區(qū)地勢平緩,平原較少,屬低山丘陵地帶,以暗棕色森林土壤為主;屬溫帶大陸性濕潤季風(fēng)氣候,年平均氣溫為0.6 ℃,年平均降水量為609.6 mm[15]。
選取五營森林公園紅松原始森林帶中不同腐朽程度的30棵紅松,在距離地面130 cm立木橫截面上,用阻抗儀和電阻斷層成像儀對紅松進(jìn)行檢測,在其檢測的鄰近部位用樹木生長錐鉆取2~3根腐朽或健康的木芯,將其放置于密封袋中帶回實(shí)驗(yàn)室,使用烘干箱烘干,測量木芯質(zhì)量損失率[16]。
本研究應(yīng)用隨機(jī)森林模型對立木腐朽進(jìn)行分級建模,其中選取的研究對象為國家二級重點(diǎn)保護(hù)植物紅松,為了不影響紅松內(nèi)部組織及其今后的正常生長,所以在選取自變量時應(yīng)該優(yōu)先選擇無損,易獲取及與立木腐朽相關(guān)的變量。在活立木檢測中,阻抗儀和電阻斷層成像儀(ERT)是常用的無損檢測設(shè)備,2種設(shè)備能初步反映出腐朽立木的力學(xué)和電學(xué)性能變化,為立木腐朽的定性及定量提供方法[6,17],并且由這2種無損檢測設(shè)備分析處理得來的數(shù)據(jù)(阻力損失,心材、邊材異常面積比)在一定程度能反映出立木腐朽情況,因此選擇這3個無損檢測指標(biāo)作為自變量。其中,用阻力的下降幅度定義阻力損失,阻力損失代表立木內(nèi)部的力學(xué)性能損失程度,其與腐朽程度變化趨勢一致;心材、邊材異常面積比是依據(jù)健康與腐朽立木中心材與邊材的電阻斷層圖像存在的明顯顏色差異,通過提取像素方法將其劃分為2個區(qū)域(心材與邊材),并分別計算各區(qū)域異常像素比。心材、邊材異常面積比反映了腐朽立木截面處的心材、邊材與健康立木間存在的異常,其異常程度越高,代表腐朽越嚴(yán)重。
目前對于活立木腐朽分級標(biāo)準(zhǔn)沒有統(tǒng)一的標(biāo)準(zhǔn),部分研究以木芯質(zhì)量損失率作為立木腐朽程度真值[16-19]。本研究結(jié)合立木損傷目測法,將立木腐朽等級作為因變量。以質(zhì)量損失率將立木腐朽程度劃分為5個等級作為真值,等級越高則腐朽程度越嚴(yán)重。木芯質(zhì)量損失率在15%以下,為Ⅰ級;大于或等于15%,小于20%,為Ⅱ級;大于或等于20%,小于30%,為Ⅲ級;大于或等于30%,小于35%,為Ⅳ級;大于或等于35%,為Ⅴ級,其數(shù)據(jù)來源實(shí)驗(yàn)室前期數(shù)據(jù)。為直觀了解樣本數(shù)據(jù)處理情況,表1統(tǒng)計分析各數(shù)據(jù)的平均值、標(biāo)準(zhǔn)差、最大值、最小值。
表1 樣本數(shù)據(jù)處理結(jié)果統(tǒng)計
由于紅松活立木數(shù)據(jù)在野外獲取比較困難,獲取的樣本量較少及無法保證各腐朽等級之間的數(shù)量一致,為充分利用采集的30組數(shù)據(jù)(腐朽等級Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ的數(shù)量分別為7、6、4、3、10組),保證樣本數(shù)據(jù)在訓(xùn)練及測試時各等級分類均衡,采用重復(fù)分層K折交叉驗(yàn)證將數(shù)據(jù)集劃分為訓(xùn)練集和測試集(2/3為訓(xùn)練集,1/3為測試集)用來測試模型的泛化性能,其中重復(fù)分層K折交叉驗(yàn)證法的折疊數(shù)為3,重復(fù)次數(shù)為5次。
Breiman[20]在2001年提出隨機(jī)森林(RF)。隨機(jī)森林是在以決策樹為基學(xué)習(xí)器構(gòu)建Bagging集成的基礎(chǔ)上,進(jìn)一步在決策樹的訓(xùn)練過程中引入隨機(jī)屬性選擇。隨機(jī)森林是通過在訓(xùn)練時構(gòu)造大量具有隨機(jī)選擇特征的決策樹,然后在不同的觀測樣本上訓(xùn)練每棵決策樹,并根據(jù)每個決策樹的預(yù)測結(jié)果,選擇分類投票數(shù)最大概率值所對應(yīng)的類別作為最終預(yù)測結(jié)果[21]。
邏輯回歸是因變量為二分類或多分類時,觀察結(jié)果與影響因素之間關(guān)系的一種多變量分析方法,屬概率型非線性回歸[22];支持向量機(jī)是運(yùn)用統(tǒng)計學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法,使用訓(xùn)練數(shù)據(jù)在樣本空間或特征空間里尋找最大間隔分離超平面或合適的核函數(shù),然后將不同樣本類別分開[23];決策樹是一種監(jiān)督學(xué)習(xí)方法,利用樹形結(jié)構(gòu),根據(jù)分類規(guī)則進(jìn)行逐層決策,將樣本類別進(jìn)行分類[9]。
隨機(jī)森林通過Python軟件和sklearn-0.23.1中的RFC實(shí)現(xiàn),支持向量機(jī)、決策樹分別使用sklearn-0.23.1中的SVC、Decision Tree Classifier[24],邏輯回歸使用了logistic回歸模型。
在分類問題求解過程中,多為二分類問題,常用的評估指標(biāo)有準(zhǔn)確率、精確率、召回率、F分?jǐn)?shù)等[25],然而精確率和召回率只能衡量分類器對單個類別的局部分類性能,不滿足本研究多分類的情況。因此,本研究采用微觀和宏觀平均下的各項(xiàng)評估指標(biāo)來評價全局分類性能。此外,由于各腐朽程度級別的樣例數(shù)不均衡,于是引用了權(quán)重平均值來衡量分類結(jié)果。在評價的過程中不能單純看分類結(jié)果,還需對分類器的優(yōu)劣進(jìn)行評價。其公式見表2。
表2 各評價指標(biāo)公式
分類器的優(yōu)劣主要通過接受者操作特性曲線(ROC曲線)進(jìn)行評價。ROC曲線經(jīng)常以圖表的形式展示一項(xiàng)試驗(yàn)或一系列試驗(yàn)的每一個合理臨界值的真陽性率和假陽性率之間的關(guān)聯(lián)或權(quán)衡,其中曲線圖以真陽性率(RTP=TPi/(TPi+FNi))為縱坐標(biāo),假陽性率(RFP=FPi/(TNi+FPi))為橫坐標(biāo)繪制[26]。在ROC曲線中,越靠近左上角,分類準(zhǔn)確性越高;越接近空間45度對角線,分類精度越低[27-28]。AUC是ROC曲線下方的面積,也是衡量學(xué)習(xí)分類器優(yōu)劣的一項(xiàng)性能指標(biāo),對應(yīng)的AUC值越大表示分類器效果更好。多類ROC曲線分析分為宏觀平均ROC曲線和微觀平均ROC曲線2種類型。宏觀平均ROC曲線自由測量每個類別的度量,取平均值;微觀平均ROC曲線聚集所有類別來參與計算,取平均度量[29]。雖然在多分類設(shè)置中,微觀平均是有利的,但在本研究中,我們同時考慮了兩者。
隨機(jī)森林分級模型以心材異常面積比、邊材異常面積比、阻力損失為輸入量,腐朽等級為輸出量,利用訓(xùn)練集來訓(xùn)練模型,再通過測試集測試模型的泛化性能,最后通過隨機(jī)森林分析變量因子對因變量影響的相對重要性。在RFC中,主要調(diào)節(jié)的參數(shù)為N估計,其他參數(shù)為默認(rèn)值。N估計指的是隨機(jī)森林中的樹木數(shù)量,數(shù)量的多少會影響模型的準(zhǔn)確性,于是通過學(xué)習(xí)曲線方法得出最佳N估計值。由圖1可知,當(dāng)N估計值為16時的學(xué)習(xí)得分高于默認(rèn)值,為10。
圖1 N估計的學(xué)習(xí)曲線
通過隨機(jī)森林對訓(xùn)練樣本進(jìn)行擬合,計算每個變量特征的平均不純度(基尼系數(shù))減量,得出各變量因子的重要性。其中,對立木腐朽程度分級影響最大的是心材異常面積比,占比為0.355;其次是阻力損失,占比為0.335;最后是邊材異常面積比,占比為0.310。
根據(jù)訓(xùn)練數(shù)據(jù)構(gòu)建的隨機(jī)森林分級結(jié)果與真實(shí)腐朽等級的熱力圖混淆矩陣(圖2)。20組訓(xùn)練數(shù)據(jù)中均無腐朽等級數(shù)據(jù)辨識錯誤,其訓(xùn)練精度為100%,總體的誤判率為0%。為了進(jìn)一步驗(yàn)證模型的泛化能力,將測試數(shù)據(jù)輸入到隨機(jī)森林模型中,輸出的結(jié)果如圖3所示,10組測試數(shù)據(jù)中有1組預(yù)測錯誤,真實(shí)腐朽等級Ⅲ被判為腐朽等級Ⅱ,其他預(yù)測的腐朽等級與真實(shí)腐朽等級相同。因此,模型的泛化精度為90%,說明隨機(jī)森林學(xué)習(xí)模型對未知數(shù)據(jù)的辨識能力較強(qiáng)。
進(jìn)一步分析隨機(jī)森林在總體數(shù)據(jù)上的擬合,從表3可知,腐朽等級Ⅱ的精確率為85.71%,召回率為100%;腐朽等級Ⅲ的精確率為100%,召回率為75%,說明真實(shí)腐朽等級Ⅲ的數(shù)量沒有真正全部預(yù)測正確,有1組腐朽等級Ⅲ誤判為腐朽等級Ⅱ,因此腐朽等級Ⅱ的數(shù)目多1組,所以腐朽等級Ⅲ的召回率為75%,腐朽等級Ⅱ的精確率為85.71%。由召回率可以看出4個真實(shí)腐朽等級(腐朽等級Ⅰ、Ⅱ、Ⅳ、Ⅴ)都被準(zhǔn)確辨識,均無判錯。腐朽等級誤判的原因如下:首先,當(dāng)質(zhì)量損失率為15%~30%時,在腐朽菌的作用下,其力學(xué)性能和化學(xué)成分仍在發(fā)生持續(xù)、復(fù)雜的變化,各項(xiàng)性質(zhì)較不穩(wěn)定[6];第二,Ⅲ級、Ⅱ級腐朽的立木即使屬于同級別,各項(xiàng)指標(biāo)數(shù)值也可能存在較大差異,所以難以預(yù)測真實(shí)的腐朽程度;第三,由于立木內(nèi)部的部分缺陷,無損檢測設(shè)備沒有識別出來;最后,由于各樣本腐朽等級數(shù)目不平衡及總的樣本數(shù)量有限,不足以完整訓(xùn)練各個腐朽等級區(qū)間的特征,因此腐朽等級Ⅲ被誤判為腐朽等級Ⅱ。從表4中還可知,隨機(jī)森林模型的整體分類的微觀平均值精確率、微觀平均值召回率以及相應(yīng)的微觀平均值F分?jǐn)?shù)分別為0.966 7,0.966 7,0.966 7;宏觀平均值精確率、宏觀平均值召回率以及相應(yīng)的宏觀平均值F分?jǐn)?shù)分別為0.971 4,0.950 0,0.956 0;權(quán)重平均值精確率、權(quán)重平均值召回率以及權(quán)重平均值F分?jǐn)?shù)分別為0.971 4,0.966 7,0.965 6。以上指標(biāo)反映,運(yùn)用隨機(jī)森林的活立木腐朽分級模型具有較強(qiáng)的辨識能力,可以準(zhǔn)確判別腐朽等級。
圖2 訓(xùn)練集腐朽等級熱力圖混淆矩陣
圖3 測試集腐朽等級熱力圖混淆矩陣
使用模型性能評價指標(biāo),分別比較宏觀平均值、微觀平均值、權(quán)重平均值下的F分?jǐn)?shù),精準(zhǔn)率、召回率3個指標(biāo)及宏觀、微觀平均值下的AUC指標(biāo),用于衡量不同分級模型的性能和效果。表5是隨機(jī)森林,決策樹、支持向量機(jī)、邏輯回歸的基準(zhǔn)分類器在各評估指標(biāo)上的性能評估。
表3 立木各腐朽等級評價
表4 立木腐朽分級總數(shù)結(jié)果評價
表5 不同分級模型的評價
在4個分級模型中,微觀平均值精確率、微觀平均值召回率、微觀平均值F分?jǐn)?shù)的評估指標(biāo)由大到小排列均為隨機(jī)森林、支持向量機(jī)及決策樹、邏輯回歸;宏觀平均值精確率、宏觀平均值召回率、宏觀平均值F分?jǐn)?shù)評估指標(biāo)由大到小排列均為隨機(jī)森林、決策樹、支持向量機(jī)、邏輯回歸。其中從表3可以看出,各腐朽等級數(shù)量不平衡,總數(shù)量為30,5個腐朽等級平均數(shù)量為6,腐朽等級Ⅳ的數(shù)量為3,與平均數(shù)量相差50%,腐朽等級Ⅴ的數(shù)量為10,與平均數(shù)量相比高出66.7%。對于不平衡的數(shù)據(jù)使用權(quán)重平均值精確率、權(quán)重平均值召回率、權(quán)重平均值F分?jǐn)?shù)來評估,權(quán)重平均值精確率由大到小依次為隨機(jī)森林、支持向量機(jī)、決策樹、邏輯回歸;權(quán)重平均值召回率由大到小依次為隨機(jī)森林、支持向量機(jī)及決策樹、邏輯回歸;權(quán)重平均值F分?jǐn)?shù)由大到小依次為隨機(jī)森林、決策樹、支持向量機(jī)、邏輯回歸。通過各評價指標(biāo)可以看出,隨機(jī)森林優(yōu)于其他3種分級模型。支持向量機(jī)、決策樹在宏觀平均值和權(quán)重平均值上各占優(yōu)勢,兩者之間差距甚小,尚無法對兩者進(jìn)行比較。所以,可以通過ROC曲線圖及其曲線下方的面積AUC對各模型在全局準(zhǔn)確性和分級效果方面進(jìn)行評價。
通過對4種分級模型下微觀、宏觀平均ROC曲線(圖4,圖5)比較可知,隨機(jī)森林模型的微觀、宏觀平均ROC曲線最靠近左上角,其次是決策樹、支持向量機(jī)的微觀平均ROC曲線,最后是邏輯回歸模型的微觀平均ROC曲線。由此說明,隨機(jī)森林模型的整體測試準(zhǔn)確性最好。對于活立木腐朽程度的分級效果,AUC值越大,其分級效果越好。微觀平均AUC值由大到小依次為隨機(jī)森林(0.979 2)、支持向量機(jī)及決策樹(0.937 5)、邏輯回歸(0.916 7),說明在活立木腐朽分級方面,決策樹、支持向量機(jī)的分級效果比邏輯回歸好,但相較于隨機(jī)森林略有不足。決策樹、支持向量機(jī)的微觀平均ROC曲線重合且AUC值相等,因此不好判別兩者之間分級性能的高低,這時需要參考其他性能度量(宏觀平均ROC曲線、AUC)來評價。
圖4 微觀平均ROC曲線及其AUC值
圖5 宏觀平均ROC曲線及其AUC值
由圖5中4種分級模型的宏觀平均ROC曲線可以計算出曲線下的AUC值,其中隨機(jī)森林,決策樹、支持向量機(jī)、邏輯回歸模型的宏觀平均AUC值分別為0.970 8,0.946 4,0.941 7,0.911 0。決策樹、支持向量機(jī)的宏觀平均AUC值相差較小,決策樹的分級效果比支持向量機(jī)稍好;隨機(jī)森林的宏觀平均AUC值比另外3種模型都高,說明隨機(jī)森林模型的分級效果更好。綜上所述,運(yùn)用隨機(jī)森林的立木腐朽分級模型較其它3種模型而言,整體測試準(zhǔn)確性及分級效果更好。
本研究運(yùn)用隨機(jī)森林模型對五營森林公園中的不同腐朽程度紅松進(jìn)行分級,選取無損,易獲取指標(biāo)(阻力損失及心材、邊材異常面積比)為模型自變量,以木芯質(zhì)量損失率劃分各腐朽等級區(qū)間,并使用重復(fù)分層K折交叉驗(yàn)證保證樣本數(shù)據(jù)在訓(xùn)練及測試時分類均衡。經(jīng)過訓(xùn)練及測試,隨機(jī)森林的訓(xùn)練精度為100%,測試精度為90%,說明隨機(jī)森林模型對立木腐朽分級表現(xiàn)出穩(wěn)健的擬合能力和較強(qiáng)的泛化能力。使用隨機(jī)森林模型對立木腐朽等級進(jìn)行分級,腐朽等級(Ⅰ、Ⅱ、Ⅳ、Ⅴ)的召回率都為100%,說明各腐朽等級都被正確辨識,只有腐朽等級Ⅲ被錯判1例。本研究全部數(shù)據(jù)在隨機(jī)森林模型進(jìn)行擬合,全局腐朽分級準(zhǔn)確率高達(dá)96.67%,宏觀、微觀、權(quán)重平均F分?jǐn)?shù)分別為0.956 0、0.966 7、0.965 6,宏觀、微觀平均AUC值分別為0.970 8、0.979 2,說明隨機(jī)森林活立木腐朽分級模型具有較強(qiáng)的辨識能力,可以準(zhǔn)確判別各腐朽等級,并優(yōu)于其他3種模型。本研究只是將隨機(jī)森林應(yīng)用到紅松腐朽分級評估,但該方法也適用于其他樹種。因此,本研究對經(jīng)營好森林,減輕災(zāi)害損失,提高經(jīng)濟(jì)效益有著重要意義。