摘 要：當(dāng)前集成學(xué)習(xí)中的結(jié)合策略難以兼顧各個(gè)基學(xué)習(xí)器之間的信息和模型的可解釋性。使用證據(jù)推理（evidential reasoning，ER）規(guī)則作為結(jié)合策略，將各個(gè)基學(xué)習(xí)器結(jié)果作為證據(jù)參與融合，可以較好地解決以上問(wèn)題。但傳統(tǒng)ER規(guī)則的證據(jù)參數(shù)是單一的，對(duì)不同的基學(xué)習(xí)器模型使用相同的證據(jù)參數(shù)顯然是不合理的。為此，提出一種基于自適應(yīng)證據(jù)推理（adaptive-evidential reasoning，A-ER）規(guī)則的集成學(xué)習(xí)方法，該方法在每次證據(jù)融合前對(duì)證據(jù)的類別進(jìn)行判斷，針對(duì)不同的證據(jù)類別自適應(yīng)分配不同的證據(jù)參數(shù)。通過(guò)不同的分類案例表明，該方法與案例中其他方法相比具有更高的分類精度，證明了該方法使證據(jù)參數(shù)設(shè)置更加合理且具有更好的可解釋性和泛化能力。

關(guān)鍵詞：證據(jù)推理規(guī)則； 集成學(xué)習(xí)； 結(jié)合策略； 自適應(yīng)

中圖分類號(hào)：TP181 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）08-006-2281-05

doi：10.19734/j.issn.1001-3695.2022.12.0824

Ensemble learning method based on adaptive evidential reasoning rule

Lai Weiwen He Wei

（1.College of Computer Science amp; Information Engineering， Harbin Normal University， Harbin 150025， China; 2.PLA Rocket Force University of Engineering， Xi’an 710025， China）

Abstract：Current ensemble learning combination strategies have difficulty in accommodating information and explainability of models among base learners. Using evidential reasoning （ER） rules as a combination strategy， the above problems can be solved by involving the results of each base learner as evidence in the integration. However， the evidence parameters of conventional ER rule are single， and it is obviously unreasonable to use the same evidence parameters for different base learner models. This paper proposed an ensemble learning method based on adaptive evidential reasoning （A-ER） rule. This method judged the type of evidence before each evidence fusion and adaptively assigned the different evidence parameters according to different types of evidence. Results from different classification cases show that the proposed method has a higher classification accuracy compared to other methods in the cases. It proves that this method has more reasonable evidence parameter settings and superior interpretability and generalization ability.

Key words：evidential reasoning rule; ensemble learning; combination strategy; adaptive

0 引言

集成學(xué)習(xí)通過(guò)訓(xùn)練多個(gè)學(xué)習(xí)器構(gòu)建基模型，并使用結(jié)合策略將這些基模型進(jìn)行融合。在這個(gè)過(guò)程中，單個(gè)模型的誤差可能被其他模型補(bǔ)償，從而獲得比單個(gè)學(xué)習(xí)器更好的學(xué)習(xí)效果［1］。集成學(xué)習(xí)作為機(jī)器學(xué)習(xí)的熱門(mén)方向之一，曾被著名學(xué)者Dietterich列為機(jī)器學(xué)習(xí)的四個(gè)研究方向之首［2］。

近年來(lái)，集成學(xué)習(xí)方向的研究越來(lái)越受到各個(gè)領(lǐng)域?qū)W者的重視。Yu［3］提出了一種基于進(jìn)化規(guī)則的非對(duì)稱加權(quán)最小二乘支持向量機(jī)集成學(xué)習(xí)方法，該方法在用于軟件知識(shí)庫(kù)挖掘時(shí)被證明能有效提高分類精度。Guo等人［4］提出了一種基于統(tǒng)計(jì)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)的多階段自適應(yīng)分類器集成模型，該方法根據(jù)基分類器在數(shù)據(jù)集中的表現(xiàn)自適應(yīng)地從候選分類器庫(kù)中選擇基分類器。Zhang等人［5］提出了一種具有增強(qiáng)的離群點(diǎn)適應(yīng)性的多階段合集模型，采用Bagging策略來(lái)增強(qiáng)局部離群點(diǎn)因子算法，構(gòu)建一個(gè)離群點(diǎn)適應(yīng)性訓(xùn)練集來(lái)增強(qiáng)集成學(xué)習(xí)中基分類器的離群點(diǎn)適應(yīng)能力。Hedeya等人［6］提出了一種解決車(chē)輛類型分類問(wèn)題的超級(jí)學(xué)習(xí)集成方法，使用數(shù)據(jù)自適應(yīng)方法學(xué)習(xí)融合權(quán)重，以獲得最佳基學(xué)習(xí)器組合。Agarwal等人［7］提出了一種考慮到數(shù)據(jù)集內(nèi)在相似性的自適應(yīng)集成學(xué)習(xí)方法，該方法被用于提取指紋圖像，并取得了良好的效果。Rizeei等人［8］提出了一種用于地下水含水層潛力測(cè)繪的集成多適應(yīng)性邏輯回歸模型，通過(guò)與不同類型的機(jī)器學(xué)習(xí)模型的結(jié)果比較，證明這種模型在減少誤差和偏差方面比其他方法更有效。集成學(xué)習(xí)需要在基學(xué)習(xí)器完成學(xué)習(xí)后對(duì)所有模型進(jìn)行融合，以上文獻(xiàn)中集成學(xué)習(xí)方法所使用的結(jié)合策略大多為投票法、平均法和學(xué)習(xí)法。其中，投票法和平均法只是對(duì)結(jié)果的簡(jiǎn)單分析，不能有效地挖掘每個(gè)分類器的內(nèi)部信息，不能清晰地反映每個(gè)分類器之間存在的關(guān)系；學(xué)習(xí)法雖然具有較好的組合效果，但其組合過(guò)程缺乏可解釋性。因此，迫切需要一種能夠有效融合各分類器的內(nèi)部信息并具有一定可解釋性的結(jié)合策略。

2013年，Yang等人［9］提出了一種基于Dempster-Shafer（D-S）證據(jù)理論的ER規(guī)則，考慮了證據(jù)的權(quán)重和證據(jù)的可靠度，該規(guī)則可以有效解決D-S證據(jù)理論中的問(wèn)題，為證據(jù)組合和信息融合提供有效的方法。作為D-S理論的進(jìn)一步發(fā)展，ER規(guī)則已被廣泛應(yīng)用于故障診斷［10，11］、多屬性決策［12，13］、模式分類［14］、事故分析［15，16］、風(fēng)險(xiǎn)狀態(tài)評(píng)估［17，18］ 等領(lǐng)域。由于ER規(guī)則具有強(qiáng)大的證據(jù)融合能力且推理過(guò)程清晰透明，在信息融合的研究中得到了深入的發(fā)展。在ER規(guī)則的基礎(chǔ)上，Liao等人［19］將經(jīng)典ER方法擴(kuò)展為基于語(yǔ)言信仰的ER方法，以處理多專家多標(biāo)準(zhǔn)決策問(wèn)題，在肺癌診斷中驗(yàn)證了該方法的實(shí)用性。Wang等人［20］提出了一種具有可靠度的連續(xù)概率分布的ER規(guī)則，并驗(yàn)證了該方法的合理性。Chen等人［21］提出了一個(gè)具有不確定參數(shù)的ER規(guī)則，以構(gòu)建一個(gè)非線性優(yōu)化模型來(lái)評(píng)估航空航天子系統(tǒng)的性能。上述研究都反映了ER規(guī)則優(yōu)秀的證據(jù)融合能力，而集成學(xué)習(xí)的根本是多種基學(xué)習(xí)器的融合，所以使用ER規(guī)則對(duì)各基學(xué)習(xí)器進(jìn)行融合是非常合適的。

在ER規(guī)則中，證據(jù)的置信分布是證據(jù)的基本表達(dá)形式，是一種廣義的概率表達(dá)，既能夠表征局部無(wú)知性，也能夠表征全局無(wú)知性［22］。集成學(xué)習(xí)傳統(tǒng)的結(jié)合策略如投票法、平均法都只考慮了各個(gè)基學(xué)習(xí)器之間數(shù)值的關(guān)系而忽略了各個(gè)基學(xué)習(xí)器之間的信息。傳統(tǒng)ER規(guī)則中使用的證據(jù)權(quán)重和證據(jù)可靠度是單一的，而集成學(xué)習(xí)需要融合多個(gè)基學(xué)習(xí)器的訓(xùn)練結(jié)果，這可能導(dǎo)致基分類器在整體的準(zhǔn)確率上相近，但不同的基分類器在不同類別上的預(yù)測(cè)準(zhǔn)確率存在著較大差異［23］。因此在融合前，對(duì)于訓(xùn)練效果不同的基分類器模型使用相同的證據(jù)權(quán)重和證據(jù)可靠度顯然是不合理的?；谏鲜鰡?wèn)題，本文提出了一種基于自適應(yīng)證據(jù)推理規(guī)則（A-ER）的集成學(xué)習(xí)方法，該方法通過(guò)A-ER規(guī)則將各基學(xué)習(xí)器結(jié)果作為證據(jù)，采用正交和算子進(jìn)行證據(jù)組合，通過(guò)嚴(yán)格的概率推理保證了證據(jù)組合過(guò)程的可追溯；此外，該方法針對(duì)不同的基學(xué)習(xí)器分配權(quán)重和可靠度，并將其融入到證據(jù)的置信分布中，使得各個(gè)基學(xué)習(xí)器也參與了融合過(guò)程，其推理過(guò)程清晰透明，具有可解釋性。

本文建立了一種針對(duì)分類任務(wù)的灰盒集成學(xué)習(xí)方法，該方法使用ER規(guī)則作為結(jié)合策略，與其他結(jié)合策略相比，ER規(guī)則對(duì)基分類器的融合過(guò)程更加清晰透明，且結(jié)果可追溯；提出了一種基于自適應(yīng)權(quán)重和可靠度的A-ER規(guī)則，在集成學(xué)習(xí)的融合階段，對(duì)不同基學(xué)習(xí)器的證據(jù)權(quán)重和可靠度進(jìn)行自適應(yīng)選擇。

1 問(wèn)題描述

1.1 問(wèn)題描述

本文主要解決了以下問(wèn)題：

問(wèn)題1 集成學(xué)習(xí)的結(jié)合策略。集成學(xué)習(xí)的結(jié)合策略一般有投票法、平均法和學(xué)習(xí)法等。其中，投票法的基學(xué)習(xí)器效果不能相差太大，否則效果較差的模型可能會(huì)影響最終結(jié)果；平均法在大規(guī)模融合中可能導(dǎo)致過(guò)度擬合；學(xué)習(xí)法則普遍缺乏可解釋性。這些方法只是將基學(xué)習(xí)器的結(jié)果結(jié)合起來(lái)，各學(xué)習(xí)器之間的內(nèi)部信息不能得到有效反映。針對(duì)該問(wèn)題，本文以ER規(guī)則作為集成學(xué)習(xí)的結(jié)合策略，建立了一種用于分類任務(wù)的灰盒集成學(xué)習(xí)方法，模型的ER規(guī)則融合過(guò)程可以表示為

1.2 基于A-ER規(guī)則的模型結(jié)構(gòu)

2 基于A-ER規(guī)則的集成學(xué)習(xí)模型

2.1 模型建模及構(gòu)建過(guò)程

2.2 證據(jù)權(quán)重和可靠度

在A-ER規(guī)則模型中，對(duì)數(shù)據(jù)集中的每個(gè)類別都分別計(jì)算權(quán)重和可靠度。在通過(guò)ER規(guī)則融合證據(jù)之前，使用隨機(jī)森林算法確定證據(jù)類別，然后根據(jù)不同的類別分配權(quán)重和可靠度，參數(shù)集ε如圖3所示。其中，證據(jù)的權(quán)重是一個(gè)主觀因素，由熵權(quán)法計(jì)算；可靠度是一個(gè)客觀因素，由準(zhǔn)確率統(tǒng)計(jì)轉(zhuǎn)換得出。

2.2.1 證據(jù)權(quán)重

2.2.2 證據(jù)可靠度

2.4 證據(jù)融合過(guò)程

3 案例分析

3.1 天氣數(shù)據(jù)集分類任務(wù)

本次實(shí)驗(yàn)使用英吉利灣港口的天氣圖像數(shù)據(jù)集作為主要的案例進(jìn)行詳細(xì)說(shuō)明。該數(shù)據(jù)集是由加拿大不列顛哥倫比亞省溫哥華市Burrard大橋東側(cè)的一棟高層建筑上的網(wǎng)絡(luò)攝像頭所拍攝，它記錄了英吉利灣港口全年的不同天氣狀況。該數(shù)據(jù)集共有2 038張圖片，根據(jù)天氣狀況分為晴天、陰天、雨天和雪天四類。使用四種深度學(xué)習(xí)算法AlexNet、InceptionV3、AlexNet和VGGNet作為集成學(xué)習(xí)的基分類器預(yù)測(cè)天氣類別。數(shù)據(jù)集按6∶2∶2分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，訓(xùn)練集和驗(yàn)證集被用做輸入數(shù)據(jù)，并使用四種深度學(xué)習(xí)算法對(duì)它們進(jìn)行訓(xùn)練。每種算法模型的主要超參數(shù)如表1所示。

如圖5所示，在不同的天氣條件下， ER規(guī)則模型與最初的四種基學(xué)習(xí)器模型相比準(zhǔn)確率有小幅提高，這是由于集成學(xué)習(xí)對(duì)四種基學(xué)習(xí)器的分類結(jié)果進(jìn)行融合，獲得了比單一基學(xué)習(xí)器更好的準(zhǔn)確率；本文提出的A-ER規(guī)則模型在ER規(guī)則的基礎(chǔ)上，根據(jù)不同的基學(xué)習(xí)器自適應(yīng)地選擇證據(jù)的權(quán)重和可靠度，使ER規(guī)則的參數(shù)設(shè)置更加合理，從而提高了模型準(zhǔn)確率。各模型的總體平均準(zhǔn)確率如表2所示，其中A-ER規(guī)則模型下的集成學(xué)習(xí)分類準(zhǔn)確率相較于ER規(guī)則有明顯提高。

本文的主要研究?jī)?nèi)容是自適應(yīng)ER規(guī)則，為驗(yàn)證A-ER規(guī)則作為集成學(xué)習(xí)結(jié)合策略的有效性，本實(shí)驗(yàn)在相同條件下使用加權(quán)投票法、加權(quán)平均法、模糊積分法、ER規(guī)則和A-ER規(guī)則作為結(jié)合策略進(jìn)行對(duì)比。

加權(quán)平均法中權(quán)重的大小取決于每個(gè)模型在測(cè)試集上的表現(xiàn)，當(dāng)基模型之間的效果差別過(guò)大時(shí)，模型很可能成為噪聲從而導(dǎo)致得到的權(quán)重不完全可靠。與加權(quán)平均法類似，加權(quán)投票法也有相關(guān)的權(quán)重問(wèn)題，這兩種方法對(duì)于規(guī)模比較大的集成學(xué)習(xí)模型可能因?yàn)闄?quán)重較多容易導(dǎo)致過(guò)擬合。模糊積分法對(duì)指標(biāo)權(quán)重的確定主觀性較強(qiáng)，當(dāng)指標(biāo)集較大時(shí)，其相對(duì)隸屬度權(quán)系數(shù)往往偏小，從而導(dǎo)致權(quán)重與模糊矩陣不匹配，出現(xiàn)超模糊現(xiàn)象導(dǎo)致無(wú)法分類；模糊積分法還會(huì)隨著數(shù)據(jù)維度的增長(zhǎng)導(dǎo)致模糊規(guī)則數(shù)量指數(shù)增加，從而難以處理高維數(shù)據(jù)。A-ER規(guī)則所使用的熵權(quán)法通過(guò)指標(biāo)的變異程度來(lái)確定權(quán)重，其精度較高且客觀性更強(qiáng)，能夠更好地解釋所得到的結(jié)果。A-ER規(guī)則通過(guò)將權(quán)重和可靠度分配給辨識(shí)框架來(lái)表達(dá)不確定性，能將各個(gè)維度數(shù)據(jù)作為證據(jù)，采用正交和算子進(jìn)行證據(jù)組合，能夠更好地處理多類別、高維度問(wèn)題。對(duì)于平均法來(lái)說(shuō)，需要根據(jù)基學(xué)習(xí)器性能選擇相應(yīng)方法，如當(dāng)性能相差較大時(shí)適合使用加權(quán)平均，性能相差較小時(shí)適合使用簡(jiǎn)單平均。A-ER規(guī)則模型的證據(jù)推理構(gòu)成聯(lián)合概率推理過(guò)程，對(duì)于基學(xué)習(xí)器的性能差距有較高的容忍度。此外，加權(quán)投票法相對(duì)于加權(quán)平均法更適用于分類問(wèn)題，這與表3、7中的加權(quán)投票法準(zhǔn)確率均高于加權(quán)平均法表現(xiàn)一致。A-ER方法并不局限于分類或回歸問(wèn)題，對(duì)于其他如模式識(shí)別、風(fēng)險(xiǎn)分析等多類別權(quán)重計(jì)算均可使用。

最終分類精度如表3所示，ER規(guī)則作為結(jié)合策略與加權(quán)投票法、加權(quán)平均法和模糊積分法相比，準(zhǔn)確率有較小幅度的提升，而A-ER規(guī)則相較于其他結(jié)合策略準(zhǔn)確率有明顯提高。

分別對(duì)數(shù)據(jù)集中的三張不同天氣情況的典型圖像進(jìn)行實(shí)驗(yàn)結(jié)果分析，圖6中三張圖片分別為第86號(hào)晴天圖像、第669號(hào)陰天圖像和第1 982號(hào)雪天圖像。這三張圖像在四種基分類器中的詳細(xì)分類情況如表4所示。

表5為使用基分類器模型和使用ER規(guī)則、A-ER規(guī)則融合后的分類結(jié)果。其中，第86號(hào)圖像被四種基學(xué)習(xí)器正確分類。在該數(shù)據(jù)集實(shí)驗(yàn)中，其他多數(shù)圖像的分類結(jié)果與第86號(hào)圖像的結(jié)果相同，即使用ER規(guī)則和A-ER規(guī)則的結(jié)合策略后，天氣分類結(jié)果依然正確，這表明ER規(guī)則和A-ER規(guī)則的融合結(jié)果都遵循前四種基學(xué)習(xí)器的準(zhǔn)確性，當(dāng)基學(xué)習(xí)器對(duì)同一圖片都得到正確的分類時(shí)，融合后的結(jié)果不變。與其不同，第669號(hào)圖像雖然在DenseNet和AlexNet模型中被正確分類，但在InceptionV3和VGGNet模型中卻被錯(cuò)誤分類為晴天和雪天。在使用ER規(guī)則對(duì)四個(gè)結(jié)果進(jìn)行融合后，結(jié)果被正確歸類為陰天，這表明ER規(guī)則的融合過(guò)程提高了結(jié)果的準(zhǔn)確性，各基學(xué)習(xí)器的結(jié)果能通過(guò)融合有效結(jié)合起來(lái)。在對(duì)1982號(hào)圖片的分類中，有兩種基學(xué)習(xí)器模型將其正確分類為雪天，另外兩種錯(cuò)誤地分類為陰天。經(jīng)過(guò)融合后，ER規(guī)則模型也錯(cuò)誤地將其分類為陰天。使用A-ER規(guī)則模型作為結(jié)合策略后，得到了該圖片的正確分類結(jié)果。這可能與A-ER規(guī)則的自適應(yīng)過(guò)程有關(guān)，通過(guò)對(duì)每次證據(jù)融合前進(jìn)行的預(yù)先類別判斷，選擇與傳統(tǒng)ER規(guī)則相比更為合適的證據(jù)權(quán)重和可靠度，提高了模型融合時(shí)的決策合理性，從而最終得到更準(zhǔn)確的分類結(jié)果。

3.2 動(dòng)物數(shù)據(jù)集分類任務(wù)

本次分類任務(wù)使用來(lái)自Kaggle數(shù)據(jù)集網(wǎng)站的動(dòng)物數(shù)據(jù)集。該數(shù)據(jù)集中共3 000張圖片，其中貓、狗和熊貓各1 000張。其他實(shí)驗(yàn)步驟和參數(shù)設(shè)置與3.1節(jié)天氣分類任務(wù)相同。

圖7為四種基學(xué)習(xí)器模型、ER規(guī)則和A-ER規(guī)則模型對(duì)三種動(dòng)物分類準(zhǔn)確率的比較。A-ER規(guī)則模型準(zhǔn)確率相較其他模型有所提高。各模型的總體平均準(zhǔn)確率如表6所示?？梢?jiàn)A-ER規(guī)則無(wú)論是與四種基學(xué)習(xí)器模型相比還是與傳統(tǒng)的ER規(guī)則相比，分類精度都有較為明顯的提高。

本次實(shí)驗(yàn)與3.1節(jié)實(shí)驗(yàn)在相同的條件下使用加權(quán)投票法、加權(quán)平均法、模糊積分法、ER規(guī)則和A-ER規(guī)則作為結(jié)合策略對(duì)該動(dòng)物數(shù)據(jù)集進(jìn)行分類，最終分類精度如表7所示。結(jié)果表明，在該動(dòng)物數(shù)據(jù)集中，以A-ER規(guī)則為結(jié)合策略的集成學(xué)習(xí)模型的分類效果更加優(yōu)秀。

3.3 實(shí)驗(yàn)分析

在以上兩個(gè)案例中，使用以A-ER規(guī)則為結(jié)合策略的集成學(xué)習(xí)模型與ER規(guī)則模型、其他結(jié)合策略模型進(jìn)行對(duì)比，結(jié)果表明以A-ER規(guī)則為結(jié)合策略的集成學(xué)習(xí)模型有更加優(yōu)異的效果，具體分析如下：

ER規(guī)則構(gòu)成聯(lián)合概率推理過(guò)程，是D-S證據(jù)理論的延伸，而D-S證據(jù)理論是傳統(tǒng)貝葉斯理論的推廣，ER規(guī)則模型對(duì)于多種證據(jù)的融合有強(qiáng)大的理論基礎(chǔ)［22］。集成學(xué)習(xí)的根本是多種基學(xué)習(xí)器的融合，使用ER規(guī)則對(duì)各基學(xué)習(xí)器進(jìn)行融合是非常合適的，因而在圖5、7的準(zhǔn)確率比較中ER規(guī)則模型在大部分情況下與各基學(xué)習(xí)器模型相比效果要更好。A-ER規(guī)則模型是ER規(guī)則作為結(jié)合策略時(shí)針對(duì)多個(gè)基學(xué)習(xí)器融合問(wèn)題進(jìn)行的參數(shù)集完善，其同樣具有ER規(guī)則的特性。A-ER規(guī)則模型通過(guò)在每次融合前對(duì)參數(shù)集進(jìn)行自適應(yīng)選擇，解決了集成學(xué)習(xí)中面對(duì)不同基學(xué)習(xí)器卻使用相同權(quán)重和可靠度的問(wèn)題，讓參數(shù)設(shè)置更加合理且提高了決策合理性，從而使在各種分類類別下的A-ER規(guī)則模型的效果均優(yōu)于ER模型。

與其他結(jié)合策略模型相比，A-ER規(guī)則模型還具有以下特性：a）通過(guò)嚴(yán)格的概率推理，保證了證據(jù)組合過(guò)程的可追溯，推理結(jié)果為置信分布形式，具有更好的可解釋性和信息融合能力；b）證據(jù)推理可以是純數(shù)據(jù)驅(qū)動(dòng)型，也可以融合定量信息和定性知識(shí)，通過(guò)一定的規(guī)則，證據(jù)推理能夠?qū)⒏鞣N形式的輸入轉(zhuǎn)換成統(tǒng)一的置信框架并進(jìn)行證據(jù)的組合；c）對(duì)于多模型融合問(wèn)題，A-ER規(guī)則能更精確地分配不同模型的參數(shù)，使結(jié)果更加精確合理；d）A-ER方法不局限于集成學(xué)習(xí)，對(duì)于其他如模式識(shí)別、風(fēng)險(xiǎn)分析等多類別權(quán)重計(jì)算均可使用。

4 結(jié)束語(yǔ)

本文以ER規(guī)則為結(jié)合策略構(gòu)建了一種針對(duì)分類任務(wù)的灰盒集成學(xué)習(xí)模型，在此基礎(chǔ)上，提出了一個(gè)具有自適應(yīng)證據(jù)權(quán)重和可靠度的A-ER規(guī)則集成學(xué)習(xí)方法，該方法面對(duì)不同的基分類器模型，可以依據(jù)類別自適應(yīng)選擇證據(jù)權(quán)重和可靠度。通過(guò)對(duì)天氣數(shù)據(jù)集和動(dòng)物數(shù)據(jù)集的案例研究分析得到以下結(jié)論：a）與傳統(tǒng)ER規(guī)則的集成學(xué)習(xí)模型相比，本文提出的A-ER規(guī)則模型的參數(shù)設(shè)置更加合理，分類結(jié)果更加準(zhǔn)確；b）與其他結(jié)合策略的集成學(xué)習(xí)模型相比，基于A-ER規(guī)則的集成學(xué)習(xí)方法具有更好的可解釋性和信息融合能力，且分類效果優(yōu)于其他常見(jiàn)結(jié)合策略；c）A-ER規(guī)則參數(shù)中的自適應(yīng)類別為訓(xùn)練后所得，下一步的工作中可以考慮采用不經(jīng)過(guò)訓(xùn)練的方法來(lái)計(jì)算A-ER規(guī)則的參數(shù)，以達(dá)到進(jìn)一步提高模型可解釋性的效果；d）該方法理論上適用于如模式識(shí)別、風(fēng)險(xiǎn)分析等多種領(lǐng)域，但其應(yīng)用效果還有待驗(yàn)證。

參考文獻(xiàn)：

[1]Sagi O， Rokach L. Ensemble learning：a survey［J］.WIREs Data Mining and Knowledge Discovery，2018，8（4）：e1249.

［2]Dietterich T G. Machine learning research： four current directions［J］.AI Magazine，1997，18（4）：97-136.

［3]Yu Lean. An evolutionary programming based asymmetric weighted least squares support vector machine ensemble learning methodology for software repository mining［J］.Information Sciences，2012，191（5）：31-46.

［4]Guo Shanshan， He Hongliang， Huang Xiaoling. A multi-stage self-adaptive classifier ensemble model with application in credit scoring［J］.IEEE Access，2019，7：78549-78559.

［5]Zhang Wenyu， Yang Dongqi， Zhang Shuai， et al. A novel multi-stage ensemble model with enhanced outlier adaptation for credit scoring［J］.Expert Systems with Applications，2021，165（3）：113872.

［6]Hedeya M A， Eid A H， Abdel-Kader R F. A super-learner ensemble of deep networks for vehicle-type classification［J］.IEEE Access，2020，8：98266-98280.

［7]Agarwal S， Chowdary C R. A-Stacking and A-Bagging： adaptive versions of ensemble learning algorithms for spoof fingerprint detection［J］.Expert Systems with Applications，2020，146（5）：113160.

［8]Rizeei H M， Pradhan B， Saharkhiz M A， et al. Groundwater aquifer potential modeling using an ensemble multi-adoptive boosting logistic regression technique［J］.Journal of Hydrology，2019，579（12）：124172.

［9]Yang Jianbo， Xu Dongling. Evidential reasoning rule for evidence combination［J］.Artificial Intelligence，2013，205（12）：1-29.

［10]Ning Pengyun， Zhou Zhijie， Cao You， et al. A concurrent fault diagnosis model via the evidential reasoning rule［J］.IEEE Trans on Instrumentation and Measurement，2021，71：1-16.

［11]Tang Shuaiwen， Zhou Zhijie， Hu Changhua， et al. A new evidential reasoning rule-based safety assessment method with sensor reliability for complex systems［J］.IEEE Trans on Cybernetics，2020，52（5）：4027-4038.

［12]Yuan Jiahang， Luo Xinggang. Approach for multi-attribute decision ma-king based on novel intuitionistic fuzzy entropy and evidential reasoning［J］.Computers amp; Industrial Engineering，2019，135（9）：643-654.

［13]Tang Shuaiwen， Zhou Zhijie， Han Xiaoxia， et al. A new evidential reasoning rule considering interval uncertainty and perturbation［J/OL］.IEEE Trans on Cybernetics.（2021）.http：//doi.org/10.1109/tcyb.2021.3120558.

［14]Liu Zhunga，Pan Quan， Mercier G， et al. A new incomplete pattern classification method based on evidential reasoning［J］.IEEE Trans on Cybernetics，2014，45（4）：635-646.

［15]Dunham J， Johnson E， Feron E， et al. Unmanned systems health analysis through evidential reasoning networks［C］//Proc of the 39th AIAA/IEEE Digital Avionics Systems Conference.Piscataway，NJ：IEEE Press，2020：1-10.

［16]Huang Wencheng， Liu Yuankai， Zhang Yue， et al. Fault tree and fuzzy D-S evidential reasoning combined approach： an application in railway dangerous goods transportation system accident analysis［J］.Information Sciences，2020，520（5）：117-129.

［17]Wei Daojiang， Xu Dongsheng， Zhang Yong. A fuzzy evidential reasoning-based approach for risk assessment of deep foundation pit［J］.Tunnelling and Underground Space Technology，2020，97（3）：103232.

［18]Wang Ying， Zhan Limao. Feature-based evidential reasoning for probabilistic risk analysis and prediction［J］.Engineering Applications of Artificial Intelligence，2021，102（6）：104237.

［19]Liao Huchang， Fang Ran， Yang Jianbo， et al. A linguistic belief-based evidential reasoning approach and its application in aiding lung cancer diagnosis［J］.Knowledge-Based Systems，2022，253（10）：109559.

［20]Wang Jie， Zhou Zhijie， Hu Changhua， et al. A new evidential reasoning rule with continuous probability distribution of reliability［J］.IEEE Trans on Cybernetics，2021，52（8）：8088-8100.

［21]Chen Leiyu， Zhou Zhijie， Hu Changhua， et al. Performance evaluation of complex systems using evidential reasoning approach with uncertain parameters［J］.Chinese Journal of Aeronautics，2021，34（1）：194-208.

［22]周志杰，唐帥文，胡昌華，等.證據(jù)推理理論及其應(yīng)用［J］.自動(dòng)化學(xué)報(bào)，2021，47（5）：970-984.（Zhou Zhijie， Tang Shuaiwen， Hu Changhua， et al. Evidential reasoning theory and its applications［J］.Acta Automatica Sinica，2021，47（5）：970-984.）

［23]湯凱，李康樂(lè)，賀維，等.一種新的基于多樣性賦權(quán)證據(jù)推理的集成學(xué)習(xí)方法［J］.計(jì)算機(jī)應(yīng)用研究，2023，40（4）：1012-1018.（Tang Kai， Li Kangle， He Wei， et al. New ensemble learning method for evidential reasoning based on diversity weighting［J］.Application Research of Computers，2023，40（4）：1012-1018.）