喬麟婷

【摘要】決策樹作為一種解決分類問題的模型，由于算法簡單易解釋，而受到了普遍的應用。本文研究了如何使用決策樹進行分類，分別介紹了模型訓練、模型評估和預測過程。針對模型訓練，詳細闡述了決策樹算法原理，運用信息增益進行屬性選擇，并明確了決策樹停止條件。最后，通過一個簡單的例子將決策樹算法應用到實際問題中。

【關鍵詞】分類 決策樹 信息增益

【中圖分類號】G63 【文獻標識碼】A 【文章編號】2095-3089（2018）48-0224-02

1.引言

隨著現(xiàn)代生活的進步與發(fā)展，機器學習逐漸進入大眾視野。機器學習實際上是以數(shù)據(jù)為驅動，從海量數(shù)據(jù)中提取整合出有價值的信息，用機器代替人工來解決問題的一個學科。機器學習分為監(jiān)督學習和非監(jiān)督學習。分類問題是監(jiān)督學習的一個重要組成部分。它是指人們基于生活中所遇到的、需要將大數(shù)據(jù)進行分析并作出篩選與劃分的問題。如生活中的垃圾分類就是一個典型的分類問題，將垃圾進行細致分類而運送到不同的地方進行處理，已知部分垃圾其物理性質、化學成分、利用價值，并且知道其對應的類別標簽，即訓練集，我們需要對未知的垃圾來根據(jù)它的屬性判定其所屬類別。

在生活中較為常見的解決分類問題的模型有決策樹、logistic回歸、SVM等，它們的出現(xiàn)可以更加便捷地解決分類問題。其中決策樹以其清晰的圖示，較為簡便的運算法則，快速地對數(shù)據(jù)進行了全面分析，作出了較為準確的分類，而在如今普遍得到使用[1]。

2.決策樹算法原理

2.1決策樹算法的簡單流程

作為一種常見的解決分類問題的模型，決策樹的形狀類似于一個樹，包含根節(jié)點、中間節(jié)點和葉子節(jié)點。葉子節(jié)點對應著類別標簽，不同節(jié)點是根據(jù)不同的分類屬性進行分裂。當我們使用該模型時，需要將數(shù)據(jù)從其根節(jié)點放入，數(shù)據(jù)會依次經(jīng)過中間節(jié)點進行連續(xù)劃分，最終進入葉節(jié)點，其代表了最終的所屬類別。每一條從根節(jié)點到葉節(jié)點的分支都代表了對樣本數(shù)據(jù)進行的劃分運算得到的不同類別。例如上文所提到的對用戶信用度的測試，我們事先會收集用戶的信息，如，貸款經(jīng)歷、開戶時間、存款金額等等作為信息數(shù)據(jù)；然后將用戶的所有信息數(shù)據(jù)放入根節(jié)點，依次往下過渡到中間節(jié)點，在每個節(jié)點對信息數(shù)據(jù)進行運算后，會在葉節(jié)點得到最終的分類結果。

2.2決策樹的停止與選擇劃分

決策樹實際上是一種遞歸的算法[2]，這些分支會不斷地生長。決策樹停止分支的生長主要受以下兩點的制約：一是屬性已經(jīng)全部計算完畢，沒有其他數(shù)據(jù)形成分支了；二是訓練的數(shù)據(jù)已經(jīng)是屬于同一類別，不用再進行劃分了。

信息增益越大，那么純度的提升就越大，屬性的選擇也就更加簡潔與準確。因此，我們就可以通過信息增益為準則來劃分屬性，以此達到用決策樹來解決分類問題的目的。

3.決策樹應用案例

下面我們就舉一個實際的例子來說明決策樹算法流程[3-4]。我們以銀行對客戶進行的能否貸款的測試為例，表2是客戶數(shù)據(jù)集，包含了7個樣本，四個屬性。

經(jīng)過對比，收入，存款，違約三者均取得了最大的信息增益，以選擇收入作為劃分屬性為例，這樣就可以得到三個分支。要進行進一步的劃分，分別對得到的三個分支，將其看成根節(jié)點，以此類推最終可以得到?jīng)Q策樹。

4.總結

決策樹算法是基于規(guī)則的分類算法，算法簡單、可解釋性強，能夠直接從數(shù)據(jù)中進行歸納，根據(jù)數(shù)據(jù)特征提取分類的有效信息。決策樹算法得到的分類樹便于人們理解，并且它能夠較為準確地對分類問題作出判斷，劃分出最終結果。因此，它在實際生活中得到了非常廣泛和普遍的應用。隨著時代的發(fā)展，決策樹算法還在不斷地優(yōu)化與更新，以便于更加準確地解決分類問題。

參考文獻：

[1]何迪.面向大數(shù)據(jù)分析的決策樹算法[J].信息系統(tǒng)工程， 2017（7）：161.

[2]胡金濤.基于C4.5決策樹的學生成績預測教學系統(tǒng)的研究與實現(xiàn)[D]. 西南交通大學， 2017.

[3]楊靜， 張楠男， 李建，等. 決策樹算法的研究與應用[J].計算機技術與發(fā)展， 2010（2）：114-116.

[4]張宇，張之明.一種基于C5.0決策樹的客戶流失預測模型研究[J].統(tǒng)計與信息論壇， 2015（1）：89-94.