python使用sklearn實現(xiàn)決策樹的方法示例
1. 基本環(huán)境
安裝 anaconda 環(huán)境, 由于國內登陸不了他的官網 https://www.continuum.io/downloads, 不過可以使用國內的鏡像站點: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
添加繪圖工具 Graphviz http://www.graphviz.org/Download_windows.php
安裝后, 將bin 目錄內容添加到環(huán)境變量path 即可
參考blog : http://www.dhdzp.com/article/169878.htm
官網技術文檔 : http://scikit-learn.org/stable/modules/tree.html#tree-algorithms-id3-c4-5-c5-0-and-cart
2. 遇到的一些問題
csv 文件讀取 https://docs.python.org/3.5/library/csv.html?highlight=csv#module-csv
https://docs.python.org/2/library/csv.html?highlight=csv#module-csv
3. 實現(xiàn)
數(shù)據(jù)文件:
這是一個給定 4 個屬性, age, income, student, credit_rating 以及 一個 標記屬性 class_buys_computer 的數(shù)據(jù)集, 我們需要根據(jù)這個數(shù)據(jù)集進行分析并構建一顆決策樹
代碼實現(xiàn):
核心就是調用 tree 的 DecisionTreeClassifier 方法對數(shù)據(jù)進行 訓練得到一顆決策樹
# -*- coding: utf-8 -*-
"""
Created on Sun Dec 25 11:25:40 2016
@author: Administrator
"""
from sklearn.feature_extraction import DictVectorizer
import csv
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO
import pydotplus
from IPython.display import Image
# Read in the csv file and put features into list of dict and list of class label
allElectornicsData = open('AllElectronics.csv', 'r')
reader = csv.reader(allElectornicsData)
# headers = reader.next() python2.7 supported 本質獲取csv 文件的第一行數(shù)據(jù)
#headers = reader.__next__() python 3.5.2
headers = next(reader)
print(headers)
featureList = []
labelList = []
for row in reader:
labelList.append(row[len(row) - 1])
rowDict = {}
for i in range(1, len(row) - 1):
rowDict[headers[i]] = row[i]
featureList.append(rowDict)
print(featureList)
print(labelList)
# Vetorize features
vec = DictVectorizer()
dummyX = vec.fit_transform(featureList).toarray()
print("dummyX: " + str(dummyX))
print(vec.get_feature_names())
print("labelList: " + str(labelList))
# vectorize class labels
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
print("dummyY: ", str(dummyY))
# Using decision tree for classification ===========【此處調用為算法核心】============
#clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = tree.DecisionTreeClassifier(criterion='gini')
clf = clf.fit(dummyX, dummyY)
print("clf: ", str(clf))
# Visualize model
# dot -Tpdf iris.dot -o ouput.pdf
with open("allElectronicInformationGainOri.dot", 'w') as f:
f = tree.export_graphviz(clf, feature_names = vec.get_feature_names(), out_file = f)
# predict
oneRowX = dummyX[0, :]
print("oneRowX: " + str(oneRowX))
newRowX = oneRowX
newRowX[0] = 1
newRowX[2] = 0
print("newRowX: " + str(newRowX))
predictedY = clf.predict(newRowX)
print("predictedY: " + str(predictedY))
輸出結果:
ID3 算法

CART 算法

4. 決策樹的優(yōu)缺點
決策樹的優(yōu)勢
- 簡單易用,而且輸出的結果易于解釋,樹能夠被圖形化,加深了直觀的理解。
- 幾乎不需要對數(shù)據(jù)進行預處理。
- 算法的開銷不大,而且決策樹一旦建立,對于未知樣本的分類十分快,最壞情況下的時間復雜度是O(w),w是樹的最大深度。
- 能夠用于多類的分類。
- 能夠容忍噪點。
決策樹的劣勢
- 容易過擬合。
- 容易被類別中占多數(shù)的類影響而產生bias,所以推薦在送入算法之間先平衡下數(shù)據(jù)中各個類別所占的比例。
- 決策樹采用的是自頂向下的遞歸劃分法,因此自定而下到了末端枝葉包含的數(shù)據(jù)量會很少,我們會依據(jù)很少的數(shù)據(jù)量取做決策,這樣的決策是不具有統(tǒng)計意義的,這就是數(shù)據(jù)碎片的問題。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
python 安裝教程之Pycharm安裝及配置字體主題,換行,自動更新
這篇文章主要介紹了python 安裝教程之Pycharm安裝及配置字體主題,換行,自動更新,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
一文搞懂Python中Pandas數(shù)據(jù)合并
pandas是基于NumPy的一種工具,該工具是為了解決數(shù)據(jù)分析任務而創(chuàng)建的。Pandas納入了大量庫和一些標準的數(shù)據(jù)模型,提供了高效操作大型數(shù)據(jù)集的工具。pandas提供大量快速便捷地處理數(shù)據(jù)的函數(shù)和方法。你很快就會發(fā)現(xiàn),它是使Python強大而高效的數(shù)據(jù)分析環(huán)境的重要因素之一2021-11-11
Python連接SQLite數(shù)據(jù)庫并進行增冊改查操作方法詳解
這篇文章主要介紹了Python對SQLite數(shù)據(jù)庫進行增冊改查操作方法詳解,需要的朋友可以參考下2020-02-02
使用Python獲取網段IP個數(shù)以及地址清單的方法
今天小編就為大家分享一篇使用Python獲取網段IP個數(shù)以及地址清單的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11

