python使用knn實(shí)現(xiàn)特征向量分類
這是一個(gè)使用knn把特征向量進(jìn)行分類的demo。
Knn算法的思想簡(jiǎn)單說(shuō)就是:看輸入的sample點(diǎn)周圍的k個(gè)點(diǎn)都屬于哪個(gè)類,哪個(gè)類的點(diǎn)最多,就把sample歸為哪個(gè)類。也就是說(shuō),訓(xùn)練集是一些已經(jīng)被手動(dòng)打好標(biāo)簽的數(shù)據(jù),knn會(huì)根據(jù)你打好的標(biāo)簽來(lái)挖掘同類對(duì)象的相似點(diǎn),從而推算sample的標(biāo)簽。
Knn算法的準(zhǔn)確度受k影響較大,可能需要寫(xiě)個(gè)循環(huán)試一下選出針對(duì)不同數(shù)據(jù)集的最優(yōu)的k。
至于如何拿到特征向量,可以參考之前的博文。
代碼:
#-*- coding: utf-8 -*-
__author__ = 'Rossie'
from numpy import *
import operator
'''構(gòu)造數(shù)據(jù)'''
def createDataSet():
characters=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels=['A','A','B','B']
return characters,labels
'''從文件中讀取數(shù)據(jù),將文本記錄轉(zhuǎn)換為矩陣,提取其中特征和類標(biāo)'''
def file2matrix(filename):
fr=open(filename)
arrayOLines=fr.readlines()
numberOfLines=len(arrayOLines) #得到文件行數(shù)
returnMat=zeros((numberOfLines,3)) #創(chuàng)建以零填充的numberOfLines*3的NumPy矩陣
classLabelVector=[]
index=0
for line in arrayOLines: #解析文件數(shù)據(jù)到列表
line=line.strip()
listFromLine=line.split('\t')
returnMat[index, :]=listFromLine[0:3]
classLabelVector.append(listFromLine[-1])
index+=1
return returnMat,classLabelVector #返回特征矩陣和類標(biāo)集合
'''歸一化數(shù)字特征值到0-1范圍'''
'''輸入為特征值矩陣'''
def autoNorm(dataSet):
minVals=dataSet.min(0)
maxVals=dataSet.max(0)
ranges=maxVals-minVals
normDataSet=zeros(shape(dataSet))
m=dataSet.shape[0]
normDataSet=dataSet-tile(minVals,(m,1))
normDataSet=normDataSet/tile(ranges,(m,1))
return normDataSet,ranges, minVals
def classify(sample,dataSet,labels,k):
dataSetSize=dataSet.shape[0] #數(shù)據(jù)集行數(shù)即數(shù)據(jù)集記錄數(shù)
'''距離計(jì)算'''
diffMat=tile(sample,(dataSetSize,1))-dataSet #樣本與原先所有樣本的差值矩陣
sqDiffMat=diffMat**2 #差值矩陣平方
sqDistances=sqDiffMat.sum(axis=1) #計(jì)算每一行上元素的和
distances=sqDistances**0.5 #開(kāi)方
sortedDistIndicies=distances.argsort() #按distances中元素進(jìn)行升序排序后得到的對(duì)應(yīng)下標(biāo)的列表
'''選擇距離最小的k個(gè)點(diǎn)'''
classCount={}
for i in range(k):
voteIlabel=labels[sortedDistIndicies[i]]
classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
'''從大到小排序'''
sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
'''針對(duì)約會(huì)網(wǎng)站數(shù)據(jù)的測(cè)試代碼'''
def datingClassTest():
hoRatio=0.20 #測(cè)試樣例數(shù)據(jù)比例
datingDataMat,datingLabels=file2matrix('datingTestSet1.txt')
normMat, ranges, minVals=autoNorm(datingDataMat)
m =normMat.shape[0]
numTestVecs=int(m*hoRatio)
errorCount=0.0
k=4
for i in range(numTestVecs):
classifierResult=classify(normMat[i, : ],normMat[numTestVecs:m, : ],datingLabels[numTestVecs:m],k)
print("The classifier came back with: %s, thereal answer is: %s" %(classifierResult, datingLabels[i]))
if(classifierResult!= datingLabels [i] ) :
errorCount += 1.0
print("the total error rate is: %f" % (errorCount/float(numTestVecs)))
def main():
sample=[0,0]#簡(jiǎn)單樣本測(cè)試
sampleText = [39948,6.830795,1.213342]#文本中向量樣本測(cè)試
k=3
group,labels=createDataSet()
label1=classify(sample,group,labels,k)#簡(jiǎn)單樣本的分類結(jié)果
fileN = "datingTestSet.txt"
matrix,label = file2matrix(fileN)
label2 =classify(sampleText,matrix,label,k)#文本樣本的分類結(jié)果
print("ClassifiedLabel of the simple sample:"+label1)
print("Classified Label of the textsample:"+label2)
if __name__=='__main__':
main()
#datingClassTest()
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- 在python中利用KNN實(shí)現(xiàn)對(duì)iris進(jìn)行分類的方法
- python機(jī)器學(xué)習(xí)之KNN分類算法
- 用Python實(shí)現(xiàn)KNN分類算法
- python機(jī)器學(xué)習(xí)實(shí)戰(zhàn)之最近鄰kNN分類器
- 以Python代碼實(shí)例展示kNN算法的實(shí)際運(yùn)用
- 使用python實(shí)現(xiàn)knn算法
- python實(shí)現(xiàn)kNN算法
- Python語(yǔ)言描述KNN算法與Kd樹(shù)
- Python代碼實(shí)現(xiàn)KNN算法
- 純python實(shí)現(xiàn)機(jī)器學(xué)習(xí)之kNN算法示例
相關(guān)文章
Python中的enumerate函數(shù)使用方法詳解
enumerate()是python的內(nèi)置函數(shù),適用于python2.x和python3.x,這篇文章主要給大家介紹了關(guān)于Python中的enumerate函數(shù)使用方法的相關(guān)資料,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-06-06
Python win32com 操作Exce的l簡(jiǎn)單方法(必看)
下面小編就為大家?guī)?lái)一篇Python win32com 操作Exce的l簡(jiǎn)單方法(必看)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-05-05
kaggle數(shù)據(jù)分析家庭電力消耗過(guò)程詳解
這篇文章主要為大家介紹了kaggle數(shù)據(jù)分析家庭電力消耗示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-12-12
詳解安裝mitmproxy以及遇到的坑和簡(jiǎn)單用法
mitmproxy 是一款工具,也可以說(shuō)是 python 的一個(gè)包,在命令行操作的工具。這篇文章主要介紹了詳解安裝mitmproxy以及遇到的坑和簡(jiǎn)單用法,感興趣的小伙伴們可以參考一下2019-01-01
Python 用Redis簡(jiǎn)單實(shí)現(xiàn)分布式爬蟲(chóng)的方法
本篇文章主要介紹了Python 用Redis簡(jiǎn)單實(shí)現(xiàn)分布式爬蟲(chóng)的方法,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-11-11
python多項(xiàng)式擬合之np.polyfit 和 np.polyld詳解
這篇文章主要介紹了python多項(xiàng)式擬合之np.polyfit 和 np.polyld的實(shí)例代碼,python數(shù)據(jù)擬合主要可采用numpy庫(kù),庫(kù)的安裝可直接用pip install numpy等,需要的朋友跟隨小編一起學(xué)習(xí)吧2020-02-02
Python可視化神器pyecharts之繪制地理圖表練習(xí)
這篇文章主要介紹了Python可視化神器pyecharts之繪制地理圖表,文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-07-07
python多進(jìn)程和多線程究竟誰(shuí)更快(詳解)
下面小編就為大家?guī)?lái)一篇python多進(jìn)程和多線程究竟誰(shuí)更快(詳解)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-05-05
Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫(kù)詳解
這篇文章主要介紹了Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫(kù),結(jié)合實(shí)例形式較為詳細(xì)的分析了cx_Oracle模塊的下載、安裝及針對(duì)Oracle數(shù)據(jù)庫(kù)的連接、執(zhí)行SQL語(yǔ)句、存儲(chǔ)過(guò)程等相關(guān)操作技巧,需要的朋友可以參考下2018-05-05

