使用python實現(xiàn)knn算法

更新時間：2017年12月20日 10:47:17 作者：chenge_j

這篇文章主要為大家詳細(xì)介紹了使用python實現(xiàn)knn算法，具有一定的參考價值，感興趣的小伙伴們可以參考一下

本文實例為大家分享了python實現(xiàn)knn算法的具體代碼，供大家參考，具體內(nèi)容如下

knn算法描述

對需要分類的點依次執(zhí)行以下操作：
1.計算已知類別數(shù)據(jù)集中每個點與該點之間的距離
2.按照距離遞增順序排序
3.選取與該點距離最近的k個點
4.確定前k個點所在類別出現(xiàn)的頻率
5.返回前k個點出現(xiàn)頻率最高的類別作為該點的預(yù)測分類

knn算法實現(xiàn)

數(shù)據(jù)處理

#從文件中讀取數(shù)據(jù)，返回的數(shù)據(jù)和分類均為二維數(shù)組
def loadDataSet(filename):
  dataSet = []
  labels = []
  fr = open(filename)
  for line in fr.readlines():
    lineArr = line.strip().split(",")
    dataSet.append([float(lineArr[0]),float(lineArr[1])])
    labels.append([float(lineArr[2])])
  return dataSet , labels

knn算法

#計算兩個向量之間的歐氏距離
def calDist(X1 , X2):
  sum = 0
  for x1 , x2 in zip(X1 , X2):
    sum += (x1 - x2) ** 2
  return sum ** 0.5

def knn(data , dataSet , labels , k):
  n = shape(dataSet)[0]
  for i in range(n):
    dist = calDist(data , dataSet[i])
    #只記錄兩點之間的距離和已知點的類別
    labels[i].append(dist)
  #按照距離遞增排序
  labels.sort(key=lambda x:x[1])
  count = {}
  #統(tǒng)計每個類別出現(xiàn)的頻率
  for i in range(k):
    key = labels[i][0]
    if count.has_key(key):
      count[key] += 1
    else : count[key] = 1
  #按頻率遞減排序
  sortCount = sorted(count.items(),key=lambda item:item[1],reverse=True)
  return sortCount[0][0]#返回頻率最高的key，即label

結(jié)果測試

已知類別數(shù)據(jù)（來源于西瓜書+虛構(gòu)）

0.697,0.460,1
0.774,0.376,1
0.720,0.330,1
0.634,0.264,1
0.608,0.318,1
0.556,0.215,1
0.403,0.237,1
0.481,0.149,1
0.437,0.211,1
0.525,0.186,1
0.666,0.091,0
0.639,0.161,0
0.657,0.198,0
0.593,0.042,0
0.719,0.103,0
0.671,0.196,0
0.703,0.121,0
0.614,0.116,0

繪圖方法

def drawPoints(data , dataSet, labels):
  xcord1 = [];
  ycord1 = [];
  xcord2 = [];
  ycord2 = [];
  for i in range(shape(dataSet)[0]):
    if labels[i][0] == 0:
      xcord1.append(dataSet[i][0])
      ycord1.append(dataSet[i][1])
    if labels[i][0] == 1:
      xcord2.append(dataSet[i][0])
      ycord2.append(dataSet[i][1])
  fig = plt.figure()
  ax = fig.add_subplot(111)
  ax.scatter(xcord1, ycord1, s=30, c='blue', marker='s',label=0)
  ax.scatter(xcord2, ycord2, s=30, c='green',label=1)
  ax.scatter(data[0], data[1], s=30, c='red',label="testdata")
  plt.legend(loc='upper right')
  plt.show()

測試代碼

dataSet , labels = loadDataSet('dataSet.txt')
data = [0.6767,0.2122]
drawPoints(data , dataSet, labels)
newlabels = knn(data, dataSet , labels , 5)
print newlabels

運行結(jié)果