#-*- coding: utf-8 -*- #添加中文注釋
from numpy import *
 
#過(guò)濾網(wǎng)站的惡意留言
#樣本數(shù)據(jù)  
def loadDataSet():
  postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
         ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
         ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
         ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
         ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
         ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
  #類別標(biāo)簽：1侮辱性文字，0正常言論
  classVec = [0,1,0,1,0,1]   
  #返回文檔向量，類別向量
  return postingList,classVec
 
#創(chuàng)建詞匯表
#輸入：dataSet已經(jīng)經(jīng)過(guò)切分處理
#輸出：包含所有文檔中出現(xiàn)的不重復(fù)詞的列表             
def createVocabList(dataSet):
  #構(gòu)建set集合，會(huì)返回不重復(fù)詞表
  vocabSet = set([])
  #遍歷每篇文檔向量，掃描所有文檔的單詞 
  for document in dataSet:
    #通過(guò)set(document)，獲取document中不重復(fù)詞列表
    vocabSet = vocabSet | set(document) #求并集
  return list(vocabSet)
 
#***詞集模型：只考慮單詞是否出現(xiàn)
#vocabList：詞匯表
#inputSet ：某個(gè)文檔向量
def setOfWords2Vec(vocabList, inputSet):
  #創(chuàng)建所含元素全為0的向量
  returnVec = [0]*len(vocabList)
  #依次取出文檔中的單詞與詞匯表進(jìn)行對(duì)照，若在詞匯表中出現(xiàn)則為1
  for word in inputSet:
    if word in vocabList:
    #單詞在詞匯表中出現(xiàn)，則記為1 
      returnVec[vocabList.index(word)] = 1 #詞集模型
    #若測(cè)試文檔的單詞，不在詞匯表中，顯示提示信息，該單詞出現(xiàn)次數(shù)用0表示
    else: print "the word: %s is not in my Vocabulary!" % word
  return returnVec
 
#====訓(xùn)練分類器,原始的樸素貝葉斯，沒(méi)有優(yōu)化=====
#輸入trainMatrix：詞向量數(shù)據(jù)集
#輸入trainCategory：數(shù)據(jù)集對(duì)應(yīng)的類別標(biāo)簽
#輸出p0Vect：詞匯表中各個(gè)單詞在正常言論中的類條件概率密度
#輸出p1Vect：詞匯表中各個(gè)單詞在侮辱性言論中的類條件概率密度
#輸出pAbusive：侮辱性言論在整個(gè)數(shù)據(jù)集中的比例
def trainNB00(trainMatrix,trainCategory):
  #numTrainDocs訓(xùn)練集總條數(shù)
  numTrainDocs = len(trainMatrix)
  #訓(xùn)練集中所有不重復(fù)單詞總數(shù)
  numWords = len(trainMatrix[0])
  #侮辱類的概率(侮辱類占總訓(xùn)練數(shù)據(jù)的比例)
  pAbusive = sum(trainCategory)/float(numTrainDocs) 
  #*正常言論的類條件概率密度 p(某單詞|正常言論)=p0Num/p0Denom
  p0Num = zeros(numWords); #初始化分子為0
  #*侮辱性言論的類條件概率密度 p(某單詞|侮辱性言論)=p1Num/p1Denom  
  p1Num = zeros(numWords) #初始化分子為0
  #初始化分母置為0  
  p0Denom = 0; 
  p1Denom = 0        
  #遍歷訓(xùn)練集數(shù)據(jù)  
  for i in range(numTrainDocs):
    #若為侮辱類
    if trainCategory[i] == 1:
      #統(tǒng)計(jì)侮辱類所有文檔中的各個(gè)單詞總數(shù)
      p1Num += trainMatrix[i]
      #p1Denom侮辱類總單詞數(shù)
      p1Denom += sum(trainMatrix[i])
 
    #若為正常類
    else:
      #統(tǒng)計(jì)正常類所有文檔中的各個(gè)單詞總數(shù)
      p0Num += trainMatrix[i]
      #p0Denom正常類總單詞數(shù)
      p0Denom += sum(trainMatrix[i])  
  #詞匯表中的單詞在侮辱性言論文檔中的類條件概率  
  p1Vect = p1Num/p1Denom    
  #詞匯表中的單詞在正常性言論文檔中的類條件概率 
  p0Vect = p0Num/p0Denom
  return p0Vect,p1Vect,pAbusive
 
 
#=====訓(xùn)練分類器，優(yōu)化處理=====
#輸入trainMatrix：詞向量數(shù)據(jù)集
#輸入trainCategory：數(shù)據(jù)集對(duì)應(yīng)的類別標(biāo)簽
#輸出p0Vect：詞匯表中各個(gè)單詞在正常言論中的類條件概率密度
#輸出p1Vect：詞匯表中各個(gè)單詞在侮辱性言論中的類條件概率密度
#輸出pAbusive：侮辱性言論在整個(gè)數(shù)據(jù)集中的比例
def trainNB0(trainMatrix,trainCategory):
  #訓(xùn)練集總條數(shù)：行數(shù)
  numTrainDocs = len(trainMatrix)
  #訓(xùn)練集中所有單詞總數(shù)：詞向量維度
  numWords = len(trainMatrix[0])
  #侮辱類的概率(侮辱類占總訓(xùn)練數(shù)據(jù)的比例)
  pAbusive = sum(trainCategory)/float(numTrainDocs)  
  #*拉普拉斯平滑防止類條件概率為0，初始化分子為1，分母為2
  #正常類向量置為1
  p0Num = ones(numWords); #初始化分子為1
  #侮辱類向量置為1  
  p1Num = ones(numWords) #初始化分子為1
  #初始化分母置為2  
  p0Denom = 2.0; 
  p1Denom = 2.0        
  #遍歷訓(xùn)練集每個(gè)樣本  
  for i in range(numTrainDocs):
    #若為侮辱類
    if trainCategory[i] == 1:
      #統(tǒng)計(jì)侮辱類所有文檔中的各個(gè)單詞總數(shù)
      p1Num += trainMatrix[i] #向量
      #p1Denom侮辱類總單詞數(shù)
      p1Denom += sum(trainMatrix[i])
 
    #若為正常類
    else:
      #統(tǒng)計(jì)正常類所有文檔中的各個(gè)單詞總數(shù)
      p0Num += trainMatrix[i]
      #p0Denom正常類總單詞數(shù)
      p0Denom += sum(trainMatrix[i])  
  #數(shù)據(jù)取log，即單個(gè)單詞的p(x1|c1)取log，防止下溢出    
  p1Vect = log(p1Num/p1Denom)     
  p0Vect = log(p0Num/p0Denom) 
  return p0Vect,p1Vect,pAbusive
 
#vec2Classify：待分類文檔 
#p0Vect:詞匯表中每個(gè)單詞在訓(xùn)練樣本的正常言論中的類條件概率密度
#p1Vect:詞匯表中每個(gè)單詞在訓(xùn)練樣本的侮辱性言論中的類條件概率密度
#pClass1：侮辱性言論在訓(xùn)練集中所占的比例
def classifyNB(vec2Classify, p0Vect, p1Vect, pClass1):
  #在對(duì)數(shù)空間中進(jìn)行計(jì)算，屬于哪一類的概率比較大就判為哪一類
  #print'0p1=',sum(vec2Classify * p0Vect) #查看結(jié)果
  #print'0p0=',sum(vec2Classify * p0Vect)
  p1 = sum(vec2Classify * p1Vect) + log(pClass1)  
  p0 = sum(vec2Classify * p0Vect) + log(1.0 - pClass1)
  #print'p1=',p1
  #print'p0=',p0
  if p1 > p0:
    return 1
  else: 
    return 0
 
def testingNB():
  #獲得訓(xùn)練數(shù)據(jù)，類別標(biāo)簽
  listOPosts,listClasses = loadDataSet()
  #創(chuàng)建詞匯表
  myVocabList = createVocabList(listOPosts)
  #構(gòu)建矩陣，存放訓(xùn)練數(shù)據(jù)
  trainMat=[]
 
  #遍歷原始數(shù)據(jù)，轉(zhuǎn)換為詞向量，構(gòu)成數(shù)據(jù)訓(xùn)練矩陣
  for postinDoc in listOPosts:
    #數(shù)據(jù)轉(zhuǎn)換后存入數(shù)據(jù)訓(xùn)練矩陣trainMat中
    trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
  #訓(xùn)練分類器
  p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
 
  #===測(cè)試數(shù)據(jù)（1）
  testEntry = ['love', 'my', 'dalmation']
  #測(cè)試數(shù)據(jù)轉(zhuǎn)為詞向量
  thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
  #輸出分類結(jié)果
  print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
 
  #===測(cè)試數(shù)據(jù)（2）
  testEntry = ['stupid', 'garbage']
  #測(cè)試數(shù)據(jù)轉(zhuǎn)為詞向量
  thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
  #輸出分類結(jié)果
  print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)  
 
 
 
#***詞袋模型：考慮單詞出現(xiàn)的次數(shù)
#vocabList：詞匯表
#inputSet ：某個(gè)文檔向量
def bagOfWords2VecMN(vocabList, inputSet):
  #創(chuàng)建所含元素全為0的向量
  returnVec = [0]*len(vocabList)
  #依次取出文檔中的單詞與詞匯表進(jìn)行對(duì)照，統(tǒng)計(jì)單詞在文檔中出現(xiàn)的次數(shù)
  for word in inputSet:
    if word in vocabList:
      #單詞在文檔中出現(xiàn)的次數(shù)
      returnVec[vocabList.index(word)] += 1
    #若測(cè)試文檔的單詞，不在詞匯表中，顯示提示信息，該單詞出現(xiàn)次數(shù)用0表示
    else: print "the word: %s is not in my Vocabulary!" % word
  return returnVec
 
 
#準(zhǔn)備數(shù)據(jù)，按空格切分出詞 
#單詞長(zhǎng)度小于或等于2的全部丟棄
def textParse(bigString):  
  import re
  listOfTokens = re.split(r'\W*', bigString)
  #tok.lower() 將整個(gè)詞轉(zhuǎn)換為小寫(xiě)
  return [tok.lower() for tok in listOfTokens if len(tok) > 2] 
 
def spamTest():
  #文章按篇存放
  docList=[]; 
  #存放文章類別
  classList = [];
  #存放所有文章內(nèi)容  
  fullText =[]
  for i in range(1,26):
    #讀取垃圾郵件
    #wordList = textParse(open('D:/work/python/email/spam/%d.txt' % i).read())  
    wordList = textParse(open('D:/machine learning/python/bayes/email/spam/%d.txt' % i).read())  
    #docList按篇存放文章
    docList.append(wordList)
    #fullText郵件內(nèi)容存放到一起
    fullText.extend(wordList)
    #垃圾郵件類別標(biāo)記為1
    classList.append(1)
 
    #讀取正常郵件
    #wordList = textParse(open('D:/work/python/email/ham/%d.txt' % i).read())
    wordList = textParse(open('D:/machine learning/python/bayes/email/ham/%d.txt' % i).read())
    docList.append(wordList)
    fullText.extend(wordList)
    #正常郵件類別標(biāo)記為0
    classList.append(0)
 
  #創(chuàng)建詞典  
  vocabList = createVocabList(docList)
  #訓(xùn)練集共50篇文章
  trainingSet = range(50);
  #創(chuàng)建測(cè)試集
  testSet=[]
  #隨機(jī)選取10篇文章為測(cè)試集，測(cè)試集中文章從訓(xùn)練集中刪除  
  for i in range(10):
    #0-50間產(chǎn)生一個(gè)隨機(jī)數(shù)
    randIndex = int(random.uniform(0,len(trainingSet)))
    #從訓(xùn)練集中找到對(duì)應(yīng)文章，加入測(cè)試集中
    testSet.append(trainingSet[randIndex])
    #刪除對(duì)應(yīng)文章
    del(trainingSet[randIndex]) 
 
  #準(zhǔn)備數(shù)據(jù)，用于訓(xùn)練分類器  
  trainMat=[]; #訓(xùn)練數(shù)據(jù)
  trainClasses = [] #類別標(biāo)簽
 
  #遍歷訓(xùn)練集中文章數(shù)據(jù)
  for docIndex in trainingSet:
    #每篇文章轉(zhuǎn)為詞袋向量模型，存入trainMat數(shù)據(jù)矩陣中
    trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
    #trainClasses存放每篇文章的類別
    trainClasses.append(classList[docIndex])
  #訓(xùn)練分類器
  p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))
 
  #errorCount記錄測(cè)試數(shù)據(jù)出錯(cuò)次數(shù)
  errorCount = 0
  #遍歷測(cè)試數(shù)據(jù)集，每條數(shù)據(jù)相當(dāng)于一條文本
  for docIndex in testSet:
    #文本轉(zhuǎn)換為詞向量模型  
    wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
    #模型給出的分類結(jié)果與本身類別不一致時(shí)，說(shuō)明模型出錯(cuò)，errorCount數(shù)加1
    if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
      errorCount += 1
      #輸出出錯(cuò)的文章
      print "classification error",docList[docIndex]
 
  #輸出錯(cuò)誤率，即出錯(cuò)次數(shù)/總測(cè)試次數(shù)
  print 'the error rate is: ',float(errorCount)/len(testSet)
 
 
  #return vocabList,fullText
 
if __name__ == "__main__":
 
###**********************留言板數(shù)據(jù)：觀察參數(shù)值start
###  #獲取數(shù)據(jù)
  listOPosts,listClasses = loadDataSet() 
#  #構(gòu)建詞匯表
  myVocabList = createVocabList(listOPosts)
  print 'myVocabList=',myVocabList
  print 'result=',setOfWords2Vec(myVocabList, listOPosts[0])
  trainMat = []
  for postinDoc in listOPosts:
    #構(gòu)建訓(xùn)練矩陣
    trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
  p0Vect,p1Vect,pAbusive = trainNB0(trainMat, listClasses)
  print 'p0Vect='
  print p0Vect
  print 'p1Vect='
  print p1Vect
  print 'pAbusive='
  print pAbusive
  print 'trainMatrix='
  print trainMat
  print 'listClasses=',listClasses
###**********************留言板數(shù)據(jù)：觀察參數(shù)值end  
 
##  #測(cè)試留言板文檔
  print'==================================='
  testingNB()
 
#***********************垃圾郵件  
##  #垃圾郵件分類
  print'=======spam filtering============='
  spamTest()