本書(shū)主要介紹如何通過(guò)NLTK庫(kù)與一些Python庫(kù)的結(jié)合從而實(shí)現(xiàn)復(fù)雜的NLP任務(wù)和機(jī)器學(xué)習(xí)應(yīng)用。全書(shū)共分為10章。第1章對(duì)NLP進(jìn)行了簡(jiǎn)單介紹。第2章、第3章和第4章主要介紹一些通用的預(yù)處理技術(shù)、專(zhuān)屬于NLP領(lǐng)域的預(yù)處理技術(shù)以及命名實(shí)體識(shí)別技術(shù)等。第5章之后的內(nèi)容側(cè)重于介紹如何構(gòu)建一些NLP應(yīng)用，涉及文本分類(lèi)、數(shù)據(jù)科學(xué)和數(shù)據(jù)處理、社交媒體挖掘和大規(guī)模文本挖掘等方面。

目錄

第1章自然語(yǔ)言處理簡(jiǎn)介1
1.1為什么要學(xué)習(xí)NLP2
1.2先從Python開(kāi)始吧5
1.2.1列表5
1.2.2自助功能6
1.2.3正則表達(dá)式8
1.2.4字典9
1.2.5編寫(xiě)函數(shù)10
1.3向NLTK邁進(jìn)11
1.4練習(xí)16
1.5小結(jié)17
第2章文本的歧義及其清理18
2.1何謂文本歧義18
2.2文本清理20
2.3語(yǔ)句分離器21
2.4標(biāo)識(shí)化處理22
2.5詞干提取23
2.6詞形還原24
2.7停用詞移除25
2.8罕見(jiàn)詞移除26
2.9拼寫(xiě)糾錯(cuò)26
2.10練習(xí)27
2.11小結(jié)28
第3章詞性標(biāo)注29
3.1何謂詞性標(biāo)注29
3.1.1Stanford標(biāo)注器32
3.1.2深入了解標(biāo)注器33
3.1.3順序性標(biāo)注器35
3.1.4Brill標(biāo)注器37
3.1.5基于機(jī)器學(xué)習(xí)的標(biāo)注器37
3.2命名實(shí)體識(shí)別（NER）38
3.3練習(xí)40
3.4小結(jié)41
第4章文本結(jié)構(gòu)解析43
4.1淺解析與深解析43
4.2兩種解析方法44
4.3為什么需要進(jìn)行解析44
4.4不同的解析器類(lèi)型46
4.4.1遞歸下降解析器46
4.4.2移位—歸約解析器46
4.4.3圖表解析器46
4.4.4正則表達(dá)式解析器47
4.5依存性文本解析48
4.6語(yǔ)塊分解50
4.7信息提取53
4.7.1命名實(shí)體識(shí)別（NER）53
4.7.2關(guān)系提取54
4.8小結(jié)55
第5章NLP應(yīng)用56
5.1構(gòu)建第一個(gè)NLP應(yīng)用57
5.2其他NLP應(yīng)用60
5.2.1機(jī)器翻譯60
5.2.2統(tǒng)計(jì)型機(jī)器翻譯61
5.2.3信息檢索62
5.2.4語(yǔ)音識(shí)別64
5.2.5文本分類(lèi)65
5.2.6信息提取66
5.2.7問(wèn)答系統(tǒng)67
5.2.8對(duì)話系統(tǒng)67
5.2.9詞義消歧67
5.2.10主題建模68
5.2.11語(yǔ)言檢測(cè)68
5.2.12光符識(shí)別68
5.3小結(jié)68
第6章文本分類(lèi)70
6.1機(jī)器學(xué)習(xí)71
6.2文本分類(lèi)72
6.3取樣操作74
6.3.1樸素貝葉斯法76
6.3.2決策樹(shù)79
6.3.3隨機(jī)梯度下降法80
6.3.4邏輯回歸81
6.3.5支持向量機(jī)81
6.4隨機(jī)森林算法83
6.5文本聚類(lèi)83
6.6文本中的主題建模84
6.7參考資料87
6.8小結(jié)87
第7章Web爬蟲(chóng)88
7.1Web爬蟲(chóng)88
7.2編寫(xiě)第一個(gè)爬蟲(chóng)程序89
7.3Scrapy庫(kù)中的數(shù)據(jù)流92
7.3.1Scrapy庫(kù)的shell93
7.3.2目標(biāo)項(xiàng)98
7.4生成網(wǎng)站地圖的蜘蛛程序99
7.5目標(biāo)項(xiàng)管道100
7.6參考資料102
7.7小結(jié)102
第8章NLTK與其他Python庫(kù)的搭配運(yùn)用104
8.1NumPy104
8.1.1多維數(shù)組105
8.1.2基本運(yùn)算106
8.1.3從數(shù)組中提取數(shù)據(jù)107
8.1.4復(fù)雜矩陣運(yùn)算108
8.2SciPy112
8.2.1線性代數(shù)113
8.2.2特征值與特征向量113
8.2.3稀疏矩陣114
8.2.4優(yōu)化措施115
8.3pandas117
8.3.1讀取數(shù)據(jù)117
8.3.2數(shù)列119
8.3.3列轉(zhuǎn)換121
8.3.4噪聲數(shù)據(jù)121
8.4matplotlib123
8.4.1子圖繪制123
8.4.2添加坐標(biāo)軸124
8.4.3散點(diǎn)圖繪制125
8.4.4條形圖繪制126
8.4.53D繪圖126
8.5參考資料126
8.6小結(jié)127
第9章Python中的社交媒體挖掘128
9.1數(shù)據(jù)收集128
9.2數(shù)據(jù)提取132
9.3地理可視化134
9.3.1影響力檢測(cè)135
9.3.2Facebook135
9.3.3有影響力的朋友139
9.4小結(jié)141
第10章大規(guī)模文本挖掘142
10.1在Hadoop上使用Python的不同方式142
10.1.1Python的流操作143
10.1.2Hive／Pig下的UDF143
10.1.3流封裝器143
10.2Hadoop上的NLTK144
10.2.1用戶(hù)定義函數(shù)（UDF）144
10.2.2Python的流操作146
10.3Hadoop上的Scikit—learn147
10.4PySpark150
10.5小結(jié)153