本書從Python 3.6.4的安裝開始，詳細(xì)講解了Python從簡(jiǎn)單程序延伸到Python網(wǎng)絡(luò)爬蟲的全過程。本書從實(shí)戰(zhàn)出發(fā)，根據(jù)不同的需求選取不同的爬蟲，有針對(duì)性地講解了幾種Python網(wǎng)絡(luò)爬蟲。 本書共10章，涵蓋的內(nèi)容有Python3.6語言的基本語法、Python常用IDE的使用、Python第三方模塊的導(dǎo)入使用、Python爬蟲常用模塊、Scrapy爬蟲、Beautiful Soup爬蟲、Mechanize模擬瀏覽器和Selenium模擬瀏覽器、Pyspider爬蟲框架、爬蟲與反爬蟲。本書所有源代碼已上傳網(wǎng)盤供讀者下載。 本書內(nèi)容豐富，實(shí)例典型，實(shí)用性強(qiáng)。適合Python網(wǎng)絡(luò)爬蟲初學(xué)者、Python數(shù)據(jù)分析與挖掘技術(shù)初學(xué)者，以及高等院校和培訓(xùn)學(xué)校相關(guān)專業(yè)的師生閱讀。

目錄

第1章 Python環(huán)境配置 1
1.1 Python簡(jiǎn)介 1
1.1.1 Python的歷史由來 1
1.1.2 Python的現(xiàn)狀 2
1.1.3 Python的應(yīng)用 2
1.2 Python 3.6.4開發(fā)環(huán)境配置 4
1.2.1 Windows下安裝Python 4
1.2.2 Windows下安裝配置pip 9
1.2.3 Linux下安裝Python 10
1.2.4 Linux下安裝配置pip 13
1.2.5 永遠(yuǎn)的hello world 16
1.3 本章小結(jié) 21
第2章 Python基礎(chǔ) 22
2.1 Python變量類型 22
2.1.1 數(shù)字 22
2.1.2 字符串 25
2.1.3 列表 29
2.1.4 元組 34
2.1.5 字典 37
2.2 Python語句 41
2.2.1 條件語句——if else 41
2.2.2 有限循環(huán)——for 42
2.2.3 無限循環(huán)——while 44
2.2.4 中斷循環(huán)——continue、break 46
2.2.5 異常處理——try except 48
2.2.6 導(dǎo)入模塊——import 52
2.3 函數(shù)和類 56
2.3.1 函數(shù) 56
2.3.2 類 62
2.4 Python內(nèi)置函數(shù) 68
2.4.1 常用內(nèi)置函數(shù) 68
2.4.2 高級(jí)內(nèi)置函數(shù) 69
2.5 Python代碼格式 74
2.5.1 Python代碼縮進(jìn) 74
2.5.2 Python命名規(guī)則 75
2.5.3 Python代碼注釋 76
2.6 Python調(diào)試 79
2.6.1 Windows下IDLE調(diào)試 79
2.6.2 Linux下pdb調(diào)試 82
2.7 本章小結(jié) 87
第3章 簡(jiǎn)單的Python腳本 88
3.1 九九乘法表 88
3.1.1 Project分析 88
3.1.2 Project實(shí)施 88
3.2 斐波那契數(shù)列 90
3.2.1 Project分析 90
3.2.2 Project實(shí)施 90
3.3 概率計(jì)算 91
3.3.1 Project分析 91
3.3.2 Project實(shí)施 92
3.4 讀寫文件 93
3.4.1 Project分析 93
3.4.2 Project實(shí)施 94
3.5 類的繼承與重載 96
3.5.1 Project 1分析 96
3.5.2 Project 1實(shí)施 98
3.5.3 Project 2分析 100
3.5.4 Project 2實(shí)施 101
3.6 多線程 107
3.6.1 Project 1分析 107
3.6.2 Project 1實(shí)施 109
3.6.3 Project 2分析 112
3.6.4 Project 2實(shí)施 115
3.7 本章小結(jié) 117
第4章 Python爬蟲常用模塊 118
4.1 網(wǎng)絡(luò)爬蟲技術(shù)核心 118
4.1.1 網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)原理 118
4.1.2 爬行策略 119
4.1.3 身份識(shí)別 119
4.2 Python 3標(biāo)準(zhǔn)庫之urllib.request模塊 120
4.2.1 urllib.request請(qǐng)求返回網(wǎng)頁 120
4.2.2 urllib.request使用代理訪問網(wǎng)頁 122
4.2.3 urllib.request修改header 125
4.3 Python 3標(biāo)準(zhǔn)庫之logging模塊 129
4.3.1 簡(jiǎn)述logging模塊 129
4.3.2 自定義模塊myLog 133
4.4 re模塊（正則表達(dá)式） 135
4.4.1 re模塊（正則表達(dá)式操作） 136
4.4.2 re模塊實(shí)戰(zhàn) 137
4.5 其他有用模塊 139
4.5.1 sys模塊（系統(tǒng)參數(shù)獲?。?139
4.5.2 time模塊（獲取時(shí)間信息） 141
4.6 本章小結(jié) 144
第5章 Scrapy爬蟲框架 145
5.1 安裝Scrapy 145
5.1.1 Windows下安裝Scrapy環(huán)境 145
5.1.2 Linux下安裝Scrapy 146
5.1.3 vim編輯器 147
5.2 Scrapy選擇器XPath和CSS 148
5.2.1 XPath選擇器 148
5.2.2 CSS選擇器 151
5.2.3 其他選擇器 152
5.3 Scrapy爬蟲實(shí)戰(zhàn)一：今日影視 153
5.3.1 創(chuàng)建Scrapy項(xiàng)目 153
5.3.2 Scrapy文件介紹 155
5.3.3 Scrapy爬蟲編寫 157
5.4 Scrapy爬蟲實(shí)戰(zhàn)二：天氣預(yù)報(bào) 164
5.4.1 項(xiàng)目準(zhǔn)備 165
5.4.2 創(chuàng)建編輯Scrapy爬蟲 166
5.4.3 數(shù)據(jù)存儲(chǔ)到j(luò)son 173
5.4.4 數(shù)據(jù)存儲(chǔ)到MySQL 175
5.5 Scrapy爬蟲實(shí)戰(zhàn)三：獲取代理 182
5.5.1 項(xiàng)目準(zhǔn)備 182
5.5.2 創(chuàng)建編輯Scrapy爬蟲 183
5.5.3 多個(gè)Spider 188
5.5.4 處理Spider數(shù)據(jù) 192
5.6 Scrapy爬蟲實(shí)戰(zhàn)四：糗事百科 194
5.6.1 目標(biāo)分析 195
5.6.2 創(chuàng)建編輯Scrapy爬蟲 195
5.6.3 Scrapy項(xiàng)目中間件——添加headers 196
5.6.4 Scrapy項(xiàng)目中間件——添加proxy 200
5.7 Scrapy爬蟲實(shí)戰(zhàn)五：爬蟲攻防 202
5.7.1 創(chuàng)建一般爬蟲 202
5.7.2 封鎖間隔時(shí)間破解 206
5.7.3 封鎖Cookies破解 206
5.7.4 封鎖User-Agent破解 207
5.7.5 封鎖IP破解 212
5.8 本章小結(jié) 215
第6章 Beautiful Soup爬蟲 216
6.1 安裝Beautiful Soup環(huán)境 216
6.1.1 Windows下安裝Beautiful Soup 216
6.1.2 Linux下安裝Beautiful Soup 217
6.1.3 最強(qiáng)大的IDE——Eclipse 218
6.2 Beautiful Soup解析器 227
6.2.1 bs4解析器選擇 227
6.2.2 lxml解析器安裝 227
6.2.3 使用bs4過濾器 229
6.3 bs4爬蟲實(shí)戰(zhàn)一：獲取百度貼吧內(nèi)容 234
6.3.1 目標(biāo)分析 234
6.3.2 項(xiàng)目實(shí)施 236
6.3.3 代碼分析 243
6.3.4 Eclipse調(diào)試 244
6.4 bs4爬蟲實(shí)戰(zhàn)二：獲取雙色球中獎(jiǎng)信息 245
6.4.1 目標(biāo)分析 246
6.4.2 項(xiàng)目實(shí)施 248
6.4.3 保存結(jié)果到Excel 251
6.4.4 代碼分析 256
6.5 bs4爬蟲實(shí)戰(zhàn)三：獲取起點(diǎn)小說信息 257
6.5.1 目標(biāo)分析 257
6.5.2 項(xiàng)目實(shí)施 259
6.5.3 保存結(jié)果到MySQL 261
6.5.4 代碼分析 265
6.6 bs4爬蟲實(shí)戰(zhàn)四：獲取電影信息 266
6.6.1 目標(biāo)分析 266
6.6.2 項(xiàng)目實(shí)施 267
6.6.3 bs4反爬蟲 270
6.6.4 代碼分析 273
6.7 bs4爬蟲實(shí)戰(zhàn)五：獲取音悅臺(tái)榜單 273
6.7.1 目標(biāo)分析 273
6.7.2 項(xiàng)目實(shí)施 274
6.7.3 代碼分析 279
6.8 本章小結(jié) 280
第7章 Mechanize模擬瀏覽器 281
7.1 安裝Mechanize模塊 281
7.1.1 Windows下安裝Mechanize 281
7.1.2 Linux下安裝Mechanize 282
7.2 Mechanize 測(cè)試 283
7.2.1 Mechanize百度 283
7.2.2 Mechanize光貓F(tuán)460 286
7.3 Mechanize實(shí)站一：獲取Modem信息 290
7.3.1 獲取F460數(shù)據(jù) 290
7.3.2 代碼分析 293
7.4 Mechanize實(shí)戰(zhàn)二：獲取音悅臺(tái)公告 293
7.4.1 登錄原理 293
7.4.2 獲取Cookie的方法 294
7.4.3 獲取Cookie 298
7.4.4 使用Cookie登錄獲取數(shù)據(jù) 302
7.5 本章小結(jié) 305
第8章 Selenium模擬瀏覽器 306
8.1 安裝Selenium模塊 306
8.1.1 Windows下安裝Selenium模塊 306
8.1.2 Linux下安裝Selenium模塊 307
8.2 瀏覽器選擇 307
8.2.1 Webdriver支持列表 307
8.2.2 Windows下安裝PhantomJS 308
8.2.3 Linux下安裝PhantomJS 310
8.3 Selenium&PhantomJS抓取數(shù)據(jù) 312
8.3.1 獲取百度搜索結(jié)果 312
8.3.2 獲取搜索結(jié)果 314
8.3.3 獲取有效數(shù)據(jù)位置 317
8.3.4 從位置中獲取有效數(shù)據(jù) 319
8.4 Selenium&PhantomJS實(shí)戰(zhàn)一：獲取代理 319
8.4.1 準(zhǔn)備環(huán)境 320
8.4.2 爬蟲代碼 321
8.4.3 代碼解釋 324
8.5 Selenium&PhantomJS實(shí)戰(zhàn)二：漫畫爬蟲 324
8.5.1 準(zhǔn)備環(huán)境 325
8.5.2 爬蟲代碼 326
8.5.3 代碼解釋 329
8.6 本章小結(jié) 329
第9章 Pyspider爬蟲框架 330
9.1 安裝Pyspider 330
9.1.1 Windows下安裝Pyspider 330
9.1.2 Linux下安裝Pyspider 331
9.1.3 選擇器pyquery測(cè)試 333
9.2 Pyspider實(shí)戰(zhàn)一：Youku影視排行 335
9.2.1 創(chuàng)建項(xiàng)目 336
9.2.2 爬蟲編寫 338
9.3 Pyspider實(shí)戰(zhàn)二：電影下載 346
9.3.1 項(xiàng)目分析 346
9.3.2 爬蟲編寫 349
9.3.3 爬蟲運(yùn)行、調(diào)試 355
9.3.4 刪除項(xiàng)目 360
9.4 Pyspider實(shí)戰(zhàn)三：音悅臺(tái)MusicTop 363
9.4.1 項(xiàng)目分析 363
9.4.2 爬蟲編寫 364
9.5 本章小結(jié) 369
第10章 爬蟲與反爬蟲 370
10.1 防止爬蟲IP被禁 370
10.1.1 反爬蟲在行動(dòng) 370
10.1.2 爬蟲的應(yīng)對(duì) 373
10.2 在爬蟲中使用Cookies 377
10.2.1 通過Cookies反爬蟲 377
10.2.2 帶Cookies的爬蟲 378
10.2.3 動(dòng)態(tài)加載反爬蟲 381
10.2.4 使用瀏覽器獲取數(shù)據(jù) 381
10.3 本章小結(jié) 381