爬蟲真是一件有意思的事兒啊，之前寫過爬蟲，用的是urllib2、BeautifulSoup實(shí)現(xiàn)簡單爬蟲，scrapy也有實(shí)現(xiàn)過。最近想更好的學(xué)習(xí)爬蟲，那么就盡可能的做記錄吧。這篇博客就我今天的一個(gè)學(xué)習(xí)過程寫寫吧。

一 正則表達(dá)式

　　正則表達(dá)式是一個(gè)很強(qiáng)大的工具了，眾多的語法規(guī)則，我在爬蟲中常用的有：

　　常用的方法有：find_all()，search()，sub()

　　對(duì)以上語法方法做以練習(xí)，代碼見：https://github.com/Ben0825/Crawler/blob/master/re_test.py

二 urllib和urllib2

　　urllib和urllib2庫是學(xué)習(xí)Python爬蟲最基本的庫，利用該庫，我們可以得到網(wǎng)頁的內(nèi)容，同時(shí)，可以結(jié)合正則對(duì)這些內(nèi)容提取分析，得到真正想要的結(jié)果。

　　在此將urllib和urllib2結(jié)合正則爬取了糗事百科中的作者點(diǎn)贊數(shù)內(nèi)容。

　　代碼見：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py

三 BeautifulSoup

　　BeautifulSoup是Python的一個(gè)庫，最主要的功能是從網(wǎng)頁抓取數(shù)據(jù)，官方介紹是這樣的：
　　Beautiful Soup 提供一些簡單的、python 式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個(gè)工具箱,通過解析文檔為用戶提供需要抓取的數(shù)據(jù),因?yàn)楹唵?所以不需要多少代碼就可以寫出一個(gè)完整的應(yīng)用程序。
　　Beautiful Soup 自動(dòng)將輸入文檔轉(zhuǎn)換為 Unicode 編碼,輸出文檔轉(zhuǎn)換為 utf-8 編碼。你不需要考慮編碼方式,除非文檔沒有指定一個(gè)編碼方式,這時(shí),Beautiful Soup 就不能自動(dòng)識(shí)別編碼方式了。然后,你僅僅需要說明一下原始編碼方式就可以了。
　　Beautiful Soup 已成為和 lxml、html6lib 一樣出色的 python 解釋器,為用戶靈活地提供不同的解析策略或強(qiáng)勁的速度。

　　首先：爬取百度百科Python詞條下相關(guān)的100個(gè)頁面，爬取的頁面值自己設(shè)定。

　　代碼詳見：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider

　　代碼運(yùn)行：

　　鞏固篇，依據(jù)豆瓣中圖書的標(biāo)簽得到一個(gè)書單，同樣使用BeautifulSoup。

　　代碼詳見：https://github.com/Ben0825/Crawler/blob/master/doubanTag.py

　　運(yùn)行結(jié)果：　　

　　　以上就是今天學(xué)習(xí)的一些內(nèi)容，爬蟲真的很有意思啊，明天繼續(xù)學(xué)scrapy!