python爬蟲框架talonspider簡單介紹
更新時間：2017年06月09日 08:40:35 作者：howie6879
本文給大家介紹的是使用python開發(fā)的爬蟲框架talonspider的簡單介紹以及使用方法，有需要的小伙伴可以參考下
1.為什么寫這個？
一些簡單的頁面，無需用比較大的框架來進行爬取，自己純手寫又比較麻煩
因此針對這個需求寫了talonspider:
•1.針對單頁面的item提取 - 具體介紹點這里
•2.spider模塊 - 具體介紹點這里
2.介紹&&使用
2.1.item
這個模塊是可以獨立使用的，對于一些請求比較簡單的網(wǎng)站（比如只需要get請求），單單只用這個模塊就可以快速地編寫出你想要的爬蟲，比如(以下使用python3，python2見examples目錄)：
2.1.1.單頁面單目標
比如要獲取這個網(wǎng)址http://book.qidian.com/info/1004608738 的書籍信息，封面等信息，可直接這樣寫：
import time
from talonspider import Item, TextField, AttrField
from pprint import pprint
class TestSpider(Item):
title = TextField(css_select='.book-info>h1>em')
author = TextField(css_select='a.writer')
cover = AttrField(css_select='a#bookImg>img', attr='src')
def tal_title(self, title):
return title
def tal_cover(self, cover):
return 'http:' + cover
if __name__ == '__main__':
item_data = TestSpider.get_item(url='http://book.qidian.com/info/1004608738')
pprint(item_data)
2.1.1.單頁面多目標
比如獲取豆瓣250電影首頁展示的25部電影，這一個頁面有25個目標，可直接這樣寫：
from talonspider import Item, TextField, AttrField
from pprint import pprint
# 定義繼承自item的爬蟲類
class DoubanSpider(Item):
target_item = TextField(css_select='div.item')
title = TextField(css_select='span.title')
cover = AttrField(css_select='div.pic>a>img', attr='src')
abstract = TextField(css_select='span.inq')
def tal_title(self, title):
if isinstance(title, str):
return title
else:
return ''.join([i.text.strip().replace('\xa0', '') for i in title])
if __name__ == '__main__':
items_data = DoubanSpider.get_items(url='https://movie.douban.com/top250')
result = []
for item in items_data:
result.append({
'title': item.title,
'cover': item.cover,
'abstract': item.abstract,
})
pprint(result)
2.2.spider
當需要爬取有層次的頁面時，比如爬取豆瓣250全部電影，這時候spider部分就派上了用場：
# !/usr/bin/env python
from talonspider import Spider, Item, TextField, AttrField, Request
from talonspider.utils import get_random_user_agent
# 定義繼承自item的爬蟲類
class DoubanItem(Item):
target_item = TextField(css_select='div.item')
title = TextField(css_select='span.title')
cover = AttrField(css_select='div.pic>a>img', attr='src')
abstract = TextField(css_select='span.inq')
def tal_title(self, title):
if isinstance(title, str):
return title
else:
return ''.join([i.text.strip().replace('\xa0', '') for i in title])
class DoubanSpider(Spider):
# 定義起始url，必須
start_urls = ['https://movie.douban.com/top250']
# requests配置
request_config = {
'RETRIES': 3,
'DELAY': 0,
'TIMEOUT': 20
}
# 解析函數(shù) 必須有
def parse(self, html):
# 將html轉化為etree
etree = self.e_html(html)
# 提取目標值生成新的url
pages = [i.get('href') for i in etree.cssselect('.paginator>a')]
pages.insert(0, '?start=0&filter=')
headers = {
"User-Agent": get_random_user_agent()
}
for page in pages:
url = self.start_urls[0] + page
yield Request(url, request_config=self.request_config, headers=headers, callback=self.parse_item)
def parse_item(self, html):
items_data = DoubanItem.get_items(html=html)
# result = []
for item in items_data:
# result.append({
# 'title': item.title,
# 'cover': item.cover,
# 'abstract': item.abstract,
# })
# 保存
with open('douban250.txt', 'a+') as f:
f.writelines(item.title + '\n')
if __name__ == '__main__':
DoubanSpider.start()
控制臺：
/Users/howie/anaconda3/envs/work3/bin/python /Users/howie/Documents/programming/python/git/talonspider/examples/douban_page_by_spider.py 2017-06-07 23:17:30,346 - talonspider - INFO: talonspider started 2017-06-07 23:17:30,693 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250 2017-06-07 23:17:31,074 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=25&filter= 2017-06-07 23:17:31,416 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=50&filter= 2017-06-07 23:17:31,853 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=75&filter= 2017-06-07 23:17:32,523 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=100&filter= 2017-06-07 23:17:33,032 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=125&filter= 2017-06-07 23:17:33,537 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=150&filter= 2017-06-07 23:17:33,990 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=175&filter= 2017-06-07 23:17:34,406 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=200&filter= 2017-06-07 23:17:34,787 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=225&filter= 2017-06-07 23:17:34,809 - talonspider - INFO: Time usage：0:00:04.462108 Process finished with exit code 0
此時當前目錄會生成douban250.txt，具體見douban_page_by_spider.py。
3.說明
學習之作，待完善的地方還有很多，歡迎提意見，項目地址talonspider。
相關文章
服務端假設所有用戶提交的數(shù)據(jù)都是不可信任的，所以Django框架內(nèi)置了form組件來驗證用戶提交的信息，這篇文章主要介紹了Django forms組件的使用教程，感興趣的小伙伴們可以參考一下2018-10-10
Flask框架學習筆記之使用Flask實現(xiàn)表單開發(fā)詳解
這篇文章主要介紹了Flask框架學習筆記之使用Flask實現(xiàn)表單開發(fā),結合實例形式較為詳細的分析了flask框架表單模板定義、數(shù)據(jù)提交等相關操作技巧,需要的朋友可以參考下2019-08-08
python腳本當作Linux中的服務啟動實現(xiàn)方法
今天小編就為大家分享一篇python腳本當作Linux中的服務啟動實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
python 實現(xiàn)文件的遞歸拷貝實現(xiàn)代碼
今天翻電腦時突然發(fā)現(xiàn)有個存了很多照片和視頻的文件夾，想起來是去年換手機（流行的小5）時拷出來的?？戳藥讖堈掌?，往事又一幕幕的浮現(xiàn)在腦海，好吧，我是個感性的人2012-08-08
決策樹是我本人非常喜歡的機器學習模型,非常直觀容易理解,并且和數(shù)據(jù)結構的結合很緊密,下面這篇文章主要給大家介紹了關于ID3決策樹以及Python實現(xiàn)的相關資料,需要的朋友可以參考下2024-01-01
這篇文章主要給大家介紹了Python2與Python3關于字符串編碼處理差別的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
本文主要介紹了在Python中實現(xiàn)一個字典multidict中鍵可以對應多個值,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-01-01
Dictionary 是 Python 的內(nèi)置數(shù)據(jù)類型之一,它定義了鍵和值之間一對一的關系。下面這篇文章主要給大家介紹了關于如何高效使用Python字典的相關資料，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考借鑒，下面來一起看看吧。2017-08-08
中文編碼問題一直是程序員頭疼的問題,本文將盡量用通俗的語言帶大家徹底的了解字符編碼以及Python2和3中的各種編碼問題。感興趣的可以了解一下2021-11-11
這篇文章主要為大家詳細介紹了Python使用剪切板的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-06-06