python Scrapy框架原理解析

更新時(shí)間：2021年01月04日 11:47:51 作者：劃水De雁曉明

這篇文章主要介紹了python Scrapy框架原理的相關(guān)資料，幫助大家更好的理解和使用python爬蟲，感興趣的朋友可以了解下

Python 爬蟲包含兩個(gè)重要的部分：正則表達(dá)式和Scrapy框架的運(yùn)用，正則表達(dá)式對(duì)于所有語言都是通用的，網(wǎng)絡(luò)上可以找到各種資源。

如下是手繪Scrapy框架原理圖，幫助理解

如下是一段運(yùn)用Scrapy創(chuàng)建的spider：使用了內(nèi)置的crawl模板，以利用Scrapy庫的CrawlSpider。相對(duì)于簡(jiǎn)單的爬取爬蟲來說，Scrapy的CrawlSpider擁有一些網(wǎng)絡(luò)爬取時(shí)可用的特殊屬性和方法：

$ scrapy genspider country_or_district example.python-scrapying.com--template=crawl

運(yùn)行g(shù)enspider命令后，下面的代碼將會(huì)在example/spiders/country_or_district.py中自動(dòng)生成。

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from example.items import CountryOrDistrictItem


class CountryOrDistrictSpider(CrawlSpider):
  name = 'country_or_district'
  allowed_domains = ['example.python-scraping.com']
  start_urls = ['http://example.python-scraping.com/']

  rules = (
    Rule(LinkExtractor(allow=r'/index/', deny=r'/user/'),
       follow=True),
    Rule(LinkExtractor(allow=r'/view/', deny=r'/user/'),
       callback='parse_item'),
  )

  def parse_item(self, response):
    item = CountryOrDistrictItem()
    name_css = 'tr#places_country_or_district__row td.w2p_fw::text'
    item['name'] = response.css(name_css).extract()
    pop_xpath = '//tr[@id="places_population__row"]/td[@class="w2p_fw"]/text()'
    item['population'] = response.xpath(pop_xpath).extract()
    return item

爬蟲類包括的屬性：

name: 識(shí)別爬蟲的字符串。
allowed_domains: 可以爬取的域名列表。如果沒有設(shè)置該屬性，則表示可以爬取任何域名。
start_urls: 爬蟲起始URL列表。
rules: 該屬性為一個(gè)通過正則表達(dá)式定義的Rule對(duì)象元組，用于告知爬蟲需要跟蹤哪些鏈接以及哪些鏈接包含抓取的有用內(nèi)容。

以上就是python Scrapy框架原理解析的詳細(xì)內(nèi)容，更多關(guān)于Scrapy框架原理的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

Python3多線程詳解
使用多線程，可以同時(shí)進(jìn)行多項(xiàng)任務(wù)，可以使用戶界面更友好，還可以后臺(tái)執(zhí)行某些用時(shí)長的任務(wù)，同時(shí)具有易于通信的優(yōu)點(diǎn)。python3中多線程的實(shí)現(xiàn)使用了threading模塊，它允許同一進(jìn)程中運(yùn)行多個(gè)線程，本文介紹的非常詳細(xì)，,需要的朋友可以參考下
2023-05-05
python實(shí)現(xiàn)求最長回文子串長度
最長回文子串問題：給定一個(gè)字符串，求它的最長回文子串長度。如果一個(gè)字符串正著讀和反著讀是一樣的，那它就是回文串。今天我們就來探討下這個(gè)問題
2018-01-01
Python 開發(fā)工具PyCharm安裝教程圖文詳解(新手必看)
PyCharm是一種Python IDE，帶有一整套可以幫助用戶在使用Python語言開發(fā)時(shí)提高其效率的工具，比如調(diào)試、語法高亮、Project管理、代碼跳轉(zhuǎn)、智能提示、自動(dòng)完成、單元測(cè)試、版本控制。今天通過本文給大家分享PyCharm安裝教程，一起看看吧
2020-02-02
pytorch 計(jì)算Parameter和FLOP的操作
這篇文章主要介紹了pytorch 計(jì)算Parameter和FLOP的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2021-03-03
查看已安裝tensorflow版本的方法示例
這篇文章主要介紹了查看已安裝tensorflow版本的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-04-04
Python基于os.environ從windows獲取環(huán)境變量
這篇文章主要介紹了Python基于os.environ從windows獲取環(huán)境變量,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-06-06
Python實(shí)現(xiàn)單詞拼寫檢查
這篇文章主要介紹了Python實(shí)現(xiàn)單詞拼寫檢查,本文講解了單詞拼寫檢查的一些知識(shí)并給出兩種實(shí)現(xiàn)方法,需要的朋友可以參考下
2015-04-04
python使用wxpython開發(fā)簡(jiǎn)單記事本的方法
這篇文章主要介紹了python使用wxpython開發(fā)簡(jiǎn)單記事本的方法,涉及Python使用wxPython實(shí)現(xiàn)桌面圖形應(yīng)用程序的技巧,需要的朋友可以參考下
2015-05-05
Python讀取pdf文件的簡(jiǎn)單代碼示例
PDF文件的數(shù)據(jù)主要是文本、圖片、表格,這三部分組成,但是也會(huì)穿插流程圖、各種柱狀圖等,這篇文章主要給大家介紹了關(guān)于Python讀取pdf文件的簡(jiǎn)單代碼示例,需要的朋友可以參考下
2024-02-02
在django中使用自定義標(biāo)簽實(shí)現(xiàn)分頁功能
這篇文章主要介紹了在django中使用自定義標(biāo)簽實(shí)現(xiàn)分頁功能,具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-07-07