Python使用scrapy抓取網(wǎng)站sitemap信息的方法

更新時間：2015年04月08日 09:46:40 作者：pythoner

這篇文章主要介紹了Python使用scrapy抓取網(wǎng)站sitemap信息的方法,涉及Python框架scrapy的使用技巧,具有一定參考借鑒價值,需要的朋友可以參考下

本文實例講述了Python使用scrapy抓取網(wǎng)站sitemap信息的方法。分享給大家供大家參考。具體如下：

import re
from scrapy.spider import BaseSpider
from scrapy import log
from scrapy.utils.response import body_or_str
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
class SitemapSpider(BaseSpider):
 name = "SitemapSpider"
 start_urls = ["http://www.domain.com/sitemap.xml"]
 def parse(self, response):
  nodename = 'loc'
  text = body_or_str(response)
  r = re.compile(r"(<%s[\s>])(.*?)(</%s>)"%(nodename,nodename),re.DOTALL)
  for match in r.finditer(text):
   url = match.group(2)
   yield Request(url, callback=self.parse_page)
 def parse_page(self, response):
    hxs = HtmlXPathSelector(response)
    #Mock Item
  blah = Item()
  #Do all your page parsing and selecting the elemtents you want
    blash.divText = hxs.select('//div/text()').extract()[0]
  yield blah

希望本文所述對大家的Python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python 正則表達(dá)式操作指南
本文是通過Python的 re 模塊來使用正則表達(dá)式的一個入門教程，和庫參考手冊的對應(yīng)章節(jié)相比，更為淺顯易懂、循序漸進(jìn)。
2009-05-05
python入門for循環(huán)嵌套理解學(xué)習(xí)
這篇文章主要介紹了python入門關(guān)于for循環(huán)嵌套的理解學(xué)習(xí)，希望大家可以學(xué)會并運(yùn)用到日常工作中，有需要的朋友可以借鑒參考下，希望能夠有幫助
2021-09-09
詳解Python?matplotlib中的色彩使用詳解
matplotlib中提供了一些常見顏色的字符串，并封裝成了幾個顏色字典，這篇文章主要來和大家講解一下matplotlib中的色彩使用，需要的可以參考一下
2023-07-07
python判斷所輸入的任意一個正整數(shù)是否為素數(shù)的兩種方法
今天小編就為大家分享一篇python判斷所輸入的任意一個正整數(shù)是否為素數(shù)的兩種方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-06-06
opencv之顏色過濾只留下圖片中的紅色區(qū)域操作
這篇文章主要介紹了opencv之顏色過濾只留下圖片中的紅色區(qū)域操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
Python實現(xiàn)八大排序算法
這篇文章主要介紹了Python實現(xiàn)八大排序算法,如何用Python實現(xiàn)八大排序算法，感興趣的小伙伴們可以參考一下
2016-08-08
jupyter?notebook?自定義python解釋器的過程詳解
大家都知道jupyter?notebook?網(wǎng)頁版交互環(huán)境，類似于ipython，功能強(qiáng)大，這篇文章主要介紹了jupyter?notebook?自定義python解釋器的過程,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2022-10-10
使用Matplotlib創(chuàng)建基本圖表的詳細(xì)指南
Matplotlib 是一個功能強(qiáng)大的 Python 庫,用于創(chuàng)建各種類型的圖表和可視化,在本文中,我們將提供一個完整的指南,介紹如何使用 Matplotlib 創(chuàng)建基本的圖表,包括折線圖、散點圖、柱狀圖和餅圖,感興趣的小伙伴跟著小編一起來看看吧
2024-05-05
Django框架安裝方法圖文詳解
這篇文章主要介紹了Django框架安裝方法,結(jié)合圖文與實例形式詳細(xì)分析了Django框架的下載、安裝簡單使用方法及相關(guān)操作注意事項,需要的朋友可以參考下
2019-11-11
Python/ArcPy遍歷指定目錄中的MDB文件方法
今天小編就為大家分享一篇Python/ArcPy遍歷指定目錄中的MDB文件方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-10-10