Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法

更新時間：2015年04月08日 10:14:15 作者：pythoner

這篇文章主要介紹了Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法,實例分析了打印scrapy蜘蛛抓取樹結(jié)構(gòu)的技巧,非常具有實用價值,需要的朋友可以參考下

本文實例講述了Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法。分享給大家供大家參考。具體如下：

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結(jié)構(gòu)，調(diào)用也非常簡單

#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
  urls = allurls[referer]
  for url in urls:
    print ' '*indent + referer
    if url in allurls:
      print_urls(allurls, url, indent+2)
def main():
  log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
  allurls = defaultdict(list)
  for l in fileinput.input():
    m = log_re.search(l)
    if m:
      url, ref = m.groups()
      allurls[ref] += [url]
  print_urls(allurls, 'None')
main()

希望本文所述對大家的Python程序設計有所幫助。

您可能感興趣的文章:

相關(guān)文章

解決pycharm下pyuic工具使用的問題
這篇文章主要介紹了解決pycharm下pyuic工具使用的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
恢復百度云盤本地誤刪的文件腳本(簡單方法)
下面小編就為大家?guī)硪黄謴桶俣仍票P本地誤刪的文件腳本(簡單方法)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-10-10
Django添加feeds功能的示例
這篇文章主要介紹了Django添加feeds功能的示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-08-08
Python實現(xiàn)自動收集參數(shù)的技巧分享
在Python中,充分利用函數(shù)參數(shù)的自動收集和靈活處理,是寫出高效且易維護代碼的關(guān)鍵之一,本文將深入研究Python函數(shù)參數(shù)的收集方式,感興趣的小伙伴可以了解下
2023-12-12
Pyqt5設置返回鍵和跳轉(zhuǎn)頁面鍵的示例代碼
這篇文章主要介紹了Pyqt5設置返回鍵和跳轉(zhuǎn)頁面鍵的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2021-04-04
Python中super()的理解以及應用場景實例
在python中關(guān)于類的定義可以分為兩種:老式類&新式類,在新式類中有這么一種方法super( ),下面這篇文章主要給大家介紹了關(guān)于Python中super()的理解以及應用場景的相關(guān)資料,需要的朋友可以參考下
2021-09-09
python3寫的簡單本地文件上傳服務器實例
今天小編就為大家分享一篇python3寫的簡單本地文件上傳服務器實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
selenium+python自動化測試之鼠標和鍵盤事件
這篇文章主要介紹了selenium+python自動化測試之鼠標和鍵盤事件，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2019-01-01
python Crypto模塊的安裝與使用方法
本篇文章主要介紹了python Crypto模塊的安裝與使用方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-12-12
python提取word文件中的圖片并上傳阿里云OSS
這篇文章主要介紹了通過Python提取Word文件中的所有圖片，并將其上傳至阿里云OSS。文中的示例代碼對學習Python有一定的幫助，快跟隨小編一起學習一下吧
2021-12-12