python使用scrapy解析js示例

更新時(shí)間：2014年01月23日 10:06:22 作者：

這篇文章主要介紹了python使用scrapy解析js的示例，大家參考使用吧

from selenium import selenium

class MySpider(CrawlSpider):
    name = 'cnbeta'
    allowed_domains = ['cnbeta.com']
    start_urls = ['http://www.dhdzp.com']

    rules = (
        # Extract links matching 'category.php' (but not matching 'subsection.php')
        # and follow links from them (since no callback means follow=True by default).
        Rule(SgmlLinkExtractor(allow=('/articles/.*\.htm', )),
             callback='parse_page', follow=True),

# Extract links matching 'item.php' and parse them with the spider's method parse_item
)

    def __init__(self):
        CrawlSpider.__init__(self)
        self.verificationErrors = []
        self.selenium = selenium("localhost", 4444, "*firefox", "http://www.dhdzp.com")
        self.selenium.start()

    def __del__(self):
        self.selenium.stop()
        print self.verificationErrors
        CrawlSpider.__del__(self)

    def parse_page(self, response):
        self.log('Hi, this is an item page! %s' % response.url)
        sel = Selector(response)
        from webproxy.items import WebproxyItem

        sel = self.selenium
        sel.open(response.url)
        sel.wait_for_page_to_load("30000")
        import time

time.sleep(2.5)

您可能感興趣的文章:

scrapy

相關(guān)文章

Python數(shù)據(jù)可視化實(shí)現(xiàn)多種圖例代碼詳解
這篇文章主要介紹了Python數(shù)據(jù)可視化實(shí)現(xiàn)多種圖例代碼詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-07-07
Python 線程池模塊之多線程操作代碼
最近在做一個(gè)爬蟲相關(guān)的項(xiàng)目，單線程的整站爬蟲，耗時(shí)真的不是一般的巨大，運(yùn)行一次也是心累，所以，要想實(shí)現(xiàn)整站爬蟲，多線程是不可避免的，那么python多線程又應(yīng)該怎樣實(shí)現(xiàn)呢？今天小編給大家分享下實(shí)現(xiàn)代碼，感興趣的朋友一起看看吧
2021-05-05
Python處理Excel的14個(gè)常用操作總結(jié)
在數(shù)據(jù)處理和分析的領(lǐng)域中,Excel是一種被廣泛使用的工具,然而,通過(guò)Python處理Excel,能夠更好地實(shí)現(xiàn)自動(dòng)化和批量處理,本文為大家整理了14個(gè)Python處理Excel的常用操作,希望對(duì)大家有所幫助
2023-12-12
python ipset管理增刪白名單的方法
今天小編就為大家分享一篇python ipset管理增刪白名單的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-01-01
Python解決MySQL數(shù)據(jù)處理從SQL批量刪除報(bào)錯(cuò)
這篇文章主要為大家介紹了Python解決MySQL數(shù)據(jù)處理從SQL批量刪除報(bào)錯(cuò)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2023-12-12
使用python實(shí)現(xiàn)多維數(shù)據(jù)降維操作
今天小編就為大家分享一篇使用python實(shí)現(xiàn)多維數(shù)據(jù)降維操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-02-02
python+django加載靜態(tài)網(wǎng)頁(yè)模板解析
這篇文章主要介紹了python+django加載靜態(tài)網(wǎng)頁(yè)模板解析，具有一定借鑒價(jià)值，需要的朋友可以參考下。
2017-12-12
python Pexpect模塊的使用
這篇文章主要介紹了python Pexpect模塊的使用，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-12-12
Python實(shí)現(xiàn)將圖像轉(zhuǎn)換為ASCII字符圖
使用Python進(jìn)行圖像處理，非?？旖莘奖?，往往簡(jiǎn)短幾行代碼就可以實(shí)現(xiàn)功能強(qiáng)大的效果。在這篇文章中，我們將使用Python將圖像轉(zhuǎn)換為ASCII字符照，感興趣的可以了解一下
2022-08-08
Python深度學(xué)習(xí)pytorch實(shí)現(xiàn)圖像分類數(shù)據(jù)集
這篇文章主要為大家講解了關(guān)于Python深度學(xué)習(xí)中pytorch實(shí)現(xiàn)圖像分類數(shù)據(jù)集的示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助
2021-10-10