Python使用scrapy采集時偽裝成HTTP/1.1的方法
更新時間：2015年04月08日 10:18:35 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集時偽裝成HTTP/1.1的方法,實例分析了scrapy采集的使用技巧,非常具有實用價值,需要的朋友可以參考下
本文實例講述了Python使用scrapy采集時偽裝成HTTP/1.1的方法。分享給大家供大家參考。具體如下：
添加下面的代碼到 settings.py 文件
復制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'
保存以下代碼到單獨的.py文件
復制代碼 代碼如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
希望本文所述對大家的Python程序設計有所幫助。
相關文章
這篇文章主要介紹了深入淺析python繼承問題的相關資料，非常不錯，感興趣的朋友一起看看吧2016-05-05
今天小編就為大家分享一篇python實現(xiàn)一個點繞另一個點旋轉后的坐標，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
最近在使用python做接口測試，發(fā)現(xiàn)python中http請求方法有許多種，今天抽點時間把相關內容整理，對python http請求相關知識感興趣的朋友一起學習吧2016-01-01
在本篇文章里小編給大家分享了關于python代碼運行助手用法，需要的朋友們可以學習下。2020-07-07
本文主要介紹了Python+Selenium實現(xiàn)自動填寫問卷，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-07-07
這篇文章主要介紹了Python批量安裝卸載1000個apk的方法，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了Python中的pack和unpack的使用,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-03-03
這篇文章主要介紹了Python利用Xpath選擇器爬取京東網商品信息,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
本教程的最終目的就是教會大家如何使用Python制作網站，非常的詳盡，需要的朋友可以參考下2014-10-10
python?matplotlib自定義colorbar顏色條及內置色條詳解
由于自己畫圖的需要想要用一些自定義的顏色來做一個colorbar,所以下面這篇文章主要給大家介紹了關于python?matplotlib自定義colorbar顏色條及內置色條的相關資料,需要的朋友可以參考下2022-08-08