Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)

更新時(shí)間：2020年09月28日 10:34:07 作者：BradyCC

這篇文章主要介紹了Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

應(yīng)用 Scrapy框架，配置動(dòng)態(tài)IP處理反爬。

# settings 配置中間件
DOWNLOADER_MIDDLEWARES = {
  'text.middlewares.TextDownloaderMiddleware': 543,
  # 'text.middlewares.RandomUserAgentMiddleware': 544,
  # 'text.middlewares.CheckUserAgentMiddleware': 545,
  'text.middlewares.ProxyMiddleware': 546,
  'text.middlewares.CheckProxyMiddleware': 547
}

 
# settings 配置可用動(dòng)態(tài)IP
PROXIES = [
  "http://101.231.104.82:80",
  "http://39.137.69.6:8080",
  "http://39.137.69.10:8080",
  "http://39.137.69.7:80",
  "http://39.137.77.66:8080",
  "http://117.191.11.102:80",
  "http://117.191.11.113:8080",
  "http://117.191.11.113:80",
  "http://120.210.219.103:8080",
  "http://120.210.219.104:80",
  "http://120.210.219.102:80",
  "http://119.41.236.180:8010",
  "http://117.191.11.80:8080"
]

# middlewares 配置中間件
import random

class ProxyMiddleware(object):

  def process_request(self, request, spider):
    ip = random.choice(spider.settings.get('PROXIES'))
    print('測(cè)試IP:', ip)
    request.meta['proxy'] = ip


class CheckProxyMiddleware(object):

  def process_response(self, request, response, spider):
    print('代理IP:', request.meta['proxy'])
    return response

到此這篇關(guān)于Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Scrapy 動(dòng)態(tài)代理IP內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

python3 Scrapy爬蟲框架ip代理配置的方法

相關(guān)文章

一步步教你用Python畫五彩氣球
這篇文章主要給大家介紹了關(guān)于如何用Python畫五彩氣球的相關(guān)資料,主要是用turtle庫自帶的畫筆turtle.Turtle()來繪制氣球,文中給出了詳細(xì)的實(shí)例代碼,需要的朋友可以參考下
2023-06-06
python批量爬取圖片的方法詳解
這篇文章給大家介紹了如何使用python批量爬取圖片,文中通過代碼示例給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
2023-12-12
Python編碼類型轉(zhuǎn)換方法詳解
這篇文章主要介紹了Python編碼類型轉(zhuǎn)換方法,結(jié)合實(shí)例形式詳細(xì)分析了Python針對(duì)各種常見編碼的轉(zhuǎn)碼與解碼等操作技巧,需要的朋友可以參考下
2016-07-07
Python Numpy庫安裝與基本操作示例
這篇文章主要介紹了Python Numpy庫安裝與基本操作,簡(jiǎn)單介紹了Numpy庫的基本功能、并結(jié)合實(shí)例形式分析了基于Numpy庫的數(shù)組與矩陣相關(guān)操作技巧,需要的朋友可以參考下
2019-01-01
Python多線程使用方法詳細(xì)講解
這篇文章主要介紹了Python中的多線程實(shí)例，一個(gè)CPU，將時(shí)間切成一片一片的，CPU輪轉(zhuǎn)著去處理一件一件的事情，到了規(guī)定的時(shí)間片就處理下一件事情，更多的相關(guān)內(nèi)容需要的小伙伴可以參考下面文章詳細(xì)
2022-10-10
Django開發(fā)中使用Ueditor上傳圖片遇到的坑及解決
在Django開發(fā)中使用Ueditor上傳圖片時(shí),可能會(huì)遇到后端配置不正確的問題,建議在實(shí)例化Ueditor后加上serverUrl,這可以在Chrome的F12工具中查看請(qǐng)求的后端配置項(xiàng),此外,如果需要修改上傳路徑,可以在配置文件中更改路徑,并調(diào)整view.py中的代碼來管理上傳文件
2024-09-09
17個(gè)Python小技巧分享
這篇文章主要給大家分享了17個(gè)Python小技巧，都是些基礎(chǔ)的非常常用也非常實(shí)用的小技巧，這里推薦給大家。
2015-01-01
python中GIL鎖的實(shí)現(xiàn)
GIL是CPython中的一種線程鎖機(jī)制,確保同一時(shí)間只有一個(gè)線程執(zhí)行Python代碼,本文就來介紹一下python中GIL鎖的實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下
2025-01-01
Pyinstaller將py打包成exe的實(shí)例
下面小編就為大家分享一篇Pyinstaller將py打包成exe的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-03-03
使用OpenCV對(duì)車道進(jìn)行實(shí)時(shí)檢測(cè)的實(shí)現(xiàn)示例代碼
這篇文章主要介紹了使用OpenCV對(duì)車道進(jìn)行實(shí)時(shí)檢測(cè)的實(shí)現(xiàn)示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-06-06