python并發(fā)爬蟲實(shí)用工具tomorrow實(shí)用解析

更新時(shí)間：2019年09月25日 09:26:44 作者：python學(xué)習(xí)開發(fā)

這篇文章主要介紹了python并發(fā)爬蟲實(shí)用工具tomorrow實(shí)用解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

tomorrow是我最近在用的一個(gè)爬蟲利器，該模塊屬于第三方的一個(gè)模塊，使用起來非常的方便，只需要用其中的threads方法作為裝飾器去修飾一個(gè)普通的函數(shù)，既可以達(dá)到并發(fā)的效果，本篇將用實(shí)例來展示tomorrow的強(qiáng)大之處。后面將對(duì)tomorrow的實(shí)現(xiàn)原理做進(jìn)一步的分析。

1.安裝第三方包

pip install requests_html #網(wǎng)絡(luò)請(qǐng)求包
pip install fake-useragent #獲取useragent包
pip install tomorrow

2.普通下載方式

在這里我們用20個(gè)電影網(wǎng)址進(jìn)行測(cè)試，并獲取其標(biāo)題，計(jì)算所用的時(shí)間

start=time.time()
for i in url_list:
   print(get_xpath(get_req(i),"http://title//text()"))
end=time.time()
print("普通方式花費(fèi)時(shí)間",end-start)

get_req是我定義的訪問網(wǎng)絡(luò)的一個(gè)方法，get_xpath是為例使用xpath表達(dá)式獲取其結(jié)果，這里是獲取網(wǎng)址的標(biāo)題。20個(gè)電影網(wǎng)址普通方式訪問的結(jié)果在8-9秒之間。

3.使用tomorrow以后

start2 = time.time()
req_list = []
for url in url_list:
  req = async_get_req(url)
  req_list.append(req)

for req in req_list:
  print(get_xpath(req, "http://title//text()"))
end2 = time.time()
print("并發(fā)后花費(fèi)時(shí)間", end2 - start2)

如果我們想要使用tomorrow，就要盡量減少耗時(shí)操作，訪問網(wǎng)絡(luò)并等待其回應(yīng)就是一個(gè)非常耗時(shí)的工作，在這里我們需要做的是，并發(fā)的時(shí)候除了訪問網(wǎng)絡(luò)不要做其他操作，然后我們把獲取的請(qǐng)求存一個(gè)列表，然后再去循環(huán)做其他操作，看不懂我說的沒關(guān)系，直接看下面代碼并嘗試幾次就明白了。

4.測(cè)試結(jié)果對(duì)比

來看程序的完整代碼:

import time
from requests_html import HTMLSession
from fake_useragent import UserAgent as ua
from tomorrow import threads

headers = {"User-Agent": ua().Chrome}
session = HTMLSession()
url_list = ["https://movie.douban.com",
      "http://www.1905.com/",
      "http://www.mtime.com/",
      "https://www.dy2018.com/",
      "http://dytt8.net",
      "https://www.piaohua.com/",
      "http://maoyan.com",
      "https://www.xigua110.com/",
      "https://www.vmovier.com/",
      "http://movie.kankan.com/",
      "https://107cine.com/",
      "http://movie.youku.com",
      "http://film.qq.com",
      "http://film.spider.com.cn",
      "https://dianying.taobao.com/",
      "http://www.wandafilm.com/",
      "http://www.dygang.net/",
      "http://www.bale.cn/",
      "http://dianying.2345.com/",
      "http://v.x2y4.com/"]


def get_req(url, timeout=10):
  req = session.get(url, headers=headers, timeout=timeout)
  if req.status_code == 200:
    return req


@threads(5)
def async_get_req(url, timeout=10):
  req = session.get(url, headers=headers, timeout=timeout)
  if req.status_code == 200:
    return req


def get_xpath(req, xpath_str):
  return req.html.xpath(xpath_str)[0].strip().replace("\n", "")


start=time.time()
for i in url_list:
   print(get_xpath(get_req(i),"http://title//text()"))
end=time.time()
print("普通方式花費(fèi)時(shí)間",end-start)

start2 = time.time()
req_list = []
for url in url_list:
  req = async_get_req(url)
  req_list.append(req)

for req in req_list:
  print(get_xpath(req, "http://title//text()"))
end2 = time.time()
print("并發(fā)后花費(fèi)時(shí)間", end2 - start2)

運(yùn)行三次上面的程序記錄下每次的結(jié)果

第一次：
普通方式花費(fèi)時(shí)間 7.883908271789551
并發(fā)后花費(fèi)時(shí)間 2.2888755798339844
第二次:
普通方式花費(fèi)時(shí)間 8.522203207015991
并發(fā)后花費(fèi)時(shí)間 2.4674007892608643
第三次:
普通方式花費(fèi)時(shí)間 9.062756061553955
并發(fā)后花費(fèi)時(shí)間 2.8703203201293945

tomorrow使用起來很簡(jiǎn)單，在普通的函數(shù)上面加個(gè)threads裝飾器即可以實(shí)現(xiàn)并發(fā)效果，括號(hào)中的數(shù)字是表示并發(fā)的次數(shù)，經(jīng)過我的測(cè)試并不是并發(fā)次數(shù)越多越好，你需要選擇一個(gè)中間點(diǎn)，因?yàn)檫€會(huì)受到網(wǎng)速的影響，我覺得一般并發(fā)數(shù)5-10就好.

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: