python爬蟲中url管理器去重操作實(shí)例

更新時(shí)間：2020年11月30日 15:43:44 作者：小妮淺淺

在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python爬蟲中url管理器去重操作實(shí)例，有需要的朋友們可以參考下。

當(dāng)我們需要有一批貨物需要存放時(shí)，最好的方法就是有一個(gè)倉(cāng)庫(kù)進(jìn)行保管。我們可以把URL管理器看成一個(gè)收集了數(shù)據(jù)的大倉(cāng)庫(kù)，而下載器就是這個(gè)倉(cāng)庫(kù)貨物的搬運(yùn)者。關(guān)于下載器的問題，我們暫且不談。本篇主要討論的是在url管理器中，我們遇到重復(fù)的數(shù)據(jù)應(yīng)該如何識(shí)別出來，避免像倉(cāng)庫(kù)一樣過多的囤積相同的貨物。聽起來是不是很有意思，下面我們一起進(jìn)入今天的學(xué)習(xí)。

URL管理器到底應(yīng)該具有哪些功能？

URL下載器應(yīng)該包含兩個(gè)倉(cāng)庫(kù)，分別存放沒有爬取過的鏈接和已經(jīng)爬取過的鏈接。
應(yīng)該有一些函數(shù)負(fù)責(zé)往上述兩個(gè)倉(cāng)庫(kù)里添加鏈接
應(yīng)該有一個(gè)函數(shù)負(fù)責(zé)從新url倉(cāng)庫(kù)中隨機(jī)取出一條鏈接以便下載器爬取
URL下載器應(yīng)該能識(shí)別重復(fù)的鏈接，已經(jīng)爬取過的鏈接就不需要放進(jìn)倉(cāng)庫(kù)了

如果一個(gè)URL管理器能夠具有以上4點(diǎn)功能，也算是“麻雀雖小，五臟俱全”了。然而，鏈接去重這個(gè)功能，應(yīng)該怎么實(shí)現(xiàn)？

鏈接去重是關(guān)系爬蟲效率的一個(gè)比較關(guān)鍵的點(diǎn)，尤其是爬取的數(shù)據(jù)量極大的時(shí)候。在這個(gè)簡(jiǎn)單的例子里，由于數(shù)據(jù)量較少，我們不需要太過復(fù)雜的算法，直接借助于python的set()函數(shù)即可，該函數(shù)可以生成一個(gè)集合對(duì)象，其元素不可重復(fù)。

根據(jù)以上分析，URL管理器的w代碼如下：

'''
UrlManager
class UrlManager(object):
  def __init__(self):
    #初始化的時(shí)候就生成兩個(gè)url倉(cāng)庫(kù)
    self.new_urls = set()
    self.old_urls = set()
  #判斷新url倉(cāng)庫(kù)中是否還有沒有爬取的url
  def has_new_url(self):
    return len(self.new_urls)
  #從new_url倉(cāng)庫(kù)獲取一個(gè)新的url
  def get_new_url(self):
    return self.new_urls.pop()
  def add_new_url(self, url):  #這個(gè)函數(shù)后來用不到了……
    '''
    將一條url添加到new_urls倉(cāng)庫(kù)中
    parm url: str
    return:
    if url is None:
      return
    #只需要判斷old_urls中沒有該鏈接即可，new_urls在添加的時(shí)候會(huì)自動(dòng)去重
    if url not in self.old_urls:
      self.new_urls.add(url)
  def add_new_urls(self, urls):
    將多條url添加到new_urls倉(cāng)庫(kù)中
    parm url: 可迭代對(duì)象
    print "start add_new_urls"
    if urls is None or len(urls) == 0:
    for url in urls:
      self.add_new_url(url)
  def add_old_url(self, url):
    self.old_urls.add(url)
    print "add old url succefully"
  #獲取已經(jīng)爬取過的url的數(shù)目
  def old_url_size(self):
    return len(self.old_urls)

嘗試過以上代碼的小伙伴，已經(jīng)成功學(xué)會(huì)用url管理器篩選重復(fù)的數(shù)據(jù)了。相信大家經(jīng)過今天的學(xué)習(xí)，已經(jīng)能夠了解url的基本功能和簡(jiǎn)單的使用。

到此這篇關(guān)于python爬蟲中url管理器去重操作實(shí)例的文章就介紹到這了,更多相關(guān)python爬蟲中url管理器如何去重內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！