python requests庫爬取豆瓣電視劇數(shù)據(jù)并保存到本地詳解

更新時間：2019年08月10日 11:13:10 作者：springionic

這篇文章主要介紹了python requests庫爬取豆瓣電視劇數(shù)據(jù)并保存到本地詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友可以參考下

首先要做的就是去豆瓣網(wǎng)找對應(yīng)的接口，這里就不贅述了，谷歌瀏覽器抓包即可，然后要做的就是分析返回的json數(shù)據(jù)的結(jié)構(gòu)：

https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start=0

這是接口地址，可以大概的分析一下各個參數(shù)的規(guī)則：

type=tv，表示的是電視劇的分類
tag=國產(chǎn)劇，表示是國產(chǎn)劇的分類
sort參數(shù)，這里猜測是一個排序方式
page_limit=20，這個一定就是每頁所存取的數(shù)據(jù)數(shù)量了
page_start=0，表示的是這頁從哪條數(shù)據(jù)開始，比如第二頁就為page_start=20，第三頁為page_start=40，以此類推
最終我們要用到的主要是page_start和page_limit兩個參數(shù)

下面這里是返回的json數(shù)據(jù)格式，可以看出我們要的是json中subjects列表中的每條數(shù)據(jù)，在之后的程序中會把每一個電視劇的信息保存到文件里的一行

有了這些，就直接上程序了，因為感覺程序還是比較好懂，主要還是遵從面向?qū)ο蟮某绦蛟O(shè)計：

import json
import requests


class DoubanSpider(object):
  """爬取豆瓣熱門國產(chǎn)電視劇的數(shù)據(jù)并保存到本地"""

  def __init__(self):
    # url_temp中的start的值是動態(tài)的，所以這里用{}替換，方便后面使用format方法
    self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
    self.headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    }

  def pass_url(self, url): # 發(fā)送請求，獲取響應(yīng)
    print(url)
    response = requests.get(url, headers=self.headers)
    return response.content.decode()

  def get_content_list(self, json_str): # 提取數(shù)據(jù)
    dict_ret = json.loads(json_str)
    content_list = dict_ret['subjects']
    return content_list

  def save_content_list(self, content_list): # 保存
    with open('douban.txt', 'a', encoding='utf-8') as f:
      for content in content_list:
        f.write(json.dumps(content, ensure_ascii=False)) # 一部電視劇的信息一行
        f.write('\n') # 寫入換行符進行換行
    print('保存成功！')


  def run(self): # 實現(xiàn)主要邏輯
    num = 0
    while True:
      # 1. start_url
      url = self.url_temp.format(num)
      # 2. 發(fā)送請求，獲取響應(yīng)
      json_str = self.pass_url(url)
      # 3. 提取數(shù)據(jù)
      content_list = self.get_content_list(json_str)
      # 4. 保存
      self.save_content_list(content_list)
      if len(content_list) < 20:
        break
      # 5. 構(gòu)造下一頁url地址，進入循環(huán)
      num += 20 # 每一頁有二十條數(shù)據(jù)


if __name__ == '__main__':
  douban_spider = DoubanSpider()
  douban_spider.run()

上面是利用循環(huán)遍歷每一頁，后來我又想到用遞歸也可以，雖然遞歸效率可能不高，這里還是展示一下，只需要改幾個地方而已：

import json
import requests


class DoubanSpider(object):
  """爬取豆瓣熱門國產(chǎn)電視劇的數(shù)據(jù)并保存到本地"""
  def __init__(self):
    # url_temp中的start的值是動態(tài)的，所以這里用{}替換，方便后面使用format方法
    self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
    self.headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    }
    self.num = 0

  def pass_url(self, url): # 發(fā)送請求，獲取響應(yīng)
    print(url)
    response = requests.get(url, headers=self.headers)
    return response.content.decode()

  def get_content_list(self, json_str): # 提取數(shù)據(jù)
    dict_ret = json.loads(json_str)
    content_list = dict_ret['subjects']
    return content_list

  def save_content_list(self, content_list): # 保存
    with open('douban2.txt', 'a', encoding='utf-8') as f:
      for content in content_list:
        f.write(json.dumps(content, ensure_ascii=False)) # 一部電視劇的信息一行
        f.write('\n') # 寫入換行符進行換行
    print('保存成功！')


  def run(self): # 實現(xiàn)主要邏輯
    # 1. start_url
    url = self.url_temp.format(self.num)
    # 2. 發(fā)送請求，獲取響應(yīng)
    json_str = self.pass_url(url)
    # 3. 提取數(shù)據(jù)
    content_list = self.get_content_list(json_str)
    # 4. 保存
    self.save_content_list(content_list)
    # 5. 構(gòu)造下一頁url地址，進入循環(huán)
    if len(content_list) == 20:
      self.num += 20 # 每一頁有二十條數(shù)據(jù)
      self.run()


if __name__ == '__main__':
  douban_spider = DoubanSpider()
  douban_spider.run()

最終文件得到的結(jié)果：