Python3實現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法

更新時間：2018年04月22日 11:58:04 作者：wangbowj123

這篇文章主要介紹了Python3實現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法,涉及Python基于urllib模塊的頁面爬取與文件讀寫相關(guān)操作技巧,需要的朋友可以參考下

分享給大家供大家參考，具體如下：Python3實現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法。分享給大家供大家參考，具體如下：

首先我們創(chuàng)建一個python文件, tieba.py，我們要完成的是，輸入指定百度貼吧名字與指定頁面范圍之后爬取頁面html代碼，我們首先觀察貼吧url的規(guī)律，比如：

百度貼吧LOL吧第一頁：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0

第二頁： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50

第三頁： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

發(fā)現(xiàn)規(guī)律了吧，貼吧中每個頁面不同之處，就是url最后的pn的值，其余的都是一樣的，我們可以抓住這個規(guī)律（kw表示貼吧名，采用url編碼）。

清楚了url規(guī)則，我們便可以利用urllib進(jìn)行批量式數(shù)據(jù)爬取，代碼如下：

# -*- coding:utf-8 -*-
from urllib import request as urllib2
from urllib import parse
import random
def loadPage(url, page):
  '''
  根據(jù)url獲取服務(wù)器響應(yīng)文件
  url:需要爬取的url
  '''
  print('---------正在下載頁面%d-------' % page)
  ua_list = [
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
  ]
  header = random.choice(ua_list)
  request = urllib2.Request(url)
  request.add_header('User-Agent', header)
  response = urllib2.urlopen(request)
  html = response.read()
  return html
def write(html, page):
  '''
  將html文件寫入本地
  :param html: 服務(wù)器響應(yīng)文件內(nèi)容
  :return:
  '''
  data = html
  file_name = 'tieba{}.txt'.format(page)
  print('---------正在保存文件%s-------'%file_name)
  # 運(yùn)用with open as語句使代碼更加簡潔 避免寫異常處理和文件關(guān)閉語句
  with open(file_name,'w',encoding='utf-8') as file:
    file.write(data.decode())
  print('---------success!---------')
def tiebaSpider(url, kw, begin, end):
  '''
  爬取貼吧信息
  '''
  words = {
    'kw':kw
  }
  kw = parse.urlencode(words)
  url = url % (kw)
  for page in range(begin, end + 1):
    pn = ((page-1)*50)
    ful_url = url + str(pn)
    html = loadPage(url, page)
    write(html, page)
if __name__ == '__main__':
  kw = input('請輸入爬取貼吧名:')
  beginPage = int(input('請輸入起始頁:'))
  endPage = int(input('請輸入結(jié)束頁:'))
  url = r'http://tieba.baidu.com/f?%s&pn='
  tiebaSpider(url, kw, beginPage, endPage)

控制臺結(jié)果如下：

請輸入爬取貼吧名:河南
請輸入起始頁:1
請輸入結(jié)束頁:3
---------正在下載頁面1-------
---------正在保存文件tieba1.txt-------
---------success!---------
---------正在下載頁面2-------
---------正在保存文件tieba2.txt-------
---------success!---------
---------正在下載頁面3-------
---------正在保存文件tieba3.txt-------
---------success!---------
Process finished with exit code 0

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

您可能感興趣的文章: