Python requests獲取網(wǎng)頁常用方法解析

更新時間：2020年02月20日 11:20:15 作者：酸果實(shí)愛吐泡泡的魚

這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

主要記錄使用 requests 模塊獲取網(wǎng)頁源碼的方法

class Crawler(object):
 """
 采集類
 """
 def __init__(self, base_url):
  self._base_url = base_url
  self._cookie = None
  self._getCookie()

 def _getCookie(self):
  """
  獲取站點(diǎn)cookie
  :return:
  """
  try:
   res = requests.get(self._base_url)
   res.raise_for_status()
   # TODO response.cookies獲取到的是一個cookiejar對象，需要使用requests.utils.dict_from_cookiejar來
   # TODO 將cookiejar對象轉(zhuǎn)換為一個字典，這個字典后續(xù)使用的時候，在請求時直接傳入就可以了，
   # 如 requests.get(url, cookies=cookies)
   self._cookie = requests.utils.dict_from_cookiejar(res.cookies)
   print self._cookie
  except Exception as e:
   print e

 def get_html_text(self, url, **kwargs):
  """
  爬取網(wǎng)頁的通用代碼框架
  :param url:
  :param method:
  :param kwargs:
  :return:
  """
  try:
   kwargs.setdefault('cookies', self._cookie)
   res = requests.get(url, **kwargs)
   # TODO 若響應(yīng)狀態(tài)碼不是200, 拋出 HTTPError 異常
   res.raise_for_status()
   res.encoding = res.apparent_encoding
   # print requests.utils.dict_from_cookiejar(res.cookies)
   return res.text
  except Exception as e:
   print traceback.print_exc()
   return

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python如何實(shí)時獲取tcpdump輸出
這篇文章主要介紹了python如何實(shí)時獲取tcpdump輸出，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-09-09
PyQt編程之如何在屏幕中央顯示窗體的實(shí)例
今天小編就為大家分享一篇PyQt編程之如何在屏幕中央顯示窗體的實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-06-06
python使用 request 發(fā)送表單數(shù)據(jù)操作示例
這篇文章主要介紹了python使用 request 發(fā)送表單數(shù)據(jù)操作,結(jié)合實(shí)例形式分析了Python基于requests模塊的表單數(shù)據(jù)發(fā)送操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下
2019-09-09
python讀取excel文件的方法
文章介紹了在Python中讀取Excel文件的兩種方法：使用pandas庫和使用openpyxl庫,pandas適合數(shù)據(jù)分析和處理,而openpyxl提供了更多的Excel文件操作功能,感興趣的朋友跟隨小編一起看看吧
2024-11-11
Python中的HTTP請求庫Requests的具體使用
Python作為一種功能強(qiáng)大且易于學(xué)習(xí)的編程語言,提供了許多用于處理HTTP請求的庫,其中,Requests庫是最受歡迎的選擇之一,本文主要介紹了Python中的HTTP請求庫Requests的具體使用,感興趣的可以了解一下
2023-12-12
Python刪除Java源文件中全部注釋的實(shí)現(xiàn)方法
這篇文章主要介紹了Python刪除Java源文件中全部注釋的實(shí)現(xiàn)方法,涉及Python讀取文件、正則匹配、字符串查找、替換等相關(guān)操作技巧,需要的朋友可以參考下
2017-08-08
python深度學(xué)習(xí)tensorflow入門基礎(chǔ)教程示例
這篇文章主要為大家介紹了python深度學(xué)習(xí)tensorflow入門基礎(chǔ)教程示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-06-06
python?+?pyqt5制作一個串口助手
這篇文章主要介紹了python?+?pyqt5制作一個串口助手,串口助手是串口通信使用的工具，為整合知識，打算做個串口助手，本文給大家講解的非常詳細(xì)，需要的朋友可以參考下
2023-04-04
Python返回數(shù)組/List長度的實(shí)例
今天小編就為大家分享一篇Python返回數(shù)組/List長度的實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
Python Opencv提取圖片中某種顏色組成的圖形的方法
這篇文章主要介紹了Python Opencv提取圖片中某種顏色組成的圖形的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-09-09