Python3使用requests包抓取并保存網頁源碼的方法

更新時間：2016年03月15日 11:50:18 作者：小談博客

這篇文章主要介紹了Python3使用requests包抓取并保存網頁源碼的方法,實例分析了Python3環(huán)境下requests模塊的相關使用技巧,需要的朋友可以參考下

本文實例講述了Python3使用requests包抓取并保存網頁源碼的方法。分享給大家供大家參考，具體如下：

使用Python 3的requests模塊抓取網頁源碼并保存到文件示例：

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

這是一個基本的文件保存操作，但這里有幾個值得注意的問題：

1.安裝requests包，命令行輸入pip install requests即可自動安裝。很多人推薦使用requests，自帶的urllib.request也可以抓取網頁源碼

2.open方法encoding參數(shù)設為utf-8，否則保存的文件會出現(xiàn)亂碼。

3.如果直接在cmd中輸出抓取的內容，會提示各種編碼錯誤，所以保存到文件查看。

4.with open方法是更好的寫法，可以自動操作完畢后釋放資源。

另一個例子：

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()

這是演示讀取一個txt文件，每次讀取一行，并保存到另一個txt文件中的示例。

因為在命令行中打印每次讀取一行的數(shù)據(jù)，中文會出現(xiàn)編碼錯誤，所以每次讀取一行并保存到另一個文件，這樣來測試讀取是否正常。（注意open的時候制定encoding編碼方式）

轉自：小談博客 http://www.tantengvip.com/2015/05/requests-html/

希望本文所述對大家Python程序設計有所幫助。

您可能感興趣的文章:

Python getattr()函數(shù)使用方法代碼實例
這篇文章主要介紹了Python getattr()函數(shù)使用方法代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-08-08
Python出現(xiàn)segfault錯誤解決方法
這篇文章主要介紹了Python出現(xiàn)segfault錯誤解決方法,分析了系統(tǒng)日志提示segfault錯誤的原因與對應的解決方法,需要的朋友可以參考下
2016-04-04
Python寫了個疫情信息快速查看工具實例代碼
本次使用PyQt5開發(fā)了一款疫情信息快速查看工具，實現(xiàn)了多個數(shù)據(jù)源的查看，代碼量不大，功能相當于瀏覽器，只是限定了一些特定網址，這篇文章主要介紹了Python寫了個疫情信息快速查看工具,需要的朋友可以參考下
2022-11-11
使用python繪制溫度變化雷達圖
這篇文章主要為大家介紹了使用python繪制溫度變化雷達圖，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2019-10-10
Python雙向循環(huán)鏈表實現(xiàn)方法分析
這篇文章主要介紹了Python雙向循環(huán)鏈表,結合實例形式分析了Python雙向鏈表的定義、遍歷、添加、刪除、搜索等相關操作技巧,需要的朋友可以參考下
2018-07-07
selenium+超級鷹實現(xiàn)模擬登錄12306
這篇文章主要介紹了selenium+超級鷹實現(xiàn)模擬登錄12306，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2021-01-01
Python常用庫大全及簡要說明
本文為大家羅列了Python開發(fā)的常用庫和各個庫的簡要說明以及Python開發(fā)工具，包管理，環(huán)境管理等其它常用資源和Python學習資料
2020-01-01
Python+wxPython實現(xiàn)個人鏈接收藏夾
這篇文章主要介紹了如何使用wxPython和XML數(shù)據(jù)源創(chuàng)建一個具有按鈕和Web視圖的應用程序窗口，以便輕松管理和訪問各種網頁鏈接，感興趣的可以了解下
2023-08-08
Python中將字典轉換為XML以及相關的命名空間解析
這篇文章主要介紹了Python中將字典轉換為XML以及相關的命名空間解析,包括使用字典創(chuàng)建XML等知識,需要的朋友可以參考下
2015-10-10
python實現(xiàn)定時任務的多種方式詳解
Python社區(qū)提供了多種庫來實現(xiàn)定時任務,下面這篇文章主要給大家介紹了關于python實現(xiàn)定時任務的多種方式,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
2025-05-05