python3爬蟲獲取html內(nèi)容及各屬性值的方法
更新時(shí)間：2018年12月17日 14:36:31 作者：android-李志強(qiáng)
今天小編就為大家分享一篇python3爬蟲獲取html內(nèi)容及各屬性值的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天用到BeautifulSoup解析爬下來的網(wǎng)頁數(shù)據(jù)
首先導(dǎo)入包from bs4 import BeautifulSoup
然后可以利用urllib請求數(shù)據(jù)
記得要導(dǎo)包
import urllib.request
然后調(diào)用urlopen，讀取數(shù)據(jù)
f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘) response=f.read()
這里我們就不請求數(shù)據(jù)了，直接用本地的html代碼，如下
注意：”'xxx”'是多行注釋
#python3
from bs4 import BeautifulSoup
html='''<html>
<head>
<title class='ceshi'>super 哈哈 star</title>
</head>
<body>
天下第一帥
<p class='sister'>
是不是
</p>
</body>
</html>'''
#用BeautifulSoup解析數(shù)據(jù) python3 必須傳入?yún)?shù)二'html.parser' 得到一個(gè)對象，接下來獲取對象的相關(guān)屬性
html=BeautifulSoup(html,'html.parser')
# 讀取title內(nèi)容
print(html.title)
# 讀取title屬性
attrs=html.title.attrs
print(attrs)
# 獲取屬性attrs['class'] ---->['ceshi'] 這是一個(gè)list 通過下標(biāo)可以獲取值
print(attrs['class'][0])
# 讀取body
print(html.body)
讀取數(shù)據(jù)還可以通過BeautifulSoup的select方法
html.select()
#按標(biāo)簽名查找
soup.select('title')
soup.select('body')
# 按類名查找
soup.select('.sister')
# 按id名查找
# p標(biāo)簽中id為link的標(biāo)簽
soup.select('p #link')
#取標(biāo)簽里面的值
soup.p.string
#取標(biāo)簽里屬性值 通過href獲取
html['href']
以上這篇python3爬蟲獲取html內(nèi)容及各屬性值的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python通過ElementTree操作XML獲取結(jié)點(diǎn)讀取屬性美化XML
- 利用python實(shí)現(xiàn)xml與數(shù)據(jù)庫讀取轉(zhuǎn)換的方法
- python selenium 獲取標(biāo)簽的屬性值、內(nèi)容、狀態(tài)方法
- Python+selenium 獲取一組元素屬性值的實(shí)例
- Python實(shí)現(xiàn)的讀取/更改/寫入xml文件操作示例
- Python 讀取xml數(shù)據(jù),cv2裁剪圖片實(shí)例
- Python讀取VOC中的xml目標(biāo)框?qū)嵗?/a>
- python讀取配置文件方式(ini、yaml、xml)
- python讀取xml文件方法解析
- Python練習(xí)之讀取XML節(jié)點(diǎn)和屬性值的方法
相關(guān)文章
Django網(wǎng)絡(luò)框架之創(chuàng)建虛擬開發(fā)環(huán)境操作示例
這篇文章主要介紹了Django網(wǎng)絡(luò)框架之創(chuàng)建虛擬開發(fā)環(huán)境操作,簡單描述了虛擬開發(fā)環(huán)境的概念、功能,并分析了使用venv與virtualenv安裝虛擬環(huán)境相關(guān)操作技巧,需要的朋友可以參考下
2019-06-06 
在 Python 應(yīng)用中使用 MongoDB的方法
這篇文章主要介紹了在 Python 應(yīng)用中使用 MongoDB的方法,需要的朋友可以參考下
2017-01-01 
Python logging模塊寫入中文出現(xiàn)亂碼
這篇文章主要介紹了Python logging模塊寫入中文出現(xiàn)亂碼,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-05-05 
Python操作json數(shù)據(jù)的一個(gè)簡單例子
這篇文章主要介紹了Python操作json數(shù)據(jù)的一個(gè)簡單例子,需要的朋友可以參考下
2014-04-04 
python3.7 openpyxl 刪除指定一列或者一行的代碼
這篇文章主要介紹了python3.7 openpyxl 刪除指定一列或者一行,文中通過代碼給大家介紹了python3 openpyxl基本操作，代碼簡單易懂，需要的朋友可以參考下
2019-10-10 
JS設(shè)計(jì)模式之責(zé)任鏈模式實(shí)例詳解
這篇文章主要介紹了JS設(shè)計(jì)模式之責(zé)任鏈模式,結(jié)合實(shí)例形式詳細(xì)分析了責(zé)任鏈模式的概念、原理、功能、使用場景及相關(guān)操作技巧,需要的朋友可以參考下
2018-02-02 
在Python的Flask中使用WTForms表單框架的基礎(chǔ)教程
WTForms由Python寫成,為表單而生,提供了很多制作Web表單的實(shí)用API,和Flask框架結(jié)合使用效果拔群,這里我們就一起看一下在Python的Flask中使用WTForms表單框架的基礎(chǔ)教程
2016-06-06 
淺析python中numpy包中的argsort函數(shù)的使用
這篇文章主要介紹了python中numpy包中的argsort函數(shù)的使用，argsort()函數(shù)在模塊numpy.core.fromnumeric中，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友參考下吧
2018-08-08 
這篇文章主要介紹了python繪制淺色范圍曲線,本文通過示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-10-10