Python網(wǎng)絡爬蟲神器PyQuery的基本使用教程
更新時間：2018年02月03日 16:22:03 作者：我為峰2014
這篇文章主要給大家介紹了關于Python網(wǎng)絡爬蟲神器PyQuery的基本使用教程，文中通過示例代碼介紹的非常詳細，對大家學習使用PyQuery具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧。
前言
pyquery庫是jQuery的Python實現(xiàn)，能夠以jQuery的語法來操作解析 HTML 文檔，易用性和解析速度都很好，和它差不多的還有BeautifulSoup，都是用來解析的。相比BeautifulSoup完美翔實的文檔，雖然PyQuery庫的文檔弱爆了， 但是使用起來還是可以的，有些地方用起來很方便簡潔。
安裝
關于PyQuery的安裝可以參考這篇文章：http://www.dhdzp.com/article/82955.htm
PyQuery庫官方文檔
- 初始化為PyQuery對象
- 常用的CCS選擇器
- 偽類選擇器
- 查找標簽
- 獲取標簽信息
初始化為PyQuery對象
html = """ <html lang="en"> <head> 簡單好用的 <title>PyQuery</title> </head> <body> <ul id="container"> <li class="object-1">Python</li> <li class="object-2">大法</li> <li class="object-3">好</li> </ul> </body> </html> """
相當于BeautifulSoup庫的初識化方法，將html轉(zhuǎn)化為BeautifulSoup對象。
bsObj = BeautifulSoup(html, 'html.parser')
PyQuery庫也要有自己的初始化。
1.1 將字符串初始化
from pyquery import PyQuery as pq #初始化為PyQuery對象 doc = pq(html) print(type(doc)) print(doc)
返回
<class 'pyquery.pyquery.PyQuery'> <html lang="en"> <head> <title>PyQuery學習</title> </head> <body> <ul id="container"> <li class="object-1"/> <li class="object-2"/> <li class="object-3"/> </ul> </body> </html>
1.2 將html文件初始化
#filename參數(shù)為html文件路徑 test_html = pq(filename = 'test.html') print(type(test_html)) print(test_html)
返回
<class 'pyquery.pyquery.PyQuery'><html lang="en"> <head> <title>PyQuery學習</title> </head> <body> <ul id="container"> <li class="object-1"/> <li class="object-2"/> <li class="object-3"/> </ul> </body> </html>
1.3 對網(wǎng)址響應進行初始化
response = pq(url = 'https://www.baidu.com') print(type(response)) print(response)
返回
<class 'pyquery.pyquery.PyQuery'>
<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" rel="external nofollow" /><title>ç�¾åº¦ä¸�ä¸�ï¼�ä½ å°±ç�¥é��</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img hidefocus="true" src="http://www.baidu.com/img/bd_logo1.png" width="270" height="129"/> </div> <form id="form" name="f" action="http://www.baidu.com/s" class="fm"> <input type="hidden" name="bdorz_come" value="1"/> <input type="hidden" name="ie" value="utf-8"/> <input type="hidden" name="f" value="8"/> <input type="hidden" name="rsv_bp" value="1"/> <input type="hidden" name="rsv_idx" value="1"/> <input type="hidden" name="tn" value="baidu"/><span class="bg s_ipt_wr"><input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off" autofocus="autofocus"/></span><span class="bg s_btn_wr"><input type="submit" id="su" value="ç�¾åº¦ä¸�ä¸�" class="bg s_btn" autofocus=""/></span> </form> </div> </div> <div id="u1"> <a rel="external nofollow" name="tj_trnews" class="mnav">æ�°é�»</a> <a rel="external nofollow" name="tj_trhao123" class="mnav">hao123</a> <a rel="external nofollow" name="tj_trmap" class="mnav">å�°å�¾</a> <a rel="external nofollow" name="tj_trvideo" class="mnav">è§�é¢�</a> <a rel="external nofollow" name="tj_trtieba" class="mnav">è´´å�§</a> <noscript> <a rel="external nofollow" name="tj_login" class="lb">ç�»å½�</a> </noscript> <script>document.write('<a + encodeURIComponent(window.location.href+ (window.location.search === " rel="external nofollow" " ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç�»å½�</a>'); </script> <a rel="external nofollow" name="tj_briicon" class="bri" style="display: block;">æ�´å¤�产å��</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a rel="external nofollow" >å
³äº�ç�¾åº¦</a> <a rel="external nofollow" >About Baidu</a> </p> <p id="cp">©2017 Baidu <a rel="external nofollow" >使ç�¨ç�¾åº¦å��å¿
读</a> <a rel="external nofollow" class="cp-feedback">����</a> 京ICP�030173� <img src="http://www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>
二、常用的CCS選擇器
打印id為container的標簽
print(doc('#container'))
print(type(doc('#container')))
返回
<ul id="container"> <li class="object-1"/> <li class="object-2"/> <li class="object-3"/> </ul> <class 'pyquery.pyquery.PyQuery'>
打印class為object-1的標簽
print(doc('.object-1'))
返回
<li class="object-1"/>
打印標簽名為body的標簽
print(doc('body'))
返回
<body> <ul id="container"> <li class="object-1"/> <li class="object-2"/> <li class="object-3"/> </ul> </body>
多種css選擇器使用
print(doc('html #container'))
返回
<ul id="container"> <li class="object-1"/> <li class="object-2"/> <li class="object-3"/> </ul>
三、偽類選擇器
偽類nth
print(pseudo_doc('li:nth-child(2)'))
#打印第一個li標簽
print(pseudo_doc('li:first-child'))
#打印最后一個標簽
print(pseudo_doc('li:last-child'))
返回
<li class="object-2">大法</li> <li class="object-1">Python</li> <li class="object-6">好玩</li>
contains
#找到含有Python的li標簽
print(pseudo_doc("li:contains('Python')"))
#找到含有好的li標簽
print(pseudo_doc("li:contains('好')"))
返回
<li class="object-1">Python</li> <li class="object-3">好</li> <li class="object-4">好</li> <li class="object-6">好玩</li>
四、查找標簽
按照條件在Pyquery對象中查找符合條件的標簽，類似于BeautifulSoup中的find方法。
打印id=container的標簽
print(doc.find('#container'))
返回
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
print(doc.find('li'))
返回
<li class="object-1"/> <li class="object-2"/> <li class="object-3"/>
4.2 子輩標簽-children方法
#id=container的標簽的子輩標簽
container = doc.find('#container')
print(container.children())
返回
<li class="object-1"/> <li class="object-2"/> <li class="object-3"/>
4.3 父輩標簽-parent方法
object_2 = doc.find('.object-2')
print(object_2.parent())
返回
<ul id="container"> <li class="object-1"/> <li class="object-2"/> <li class="object-3"/> </ul>
4.4 兄弟標簽-siblings方法
object_2 = doc.find('.object-2')
print(object_2.siblings())
返回
<li class="object-1"/> <li class="object-3"/>
五、獲取標簽的信息
定位到目標標簽后，我們需要標簽內(nèi)部的文本或者屬性值，這時候需要進行提取文本或?qū)傩灾挡僮?/p>
5.1 標簽屬性值的提取
.attr() 傳入 標簽的屬性名，返回屬性值
object_2 = doc.find('.object-2')
print(object_2.attr('class'))
返回
object-2
5.2 標簽內(nèi)的文本
.text()
html_text = """ <html lang="en"> <head> 簡單好用的 <title>PyQuery</title> </head> <body> <ul id="container"> Hello World！ <li class="object-1">Python</li> <li class="object-2">大法</li> <li class="object-3">好</li> </ul> </body> </html> """ docs = pq(html_text) print(docs.text())
返回
簡單好用的 PyQuery Hello World！ Python 大法 好
object_1 = docs.find('.object-1')
print(object_1.text())
container = docs.find('#container')
print(container.text())
返回
Python Hello World！ Python 大法 好
tips:如果我只想獲得Hello World這個，不想得到其他的文本，可以使用remove方法將li標簽去掉，然后再使用text方法
container = docs.find('#container')
container.remove('li')
print(container.text())
返回
Hello World！
pyquery一些自定義的用法
訪問網(wǎng)址
PyQuery與BeautifulSoup對比，我們會發(fā)現(xiàn)PyQuery可以對網(wǎng)址發(fā)起請求。 比如
from pyquery import PyQuery PyQuery(url = 'https://www.baidu.com')
opener參數(shù)
這是PyQuery對百度網(wǎng)址進行請求，并將請求返回的響應數(shù)據(jù)處理為PyQuery對象。一般pyquery庫會默認調(diào)用urllib庫，如果想使用selenium或者requests庫，可以自定義PyQuery的opener參數(shù)。
opener參數(shù)作用是告訴pyquery用什么請求庫對網(wǎng)址發(fā)起請求。常見的請求庫如urllib、requests、selenium。這里我們自定義一個selenium的opener。
from pyquery import PyQuery from selenium.webdriver import PhantomJS #用selenium訪問url def selenium_opener(url): #我沒有將Phantomjs放到環(huán)境變量，所以每次用都要放上路徑 driver = PhantomJS(executable_path = 'phantomjs的路徑') driver.get(url) html = driver.page_source driver.quit() return html #注意，使用時opener參數(shù)是函數(shù)名，沒有括號的！ PyQuery(url='https://www.baidu.com/', opener=selenium_opener)
這時候我們就能對PyQuery對象進行操作，提取有用的信息。具體請看上次的分享，如果想了解更多的功能，pyquery文檔寫的不怎么詳細，好在基本跟jQuery功能吻合，我們?nèi)绻胗煤胮yquery，需要查看jQuery文檔。
cookies、headers
在requests用法中，一般為了訪問網(wǎng)址更加真實，模仿成瀏覽器。一般我們需要傳入headers，必要的時候還需要傳入cookies參數(shù)。而pyquery庫就有這功能，也能偽裝瀏覽器。
from pyquery import PyQuery
cookies = {'Cookie':'你的cookie'}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}
PyQuery(url='https://www.baidu.com/',headers=headers,cookies=cookies)
讓你的selenium帶上pyquery功能
讓driver訪問的網(wǎng)址得到的網(wǎng)頁直接變?yōu)镻yQuery對象，更方便提取數(shù)據(jù)
from pyquery import PyQuery from selenium.webdriver import PhantomJS class Browser(PhantomJS): @property def dom(self): return PyQuery(self.page_source)""" 這部分property是裝飾器，需要知道@property下面緊跟的函數(shù)，實現(xiàn)了類的屬性功能。 這里browser.dom，就是browser的dom屬性。 """ browser = Browser(executable_path='phantomjs的路徑') browser.get(url='https://www.baidu.com/') print(type(browser.dom))
返回
<class 'pyquery.pyquery.PyQuery'>
總結
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
相關文章
Python函數(shù)的作用域及內(nèi)置函數(shù)詳解
這篇文章主要介紹了python函數(shù)的作用域及內(nèi)置函數(shù)詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2021-09-09
這篇文章主要為大家詳細介紹了Python中操作Redis的常用方法,文中的示例代碼簡潔易懂,具有一定的借鑒價值,有需要的小伙伴可以了解一下2025-02-02
python數(shù)據(jù)可視化Seaborn繪制山脊圖
這篇文章主要介紹了利用python數(shù)據(jù)可視化Seaborn繪制山脊圖，山脊圖一般由垂直堆疊的折線圖組成，這些折線圖中的折線區(qū)域間彼此重疊，此外它們還共享相同的x軸.下面來看看具體的繪制過程吧，需要的小伙伴可以參考一下2022-01-01
Flask框架踩坑之a(chǎn)jax跨域請求實現(xiàn)
這篇文章主要介紹了Flask框架踩坑之a(chǎn)jax跨域請求實現(xiàn)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-02-02
大家都知道Django 是一個由 Python 編寫的一個開放源代碼的 Web 應用框架。接下來通過本文給大家介紹Django的基本運用之Django垃圾分類詳解，感興趣的朋友一起看看吧2021-09-09
賺瘋了!轉(zhuǎn)手立賺800+?大佬的python「搶茅臺腳本」使用教程
這篇文章主要介紹了如果利用python搶購京東茅臺，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
這篇文章主要介紹了Python中返回字典鍵的值的values()方法使用,是Python入門學習中的基礎知識,需要的朋友可以參考下2015-05-05
在本篇內(nèi)容里小編給大家整理的是一篇關于python的format函數(shù)用法以及相關實例，需要的朋友們學習下。2020-06-06
Python3.7在anaconda里面使用IDLE編譯器的步驟詳解
這篇文章主要介紹了Python3.7在anaconda里面使用IDLE編譯器的步驟，本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友參考下吧2020-04-04
這篇文章主要介紹了Python延時操作實現(xiàn)方法,結合實例形式分析了Python基于sched庫與time庫實現(xiàn)延時操作的方法,需要的朋友可以參考下2018-08-08