Python爬蟲實戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)
更新時間：2021年10月21日 10:45:35 作者：松鼠愛吃餅干
讀萬卷書不如行萬里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python采集糗事百科段子的數(shù)據(jù),大家可以在過程中查缺補漏，提升水平
知識點
1.爬蟲基本步驟
2.requests模塊
3.parsel模塊
4.xpath數(shù)據(jù)解析方法
5.分頁功能
爬蟲基本步驟:
1.獲取網(wǎng)頁地址 (糗事百科的段子的地址)
2.發(fā)送請求
3.數(shù)據(jù)解析
4.保存 本地
爬蟲代碼
導(dǎo)入所需模塊
import re import requests import parsel
獲取網(wǎng)頁地址
url = 'https://www.qiushibaike.com/text/'
# 請求頭 偽裝客戶端向服務(wù)器發(fā)送請求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
發(fā)送請求
requ = requests.get(url=url, headers=headers).text
數(shù)據(jù)解析
sel = parsel.Selector(requ) # 解析對象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
txt_ + html
requ2 = requests.get(url=txt_href, headers=headers).text
sel2 = parsel.Selector(requ2)
title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
title = re.sub(r'[|/\：？<>*]','_',title)
# content = sel2.xpath('//div[@class="content"]/text()').getall()
content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
contents = '\n'.join(content)
保存數(shù)據(jù)
with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
fp.write(contents)
print(title, '下載成功')
運行代碼，得到數(shù)據(jù)
【付費VIP完整版】只要看了就能學(xué)會的教程，80集Python基礎(chǔ)入門視頻教學(xué)
到此這篇關(guān)于Python爬蟲實戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 采集糗事百科段子內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
在本篇文章里小編給大家整理的是一篇關(guān)于python中Pexpect的工作流程實例講解內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-03-03
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)圖片橫向和縱向拼接，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
Selenium webdriver添加cookie實現(xiàn)過程詳解
這篇文章主要介紹了Selenium webdriver添加cookie實現(xiàn)過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08
這篇文章主要介紹了Qt5.14 與 OpenCV4.5 教程之圖片增強效果的實現(xiàn)，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友參考下吧2021-11-11
python獲取當(dāng)前git的repo地址的示例代碼
大家好,當(dāng)談及版本控制系統(tǒng)時,Git是最為廣泛使用的一種,而Python作為一門多用途的編程語言,在處理Git倉庫時也展現(xiàn)了其強大的能力,本文給大家介紹了python獲取當(dāng)前git的repo地址的方法,需要的朋友可以參考下2024-09-09
這篇文章主要介紹了python pillow模塊使用方法詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08
這篇文章主要為大家詳細(xì)介紹了python多進程共享變量的相關(guān)資料，感興趣的小伙伴們可以參考一下2016-04-04
本文是面向SEO人群的Python程序語言入門教程，也適用于其他沒有程序基礎(chǔ)但想學(xué)習(xí)些程序，以解決簡單的實際應(yīng)用需求的人群。在后面會盡量用最基礎(chǔ)的角度來介紹這門語言2012-07-07
python用selenium打開chrome瀏覽器保持登錄方式
大家好，本篇文章主要講的是python用selenium打開chrome瀏覽器保持登錄方式，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下2022-02-02
這篇文章主要介紹了Python 處理數(shù)據(jù)的實例詳解的相關(guān)資料,這里主要介紹Python 常用的基礎(chǔ)知識并附實例，需要的朋友可以參考下2017-08-08