python小練習(xí)之爬魷魚(yú)游戲的評(píng)價(jià)生成詞云
前言
魷魚(yú)游戲是什么,相信大家都不陌生了,雖然說(shuō)博主沒(méi)看過(guò)這部劇,但是還是對(duì)豆瓣的評(píng)論有點(diǎn)好奇,剛剛好近期學(xué)習(xí)了selenium,就當(dāng)練練手了,來(lái)吧來(lái)吧,爬爬爬。

分析頁(yè)面
還是老樣子,兄弟們先打開(kāi)我們最喜歡的google瀏覽器,點(diǎn)擊F12,開(kāi)啟爬蟲(chóng)快樂(lè)模式
來(lái)到頁(yè)面,如下圖步驟,逐個(gè)點(diǎn)擊

然后我們就發(fā)現(xiàn)這個(gè)頁(yè)面確實(shí)很簡(jiǎn)單,每一條評(píng)論就是包在了class為short的span標(biāo)簽內(nèi),那就可以開(kāi)始寫(xiě)xpath了,如下圖

這樣一頁(yè)的評(píng)論就拿到了,接下來(lái)就是換頁(yè)了
有一個(gè)小技巧,不需要我們自己寫(xiě)xpath,直接用google瀏覽器可以生成xpath,如下圖所示

點(diǎn)擊這個(gè)Copy path這樣就拿到了按鈕的xpath的內(nèi)容,然后實(shí)現(xiàn)點(diǎn)擊頁(yè)面就可以了,好了就這樣分析完了,接下來(lái)開(kāi)始寫(xiě)代碼了。

重要代碼
selenium打開(kāi)豆瓣短評(píng)頁(yè)面
# 待打開(kāi)的頁(yè)面
url = 'https://movie.douban.com/subject/34812928/comments?limit=20&status=P&sort=new_score'
# 躲避智能檢測(cè)
option = webdriver.ChromeOptions()
# option.headless = True
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
#打開(kāi)頁(yè)面
driver.get(url)
根據(jù)xpath來(lái)獲取評(píng)論內(nèi)容
這里獲取評(píng)論的xpath語(yǔ)句
//span[@class="short"]
獲取評(píng)論代碼
options = driver.find_elements(By.XPATH, '//span[@class="short"]')
for i in options:
text=text+i.text
實(shí)現(xiàn)跳轉(zhuǎn)下一頁(yè)
下一頁(yè)的按鈕xpath
//*[@id="paginator"]/a
跳轉(zhuǎn)按鈕點(diǎn)擊代碼
nextpage = driver.find_element(By.XPATH, '//*[@id="paginator"]/a')
nextpage.click()
完整代碼
詞云生成工具類
# -*- codeing = utf-8 -*-
# @Time : 2021/10/9 20:54
# @Author : xiaow
# @File : wordcloudutil.py
# @Software : PyCharm
from wordcloud import WordCloud
import PIL.Image as image
import numpy as np
import jieba
def trans_CN(text):
# 接收分詞的字符串
word_list = jieba.cut(text)
# 分詞后在單獨(dú)個(gè)體之間加上空格
result = " ".join(word_list)
return result
def getWordCloud(text):
# print(text)
text = trans_CN(text)
# 詞云背景圖
mask = np.array(image.open("E://file//pics//mask3.jpg"))
wordcloud = WordCloud(
mask=mask,
# 字體樣式文件
font_path="C:\Windows\Fonts\STXINGKA.TTF",
background_color='white'
).generate(text)
image_produce = wordcloud.to_image()
image_produce.show()
評(píng)論獲取代碼
# -*- codeing = utf-8 -*-
# @Time : 2021/6/27 22:29
# @Author : xiaow
# @File : test.py
# @Software : PyCharm
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from api import wordcloudutil
if __name__ == '__main__':
url = 'https://movie.douban.com/subject/34812928/comments?limit=20&status=P&sort=new_score'
# 躲避智能檢測(cè)
option = webdriver.ChromeOptions()
# option.headless = True
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
driver.get(url)
text=''
# 獲取所有的選項(xiàng)元素
j=0
while 1:
# 定位到新跳轉(zhuǎn)的頁(yè)面
time.sleep(1)
driver.switch_to.window(driver.window_handles[0])
options = driver.find_elements(By.XPATH, '//span[@class="short"]')
for i in options:
text=text+i.text
time.sleep(2)
nextpage = driver.find_element(By.XPATH, '//*[@id="paginator"]/a')
nextpage.click()
j=j+1
if j>10:
break
print(text)
wordcloudutil.getWordCloud(text)
成果
最后爬取的評(píng)論生成了詞云圖,如下圖所示

就這樣就結(jié)束了,還是很簡(jiǎn)單的
到此這篇關(guān)于python小練習(xí)之爬魷魚(yú)游戲的評(píng)價(jià)生成詞云的文章就介紹到這了,更多相關(guān)Python 爬取魷魚(yú)游戲內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- 100 個(gè) Python 小例子(練習(xí)題一)
- python實(shí)戰(zhàn)練習(xí)做一個(gè)隨機(jī)點(diǎn)名的程序
- 趣味Python實(shí)戰(zhàn)練習(xí)之自動(dòng)更換桌面壁紙腳本附源碼
- Python爬蟲(chóng)小練習(xí)之爬取并分析騰訊視頻m3u8格式
- Python實(shí)戰(zhàn)練習(xí)之終于對(duì)肯德基下手
- Python強(qiáng)化練習(xí)之Tensorflow2 opp算法實(shí)現(xiàn)月球登陸器
- Python強(qiáng)化練習(xí)之PyTorch opp算法實(shí)現(xiàn)月球登陸器
- python小白練習(xí)題之條件控制與循環(huán)控制
- python實(shí)例小練習(xí)之Turtle繪制南方的雪花
- 100 個(gè) Python 小例子(練習(xí)題二)
相關(guān)文章
Python個(gè)人博客程序開(kāi)發(fā)實(shí)例用戶驗(yàn)證功能
這篇文章主要介紹了怎樣用Python來(lái)實(shí)現(xiàn)一個(gè)完整的個(gè)人博客系統(tǒng),我們通過(guò)實(shí)操上手的方式可以高效的鞏固所學(xué)的基礎(chǔ)知識(shí),感興趣的朋友一起來(lái)看看吧2022-12-12
Python字典dict常用方法函數(shù)實(shí)例
這篇文章主要介紹了Python字典dict常用方法函數(shù)實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
詳解在Python的Django框架中創(chuàng)建模板庫(kù)的方法
這篇文章主要介紹了在Python的Django框架中創(chuàng)建模板庫(kù)的方法,模版庫(kù)通常用來(lái)管理單獨(dú)的Django中的應(yīng)用,需要的朋友可以參考下2015-07-07
Python?ctypes庫(kù)底層交互秘籍實(shí)例探究
ctypes是Python標(biāo)準(zhǔn)庫(kù)中的外部函數(shù)庫(kù),允許Python調(diào)用動(dòng)態(tài)鏈接庫(kù)中的函數(shù),它提供了與C兼容的數(shù)據(jù)類型和允許Python調(diào)用共享庫(kù)中的函數(shù),對(duì)系統(tǒng)級(jí)編程和與硬件交互非常有用2024-01-01
Python實(shí)現(xiàn)遍歷目錄的兩張方法總結(jié)
我們有時(shí)想直接查看文件夾里的所有文件,但使用正常的方法太麻煩了,于是本文開(kāi)發(fā)出了兩個(gè)python程序,可以遍歷目錄,有需要的小伙伴可以參考下2024-02-02
pandas將DataFrame的幾列數(shù)據(jù)合并成為一列
本文主要介紹了pandas將DataFrame的幾列數(shù)據(jù)合并成為一列,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-02-02
Python局部函數(shù)及用法詳解(含nonlocal關(guān)鍵字)
局部函數(shù)有哪些特征,在使用時(shí)需要注意什么呢?接下來(lái)就給讀者詳細(xì)介紹?Python?局部函數(shù)的用法,對(duì)Python局部函數(shù)相關(guān)知識(shí)感興趣的朋友跟隨小編一起看看吧2022-12-12

