Python?超簡潔且詳細爬取西瓜視頻案例
一、寫在前面
真的，為什么別人發(fā)游戲這么多人看，我發(fā)了兩次了加起來才一百個。
算了算了，不整游戲了，反正你們也不愛看~
今天來試試把頭條上扭腰上熱門的那些妹子爬一爬，不知道我頂不頂?shù)米
二、準備工作
1、使用的環(huán)境
- python 3.8
- pycharm 2021.2 專業(yè)版
2、要用的第三方模塊
- selenium
- requests
- parsel
三、大致流程
鑒于你們不喜歡我啰嗦，但是流程呢，我還是要給你們寫出來，所以我就單獨把它列出來了。
1、網(wǎng)站分析(明確需求)
在視頻網(wǎng)頁源代碼當中找到 embedUrl 對應的鏈接；
在鏈接當中找到視頻播放地址，在元素面板當中；
發(fā)現(xiàn)規(guī)律 embedUrl上面的 groupby_id 其實就是當前視頻鏈接上的id，下載視頻的時候 就只需要 一個 id 就可以下載視頻；（https://www.ixigua.com/embed?group_id=7029910152576926238）
2、代碼實現(xiàn)過程
- 構建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
- 使用selenium訪問該鏈接提
- 取視頻鏈接地址
- 拼接視頻鏈接地址
- 使用requests發(fā)送請求 并且獲取視頻二進制
- 數(shù)據(jù)保存視頻
如果大家在學習Python的過程中不知道學習方向，該怎么學，沒有好的系統(tǒng)的學習資料、沒人交流解答等等，都可以私我，我都給大家準備好了。
四、代碼展示分析
首先導入一下模塊
import requests from selenium import webdriver
進入瀏覽器設置
options = webdriver.ChromeOptions()
1、構建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
group_id = input("請輸入你要下載視頻的id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id
無頭瀏覽器
options.add_argument("--headless")
加一個偽裝
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
2、使用selenium訪問該鏈接 driver: 瀏覽器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
打開一個網(wǎng)頁驅動配置: 代碼操作瀏覽器的一個中間人
driver.get(url)
隱式等待: 最多等待五秒 如果一秒鐘加載完了 繼續(xù)執(zhí)行
driver.implicitly_wait(5)
3、提取視頻鏈接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
4、拼接視頻鏈接地址
video_url = 'http:' + video_url
5、使用requests發(fā)送請求 并且獲取視頻二進制數(shù)據(jù)
video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
f.write(video_data)
所有代碼
import requests
from selenium import webdriver
# 進入瀏覽器設置
options = webdriver.ChromeOptions()
# 1. 構建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
group_id = input("請輸入你要下載視頻的id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id
# 無頭瀏覽器
options.add_argument("--headless")
# 加一個偽裝
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
# 2. 使用selenium訪問該鏈接
# driver: 瀏覽器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
# 打開一個網(wǎng)頁
# 驅動配置: 代碼操作瀏覽器的一個中間人
driver.get(url)
# 隱式等待: 最多等待五秒 如果一秒鐘加載完了 繼續(xù)執(zhí)行
driver.implicitly_wait(5)
# 3. 提取視頻鏈接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
# 4. 拼接視頻鏈接地址
video_url = 'http:' + video_url
# 5. 使用requests發(fā)送請求 并且獲取視頻二進制數(shù)據(jù)
video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
f.write(video_data)
print("爬取成功!!!")
#留了報錯，看看大家夠不夠機智找出來
兄弟們看完覺得有幫助，記得點贊三連哇~
到此這篇關于Python 超簡潔且詳細爬取西瓜視頻案例的文章就介紹到這了,更多相關Python 西瓜視頻內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
tensorflow2.0如何實現(xiàn)cnn的圖像識別
這篇文章主要介紹了tensorflow2.0如何實現(xiàn)cnn的圖像識別，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
這篇文章主要介紹了使用tensorflow將圖片灰度化以及遇到的坑解決,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
大家好，本篇文章主要講的是python用pandas讀寫和追加csv文件，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下2022-02-02
這篇文章主要介紹了python中property屬性的介紹及其應用詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
今天小編就為大家分享一篇selenium+python截圖不成功的解決方法 ，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
本篇文章主要介紹了詳解Python進程間通信之命名管道，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-08-08
這篇文章主要介紹了Python?循環(huán)結構，程序的循環(huán)結構邏輯，循環(huán)就是按照一定的條件重復的去做一件事情，當條件不成立時就結束循環(huán)的內(nèi)容，需要的小伙伴一起和小編一起進入下面文章學習吧2022-02-02
幸運草又名四葉草，一般指四葉的苜蓿、或車軸草。在十萬株苜蓿草中，你可能只會發(fā)現(xiàn)一株是四葉草，機會率大約是十萬分之一。本文主要介紹運用turtle庫控制函數(shù)繪制四葉草，希望見者皆好運2022-06-06
python 讀取dicom文件,生成info.txt和raw文件的方法
今天小編就為大家分享一篇python 讀取dicom文件,生成info.txt和raw文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
pandas系列之DataFrame 行列數(shù)據(jù)篩選實例
下面小編就為大家分享一篇pandas系列之DataFrame 行列數(shù)據(jù)篩選實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04