python3寫爬取B站視頻彈幕功能
需要準(zhǔn)備的環(huán)境:
一個(gè)B站賬號(hào),需要先登錄,否則不能查看歷史彈幕記錄
聯(lián)網(wǎng)的電腦和順手的瀏覽器,我用的Chrome
Python3環(huán)境以及request模塊,安裝使用命令,換源比較快:
pip3 install request -i http://pypi.douban.com/simple
爬取步驟: 登錄后打開需要爬取的視頻頁面,打開開發(fā)者工具臺(tái),Chrome可以使用F12快捷鍵,選擇network監(jiān)聽請(qǐng)求
點(diǎn)擊查看歷史彈幕,獲取請(qǐng)求
其中rolldate后面的數(shù)字表示該視頻對(duì)應(yīng)的彈幕號(hào),返回的數(shù)據(jù)中timestamp表示彈幕日期,new表示數(shù)目
在查看歷史彈幕中任選一天,查看,會(huì)發(fā)出新的請(qǐng)求
dmroll ,時(shí)間戳,彈幕號(hào),表示獲取該日期的彈幕,1507564800 表示2017/10/10 0:0:0
該請(qǐng)求返回xml數(shù)據(jù)
使用正則表達(dá)式獲取所有彈幕消息,匹配模式
'<d p=".*?">(.*?)</d>'
拼接字符串,將所有彈幕保存到本地文件即可
with open('content.txt', mode='w+', encoding='utf8') as f: f.write(content)
參考代碼如下,將彈幕按照日期保存為單個(gè)文件...因?yàn)樘嗔?..
import requests
import re
import time
"""
爬取嗶哩嗶哩視頻彈幕信息
"""
# 2043618 是視頻的彈幕標(biāo)號(hào),這個(gè)地址會(huì)返回時(shí)間列表
# https://www.bilibili.com/video/av1349282
url = 'https://comment.bilibili.com/rolldate,2043618'
# 獲取彈幕的id 2043618
video_id = url.split(',')[-1]
print(video_id)
# 獲取json文件
html = requests.get(url)
# print(html.json())
# 生成時(shí)間戳列表
time_list = [i['timestamp'] for i in html.json()]
# print(time_list)
# 獲取彈幕網(wǎng)址格式 'https://comment.bilibili.com/dmroll,時(shí)間戳,彈幕號(hào)'
# 彈幕內(nèi)容,由于總彈幕量太大,將每個(gè)彈幕文件分別保存
for i in time_list:
content = ''
j = 'https://comment.bilibili.com/dmroll,{0},{1}'.format(i, video_id)
print(j)
text = requests.get(j).text
# 匹配彈幕內(nèi)容
res = re.findall('<d p=".*?">(.*?)</d>', text)
# 將時(shí)間戳轉(zhuǎn)化為日期形式,需要把字符串轉(zhuǎn)為整數(shù)
timeArray = time.localtime(int(i))
date_time = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
print(date_time)
content += date_time + '\n'
for k in res:
content += k + '\n'
content += '\n'
file_path = 'txt/{}.txt'.format(time.strftime("%Y_%m_%d", timeArray))
print(file_path)
with open(file_path, mode='w+', encoding='utf8') as f:
f.write(content)
最終效果
之后可以 做一些分詞生成詞云或者進(jìn)行情感分析,有時(shí)間在說吧....
大家可以在下方給小編留言你學(xué)習(xí)的心得，也感謝你對(duì)腳本之家的支持。
相關(guān)文章
Python實(shí)現(xiàn)無損放大圖片的示例代碼
這篇文章主要為大家詳細(xì)介紹了如何利用Python語言實(shí)現(xiàn)一個(gè)簡單的無損放大圖片小程序，可以支持將JPG/PNG圖片無損放大上萬像素，感興趣的可以了解一下2022-08-08
Pyqt5實(shí)戰(zhàn)小案例之界面與邏輯分離的小計(jì)算器程序
網(wǎng)上很多PyQt5信號(hào)槽與界面分離的例子,但是真正開發(fā)起來很不方便,下面這篇文章主要給大家介紹了關(guān)于Pyqt5實(shí)戰(zhàn)小案例之界面與邏輯分離的小計(jì)算器程序,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-02-02
Python使用Beautiful Soup實(shí)現(xiàn)解析網(wǎng)頁
在這篇文章中，我們將介紹如何使用 Python 編寫一個(gè)簡單的網(wǎng)絡(luò)爬蟲，以獲取并解析網(wǎng)頁內(nèi)容。我們將使用 Beautiful Soup 庫，它是一個(gè)非常強(qiáng)大的庫，用于解析和操作 HTML 和 XML 文檔。讓我們開始吧2023-05-05
Anaconda指的是一個(gè)開源的Python發(fā)行版本,其包含了Conda、Python等180多個(gè)科學(xué)包及其依賴項(xiàng),下面這篇文章主要給大家介紹了關(guān)于Anaconda是什么的相關(guān)資料,需要的朋友可以參考下2023-02-02
python-jwt用戶認(rèn)證食用教學(xué)的實(shí)現(xiàn)方法
這篇文章主要介紹了python-jwt用戶認(rèn)證食用教學(xué)的實(shí)現(xiàn)方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
python單例模式之selenium driver實(shí)現(xiàn)單例
這篇文章主要介紹了python單例模式之selenium driver實(shí)現(xiàn)單例，使用裝飾器實(shí)現(xiàn)單例，文章基于python的相關(guān)資料實(shí)現(xiàn)主題，具有一的的參考價(jià)值,需要的朋友可以參考一下2022-03-03
這篇文章主要介紹了Python timeit模塊原理及使用方法,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-10-10
matlab中imadjust函數(shù)的作用及應(yīng)用舉例
這篇文章主要介紹了matlab中imadjust函數(shù)的作用及應(yīng)用舉例，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
Python的threading模塊中提供了多種鎖的相關(guān)方法,Python的多線程不能同時(shí)執(zhí)行,因而鎖的使用非常關(guān)鍵,下面我們就來舉例講解Python編程中對(duì)線程鎖的使用:2016-07-07
隨著自媒體時(shí)代，現(xiàn)在對(duì)視頻的處理變得越來越常見。而?Python?有一個(gè)專門用于處理視頻的第三方庫：moviepy，可以非常方便地對(duì)視頻進(jìn)行一些簡單處理，下面我們就來看一看2022-07-07