Python登錄并獲取CSDN博客所有文章列表代碼實(shí)例
分析登錄過(guò)程
這幾天研究百度登錄和貼吧簽到,這百度果然是互聯(lián)網(wǎng)巨頭,一個(gè)登錄過(guò)程都弄得復(fù)雜無(wú)比,簡(jiǎn)直有毒。我研究了好幾天仍然沒(méi)搞明白。所以還是先挑一個(gè)軟柿子捏捏,就選擇CSDN了。
過(guò)程很簡(jiǎn)單,我也不截圖了。直接打開(kāi)瀏覽器,然后打開(kāi)Fiddler,然后登錄CSDN。然后Fiddler顯示瀏覽器向https://passport.csdn.net/account/login?ref=toolbar發(fā)送了一個(gè)POST請(qǐng)求,這個(gè)請(qǐng)求包含了登錄表單,而且還是未加密的。當(dāng)然CSDN本身還是使用了HTTPS,所以安全性還行。
請(qǐng)求體如下,username和password當(dāng)然是用戶(hù)名和密碼了。
username=XXXXX&password=XXXXXX&rememberMe=true<=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit
lt參數(shù)我不知道是干啥的,結(jié)果直接在頁(yè)面中一看原來(lái)全在表單里頭,這下直接全了。CSDN很貼心的連注釋都給出了。另外如果你打開(kāi)百度首頁(yè)的話(huà),還會(huì)發(fā)現(xiàn)瀏覽器的log中還會(huì)輸出百度的招聘信息。

HTML截圖
登錄代碼
這些信息全有了,這樣我們就可以登錄了。不說(shuō)廢話(huà),直接上代碼。先說(shuō)說(shuō)我遇到的幾個(gè)坑。
首先是一個(gè)參數(shù)錯(cuò)誤,其實(shí)邏輯沒(méi)問(wèn)題,但是代碼我復(fù)制粘貼之后忘了改名字了,就登錄表單那里,三個(gè)參數(shù)全弄成了lt,結(jié)果登錄返回來(lái)的頁(yè)面是錯(cuò)誤頁(yè)面。我還以為是沒(méi)有附帶什么請(qǐng)求頭,瞎整了大半天。最后用Fiddler調(diào)試了好多遍才發(fā)現(xiàn)。
第二個(gè)問(wèn)題就是CSDN雞賊的跳轉(zhuǎn)。由于瀏覽器自帶了JS引擎,所以我們?cè)跒g覽器中輸入網(wǎng)址,到達(dá)頁(yè)面這一過(guò)程不一定就是一個(gè)請(qǐng)求??赡苤虚g用了什么JS代碼先跳轉(zhuǎn)到中間頁(yè)面,最后才跳轉(zhuǎn)到實(shí)際頁(yè)面。代碼里的_validate_redirect_url(self)函數(shù)就是干這個(gè)的,登錄完了第一次請(qǐng)求會(huì)得到一個(gè)中間頁(yè)面,它包含了一堆JS代碼,其中有個(gè)重定向網(wǎng)址。我們獲取到這個(gè)重定向網(wǎng)址,還得請(qǐng)求一次,獲得200OK之后,后續(xù)請(qǐng)求才能獲得實(shí)際頁(yè)面。
第三個(gè)問(wèn)題就是正則表達(dá)式匹配頁(yè)面的空格問(wèn)題了。獲取文章首先得知道文章總數(shù),這個(gè)好辦,直接獲取頁(yè)面里的文章數(shù)就行了。它類(lèi)似100條共20頁(yè)這個(gè)。那么該怎么獲取呢?一開(kāi)始我用的(\d+)條共(\d+)頁(yè)這個(gè)正則,但是結(jié)果沒(méi)匹配到,然后我仔細(xì)看了一下頁(yè)面,原來(lái)這兩個(gè)詞之間不是一個(gè)空格,而是兩個(gè)空格!其實(shí)這個(gè)問(wèn)題倒是也好辦,改一下正則(\d+)條\s*共(\d+)頁(yè)就行了。所以以后如果遇到空格問(wèn)題,直接用\s匹配,不要想著自己輸入一個(gè)空格還是兩個(gè)空格。
import requests
from bs4 import BeautifulSoup
import re
import urllib.parse as parse
class CsdnHelper:
"""登錄CSDN和列出所有文章的類(lèi)"""
csdn_login_url = 'https://passport.csdn.net/account/login?ref=toolbar'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
}
blog_url = 'http://write.blog.csdn.net/postlist/'
def __init__(self):
self._session = requests.session()
self._session.headers = CsdnHelper.headers
def login(self, username, password):
'''登錄主函數(shù)'''
form_data = self._prepare_login_form_data(username, password)
response = self._session.post(CsdnHelper.csdn_login_url, data=form_data)
if 'UserNick' in response.cookies:
nick = response.cookies['UserNick']
print(parse.unquote(nick))
else:
raise Exception('登錄失敗')
def _prepare_login_form_data(self, username, password):
'''從頁(yè)面獲取參數(shù),準(zhǔn)備提交表單'''
response = self._session.get(CsdnHelper.csdn_login_url)
login_page = BeautifulSoup(response.text, 'lxml')
login_form = login_page.find('form', id='fm1')
lt = login_form.find('input', attrs={'name': 'lt'})['value']
execution = login_form.find('input', attrs={'name': 'execution'})['value']
eventId = login_form.find('input', attrs={'name': '_eventId'})['value']
form = {
'username': username,
'password': password,
'lt': lt,
'execution': execution,
'_eventId': eventId
}
return form
def _get_blog_count(self):
'''獲取文章數(shù)和頁(yè)數(shù)'''
self._validate_redirect_url()
response = self._session.get(CsdnHelper.blog_url)
blog_page = BeautifulSoup(response.text, 'lxml')
span = blog_page.find('div', class_='page_nav').span
print(span.string)
pattern = re.compile(r'(\d+)條\s*共(\d+)頁(yè)')
result = pattern.findall(span.string)
blog_count = int(result[0][0])
page_count = int(result[0][1])
return (blog_count, page_count)
def _validate_redirect_url(self):
'''驗(yàn)證重定向網(wǎng)頁(yè)'''
response = self._session.get(CsdnHelper.blog_url)
redirect_url = re.findall(r'var redirect = "(\S+)";', response.text)[0]
self._session.get(redirect_url)
def print_blogs(self):
'''輸出文章信息'''
blog_count, page_count = self._get_blog_count()
for index in range(1, page_count + 1):
url = f'http://write.blog.csdn.net/postlist/0/0/enabled/{index}'
response = self._session.get(url)
page = BeautifulSoup(response.text, 'lxml')
links = page.find_all('a', href=re.compile(r'http://blog.csdn.net/u011054333/article/details/(\d+)'))
print(f'----------第{index}頁(yè)----------')
for link in links:
blog_name = link.string
blog_url = link['href']
print(f'文章名稱(chēng):《{blog_name}》 文章鏈接:{blog_url}')
if __name__ == '__main__':
csdn_helper = CsdnHelper()
username = input("請(qǐng)輸入用戶(hù)名")
password = input("請(qǐng)輸入密碼")
csdn_helper.login(username, password)
csdn_helper.print_blogs()
當(dāng)然,這里最重要的的就是登錄過(guò)程了。我們登錄之后,才可以做其他事情。比方說(shuō),下一步還能寫(xiě)一個(gè)備份工具,把CSDN博客的所有文章和圖片下載到本地。有興趣的同學(xué)可以試一試。
總結(jié)
以上就是本文關(guān)于Python登錄并獲取CSDN博客所有文章列表代碼實(shí)例的全部?jī)?nèi)容,希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專(zhuān)題,如有不足之處,歡迎留言指出。感謝朋友們對(duì)本站的支持!
相關(guān)文章
Django基礎(chǔ)知識(shí) web框架的本質(zhì)詳解
這篇文章主要介紹了Django基礎(chǔ)知識(shí) web框架的本質(zhì)詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
Python圖像處理庫(kù)PIL的ImageFilter模塊使用介紹
這篇文章主要介紹了Python圖像處理庫(kù)PIL的ImageFilter模塊使用介紹,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Windows平臺(tái)Python編程必會(huì)模塊之pywin32介紹
在Windows平臺(tái)上,從原來(lái)使用C/C++編寫(xiě)原生EXE程序,到使用Python編寫(xiě)一些常用腳本程序,成熟的模塊的使用使得編程效率大大提高了2019-10-10
Python繪制指數(shù)分布的概率密度函數(shù)圖
在數(shù)據(jù)科學(xué)和統(tǒng)計(jì)學(xué)中,指數(shù)分布是一種應(yīng)用廣泛的連續(xù)概率分布,通常用于建模獨(dú)立隨機(jī)事件發(fā)生的時(shí)間間隔,本文將展示如何在Python中繪制指數(shù)分布的概率密度函數(shù)圖,需要的可以了解下2024-12-12
python numpy庫(kù)linspace相同間隔采樣的實(shí)現(xiàn)
這篇文章主要介紹了python numpy庫(kù)linspace相同間隔采樣的實(shí)現(xiàn),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
python3爬蟲(chóng)怎樣構(gòu)建請(qǐng)求header
在本篇內(nèi)容里小編給大家分享了關(guān)于python3爬蟲(chóng)怎樣構(gòu)建請(qǐng)求header的知識(shí)點(diǎn),需要的朋友們學(xué)習(xí)下。2018-12-12
OpenCV 表盤(pán)指針自動(dòng)讀數(shù)的示例代碼
這篇文章主要介紹了OpenCV 表盤(pán)指針自動(dòng)讀數(shù)的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
python制作爬蟲(chóng)并將抓取結(jié)果保存到excel中
本文給大家記錄的是使用Python制作爬蟲(chóng)爬取拉勾網(wǎng)信息并將結(jié)果保存到Excel中的實(shí)現(xiàn)思路及方法,并附上最終源碼,有需要的小伙伴可以參考下2016-04-04

