Python爬蟲爬驗(yàn)證碼實(shí)現(xiàn)功能詳解
主要實(shí)現(xiàn)功能:
- 登陸網(wǎng)頁
- 動(dòng)態(tài)等待網(wǎng)頁加載
- 驗(yàn)證碼下載
很早就有一個(gè)想法,就是自動(dòng)按照腳本執(zhí)行一個(gè)功能,節(jié)省大量的人力——個(gè)人比較懶?;藥滋鞂懥藢?,本著想完成驗(yàn)證碼的識(shí)別,從根本上解決問題,只是難度太高,識(shí)別的準(zhǔn)確率又太低,計(jì)劃再次告一段落。
希望這次經(jīng)歷可以與大家進(jìn)行分享和交流。
Python打開瀏覽器
相比與自帶的urllib2模塊,操作比較麻煩,針對于一部分網(wǎng)頁還需要對cookie進(jìn)行保存,很不方便。于是,我這里使用的是Python2.7下的selenium模塊進(jìn)行網(wǎng)頁上的操作。
測試網(wǎng)頁:http://graduate.buct.edu.cn
打開網(wǎng)頁:(需下載chromedriver)
為了支持中文字符輸出,我們需要調(diào)用sys模塊,把默認(rèn)編碼改為 UTF-8
<code class="hljs python">from selenium.webdriver.support.ui import Select, WebDriverWait
from selenium import webdriver
from selenium import common
from PIL import Image
import pytesser
import sys
reload(sys)
sys.setdefaultencoding('utf8')
broswer = webdriver.Chrome()
broswer.maximize_window()
username = 'test'
password = 'test'
url = 'http://graduate.buct.edu.cn'
broswer.get(url)</code>
等待網(wǎng)頁加載完畢
使用的是selenium中的WebDriverWait,上面的代碼中已經(jīng)加載
<code class="hljs livecodeserver">url = 'http://graduate.buct.edu.cn' broswer.get(url) wait = WebDriverWait(webdriver,5) #設(shè)置超時(shí)時(shí)間5s # 在這里輸入表單填寫并加載的代碼 elm = wait.until(lambda webdriver: broswer.find_element_by_xpath(xpathMenuCheck))</code>
元素定位、字符輸入
接下來我們需要進(jìn)行登錄操作:這里我使用的是Chrome,右鍵選擇需要進(jìn)行填寫內(nèi)容的部分,選擇檢查,會(huì)自動(dòng)轉(zhuǎn)跳到 F12下的開發(fā)者模式(全程需要這個(gè)功能來找到相關(guān)的資源)。

vczKprbLJnJkcXVvO9Gh1PHT0LnYtcSyv7fWPGJyIC8+DQo8aW1nIGFsdD0="這里寫圖片描述" src="http://www.dhdzp.com/uploadfile/Collfiles/20160414/20160414092144893.png" title="\" />
這里我們看到有一個(gè)value = “1”,考慮到下拉框的屬性,我們只要想辦法把這個(gè)value賦值給UserRole就好了。
這里使用的是通過selenium的Select模塊來進(jìn)行選擇,定位控件使用 find_element_by_**,能一一對應(yīng),很方便。
<code class="hljs sql">select = Select(broswer.find_element_by_id('UserRole'))
select.select_by_value('2')
name = broswer.find_element_by_id('username')
name.send_keys(username)
pswd = broswer.find_element_by_id('password')
pswd.send_keys(password)
btnlg = broswer.find_element_by_id('btnLogin')
btnlg.click()</code>
這是用腳本自動(dòng)填充完的效果,之后就會(huì)轉(zhuǎn)跳到下一頁。

這里,我需要的是功能是自動(dòng)對學(xué)術(shù)報(bào)告進(jìn)行報(bào)名

對需要已有的報(bào)告右鍵即可發(fā)現(xiàn)和這個(gè)活動(dòng)有關(guān)的消息,因現(xiàn)在沒有報(bào)告,所以只顯示了標(biāo)題,但對于后面的有效報(bào)告識(shí)別有相似的地方。

對于元素的定位,我優(yōu)先選擇了 xpath,根據(jù)測試,可以唯一定位一個(gè)元素的位置,很好用。
<code class="hljs perl">//*[@id="dgData00"]/tbody/tr/td[2] (前面是xpath)</code>

爬取信息
接下來我們要進(jìn)行的步驟是爬取現(xiàn)有的有效報(bào)告:
<code class="hljs axapta"># 尋找有效報(bào)告
flag = 1
count = 2
count_valid = 0
while flag:
try:
category = broswer.find_element_by_xpath('//*[@id="dgData00"]/tbody/tr[' + str(count) + ']/td[1]').text
count += 1
except common.exceptions.NoSuchElementException:
break
# 獲取報(bào)告信息
flag = 1
for currentLecture in range(2, count):
# 類別
category = broswer.find_element_by_xpath('//*[@id="dgData00"]/tbody/tr[' + str(currentLecture) + ']/td[1]').text
# 名稱
name = broswer.find_element_by_xpath('//*[@id="dgData00"]/tbody/tr[' + str(currentLecture) + ']/td[2]').text
# 單位
unitsPublish = broswer.find_element_by_xpath('//*[@id="dgData00"]/tbody/tr[' + str(currentLecture) + ']/td[3]').text
# 開始時(shí)間
startTime = broswer.find_element_by_xpath('//*[@id="dgData00"]/tbody/tr[' + str(currentLecture) + ']/td[4]').text
# 截止時(shí)間
endTime = broswer.find_element_by_xpath('//*[@id="dgData00"]/tbody/tr[' + str(currentLecture) + ']/td[5]').text</code>
爬取驗(yàn)證碼

對網(wǎng)頁中的驗(yàn)證碼進(jìn)行元素審查后,我們發(fā)現(xiàn)了其中的一個(gè)一個(gè)鏈接,是 IdentifyingCode.apsx,后面我們就對這個(gè)頁面進(jìn)行加載,并批量獲取驗(yàn)證碼。

爬取的思路是用selenium截取當(dāng)前頁面(僅顯示部分),并保存到本地——需要翻頁并截取特定位置的請研究:
broswer.set_window_position(**)相關(guān)函數(shù);然后人工進(jìn)行驗(yàn)證碼的定位,通過PIL模塊進(jìn)行截取并保存。
最后調(diào)用谷歌在Python下的pytesser進(jìn)行字符識(shí)別,但這個(gè)網(wǎng)站的驗(yàn)證碼有很多的干擾,外加字符旋轉(zhuǎn),僅僅能識(shí)別其中的一部分字符。
<code class="hljs livecodeserver"># 獲取驗(yàn)證碼并驗(yàn)證(僅僅一幅)
authCodeURL = broswer.find_element_by_xpath('//*[@id="Table2"]/tbody/tr[2]/td/p/img').get_attribute('src') # 獲取驗(yàn)證碼地址
broswer.get(authCodeURL)
broswer.save_screenshot('text.png')
rangle = (0, 0, 64, 28)
i = Image.open('text.png')
frame4 = i.crop(rangle)
frame4.save('authcode.png')
qq = Image.open('authcode.png')
text = pytesser.image_to_string(qq).strip()</code>
<code class="hljs axapta"># 批量獲取驗(yàn)證碼
authCodeURL = broswer.find_element_by_xpath('//*[@id="Table2"]/tbody/tr[2]/td/p/img').get_attribute('src') # 獲取驗(yàn)證碼地址
# 獲取學(xué)習(xí)樣本
for count in range(10):
broswer.get(authCodeURL)
broswer.save_screenshot('text.png')
rangle = (1, 1, 62, 27)
i = Image.open('text.png')
frame4 = i.crop(rangle)
frame4.save('authcode' + str(count) + '.png')
print 'count:' + str(count)
broswer.refresh()
broswer.quit()</code>
爬取下來的驗(yàn)證碼

一部分驗(yàn)證碼原圖:

從上面的驗(yàn)證碼看出,字符是帶旋轉(zhuǎn)的,而且因?yàn)樾D(zhuǎn)造成的重疊對于后續(xù)的識(shí)別也有很大的影響。我曾嘗試過使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,但因沒有進(jìn)行特征向量的提取,準(zhǔn)確率低得離譜。
關(guān)于Python爬蟲爬驗(yàn)證碼實(shí)現(xiàn)功能詳解就給大家介紹到這里,希望對大家有所幫助!
- 用Python爬蟲破解滑動(dòng)驗(yàn)證碼的案例解析
- python網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)發(fā)送短信驗(yàn)證碼的方法
- Python爬蟲爬取ts碎片視頻+驗(yàn)證碼登錄功能
- python爬蟲如何解決圖片驗(yàn)證碼
- Python爬蟲模擬登陸嗶哩嗶哩(bilibili)并突破點(diǎn)選驗(yàn)證碼功能
- Python3爬蟲里關(guān)于識(shí)別微博宮格驗(yàn)證碼的知識(shí)點(diǎn)詳解
- Python3爬蟲關(guān)于識(shí)別點(diǎn)觸點(diǎn)選驗(yàn)證碼的實(shí)例講解
- Python3爬蟲關(guān)于識(shí)別檢驗(yàn)滑動(dòng)驗(yàn)證碼的實(shí)例
- Python3爬蟲中識(shí)別圖形驗(yàn)證碼的實(shí)例講解
- Python3網(wǎng)絡(luò)爬蟲開發(fā)實(shí)戰(zhàn)之極驗(yàn)滑動(dòng)驗(yàn)證碼的識(shí)別
- python爬蟲解決驗(yàn)證碼的思路及示例
- Python爬蟲實(shí)現(xiàn)驗(yàn)證碼登錄代碼實(shí)例
- python爬蟲之驗(yàn)證碼篇3-滑動(dòng)驗(yàn)證碼識(shí)別技術(shù)
- python爬蟲之自動(dòng)登錄與驗(yàn)證碼識(shí)別
- Python爬蟲模擬登錄帶驗(yàn)證碼網(wǎng)站
- 爬蟲Python驗(yàn)證碼識(shí)別入門
相關(guān)文章
從零開始安裝Conda并搭建Python環(huán)境的全過程
conda是一個(gè)開源的包、環(huán)境管理器,可以用于在同一個(gè)機(jī)器上創(chuàng)建不同的虛擬環(huán)境,這篇文章主要介紹了安裝Conda并搭建Python環(huán)境的相關(guān)資料,需要的朋友可以參考下2025-04-04
Python實(shí)現(xiàn)自動(dòng)發(fā)送測試報(bào)告郵件的示例代碼
SMTP也就是簡單郵件傳輸協(xié)議,是一種提供可靠且有效電子郵件傳輸?shù)膮f(xié)議,python的smtplib模塊就提供了一種很方便的途徑發(fā)送電子郵件,它對smtp協(xié)議進(jìn)行了簡單的封裝,下面就來和大家簡單聊聊吧2023-07-07
Python中用post、get方式提交數(shù)據(jù)的方法示例
最近在學(xué)習(xí)使用Python,發(fā)現(xiàn)網(wǎng)上很少提到如何使用post,所以下面這篇文章主要給大家介紹了關(guān)于Python中用post、get方式提交數(shù)據(jù)的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起看看吧。2017-09-09
Python雙向循環(huán)鏈表實(shí)現(xiàn)方法分析
這篇文章主要介紹了Python雙向循環(huán)鏈表,結(jié)合實(shí)例形式分析了Python雙向鏈表的定義、遍歷、添加、刪除、搜索等相關(guān)操作技巧,需要的朋友可以參考下2018-07-07
tensorflow2 自定義損失函數(shù)使用的隱藏坑
本文主要介紹了tensorflow2 自定義損失函數(shù)使用的隱藏坑,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-07-07
python pygame實(shí)現(xiàn)球球大作戰(zhàn)
這篇文章主要為大家詳細(xì)介紹了Python pygame實(shí)現(xiàn)球球大作戰(zhàn),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-11-11

