Python selenium頁面加載慢超時(shí)的解決方案
開發(fā)環(huán)境:
win10-64 python2.7.16 chrome77
from selenium import webdriver
driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('http://全部加載完成超級(jí)慢的網(wǎng)站')
user = 'abc'
pwd = '123
driver.find_element_by_id('email').send_keys(user)
driver.find_element_by_id('pass').send_keys(pwd)
先看這樣一段代碼
當(dāng)執(zhí)行了get以后,除非網(wǎng)站全部加載完成,否則你只能乖乖等,什么都不能干,這是整個(gè)程序是阻塞的,get不完就別想進(jìn)行下面操作
這個(gè)等待可能是5分鐘或者更久
其實(shí)5秒鐘的時(shí)候界面就已經(jīng)打開了,然后他還在加載些什么js,img,等待速度超慢的,但是網(wǎng)頁人工是可以操作
那么有沒有什么辦法呢,網(wǎng)上找了一通,給出了很多解決方案
首先是這貨(下面是我復(fù)制的):
from selenium import webdriver driver=webdriver.Chrome() driver.set_page_load_timeout(5) driver.set_script_timeout(5)#這兩種設(shè)置都進(jìn)行才有效
try:
d.get(s)
except:
d.execute_script('window.stop()')#這句話好像沒什么軟用
可以在頁面停止加載后繼續(xù)操作了
driver.set_page_load_timeout(5)這玩意一設(shè)置,沒問題,5秒后網(wǎng)頁確實(shí)停止了,但是driver也死了,不管運(yùn)行什么都是timeout,還說try一下,driver是死透了,只能重新來
不知道是selenium更新了還是他自己沒測(cè)試還是chrome更新了,現(xiàn)在這么設(shè)置就是找死的
注意:使用set_page_load_timeout時(shí)候,當(dāng)頁面未加載出任何東西的時(shí)候(往往是html源碼未加載),因?yàn)槌瑫r(shí)而停止,會(huì)導(dǎo)致driver失效,
后面的driver都不能操作,所以超時(shí)設(shè)置應(yīng)該至少保證頁面內(nèi)容加載出來一部分,設(shè)置超時(shí)不宜過短,如下圖在頁面此種狀態(tài)下停止加載后driver失效。
不錯(cuò),是有人也說了,不能設(shè)置太短,會(huì)失效,但是我可以說,你設(shè)置5分鐘照樣失效,只要超時(shí)一次,driver就完蛋,直接翻車
接下來是另一個(gè)方法
# coding = utf-8
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import time
driver = webdriver.Chrome()
class button():
def __call__(self, driver):
if driver.find_element_by_id('js_love_url'):
return True
else:
return False
driver.implicitly_wait(60)
time_start = time.time()
driver.get('https://www.163.com/')
# driver.find_element_by_id('js_love_url').click()
WebDriverWait(driver,2,0.5).until(button())
time_end = time.time()
print('access time is : ', time_end - time_start)
time.sleep(2)
driver.quit()
用WebDriverWait進(jìn)行操作,不過我測(cè)試下來,driver.get()不執(zhí)行完,下面的代碼根本就不會(huì)執(zhí)行,所以還是不行
找了各種方法,各種操作,都失敗了,總算今天找到了正確的方法
原理非常簡單:driver.get()這個(gè)操作,改成不阻塞的就行了,這樣打開網(wǎng)頁就操作完成了,不需要等他加載
下面我可以直接等待需要的元素出現(xiàn)即可進(jìn)行操作
配置也是很簡單
from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities #get直接返回,不再等待界面加載完成 desired_capabilities = DesiredCapabilities.CHROME desired_capabilities["pageLoadStrategy"] = "none" driver = webdriver.Chrome(executable_path='chromedriver.exe')
配置一個(gè)參數(shù),就是頁面加載策略,系統(tǒng)默認(rèn)是等待,就是等他加載完,直接設(shè)置成none,就是不等待,這樣就是get操作完后直接就是結(jié)束了
到此這篇關(guān)于Python selenium頁面加載慢超時(shí)的解決方案的文章就介紹到這了,更多相關(guān)Python selenium加載慢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
淺析python中while循環(huán)和for循環(huán)
在本篇文章里小編給各位整理的是關(guān)于python中while和for循環(huán)知識(shí)點(diǎn)詳解,有興趣的朋友們可以學(xué)習(xí)下。2019-11-11
Python矩陣常見運(yùn)算操作實(shí)例總結(jié)
這篇文章主要介紹了Python矩陣常見運(yùn)算操作,結(jié)合實(shí)例形式總結(jié)分析了Python矩陣的創(chuàng)建以及相乘、求逆、轉(zhuǎn)置等相關(guān)操作實(shí)現(xiàn)方法,需要的朋友可以參考下2017-09-09
python中實(shí)現(xiàn)php的var_dump函數(shù)功能
這篇文章主要介紹了python中實(shí)現(xiàn)php的var_dump函數(shù)功能,var_dump函數(shù)在PHP中調(diào)試時(shí)非常實(shí)用,本文介紹在Python中實(shí)現(xiàn)這個(gè)函數(shù),需要的朋友可以參考下2015-01-01
python 不以科學(xué)計(jì)數(shù)法輸出的方法
今天小編就為大家分享一篇python 不以科學(xué)計(jì)數(shù)法輸出的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Django用戶登錄與注冊(cè)系統(tǒng)的實(shí)現(xiàn)示例
這篇文章主要介紹了Django用戶登錄與注冊(cè)系統(tǒng)的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
Python Pandas pandas.read_sql函數(shù)實(shí)例用法
在本篇文章里小編給大家整理的是一篇關(guān)于Python Pandas pandas.read_sql函數(shù)詳解內(nèi)容,有需要的朋友們可以學(xué)習(xí)下。2021-06-06

