python實現(xiàn)selenium網(wǎng)絡爬蟲的方法小結
selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執(zhí)行JavaScript代碼的問題,selenium本質是通過驅動瀏覽器,完全模擬瀏覽器的操作,比如跳轉、輸入、點擊、下拉等,來拿到網(wǎng)頁渲染之后的結果,可支持多種瀏覽器,這里只用到谷歌瀏覽器。
1.selenium初始化
方法一:會打開網(wǎng)頁
# 該方法會打開goole網(wǎng)頁 from selenium import webdriver url = '網(wǎng)址' driver = webdriver.Chrome() driver.get(url) driver.maximize_window() # 實現(xiàn)窗口最大化
方法二:不會打開網(wǎng)頁
# 該方法會隱式打開goole網(wǎng)頁
from selenium import webdriver
url = '網(wǎng)址'
driver = webdriver.ChromeOptions()
driver.add_argument("headless")
driver = webdriver.Chrome(options=driver)
driver.get(url)
driver = webdriver.Chrome()出錯是因為沒有chromedriver.exe這個文件
2.元素定位
在selenium中,可以有多種方法對元素進行定位,個人通常喜歡用Xpath和selector來定位元素,這樣就不用一個一個的去找節(jié)點,直接在網(wǎng)頁上定位到元素復制就行。
driver.find_element_by_id() # 通過元素ID定位 driver.find_element_by_name() # 通過元素Name定位 driver.find_element_by_class_name() # 通過類名定位 driver.find_element_by_tag_name() # 通過元素TagName定位 driver.find_element_by_link_text() # 通過文本內容定位 driver.find_element_by_partial_link_text() driver.find_element_by_xpath() # 通過Xpath語法定位 driver.find_element_by_css_selector() # 通過選擇器定位
注:若尋找多個元素,要記得用復數(shù)來選擇(element改為elements)
# 例如 [i.text for i in driver.find_elements_by_xpath()]

3.建立點擊事件
因為有些網(wǎng)站的需求,需建立點擊事件,
如下圖的這種時間選擇,需要設置點擊和輸入內容,設置的方法也很簡單。

driver.find_element_by_css_selector('').click() # 點擊
driver.find_element_by_css_selector('').send_keys('2021-3-9') # 輸入內容
4.切換窗口
有些網(wǎng)站點擊之后會產(chǎn)生新窗口,這時就需要進行窗口的切換才能進行元素定位
win = driver.window_handles # 獲取當前瀏覽器的所有窗口 driver.switch_to.window(win[-1]) # 切換到最后打開的窗口 driver.close() # 關閉當前窗口 driver.switch_to.window(win[0]) # 切換到最初的窗口
5.iframe問題
有些網(wǎng)站會采用iframe來編寫頁面,這時就需要進入到iframe才可以獲取元素,一般有多少個iframe就需要進入多少個iframe。

# 有兩個iframe,需逐步進入
iframe1 = driver.find_element_by_xpath('')
driver.switch_to.frame(iframe1)
iframe2 = driver.find_element_by_xpath('')
driver.switch_to.frame(iframe2)
到此這篇關于python實現(xiàn)selenium網(wǎng)絡爬蟲的文章就介紹到這了,更多相關python selenium網(wǎng)絡爬蟲內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
- python網(wǎng)絡爬蟲selenium打開多窗口與切換頁面的實現(xiàn)
- python網(wǎng)絡爬蟲 Scrapy中selenium用法詳解
- Python+selenium實現(xiàn)趣頭條的視頻自動上傳與發(fā)布
- Python + selenium 自動化測試框架詳解
- python自動化測試selenium屏幕截圖示例
- Python編程使用Selenium模擬淘寶登錄實現(xiàn)過程
- Python+selenium 自動化快手短視頻發(fā)布的實現(xiàn)過程
- Python結合Selenium簡單實現(xiàn)Web自動化測試
- 利用Python+Selenium破解春秋航空網(wǎng)滑塊驗證碼的實戰(zhàn)過程
- python網(wǎng)絡爬蟲基于selenium爬取斗魚直播信息
相關文章
TensorFlow MNIST手寫數(shù)據(jù)集的實現(xiàn)方法
MNIST數(shù)據(jù)集中包含了各種各樣的手寫數(shù)字圖片,這篇文章主要介紹了TensorFlow MNIST手寫數(shù)據(jù)集的實現(xiàn)方法,需要的朋友可以參考下2020-02-02
Django app配置多個數(shù)據(jù)庫代碼實例
這篇文章主要介紹了Django app配置多個數(shù)據(jù)庫代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
使用 setuptools 在 Python 中安裝 egg 
Eggs 是 Python 中以前使用的一種分發(fā)格式,它包含特定項目所需的信息,從依賴項到環(huán)境變量,在本文中,我們將討論如何在 Python 中安裝 egg 文件,以及可用于實現(xiàn)此操作的工具,感興趣的朋友一起看看吧2023-08-08

