python+selenium+PhantomJS抓取網(wǎng)頁(yè)動(dòng)態(tài)加載內(nèi)容

更新時(shí)間：2020年02月25日 13:14:16 投稿：mdxy-dxy

一般我們使用python的第三方庫(kù)requests及框架scrapy來(lái)爬取網(wǎng)上的資源，但是設(shè)計(jì)javascript渲染的頁(yè)面卻不能抓取，此時(shí)，我們使用web自動(dòng)化測(cè)試化工具Selenium+無(wú)界面瀏覽器PhantomJS來(lái)抓取javascript渲染的頁(yè)面，下面實(shí)現(xiàn)一個(gè)簡(jiǎn)單的爬取

環(huán)境搭建

準(zhǔn)備工具：pyton3.5,selenium,phantomjs

我的電腦里面已經(jīng)裝好了python3.5

安裝Selenium

pip3 install selenium

安裝Phantomjs　　

按照系統(tǒng)環(huán)境下載phantomjs,下載完成之后，將phantomjs.exe解壓到python的script文件夾下

使用selenium+phantomjs實(shí)現(xiàn)簡(jiǎn)單爬蟲

from selenium import webdriver
 
 
driver = webdriver.PhantomJS()
driver.get('http://www.baidu.com')  #加載網(wǎng)頁(yè)
data = driver.page_source  #獲取網(wǎng)頁(yè)文本
driver.save_screenshot('1.png')  #截圖保存
print(data)
driver.quit()

selenium+phantomjs的一些使用方法

設(shè)置請(qǐng)求頭里的user-Agent

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 
 
dcap = dict(DesiredCapabilities.PHANTOMJS) #設(shè)置useragent
dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ') #根據(jù)需要設(shè)置具體的瀏覽器信息
driver = webdriver.PhantomJS(desired_capabilities=dcap) #封裝瀏覽器信息
driver.get('http://www.baidu.com')  #加載網(wǎng)頁(yè)
data = driver.page_source  #獲取網(wǎng)頁(yè)文本
driver.save_screenshot('1.png')  #截圖保存
print(data)
driver.quit()

請(qǐng)求超時(shí)設(shè)置

webdriver類中有三個(gè)和時(shí)間相關(guān)的方法：

1.pageLoadTimeout 設(shè)置頁(yè)面完全加載的超時(shí)時(shí)間，完全加載即完全渲染完成，同步和異步腳本都執(zhí)行完

2.setScriptTimeout 設(shè)置異步腳本的超時(shí)時(shí)間

3.implicitlyWait 識(shí)別對(duì)象的智能等待時(shí)間

from selenium import webdriver
 
driver = webdriver.PhantomJS()
driver.set_page_load_timeout(5) #設(shè)置超時(shí)時(shí)間
driver.get('http://www.baidu.com')
print(driver.title)
driver.quit()

設(shè)置瀏覽器窗口大小

調(diào)用啟動(dòng)的瀏覽器不是全屏的，有時(shí)候會(huì)影響我們的某些操作，所以我們可以設(shè)置全屏

driver.maximize_window() #設(shè)置全屏
driver.set_window_size('480','800') #設(shè)置瀏覽器寬480，高800　　

元素定位

from selenium import webdriver
 
driver = webdriver.PhantomJS()
driver.set_page_load_timeout(5)
driver.get('http://www.baidu.com')
try:
  driver.get('http://www.baidu.com')
  driver.find_element_by_id('kw') # 通過(guò)ID定位
  driver.find_element_by_class_name('s_ipt') # 通過(guò)class屬性定位
  driver.find_element_by_name('wd') # 通過(guò)標(biāo)簽name屬性定位
  driver.find_element_by_tag_name('input') # 通過(guò)標(biāo)簽屬性定位
  driver.find_element_by_css_selector('#kw') # 通過(guò)css方式定位
  driver.find_element_by_xpath("http://input[@id='kw']") # 通過(guò)xpath方式定位
  driver.find_element_by_link_text("貼吧") # 通過(guò)xpath方式定位
  print(driver.find_element_by_id('kw').tag_name ) # 獲取標(biāo)簽的類型
except Exception as e:
  print(e)
driver.quit()

操作瀏覽器前進(jìn)或后退

from selenium import webdriver
driver = webdriver.PhantomJS()
try:
  driver.get('http://www.baidu.com')  #訪問(wèn)百度首頁(yè)
  driver.save_screenshot('1.png')
  driver.get('http://www.sina.com.cn') #訪問(wèn)新浪首頁(yè)
  driver.save_screenshot('2.png')
  driver.back()              #回退到百度首頁(yè)
  driver.save_screenshot('3.png')
  driver.forward()            #前進(jìn)到新浪首頁(yè)
  driver.save_screenshot('4.png')
except Exception as e:
  print(e)
driver.quit()

到此這篇關(guān)于python+selenium+PhantomJS抓取網(wǎng)頁(yè)動(dòng)態(tài)加載內(nèi)容的文章就介紹到這了,更多相關(guān)python PhantomJS抓取內(nèi)容內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: