Python無(wú)頭爬蟲(chóng)下載文件的實(shí)現(xiàn)
有些頁(yè)面并不能直接用requests獲取到內(nèi)容，會(huì)動(dòng)態(tài)執(zhí)行一些js代碼生成內(nèi)容。這個(gè)文章主要是對(duì)付那些特殊頁(yè)面的，比如必須要進(jìn)行js調(diào)用才能下載的情況。
安裝chrome
wget [https://dl.google.com/linux/direct/google-chrome-stable\_current\_x86\_64.rpm](https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm) yum install ./google-chrome-stable\_current\_x86\_64.rpm yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts
安裝chromedriver
淘寶源（推薦）
wget http://npm.taobao.org/mirrors/chromedriver/2.41/chromedriver_linux64.zip unzip chromedriver\_linux64.zip move chromedriver /usr/bin/ chmod +x /usr/bin/chromedriver
感謝這篇博客
上述步驟可以選擇適合自己的版本下載，注意：chrome和chrome driver必須是匹配的版本，chrome driver會(huì)備注支持的chrome版本號(hào)。
實(shí)戰(zhàn)操作
需要引入的庫(kù)
from selenium import webdriver from time import sleep from selenium.webdriver.chrome.options import Options from selenium.common.exceptions import NoSuchElementException
chrome啟動(dòng)設(shè)置
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')#解決DevToolsActivePort文件不存在的報(bào)錯(cuò)
chrome_options.add_argument('window-size=1920x3000') #指定瀏覽器分辨率
chrome_options.add_argument('--disable-gpu') #谷歌文檔提到需要加上這個(gè)屬性來(lái)規(guī)避bug
chrome_options.add_argument('--hide-scrollbars') #隱藏滾動(dòng)條, 應(yīng)對(duì)一些特殊頁(yè)面
chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加載圖片, 提升速度
chrome_options.add_argument('--headless') #瀏覽器不提供可視化頁(yè)面. linux下如果系統(tǒng)不支持可視化不加這條會(huì)啟動(dòng)失敗
同樣感謝上面的博客
設(shè)置額外參數(shù)，比如下載不彈窗和默認(rèn)下載路徑
prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': './filelist'}
chrome_options.add_experimental_option('prefs', prefs)
初始化驅(qū)動(dòng)
cls.driver=webdriver.Chrome(options=chrome_options)
退出驅(qū)動(dòng)
cls.driver.quit()
請(qǐng)求一個(gè)url
cls.driver.get(url)
執(zhí)行指定js代碼
cls.driver.execute_script('console.log("helloworld")')
查找指定元素
subtitle = cls.driver.find_element_by_class_name("fubiaoti").text
到此這篇關(guān)于Python無(wú)頭爬蟲(chóng)下載文件的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Python無(wú)頭爬蟲(chóng)下載文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
PowerBI和Python關(guān)于數(shù)據(jù)分析的對(duì)比
這篇文章主要介紹了PowerBI和Python關(guān)于數(shù)據(jù)分析的對(duì)比，很多經(jīng)常會(huì)用到數(shù)據(jù)分析的伙伴會(huì)問(wèn)有沒(méi)有一款便捷好用的工具！肯定有啊，Python的出現(xiàn)和普及，很容易就能改變這些窘境,需要的朋友可以參考下2019-07-07
如何用Python中Tushare包輕松完成股票篩選(詳細(xì)流程操作)
這篇文章主要介紹了如何用Python中Tushare包輕松完成股票篩選(詳細(xì)流程操作)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要介紹了Python爬蟲(chóng)之爬取二手房信息,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python爬蟲(chóng)的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04
python萬(wàn)年歷實(shí)現(xiàn)代碼 含運(yùn)行結(jié)果
這篇文章主要為大家詳細(xì)介紹了python萬(wàn)年歷實(shí)現(xiàn)代碼,含運(yùn)行結(jié)果，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-05-05
關(guān)于python中不同函數(shù)讀取圖片格式的區(qū)別淺析
這篇文章主要給大家介紹了關(guān)于python中不同函數(shù)讀取圖片格式的區(qū)別,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-03-03
用python的turtle模塊實(shí)現(xiàn)給女票畫(huà)個(gè)小心心
今天小編就為大家分享一篇用python的turtle模塊實(shí)現(xiàn)給女票畫(huà)個(gè)小心心，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
Python安裝Imaging報(bào)錯(cuò)：The _imaging C module is not installed問(wèn)題解決
這篇文章主要介紹了Python安裝Imaging報(bào)錯(cuò)：The _imaging C module is not installed問(wèn)題解決方法,原來(lái)是PIL庫(kù)的庫(kù)文件沒(méi)有加到系統(tǒng)中導(dǎo)致老是提示這個(gè)錯(cuò)誤,需要的朋友可以參考下2014-08-08
python3.6 +tkinter GUI編程 實(shí)現(xiàn)界面化的文本處理工具(推薦)
這篇文章主要介紹了python3.6 +tkinter GUI編程 實(shí)現(xiàn)界面化的文本處理工具(推薦)的相關(guān)資料,需要的朋友可以參考下2017-12-12
python Selenium等待元素出現(xiàn)的具體方法
在本篇文章里小編給大家分享的是一篇關(guān)于python Selenium等待元素出現(xiàn)的具體方法，以后需要的朋友們可以學(xué)習(xí)參考下。2021-08-08
如何基于matlab相機(jī)標(biāo)定導(dǎo)出xml文件
這篇文章主要介紹了如何基于matlab相機(jī)標(biāo)定導(dǎo)出xml文件,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11