pyppeteer執(zhí)行js繞過webdriver監(jiān)測方法下
更新時間：2022年04月12日 14:33:59 作者：Jeff的技術(shù)棧
這篇文章主要為大家介紹了pyppeteer上執(zhí)行js并繞過webdriver監(jiān)測常見方法的上篇，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步早日升職加薪
上篇傳送門：pyppeteer執(zhí)行js繞過webdriver監(jiān)測方法上
官方文檔
https://miyakogi.github.io/pyppeteer/reference.html#mouse-class
啟動pyppteer
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個頁面
page = await browser.newPage()
# 超時間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
# 程序啟動入口
asyncio.get_event_loop().run_until_complete(main())
切圖
# 設(shè)置頁面視圖大小
await page.setViewport(viewport={'width': 1280, 'height': 800})
# 是否啟用JS，enabled設(shè)為False，則無渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 截圖 保存圖片
await page.screenshot({'path': 'cnblog.png'})
獲取響應(yīng)頭，響應(yīng)頭狀態(tài)，cookies
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個頁面
page = await browser.newPage()
# 超時間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
cookies = page.cookies()
print(resp_headers)
print(resp_status)
print(page.cookies())
# 程序啟動入口
asyncio.get_event_loop().run_until_complete(main())
獲取當前頁面標題
print(await page.title())
獲取頁面html
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個頁面
page = await browser.newPage()
# 是否啟用JS，enabled設(shè)為False，則無渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
第一種：獲取整個頁面html
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
第二種：只獲取文本
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
print(content)
注入JS，控制上下滾動
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 滑到底部
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# js
window.scrollTo(0,100) # 向下滑動100
window.scrollTo(0,500) # 向下滑動500
window.scrollTo(0,document.body.scrollHeight) # 滑到底部
window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500
選擇器
Page.querySelector() # CSS選擇器 Page.querySelectorAll() # CSS選擇器選所有 Page.xpath() # xpath選擇器 # 簡寫方式為： Page.J(), Page.JJ(), and Page.Jx()
獲取元素內(nèi)部的文本、屬性
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 方式一：獲取h2標簽內(nèi)容--執(zhí)行JS方式
element = await page.querySelector('h2')
title = await page.evaluate('(element) => element.textContent', element)
# 方式二：獲取文本
element = await page.querySelector('h2')
title = await (await item.getProperty('textContent')).jsonValue()
# 方式三：獲取屬性src,href
element = await page.querySelector('h2')
title_link = await (await item.getProperty('href')).jsonValue()
get_html
async def get_html(url):
browser = await pyppeteer.launch(headless=True, args=['--no-sandbox'])
page = await browser.newPage()
res = await page.goto(url, options={'timeout': 3000})
data = await page.content()
title = await page.title()
resp_cookies = await page.cookies() # cookie
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
print(data)
print(title)
print(resp_headers)
print(resp_status)
return xxx
模擬輸入，鼠標點擊
# 模擬輸入 賬號密碼 {'delay': rand_int()} 為輸入時間
await page.type('#fm-login-id', "用戶名")
await page.type('#fm-login-password', "密碼", )
await page.waitFor(1000) # 等待時間
await page.click("#J_SubmitStatic") # 點擊
taobao登錄
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個頁面
page = await browser.newPage()
await page.setViewport(viewport={'width': 1280, 'height': 800})
res = await page.goto('https://login.taobao.com/', options={'timeout': 10000})
await page.type('#fm-login-id', "123456")
await page.type('#fm-login-password', "aaa", )
await page.waitFor(1000) # 等待時間
slider = await page.querySelector('#nc_1_n1z') # 是否有滑塊
if slider:
try:
print('有滑塊')
await page.hover('#nc_1_n1z') # 不同場景的驗證碼模塊能名字不同。
await page.mouse.down()
# X，Y坐標，steps 是指分成幾步來完成，steps越大，滑動速度越慢。(在源碼中，steps是指移動到指定x,y 分段滑動的次數(shù)，但是每次啟動滑動都會花費一定時間，可以認為steps是滑動的速度)
# 如果是每次移動的距離，可以用for循環(huán)嘗試正負移動
await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)})
await page.mouse.up()
except Exception as e:
print(e)
input('驗證失敗，人工登錄：')
else:
print('沒有滑塊')
input()
await page.click("#login-form > div.fm-btn > button") # 點擊登錄
# 程序啟動入口
asyncio.get_event_loop().run_until_complete(main())
taobao修改檢測瀏覽器
await page.evaluate(
'''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') # 以下為插入中間js，將淘寶會為了檢測瀏覽器而調(diào)用的js修改其結(jié)果。
await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {}, }; }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')
# 使用type選定頁面元素，并修改其數(shù)值，用于輸入賬號密碼，修改的速度仿人類操作，因為有個輸入速度的檢測機制
# 因為 pyppeteer 框架需要轉(zhuǎn)換為js操作，而js和python的類型定義不同，所以寫法與參數(shù)要用字典，類型導(dǎo)入
await page.type('.J_UserName', username, {'delay': input_time_random() - 50})
await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})
# await page.screenshot({'path': './headless-test-result.png'}) # 截圖測試
def input_time_random():
return random.randint(100, 151)
鼠標事件
.click() # 點擊按鈕 .down() # 按下按鈕 .up() # 釋放按鈕 .move() # 移動光標
鍵盤事件
您可以使用down()，up()和 sendCharacter()手動觸發(fā)事件，就好像事件是由真實鍵盤生成的一樣。
await page.keyboard.press('ArrowLeft')
await page.keyboard.down('Shift')
for i in ' World':
await page.keyboard.press('ArrowLeft')
await page.keyboard.up('Shift')
await page.keyboard.press('Backspace')
# Result text will end up saying 'Hello!'.按下鍵盤A：
await page.keyboard.down('Shift')
await page.keyboard.press('KeyA')
await page.keyboard.press('Enter')
await page.keyboard.up('Shift')
注意
修飾鍵確實會影響down()。按住shift 將以大寫形式鍵入文本。
參數(shù)：
key（str）–要按鍵的名稱，例如ArrowLeft。
options（dict）–選項可以具有text字段，如果指定了此選項，則使用此文本生成輸入事件。
使用ip代理ua
import asyncio
from pyppeteer import launch
async def register():
browser = await launch({
'headless': False,
# 代理ip
'args': ['--proxy-server=47.105.111.124:15525', ]
})
page = await browser.newPage()
await page.setUserAgent(
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
asyncio.get_event_loop().run_until_complete(register())
# 更多參數(shù)
args: [
'--disable-setuid-sandbox',
'--no-sandbox',
'--proxy-server=10.24.51.125:8411',
'--ignore-certificate-errors',
'--window-size=375,812',
'--remote-debugging-port=9222'
],以上就是pyppeteer執(zhí)行js并繞過webdriver監(jiān)測的常見方法下篇的詳細內(nèi)容，更多關(guān)于pyppeteer執(zhí)行js繞過webdriver監(jiān)測的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
本文給大家介紹一下Python中類才初始化時候的特殊方法，通過實例給大家做了分析，一起來學(xué)習(xí)下。2017-12-12
Python線性網(wǎng)絡(luò)實現(xiàn)分類糖尿病病例
什么是線性規(guī)劃？想象一下，您有一個線性方程組和不等式系統(tǒng)。這樣的系統(tǒng)通常有許多可能的解決方案。線性規(guī)劃是一組數(shù)學(xué)和計算工具，可讓您找到該系統(tǒng)的特定解，該解對應(yīng)于某些其他線性函數(shù)的最大值或最小值2022-10-10
在自然語言處理（NLP）領(lǐng)域，文本相似度計算是一個常見的任務(wù)，本文為大家整理了Python中的文本相似度常見計算方法，希望對大家有所幫助2023-05-05
這篇文章主要介紹了如何利用Python實現(xiàn)讀取Excel中的圖片的功能，文中的實現(xiàn)步驟講解詳細，對我們學(xué)習(xí)Python有一定幫助，需要的可以參考一下2022-01-01
Windows系統(tǒng)下PhantomJS的安裝和基本用法
今天小編就為大家分享一篇關(guān)于Windows系統(tǒng)下PhantomJS的安裝和基本用法，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-10-10
這篇文章主要介紹了python圖形界面tkinter的使用技巧，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-09-09
Python密碼學(xué)XOR算法編碼流程及乘法密碼教程
這篇文章主要為大家介紹了Python密碼學(xué)XOR流程及乘法密碼教程示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
python網(wǎng)絡(luò)編程之文件下載實例分析
這篇文章主要介紹了python網(wǎng)絡(luò)編程之文件下載實現(xiàn)方法,實例分析了Python基于FTP及http實現(xiàn)文件下載的技巧,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了關(guān)于python曲線擬合，scipy.optimize中，curve_fit函數(shù)可調(diào)用非線性最小二乘法進行函數(shù)擬合，文中有詳細的代碼作為參考，需要的朋友可以閱讀參考2023-04-04
Pandas是一個強大的Python庫,用于數(shù)據(jù)處理和分析,它提供了多種文件格式的數(shù)據(jù)讀取和導(dǎo)出方法,包括CSV、Excel、SQL數(shù)據(jù)庫、JSON等,常用的數(shù)據(jù)讀取方法為`pd.read_csv()`、`pd.read_excel()`等,導(dǎo)出方法為`to_csv()`、`to_excel()`等2025-01-01