上篇传送门：pyppeteer执行js绕过webdriver监测方法上
官方文档
https://miyakogi.github.io/pyppeteer/reference.html#mouse-class
启动pyppteer
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
import asynciofrom pyppeteer import launchasync def main(): # headless参数设为False，则变成有头模式 browser = await launch( {'headless': False} ) # 打开一个页面 page = await browser.newPage() # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码 resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态# 程序启动入口asyncio.get_event_loop().run_until_complete(main()) |
切图
|
1
2
3
4
5
6
7
8
9
10
|
# 设置页面视图大小await page.setViewport(viewport={'width': 1280, 'height': 800})# 是否启用JS，enabled设为False，则无渲染效果await page.setJavaScriptEnabled(enabled=True)# 超时间见 10000 毫秒res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})# 等待await asyncio.sleep(2)# 截图 保存图片await page.screenshot({'path': 'cnblog.png'}) |
获取响应头，响应头状态，cookies
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
async def main(): # headless参数设为False，则变成有头模式 browser = await launch( {'headless': False} ) # 打开一个页面 page = await browser.newPage() # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 cookies = page.cookies() print(resp_headers) print(resp_status) print(page.cookies())# 程序启动入口asyncio.get_event_loop().run_until_complete(main()) |
获取当前页面标题
|
1
|
print(await page.title()) |
获取页面html
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
import asynciofrom pyppeteer import launchasync def main(): # headless参数设为False，则变成有头模式 browser = await launch( {'headless': False} ) # 打开一个页面 page = await browser.newPage() # 是否启用JS，enabled设为False，则无渲染效果 await page.setJavaScriptEnabled(enabled=True) # 超时间见 10000 毫秒 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2) print(await page.content()) # 返回html代码 |
第一种：获取整个页面html
|
1
2
3
4
|
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000}) # 等待 await asyncio.sleep(2)print(await page.content()) # 返回html代码 |
第二种：只获取文本
|
1
2
3
4
5
|
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})# 等待await asyncio.sleep(2)content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)print(content) |
注入JS，控制上下滚动
|
1
2
3
4
5
6
7
8
9
10
|
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})# 等待await asyncio.sleep(2)# 滑到底部await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')# jswindow.scrollTo(0,100) # 向下滑动100window.scrollTo(0,500) # 向下滑动500window.scrollTo(0,document.body.scrollHeight) # 滑到底部window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500 |
选择器
|
1
2
3
4
5
|
Page.querySelector() # CSS选择器Page.querySelectorAll() # CSS选择器选所有Page.xpath() # xpath选择器# 简写方式为：Page.J(), Page.JJ(), and Page.Jx() |
获取元素内部的文本、属性
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})# 等待await asyncio.sleep(2)await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')# 方式一：获取h2标签内容--执行JS方式element = await page.querySelector('h2')title = await page.evaluate('(element) => element.textContent', element)# 方式二：获取文本element = await page.querySelector('h2')title = await (await item.getProperty('textContent')).jsonValue()# 方式三：获取属性src,hrefelement = await page.querySelector('h2')title_link = await (await item.getProperty('href')).jsonValue() |
get_html
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
async def get_html(url): browser = await pyppeteer.launch(headless=True, args=['--no-sandbox']) page = await browser.newPage() res = await page.goto(url, options={'timeout': 3000}) data = await page.content() title = await page.title() resp_cookies = await page.cookies() # cookie resp_headers = res.headers # 响应头 resp_status = res.status # 响应状态 print(data) print(title) print(resp_headers) print(resp_status) return xxx |
模拟输入，鼠标点击
|
1
2
3
4
5
|
# 模拟输入 账号密码 {'delay': rand_int()} 为输入时间await page.type('#fm-login-id', "用户名")await page.type('#fm-login-password', "密码", )await page.waitFor(1000) # 等待时间await page.click("#J_SubmitStatic") # 点击 |
taobao登录
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
import asynciofrom pyppeteer import launchasync def main(): # headless参数设为False，则变成有头模式 browser = await launch( {'headless': False} ) # 打开一个页面 page = await browser.newPage() await page.setViewport(viewport={'width': 1280, 'height': 800}) res = await page.goto('https://login.taobao.com/', options={'timeout': 10000}) await page.type('#fm-login-id', "123456") await page.type('#fm-login-password', "aaa", ) await page.waitFor(1000) # 等待时间 slider = await page.querySelector('#nc_1_n1z') # 是否有滑块 if slider: try: print('有滑块') await page.hover('#nc_1_n1z') # 不同场景的验证码模块能名字不同。 await page.mouse.down() # X，Y坐标，steps 是指分成几步来完成，steps越大，滑动速度越慢。(在源码中，steps是指移动到指定x,y 分段滑动的次数，但是每次启动滑动都会花费一定时间，可以认为steps是滑动的速度) # 如果是每次移动的距离，可以用for循环尝试正负移动 await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)}) await page.mouse.up() except Exception as e: print(e) input('验证失败，人工登录：') else: print('没有滑块') input() await page.click("#login-form > div.fm-btn > button") # 点击登录# 程序启动入口asyncio.get_event_loop().run_until_complete(main()) |
taobao修改检测浏览器
|
1
2
3
4
5
6
7
8
9
10
11
12
|
await page.evaluate( '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') # 以下为插入中间js，将淘宝会为了检测浏览器而调用的js修改其结果。await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {}, }; }''')await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')# 使用type选定页面元素，并修改其数值，用于输入账号密码，修改的速度仿人类操作，因为有个输入速度的检测机制# 因为 pyppeteer 框架需要转换为js操作，而js和python的类型定义不同，所以写法与参数要用字典，类型导入await page.type('.J_UserName', username, {'delay': input_time_random() - 50})await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})# await page.screenshot({'path': './headless-test-result.png'}) # 截图测试def input_time_random(): return random.randint(100, 151) |
鼠标事件
|
1
2
3
4
|
.click() # 点击按钮.down() # 按下按钮.up() # 释放按钮.move() # 移动光标 |
键盘事件
|
1
2
3
4
5
6
7
8
|
您可以使用down()，up()和 sendCharacter()手动触发事件，就好像事件是由真实键盘生成的一样。await page.keyboard.press('ArrowLeft')await page.keyboard.down('Shift')for i in ' World': await page.keyboard.press('ArrowLeft')await page.keyboard.up('Shift')await page.keyboard.press('Backspace')# Result text will end up saying 'Hello!'. |
按下键盘A：
|
1
2
3
4
|
await page.keyboard.down('Shift')await page.keyboard.press('KeyA')await page.keyboard.press('Enter')await page.keyboard.up('Shift') |
注意
修饰键确实会影响down()。按住shift 将以大写形式键入文本。
参数：
key（str）–要按键的名称，例如ArrowLeft。
options（dict）–选项可以具有text字段，如果指定了此选项，则使用此文本生成输入事件。
使用ip代理ua
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
import asynciofrom pyppeteer import launchasync def register(): browser = await launch({ 'headless': False, # 代理ip 'args': ['--proxy-server=47.105.111.124:15525', ] }) page = await browser.newPage() await page.setUserAgent( 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')asyncio.get_event_loop().run_until_complete(register())# 更多参数args: [ '--disable-setuid-sandbox', '--no-sandbox', '--proxy-server=10.24.51.125:8411', '--ignore-certificate-errors', '--window-size=375,812', '--remote-debugging-port=9222' ], |
以上就是pyppeteer执行js并绕过webdriver监测的常见方法下篇的详细内容，更多关于pyppeteer执行js绕过webdriver监测的资料请关注服务器之家其它相关文章！
原文链接：https://www.cnblogs.com/guyouyin123/p/12915951.html
