使用python requests时碰到CF校验怎么办

深海空间 · 发表于 2021-12-11 17:36:10

本帖最后由深海空间于 2021-12-11 18:17 编辑

我是用requests爬取的时候，返回回来的结果是CF的那个"Please Wait... | Cloudflare"的界面。
奇怪的是，如果我用浏览器挂代理访问时，他是正常的(没有CF那个等待界面)，然后用那台代理的vps运行python爬取时却碰到了CF这个界面，所以应该不是IP的问题。
我把浏览器整个request header复制过去都是一样。
有可能是什么原因导致的呢？

jqbaobao · 发表于 2021-12-11 17:38:54

说明cf精准拦截

Eric.c · 发表于 2021-12-11 17:37:59

改用chrome less

Chriss · 发表于 2021-12-11 17:39:31

缺东西了吧

wachyi · 发表于 2021-12-11 17:40:42

要支持渲染javascript

robot · 发表于 2021-12-11 17:44:23

https://blog.csdn.net/xc_zhou/article/details/106589277

深海空间 · 发表于 2021-12-11 17:45:16

Chriss 发表于 2021-12-11 17:39
缺东西了吧

可能缺了什么？

深海空间 · 发表于 2021-12-11 17:50:39

wachyi 发表于 2021-12-11 17:40
要支持渲染javascript

我清理缓存后禁用这个网站的JS，发现他还是可以正常工作到达登录界面，这样应该排除JS的原因了。

suantong · 发表于 2021-12-11 17:57:10

回帖的都是爬虫大佬

美图秀秀 · 发表于 2021-12-11 18:01:51

直接隐身模式打开那个页面试试

		自动登录	找回密码
密码			注册