[全球爬虫论坛] python获取的网页和浏览器的结果不一致

深海空间 · 发表于 2022-8-17 20:28:53

Chiser 发表于 2022-8-17 19:35
如果你右键查看网站源代码没有上述关键词，那就换个姿势，或者考虑手机模式下，说不定有惊喜 ...

右键查看源代码有这个关键字，用python请求的话就找不到，ua和cookie都改了还是一样，不太清楚他是怎么把python和浏览器区分出来的，也没被cf拦住

badyun · 发表于 2022-8-17 21:06:36

应该没区分啊，我用postman直接get都有

深海空间 · 发表于 2022-8-17 22:25:40

badyun 发表于 2022-8-17 21:06
应该没区分啊，我用postman直接get都有

我用python的话

委员 · 发表于 2022-8-17 22:28:30

提示: 作者被禁止或删除内容自动屏蔽

红A · 发表于 2022-8-17 23:06:16

是js计算的，需要把动态生成的那段js运行一下，就能得到m3u8地址

深海空间 · 发表于 2022-8-17 23:29:24

红A 发表于 2022-8-17 23:06
是js计算的，需要把动态生成的那段js运行一下，就能得到m3u8地址

不是, 你打开我帖子里的链接, 再打开chrome调试工具, 刷新页面, 然后在console里打印media_4这个值, 这个是写死在html页面的一个mp4格式的直链(非m3u8切片)

teardrops · 发表于 2022-8-17 23:42:47

用python试了下. 抓回来的源码有 media_4

你确认下get 发出的http头吧

wjj · 发表于 2022-8-17 23:49:12

postman直接调都有，肯定不是js算的

深海空间 · 发表于 2022-8-18 00:18:35

本帖最后由深海空间于 2022-8-18 00:30 编辑

teardrops 发表于 2022-8-17 23:42
用python试了下. 抓回来的源码有 media_4

你确认下get 发出的http头吧

见鬼了, 就两行代码, 不应该会出错的啊

hous135 · 发表于 2022-8-18 00:26:24

深海空间发表于 2022-8-18 00:18
见鬼了, 就两行代码, 不应该会出错的啊

请求头问题吧……

		自动登录	找回密码
密码			注册

委员委员当前离线积分 6689	发表于 2022-8-17 22:28:30 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
委员委员当前离线积分 6689
	回复支持反对举报