百度爬虫竟然支持js渲染??

jiangyi · 发表于 2021-8-4 21:23:38

本帖最后由 jiangyi 于 2021-8-4 21:26 编辑

这个页面是js渲染的,然而百度可以抓到内容
https://www.baidu.com/s?wd=%E4%B ... 9%99%A9%E5%8C%BAapi

G.K.D · 发表于 2021-8-4 21:26:53

这个应该不稀奇，因为现在 JS 动态加载网页内容的网站越来越多了~

phpsky · 发表于 2021-8-4 21:27:53

"Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"

都想屏蔽了，天天来盗图

alpha · 发表于 2021-8-4 21:28:24

提示: 作者被禁止或删除内容自动屏蔽

我是坏虫 · 发表于 2021-8-4 21:28:52

提示: 作者被禁止或删除内容自动屏蔽

hjvn2211445 · 发表于 2021-8-4 21:29:55

挂了联盟js广告，掉收录

笑花落半世琉璃 · 发表于 2021-8-4 21:30:09

这不是正常操作吗

jiangyi · 发表于 2021-8-4 22:11:18

alpha 发表于 2021-8-4 21:28
这种是json直接写入源码的，百度解析能力仅限于此，xhr请求的没戏。

原来如此

yrj · 发表于 2021-8-4 22:15:39

应该是有渲染蜘蛛的，不过比较少

		自动登录	找回密码
密码			注册

alpha alpha 当前离线积分 70	发表于 2021-8-4 21:28:24 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
alpha alpha 当前离线积分 70
	回复支持反对举报

我是坏虫我是坏虫当前离线积分 22374	发表于 2021-8-4 21:28:52 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
我是坏虫我是坏虫当前离线积分 22374
	回复支持反对举报