查看: 1171|回复: 0

蜘蛛抓取有好多动态链接是否有影响？要怎么处理？

发表于 2022-3-7 09:24:17 | 显示全部楼层 |阅读模式

如果不是自己网站本身实际存在的url，很可能是网站由于被人刷，导致的。

对应这些动态链接，可以在robots文件中，写一个屏蔽抓取动态链接的语法。

User-agent: *
Disallow: /*?*

GMT+8, 2024-10-6 08:22 , Processed in 0.056174 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

		自动登录	找回密码
密码			注册