商务布丁 发表于 2022-3-7 09:24:17

蜘蛛抓取有好多动态链接是否有影响？要怎么处理？

如果不是自己网站本身实际存在的url，很可能是网站由于被人刷，导致的。

对应这些动态链接，可以在robots文件中，写一个屏蔽抓取动态链接的语法。

User-agent: *
Disallow: /*?*
页: [1]
查看完整版本: 蜘蛛抓取有好多动态链接是否有影响？要怎么处理？