Bytespider这个蜘蛛到底是想干嘛？老是扫我博客.........

lordong · 发表于 2024-8-15 12:06:47

(compatible; Bytespider; spider-feedback@bytedance.com)

什么垃圾蜘蛛天天来

字节跳动也弄搜索引擎？

codeqihan · 发表于 2024-8-15 13:30:45

本帖最后由 codeqihan 于 2024-8-15 13:32 编辑

似乎是字节的爬虫，据说是用来训练豆包的
https://blog.cloudflare.com/zh-cn/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click-zh-cn/
“据报道，Bytespider 由 TikTok 的母公司字节跳动运营，用于为大型语言模型 (LLM) 收集训练数据，包括为其对标 ChatGPT 的竞品——豆包提供支持。”

linuxyi · 发表于 2024-8-15 13:34:05

是头条搜索的爬虫。头条搜索站长平台：https://zhanzhang.toutiao.com/

icon · 发表于 2024-8-15 13:35:31

本帖最后由 icon 于 2024-8-15 13:37 编辑

如果你用cf的话，把那个禁止ai机器人打开就好

		自动登录	找回密码
密码			注册