大佬们onemanager 怎么部署robots.txt

chensbo · 发表于 2021-8-23 20:22:30

放网站根目录下似乎无效
狗日的百度正经内容不爬，OD的API都被爬爆了

马博士 · 发表于 2021-8-23 20:23:35

你搞这玩意干啥？屏蔽谷歌百度？

optimism · 发表于 2021-8-23 20:23:56

大佬可能在吃饭呢

本人马保国 · 发表于 2021-8-23 20:25:15

防火墙给蜘蛛IP屏蔽

yyds · 发表于 2021-8-23 20:25:28

分线路解析，搜索引擎全部乱解析不就好了

药娘 · 发表于 2021-8-23 20:32:02

user-agent: *
disallow: /
然而据说度娘并不遵守robots协议

就这样了s · 发表于 2021-8-23 20:43:48

试试theme目录？

逸笙 · 发表于 2021-8-23 21:46:45

不知道伪静态怎么工作的吗？？
OneManager的目标就是所有 abc.com/xxx.jpg 都会访问到onedrive去，坚决不让浏览器能接触到程序本体任何文件。

所以你想让google访问你的abc.com/robot.txt，你觉得它应该会在哪里？
另外，同理，你有处理过favicon.ico吗？

chensbo · 发表于 2021-8-23 22:01:38

逸笙发表于 2021-8-23 21:46
不知道伪静态怎么工作的吗？？
OneManager的目标就是所有 abc.com/xxx.jpg 都会访问到onedrive去，坚决 ...

多谢作者大佬指点，我把robots扔到OD里了，看看能不能生效

		自动登录	找回密码
密码			注册

大佬们onemanager 怎么部署robots.txt

点评