套CF后，页面一直卡在：需要首先检查您的连接安全性不动...

2019年

柳泊风 发表于 2023-10-12 13:32
robots.txt啊   我就只放了几个热门的搜索引擎   基本上都会遵循的

谢谢提醒，我刚去看了一下我的robots.txt，好奇怪，肯定不是我放的，这是软件生成的吗，这是英文站，这个是拦截了google??

User-agent: *
Disallow: /adServe/

# Allow Google robots to crawl adServe
User-agent: Googlebot
User-agent: Googlebot-Mobile
Disallow:

柳泊风

2019年 发表于 2023-10-12 13:40
谢谢提醒，我刚去看了一下我的robots.txt，好奇怪，肯定不是我放的，这是软件生成的吗，这是英文站，这个 ...

一些seo插件会生成  至于拦截了什么你得自己看咯  反正放行几个热门的搜索引擎就行了，垃圾爬虫太多了  屏蔽不过来

tomcb

2019年 发表于 2023-10-12 13:40
谢谢提醒，我刚去看了一下我的robots.txt，好奇怪，肯定不是我放的，这是软件生成的吗，这是英文站，这个 ...

这是允许谷歌抓取

jqbaobao

规则没做好，先试试强制交互式质询看看