我一英文站头条来爬个毛线？

机长

蜘蛛IP还是石家庄的，难道头条要布局国外搜索了？

1. 110.249.202.242 [14/Mar/2022:03:25:06 +0800] "GET /dajiba.html HTTP/2.0" 200 14119 "-" Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

复制代码

uov

头条拓展海外市场，全靠你的站了。

机长

uov 发表于 2022-3-14 03:31
头条拓展海外市场，全靠你的站了。

我觉得也是，马上40万数据了

kucn

哈登

ROBOTS里禁止他

三和大神

所以dajiba.html到底是什么？放出来给大伙看看呗。

chinamobile5g

搜索出来的带有 dajiba.html 的英文站有下面这些：

1. 
   
2. https://**job.net/dajiba.html
   
3. https://www.nudevista.pro/dajiba.html
   
4. https://anybunny.tv/search/dajiba.html
   
5. https://e**er.name/too/dajiba.html
   
6. https://xlxx.pro/dajiba.html
   
7. https://www.xshaker.net/tube/dajiba.html
   
8. https://www.**o-zona.com/seach/dajiba.html
   
9. https://just**o.me/videos/dajiba.html
   
10. https://babe4u.info/get/dajiba.html
    

复制代码

其中有超过 40 万数据的网站，就两三个。如果显示的是 **，敏感词是 p o r n.

请参考学习~

扬帆

我想看看你的那个html