爬网站遇到只能100页的怎么整

笑花落半世琉璃 · 发表于 2021-6-30 23:36:33

NEET姬发表于 2021-6-30 23:22
就是不行呀
https://jojodl.com/
这个网站你可以看看

我还想着说怎么半天进不去……

这个就打脸了，数据查询做限制了应该

求道 · 发表于 2021-6-30 23:39:38

爬虫是能看见的都能爬，现在你看都看不见怎么爬

除非你入侵脱库，要不然只能拿hash去撞。只能入侵脱库才能获取完整列表。

muyu · 发表于 2021-6-30 23:41:43

这网站，老哥注意身体呀

phpsky · 发表于 2021-6-30 23:56:52

不会是采集的我的吧限制页码了

peng123 · 发表于 2021-7-1 00:01:22

phpsky 发表于 2021-6-30 23:56
不会是采集的我的吧限制页码了

自首吧，争取宽大处理。

专业黑人抬棺 · 发表于 2021-7-1 18:20:49

你改成分类栏目采集啊

这样不就是每个栏目100页了没，比首页100多很多了

yrj · 发表于 2021-7-1 19:12:26

这不是很正常嘛？防止把数据库拖慢

gick · 发表于 2021-7-1 19:14:10

整个站down下来

NVMe · 发表于 2021-7-1 19:17:16

换个目标网站把 nyaa 你值得拥有

华为任正非 · 发表于 2021-7-1 19:19:55

不是防爬，分页很耗费服务器资源的，页数越多越耗CPU，所以他们做限制了。

		自动登录	找回密码
密码			注册