python 采集小说好慢啊

tianky · 发表于 2021-3-8 13:02:55

这么多窗口一晚上才1万部小说...
MJJ们是怎么采集的啊

wjj · 发表于 2021-3-8 14:44:42

楼上都没考虑源站的感受
一晚1万本，算平均一本100章，就是100万个请求了
一个晚上算8个小时，28800秒，1000000/28800=34.7QPS
So，慢慢采吧，别把源站弄挂了

代码小白 · 发表于 2021-3-8 13:06:05

MJJ都是直接把对面站买过来，买一个10w小说的站就是秒采集10w了，建议买个100w的

小黑 · 发表于 2021-3-8 13:06:06

啥小说程序

O₂ · 发表于 2021-3-8 13:07:43

异步
多线程

silence · 发表于 2021-3-8 13:08:49

python有多线程多进程可以研究一下

我不是你的 · 发表于 2021-3-8 14:10:18

用哪个程序

beixiaoqian · 发表于 2021-3-8 14:12:24

不要问为什么，问就是你的技术还不够，不懂优化代码

po888375 · 发表于 2021-3-8 14:17:45

不要问为什么，问就是你的技术还不够，不懂优化代码

萌墨 · 发表于 2021-3-8 14:18:11

多线程即可解决

openboy · 发表于 2021-3-8 14:26:05

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

openboy openboy 当前离线积分 1128	发表于 2021-3-8 14:26:05 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
openboy openboy 当前离线积分 1128
	回复举报