爬个数据就挂掉一个网站

椰子 · 发表于 2018-1-14 00:37:43

所以你确定不是拿到一堆报错数据？

bitspirit · 发表于 2018-1-14 00:40:11

所以数据是完整的？

yrj · 发表于 2018-1-14 00:42:25

会不会是对方的防火墙把你咔嚓掉了呢？吼吼。。

ecosway598 · 发表于 2018-1-14 03:00:43

提示: 作者被禁止或删除内容自动屏蔽

yjsx86 · 发表于 2018-1-14 04:54:13

不会那么巧等你把数据爬完了再挂吧?
看看你的数据完整不?

cszlxl · 发表于 2018-1-14 08:12:49

应该不会是完全都爬完了吧。。。

liutianshu77 · 发表于 2018-1-14 08:27:11

提示: 作者被禁止或删除内容自动屏蔽

气味 · 发表于 2018-1-14 08:57:44

大佬爬虫

ruocao · 发表于 2018-1-14 09:19:23

nodejs默认是异步的，python默认是同步的，代码改一改也可以实现相同效果
当然你怎么确定你把数据爬完了，网站都挂了23333

三一土白 · 发表于 2018-1-14 09:55:48

数据都入库了，没报错，10秒钟，42万行数据。

nodejs的异步第一次领略，确实很牛逼。

		自动登录	找回密码
密码			注册

ecosway598 ecosway598 当前离线积分 9289	发表于 2018-1-14 03:00:43 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
ecosway598 ecosway598 当前离线积分 9289
	回复支持反对举报

liutianshu77 liutianshu77 当前离线积分 28478	发表于 2018-1-14 08:27:11 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
liutianshu77 liutianshu77 当前离线积分 28478
	回复支持反对举报