椰子 发表于 2018-1-14 00:37:43

所以你确定不是拿到一堆报错数据？

bitspirit 发表于 2018-1-14 00:40:11

所以数据是完整的？

yrj 发表于 2018-1-14 00:42:25

会不会是对方的防火墙把你咔嚓掉了呢？吼吼。。

ecosway598 发表于 2018-1-14 03:00:43

yjsx86 发表于 2018-1-14 04:54:13

不会那么巧 等你把数据爬完了再挂吧?
看看你的数据完整不?

cszlxl 发表于 2018-1-14 08:12:49

应该不会是完全都爬完了吧。。。

liutianshu77 发表于 2018-1-14 08:27:11

气味 发表于 2018-1-14 08:57:44

大佬爬虫

ruocao 发表于 2018-1-14 09:19:23

nodejs默认是异步的，python默认是同步的，代码改一改也可以实现相同效果
当然你怎么确定你把数据爬完了，网站都挂了23333

三一土白 发表于 2018-1-14 09:55:48

数据都入库了，没报错，10秒钟，42万行数据。

nodejs的异步第一次领略，确实很牛逼。:lol
页: 1 [2] 3
查看完整版本: 爬个数据就挂掉一个网站