昨天摸索了一天，总算用scrapy把爬虫写好了

mikasa · 发表于 2021-12-17 11:45:36

本帖最后由 mikasa 于 2021-12-17 13:22 编辑

不得不说框架自带的异步多线程就是快，比自己手撸强多了。要爬的数据量大概在5t-8t的样子，但我没有大盘鸡来装。目前只能靠着40g硬盘的小鸡一边下一边上传一边删

另外问一下，存储大量（几十万条）格式化信息是用csv好还是json好啊

edit: 40g的鸡鸡硬盘刷满挂了

358团楚云飞 · 发表于 2021-12-17 11:47:20

盲猜用json?

晴晴晴 · 发表于 2021-12-17 11:48:20

csv吧..不行就把json编码成base64 信息尽可能多点盘不是问题不够就多加几t

你的json是数组还是一个json是一条 N行代表N篇内容？

Sage · 发表于 2021-12-17 11:48:28

json把

smrik · 发表于 2021-12-17 11:51:19

csv似乎相对而言更通用一点，也方便阅读

mikasa · 发表于 2021-12-17 11:53:24

晴晴晴发表于 2021-12-17 11:48
csv吧..不行就把json编码成base64 信息尽可能多点盘不是问题不够就多加几t

你的json是数组还是一个json ...

n行，每行代表一篇

mikasa · 发表于 2021-12-17 11:57:39

smrik 发表于 2021-12-17 11:51
csv似乎相对而言更通用一点，也方便阅读

不打算阅读，后期打算导入到数据库里，目前先用文件暂时存一下

ttp · 发表于 2021-12-17 12:15:29

mikasa 发表于 2021-12-17 11:57
不打算阅读，后期打算导入到数据库里，目前先用文件暂时存一下

用mongodb呗，跟csv格式差不多

mikasa · 发表于 2021-12-17 12:17:11

ttp 发表于 2021-12-17 12:15
用mongodb呗，跟csv格式差不多

嗯，我了解一下，先放到文件是因为数据库我还没系统了解过

aRNoLD · 发表于 2021-12-17 12:49:23

临时到Vultr开通一台大盘鸡，按小时付费的，用完就可以删除了。

		自动登录	找回密码
密码			注册