请问下， JSON对象怎么快速入库和日后快速拔出呢？

白水泉 · 发表于 2023-6-5 13:13:33

有些数据 api 返回 JSON对象，重复内容不少，但是每一次都有不同的地方，基本每隔15 分钟就要跑一次了，虽然最新的一次数据和15分钟前的数据有可能一致如何确认数据不会重复呢？而且方便日后做搜索寻找数据呢？

woniu · 发表于 2023-6-5 13:55:13

用redis来进行存储和检索就行了

https://paste.org.cn/PdtfjB87AH

NiDiPiZiNaFongQ · 发表于 2023-6-5 13:48:42

扫一眼标题，还以为在说什么色色的呢：

对象日后拔出

缓存一下上次获得的json（或者其MD5），下次拿到后按字面（或者MD5）比对一下，一样的话就无需进一步解析了

白水泉 · 发表于 2023-6-5 14:04:29

NiDiPiZiNaFongQ 发表于 2023-6-5 13:48
扫一眼标题，还以为在说什么色色的呢：

对象日后拔出

还是用心标题了，但是MJJ们都害羞，不敢回复。还以为这样就多人回复了。

jqbaobao · 发表于 2023-6-5 14:06:21

JSON大起来就肾虚了
只能当作传递工具

白水泉 · 发表于 2023-6-5 14:07:35

jqbaobao 发表于 2023-6-5 14:06
JSON大起来就肾虚了
只能当作传递工具

多大才算大啊？
这个api 24 小时跑的，

郑爽 · 发表于 2023-6-5 14:09:29

每次获取生成一个md5

jqbaobao · 发表于 2023-6-5 14:19:05

白水泉发表于 2023-6-5 14:07
多大才算大啊？
这个api 24 小时跑的，

JSON ，几MB还行，几百MB开始性能就下降很明显了。个人感觉是这样

longkulo · 发表于 2023-6-5 14:32:31

每次都会变动的地方存数据库里面的，从里面找几个关键词做判断是否重复。
比如
https://hostlob.com
定时爬取最近回复的帖子列表，那里面有一些是变动了，有一些是没有变动的帖子。
只更新变动的，怎么做判断呢

根据帖子id，和帖子回复数量，两个关键词做判断，这两东西有变动就爬取新内容存储，没有变动的就不爬

Lqdahv · 发表于 2023-6-5 14:34:43

用set方法去重啊

		自动登录	找回密码
密码			注册

请问下， JSON对象 怎么快速入库 和 日后 快速拔出呢？