全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1048|回复: 9

刚那个通用爬虫有感

[复制链接]
发表于 2022-5-24 09:47:10 | 显示全部楼层 |阅读模式
如果MJJ一起参与到爬虫会怎么样,百度不作为,MJJ一起参与然后超越呢?
利用大家手里的机器一起动起来,用k8s做集群,数据分摊到每台JJ上,然后开放接口给大家,按照贡献度分配调用频次会怎么样,想想都激动哦~
发表于 2022-5-24 10:18:55 | 显示全部楼层
搜索引擎的难点在于爬虫吗?根本不是,在于如何把用户想要的信息呈现给他,在于内容结构的存储管理、如何对输入做分词、如何索引到最相关的信息,爬虫只是最简单的第一步罢了
 楼主| 发表于 2022-5-24 09:48:21 | 显示全部楼层
很刑很可铐吗
发表于 2022-5-24 09:53:12 | 显示全部楼层
做的再好也没人用啊
发表于 2022-5-24 09:57:06 来自手机 | 显示全部楼层
激动归激动,你别射了就好
发表于 2022-5-24 10:06:45 | 显示全部楼层
用歪了谁负责?出机器的人背锅?
发表于 2022-5-24 10:16:50 | 显示全部楼层
这种规模需要有个专门的团队维护的
发表于 2022-5-24 10:19:26 | 显示全部楼层
爬虫爬得欢,监狱要坐穿;数据玩的溜,牢饭吃个够
发表于 2022-5-24 11:36:07 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-3-29 15:38 , Processed in 0.080691 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表