建立小说网站

xiaohared · 发表于 2019-2-6 13:44:43

提示: 作者被禁止或删除内容自动屏蔽

timelo · 发表于 2019-2-6 16:18:42

本帖最后由 timelo 于 2019-2-6 20:01 编辑

我用的wmcms 但是代码写的贼**差今年准备重写…… 自己写的Python 爬数据

timelo · 发表于 2019-2-6 16:26:36

wmcms 但是源码很差

wcn · 发表于 2019-2-6 17:09:29

西崽猪猪发表于 2019-2-4 15:25
楼主你要跪，大盘鸡不适合开小说站。
现在小说站标配都是 4块SSD RAID10。
小文件太多了采集加访问非常影响 ...

访问量低的话，楼主大盘鸡没问题。
你这个配置，起码得千万pv往上了，才会硬盘IO瓶颈。

achen0207 · 发表于 2019-2-6 18:12:53

timelo 发表于 2019-2-6 16:18
我用的whcms 但是代码写的贼**差今年准备重写…… 自己写的Python 爬数据

我一般都是派森自己爬，什么登录验证，cf验证都突破了。就是麻烦一点，一个目标站点点对点的爬

achen0207 · 发表于 2019-2-6 18:13:59

最近爬科技文章做流量垃圾站来着。。。

timelo · 发表于 2019-2-6 20:03:57

achen0207 发表于 2019-2-6 18:12
我一般都是派森自己爬，什么登录验证，cf验证都突破了。就是麻烦一点，一个目标站点点对点的爬 ...

对，每个目标站点都要研究一下爬取的规则，但是自己写的比较方便呀

vps1 · 发表于 2019-2-7 00:56:49

achen0207 发表于 2019-2-6 18:13
最近爬科技文章做流量垃圾站来着。。。

大佬用的啥爬虫啊

		自动登录	找回密码
密码			注册

xiaohared xiaohared 当前离线积分 10075	楼主\| 发表于 2019-2-6 13:44:43 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
xiaohared xiaohared 当前离线积分 10075
	回复支持反对举报