全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworksBGVM服务器IP归属甄别会员请立即修改密码
查看: 14157|回复: 79

DHT磁力链接搜索引擎 python编写 易部署易上手易管理

  [复制链接]
发表于 2017-7-9 09:50:25 | 显示全部楼层 |阅读模式
本帖最后由 wenguonideshou 于 2017-7-29 16:34 编辑

演示地址:暂无

说明:
在ssbc爬虫的基础上修复,现在可以7*24爬取的爬虫,修改了爬取策略,只入库音乐、电影。
python实现的磁力搜索网站,代码比较烂,请轻喷!
部分功能未完成:搜索排行榜、浏览排行榜、DMCA版权投诉(其实是不想做)

功能说明:
搜索:使用sphinx索引+jieba分词+redis缓存访问页面,可前端、后端、爬虫分离部署,实测10W PV不在话下,如果你有百万PV,请联系我定制
相关推荐:使用jieba分词进行推荐
3335.png (37.18 KB, 下载次数: 0)
发表于 2017-7-9 09:51:17 | 显示全部楼层
要火,前排mark
发表于 2017-7-9 09:52:32 | 显示全部楼层
老哥。我有一台跑了20GB的数据。

但是索引老是索引不出来(数据库20GB 搜索电影这类关键词只有十几页)

有办法解决么?

求助一下。
 楼主| 发表于 2017-7-9 09:55:34 | 显示全部楼层
cw723 发表于 2017-7-9 09:52
老哥。我有一台跑了20GB的数据。

但是索引老是索引不出来(数据库20GB 搜索电影这类关键词只有十几页)

ssbc这个要重建索引
重建方法,见“ssbc常见问题.txt”
发表于 2017-7-9 10:04:12 来自手机 | 显示全部楼层
大佬给力,收藏下再说!
发表于 2017-7-9 10:11:13 | 显示全部楼层
wenguonideshou 发表于 2017-7-9 09:55
ssbc这个要重建索引
重建方法,见“ssbc常见问题.txt”

你这套把sphinx取消了?

我用我现在的那个服务器数据套在你这个系统里 可行么?
 楼主| 发表于 2017-7-9 10:28:07 | 显示全部楼层
cw723 发表于 2017-7-9 10:11
你这套把sphinx取消了?

我用我现在的那个服务器数据套在你这个系统里 可行么? ...


sphinx中文分词 按每个字分开,这让我 一直很纠结

可以这样:
按照我这个的表结构的sql语句,在他的数据库的基础上删除不一致的表,新增我这里特有的表
然后部署我这个程序就行了,只需要在manage.py里面修改下数据库名

zskymysql.zip (1.39 KB, 下载次数: 528)
发表于 2017-7-9 10:47:36 | 显示全部楼层
wenguonideshou 发表于 2017-7-9 10:28
sphinx中文分词 按每个字分开,这让我 一直很纠结

可以这样:

hash和file这两个差别大么?
发表于 2017-7-9 10:59:09 | 显示全部楼层
收藏了. 拿来本地自用也不错.
 楼主| 发表于 2017-7-9 11:00:33 | 显示全部楼层
cw723 发表于 2017-7-9 10:47
hash和file这两个差别大么?

我们亲测 filelist里面的数据可以清空
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2021-7-24 07:19 , Processed in 0.069233 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表