DHT磁力链接搜索引擎 python编写 易部署易上手易管理

wenguonideshou

莫桑比特 发表于 2017-7-9 23:08
好像爬一会就不爬了。。重启机器又继续

和pip应该没什么关系 我本机上pip没升级
结束爬虫进程，运行 nohup python simdht_worker.py  2>&1&
不入库的时候看看nohup.out有没有什么报错

wenguonideshou

Mancy 发表于 2017-7-9 22:31
弄好了 爬了半天咋就几个

结束爬虫进程，运行 nohup python simdht_worker.py  2>&1&
不入库的时候看看nohup.out有没有什么报错。
爬虫修改过，只爬取电影、音乐、电子书。

莫桑比特

exceptions must be old-style classes or derived from BaseException, not NoneType
exceptions must be old-style classes or derived from BaseException, not NoneType
Thread-1 started
Traceback (most recent call last):
  File "simdht_worker.py", line 395, in <module>
    dht = DHTServer(master, "0.0.0.0", 6881, max_node_qsize=200)
  File "simdht_worker.py", line 188, in __init__
    self.ufd.bind((self.bind_ip, self.bind_port))
  File "/usr/lib64/python2.7/socket.py", line 224, in meth
    return getattr(self._sock,name)(*args)
socket.error: [Errno 98] Address already in use
Exception in thread Thread-2 (most likely raised during interpreter shutdown):

wenguonideshou

莫桑比特 发表于 2017-7-10 00:07
exceptions must be old-style classes or derived from BaseException, not NoneType
exceptions must be  ...

爬虫正在运行 需要先结束他
ps,-ef|grep simdht
找到ID
kill -9 上面的ID
再运行爬虫

東華

wenguonideshou 发表于 2017-7-9 23:18
使用的jieba分词， 应该比ssbc分词效果好一点  但是也没有更好的办法了

这不是分词问题，这是有没有用把关键字数组用AND连结。

mslxd

现在用什么播放磁力啊？都没播放器了，，靠

fw2you

楼主这个没全文检索功能？

xiaoxiaobai

这个就很牛了，dalao你太叼了。

莫桑比特

看下吧