各位老哥用python发布或者采集有没有遇到卡住不动的情况

战神赵日天 · 发表于 2021-7-21 21:58:16

以前用python发布数据到网站，就遇到卡住不动的情况，也没报错，就是单纯的卡住不动了
今天用python采集一些sq论坛的用户名，又是偶尔几百个采集后，就卡住不动了
用就是最简单的语句。。。while if else之类，是不是用try就不会卡住不动？

显示全部楼层 · 发表于 2021-7-21 22:03:17

提示: 作者被禁止或删除内容自动屏蔽

战神赵日天 · 发表于 2021-7-21 22:13:19

cherbim 发表于 2021-7-21 22:03
你用了requests？这个多进程/线程经常卡死一动不动
requests设置一下超时时间
建议贴上代码，这样更好找问 ...

哦哦哦，我试试看把requests放到try下，并设置超时
多谢多谢

显示全部楼层 · 发表于 2021-7-21 22:15:13

提示: 作者被禁止或删除内容自动屏蔽

yrj · 发表于 2021-7-21 22:15:49

我觉得楼上说的有道理，应该是卡在网络请求上，可以分部print，看看具体卡在哪

战神赵日天 · 发表于 2021-7-21 22:21:56

yrj 发表于 2021-7-21 22:15
我觉得楼上说的有道理，应该是卡在网络请求上，可以分部print，看看具体卡在哪 ...

嗯，我加了try，以及timeout =5，貌似还行，目前看到20%左右的timeout打印了。不过是国外服务器，晚上5秒打不开，正常。

战神赵日天 · 发表于 2021-7-21 22:23:22

cherbim 发表于 2021-7-21 22:15
你看一下requests的请求频率，要是几秒1次的那种，大概率就是它的问题，或者看下try 的except是不是忽略 ...

我这个就是最简单的requests，单线程请求，我刚才加了try和timeout=5，试试看把，反正目前隔着几个采集数据就出现一个timeout，我理解为正常情况。

王表弟 · 发表于 2021-7-22 00:53:53

反正我用python 觉得确实太卡

phpsky · 发表于 2021-7-22 00:58:49

必须要try 意外情况太多了

		自动登录	找回密码
密码			注册

cherbim 该用户已被删除	发表于 2021-7-21 22:03:17 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
cherbim 该用户已被删除
	回复支持反对举报

cherbim 该用户已被删除	发表于 2021-7-21 22:15:13 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
cherbim 该用户已被删除
	回复支持反对举报