py采集，源站ssl错误怎么办？

ymh1147 · 发表于 2021-4-13 16:53:41

他没开SSL呀，你不加S不就完了

why · 发表于 2021-4-21 22:36:54

有意思。。。

萌墨 · 发表于 2021-4-21 22:47:53

这个简单

res = requests.get(url=url, headers=headers,verify=False)

gger · 发表于 2021-4-21 23:35:20

全球采集论坛

lanying · 发表于 2021-4-22 00:10:39

我在想需要多大磁盘来装图片呢

Waylon · 发表于 2021-4-22 00:43:01

本帖最后由 Waylon 于 2021-4-22 00:51 编辑

这网站有意思，爬它

不会python，直接wget

Waylon · 发表于 2021-4-22 06:47:13

本帖最后由 Waylon 于 2021-4-22 06:48 编辑

FINISHED --2021-04-21 13:59:54--
Total wall clock time: 1h 12m 30s
Downloaded: 63571 files, 6.0G in 35m 55s (2.85 MB/s)

[root@xxx xgmmtk]# du -h --max-depth=1
6.2G ./www.xgmmtk.com
6.2G .
[root@XXX xgmmtk]# echo -n "文件夹  : ";ls -lR|grep "^d"|wc -l;echo -n "文件数  : ";ls -lR|grep "^-"|wc -l;
文件夹  : 3
文件数  : 63571
[root@XXX xgmmtk]#

我是坏虫 · 发表于 2021-4-22 12:49:14

提示: 作者被禁止或删除内容自动屏蔽

Waylon · 发表于 2021-4-22 13:21:02

我是坏虫发表于 2021-4-22 12:49
大佬，人家的是自动入库，+图片本地化的

我不管，反正我下载完了

		自动登录	找回密码
密码			注册

我是坏虫我是坏虫当前离线积分 22377	楼主\| 发表于 2021-4-22 12:49:14 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
我是坏虫我是坏虫当前离线积分 22377
	回复支持反对举报