全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 749|回复: 10

下载网站根目录的软件用什么?

[复制链接]
发表于 2021-7-28 21:21:01 | 显示全部楼层 |阅读模式
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2021-7-28 21:33:47 | 显示全部楼层
需要下载某个目录下面的所有文件。命令如下
wget -c -r -np -k -L -p -e robots=off www.xxx.org/pub/path/

删除多余的index文件
find ./ -name "index.html?*" -print -exec rm -rf {} \;

-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如wget -c -r www.xxx.org/
如果网站内有一个这样的链接:
www.yyy.org,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL
-e robots=off 使用-e robots=off参数即可绕过该限制。

还有其他的用法,我从网上搜索的,也一并写上来,方便以后自己使用。
在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。
wget -np -nH -r --span-hosts www.xxx.org/pub/path/

点评

最佳答案,同时感谢所有热心人  发表于 2021-7-28 21:38
发表于 2021-7-28 21:24:23 来自手机 | 显示全部楼层
详细搜索wget扒站
发表于 2021-7-28 21:34:52 | 显示全部楼层
楼上的wget就行了
发表于 2021-7-28 21:43:35 | 显示全部楼层
IDM Download Manager全站抓取
发表于 2021-7-28 23:04:25 | 显示全部楼层
技术贴啊 Mark下、
发表于 2021-7-28 23:14:12 | 显示全部楼层
idm 站点采集
发表于 2021-7-29 01:31:39 | 显示全部楼层
有偿我都给你搞下来
发表于 2021-7-29 08:43:57 | 显示全部楼层
这个记录一下
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-5-11 14:32 , Processed in 0.069810 second(s), 14 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表