求在小鸡上的多线程下载工具，下载数千个文件

shuni9

要下载几千个文件，下载地址存放在：file_list.txt    一行一个

小鸡上用什么工具，能多次线程一次下载20个文件？

下载完了，接着下载下面的20个，直到下载完

hjvn2211445

补个脚本例子 https://hostloc.com/thread-831382-1-1.html
------------------------------------------------

shell弄个多线程用wget就可以

aria2也可以

royzheng

wget xargs

G.K.D

用 Shell 脚本可以多进程 wget 下载（-b 后台下载）几行代码的事情。
但是要限制一次同时 20 个的话，就略微麻烦了，但也有其他的解决方法，比如：

每次创建一个 wget 下载进程就计数 +1，到 20 就暂停 60 秒后（等前面 20 个大概下载完成了，具体自己改）再继续循环~

1. #!/usr/bin/env bash
   
2. PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
   
3. export PATH
   
4. 
   
5. i=0
   
6. while read url
   
7. do
   
8.     wget -b "${url}" -o /xxx/xxx
   
9.     ((i++))
   
10.     [[ ${i} == 20 ]] && sleep 60s && i=0
    
11. done < url.txt

复制代码

缺点是，如果你要下载的文件大小不一（下载所需时间不一样），那就效率会降低。。。

干货插眼小助手

上个月有一篇教程
【教程】Linux 如何进行多线程下载

zxxx

aria2　　　　　　　　　　　　　　　　　　　　　　　　　　　　

YukinoCoco

axel