爬了个全本小说站，24936本共76g大小

gajiodgaj

不懂帮顶紫薯布丁

渣冰洁

这个站搭在rn dc02机房？

hdwan.net

幸好没人爬我py的站 txt.baoshu.me

sRGB

感谢分享，已经使用玩客云 下载了

host0108

hdwan.net 发表于 2022-10-6 12:46
幸好没人爬我py的站 txt.baoshu.me

好的下次就爬

cnly1987

做个记号

plato0516

IDM使用链接批量下载不下来...因为是中文的连接地址，要是uri编码就OK了，可以使用如下方式解决。

伪码:

for string fileString:fileString[]{
        截取中文部分;
        String URI = URLEncode.encode(中文部分)；
        将中文与URI替换;
        输出到文件;
}

java实现为:

```java

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;

/*
https://down.8080txt.com/d/file/down/2022/10/01/我能看到所有BOSS掉落.txt
替换其中的中文到uri编码以便使用idm下载.
*/

public class testJava {
    public static void main(String[] args) throws IOException {
        BufferedReader br = new BufferedReader(new FileReader("80URL.txt"));
        BufferedWriter bw = new BufferedWriter(new FileWriter("Deal80.txt"));
        String line;
        while ((line = br.readLine()) != null) {
            String dealLine = replaceChinese(line);
            bw.write(dealLine);
            bw.newLine();
            bw.flush();
        }
        br.close();
        bw.close();
    }

    public static String replaceChinese(String line) throws UnsupportedEncodingException {
        String[] split = line.split("/");
        String fileTxt = split[split.length - 1];
        String fileName = fileTxt.split("\\.")[0];
        String URI = URLEncoder.encode(fileName, "utf-8");
        return line.replaceAll(fileName, URI);
    }
}
```

hunter5q

能不能直接采集了

justfkqq

这样下载还是有点慢，一个一个的下，速度只有80多KB

Tankie

justfkqq 发表于 2022-10-6 14:09
这样下载还是有点慢，一个一个的下，速度只有80多KB

这个还嫌弃？挂机下就行了，很快就完了

想加速，用python写个协程不就行了