全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 7372|回复: 84

爬了个全本小说站,24936本共76g大小

  [复制链接]
发表于 2022-10-6 11:49:30 | 显示全部楼层 |阅读模式
都是完结的全本小说,无聊看看还行,或者存在闲置的小鸡

https://www.txt80.com/

食用方法

wget https://r2.557557.xyz/txt80url.txt

wget -i txt80url.txt

完事,共76g
发表于 2022-10-6 14:00:20 | 显示全部楼层
本帖最后由 plato0516 于 2022-10-6 14:51 编辑

IDM使用链接批量下载不下来...因为是中文的连接地址,要是uri编码就OK了,可以使用如下方式解决。

伪码:

for string fileString:fileString[]{
        截取中文部分;
        String URI = URLEncode.encode(中文部分);
        将中文与URI替换;
        输出到文件;
}

java实现为:

```java

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;

/*
https://down.8080txt.com/d/file/down/2022/10/01/我能看到所有BOSS掉落.txt
替换其中的中文到uri编码以便使用idm下载.
*/

public class testJava {
    public static void main(String[] args) throws IOException {
        BufferedReader br = new BufferedReader(new FileReader("80URL.txt"));
        BufferedWriter bw = new BufferedWriter(new FileWriter("Deal80.txt"));
        String line;
        while ((line = br.readLine()) != null) {
            String dealLine = replaceChinese(line);
            bw.write(dealLine);
            bw.newLine();
            bw.flush();
        }
        br.close();
        bw.close();
    }

    public static String replaceChinese(String line) throws UnsupportedEncodingException {
        String[] split = line.split("/");
        String fileTxt = split[split.length - 1];
        String fileName = fileTxt.split("\\.")[0];
        String URI = URLEncoder.encode(fileName, "utf-8");
        return line.replaceAll(fileName, URI);
    }
}
```
发表于 2022-10-7 17:12:14 | 显示全部楼层
下完了,感觉没什么用

点评

大佬打包一个呗..  发表于 2022-10-7 17:22
发表于 2022-10-6 14:58:13 | 显示全部楼层
用window是IDM吧速度很快的,然后传到云盘,大家share呗....
发表于 2022-10-6 11:52:09 | 显示全部楼层
谢谢大佬分享 下载来备用
发表于 2022-10-6 11:50:59 来自手机 | 显示全部楼层
欸,现在看这东西没意思了
发表于 2022-10-6 11:52:33 来自手机 | 显示全部楼层
感谢分享,做个记号。
发表于 2022-10-6 12:01:37 来自手机 | 显示全部楼层
感谢分享,做个记号。
发表于 2022-10-6 12:02:41 来自手机 | 显示全部楼层
感谢分享,做个记号。
发表于 2022-10-6 12:06:09 | 显示全部楼层
感谢分享,做个记号。
发表于 2022-10-6 12:09:34 | 显示全部楼层
怎么不顺便爬一下评分排个序
发表于 2022-10-6 12:12:56 | 显示全部楼层
好的,多多益善




* Linux常用命令:sed -e 's/ *$//' example.txt 删除每一行最后的空白字符



* 资源 https://t.me/MJJ_aliyundrive
* MJJ频道 https://t.me/wearemjj
* Linux命令大全 https://www.linuxcool.com
* DNS设置大全 https://dns.iui.im/
* 优质导航大全 https://www.chaidu.com/
* HostLoc频道 https://t.me/myhostloc
* A1Plus & G Suit & Workspace教育全局号https://sourl.cn/xq7iAZ
* OneDrive1T/5T网盘批发 iCloud苹果个人200G号https://nanguo.in/shop?ref=awtyBzywo
   
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-4-19 05:26 , Processed in 0.068643 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表