全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 36918|回复: 26

[疑问] 求扒站正确姿势→目标站已ssl+反代

[复制链接]
发表于 2017-9-19 12:03:42 | 显示全部楼层 |阅读模式
500金钱
使用各种工具无解,ctrl+s太累
教程站,求推荐工具或方法
老司机可以PM我哦

最佳答案

查看完整内容

HTTrack 选项设定改动下应该可以满足你的需求
发表于 2017-9-19 12:03:43 | 显示全部楼层
HTTrack
选项设定改动下应该可以满足你的需求
发表于 2017-9-19 12:05:31 | 显示全部楼层
ctrl+s
发表于 2017-9-19 12:05:32 | 显示全部楼层
wget -r '目标站'
 楼主| 发表于 2017-9-19 12:15:35 | 显示全部楼层

Resolving www.xxx.xxx... failed: No address associated with hostname.
wget: unable to resolve host address “ www.xxx.xxx”
发表于 2017-9-19 12:17:58 | 显示全部楼层
域名解析失败了   如果你浏览器打得开的话一般不会这样  建议换个网络环境再试
 楼主| 发表于 2017-9-19 12:19:45 | 显示全部楼层
西行寺幽幽子 发表于 2017-9-19 12:17
域名解析失败了   如果你浏览器打得开的话一般不会这样  建议换个网络环境再试 ...

非也可以正常ctrl+s 目标站反代了可能还做了防爬虫处理
发表于 2017-9-19 12:19:56 | 显示全部楼层
板凳 发表于 2017-9-19 12:15
Resolving www.xxx.xxx... failed: No address associated with hostname.
wget: unable to resolve host ...

在/etc/hosts里面加一下IP试试,是不是被污染了。
 楼主| 发表于 2017-9-19 12:23:22 | 显示全部楼层
shc 发表于 2017-9-19 12:19
在/etc/hosts里面加一下IP试试,是不是被污染了。

没有被污染,DNS解析区域都正常
发表于 2017-9-19 12:34:10 | 显示全部楼层
用curl 爬虫

模拟方式抓取  在本地做处理再上传导数据看



我只知道方法   不知道如何具体实现

需要编程基础
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-5-13 03:53 , Processed in 0.061565 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表