请教个PHP_URL douyin页面返回Please wait...的问题
本帖最后由 Telegramr 于 2025-7-14 18:01 编辑先说谢谢了,谢谢各位大佬的指点
在本地用curl带User-Agent、Referer、cookies可以正常获取到网页内容
本地虚拟机中搭建的php可以正常获取到内容,但是服务器上不行,返回 Please wait... 并且一直在转圈
在服务器上curl也不行。
通过检测返回的错误源代码中,kimi和ds说源码中包含了检测浏览器环境的js代码,但具体检测哪些,不知道
2025年7月14日补充
我刚才在另外一台服务器上用curl执行了一下命令,发现返回的还是简短的文本!
curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" -H "Referer: https://www.douyin.com/" -H "Cookie: douyin.com;__ac_nonce=*****2e0a007d0c41aea3; __ac_signature=_******wo00f01FnSyCAAAIDDx7Zost7MsCBZ8syAAH4icf; x-web-secsdk-uid=******fa-8226-4d36-8b66-61c9f80e8b83; s_v_web_id=verify_mcvq1zqz_******_4uOt_4o9y_8mro_*****BHlrV0T;ttwid=**********QJCPlMAxOdrBY8sZuvzQjjyCUGjQn_Rzfk%7C1752051215%7C633d7fcd332cc51523d0febf61**********63f1a6a837191b0a2f4d8126ad08;" -o webpage.html https://www.douyin.com/video/7524573309149760820
我问了kimi,它说:
服务器端被抖音风控降级:返回 1 357 B 的空白骨架页 + X-TT-System-Error: 3。
这不是 UA、TLS、Cookie 的问题,而是出口 IP(IDC 段)被列入了风控黑名单。
为什么本地 VMware 里的 CentOS 6.9 能拿到整页?
家用宽带 IP 不在黑名单,所以同一份请求就能返回 SSR 完整 HTML。
https://www.img520.com/5jo0cV.png 帮顶 把服务器做个代理,本地走这个代理试试,如果还是不行就是ip问题了 waf拦截爬虫,你必须得破解这个算法才能不受影响的爬数据。就算是你本地也会弹的。
------------低能儿@wcn aff乞丐@zhuwo 专属灵位------------
https://api.codeheart.cn/image/dragon zrlhk 发表于 2025-7-10 21:49
把服务器做个代理,本地走这个代理试试,如果还是不行就是ip问题了
:lol douyin后台会有算法自动封IP的吗?我的脚本调试的量不算大 zrlhk 发表于 2025-7-10 21:49
把服务器做个代理,本地走这个代理试试,如果还是不行就是ip问题了
因为是业务环境,所以不能做代理 zrlhk 发表于 2025-7-10 21:49
把服务器做个代理,本地走这个代理试试,如果还是不行就是ip问题了
听说是IP问题,kimi说
服务器端被抖音风控降级:返回 1 357 B 的空白骨架页 + X-TT-System-Error: 3。
这不是 UA、TLS、Cookie 的问题,而是出口 IP(IDC 段)被列入了风控黑名单。
为什么本地 VMware 里的 CentOS 6.9 能拿到整页?
家用宽带 IP 不在黑名单,所以同一份请求就能返回 SSR 完整 HTML。 大概率是Ip列入黑名单了 H2○ 发表于 2025-7-14 18:07
大概率是Ip列入黑名单了
ai说可能是douyin把所有服务器IP列入风控了,我用了aws和阿里的服务器都无**常curl
页:
[1]
