PHP无法获取网页源码的问题

唐王李世民 · 发表于 2021-7-7 19:42:38

本帖最后由唐王李世民于 2021-7-7 20:15 编辑

今日头条网页，使用PHP无法读取它的源码，使用curl会返回error几个字符，而使用 file_get_contents直接返回空，模拟浏览器post和get的方法都试过了，直接返回空白或错误。

应该如何获取呢？谢谢大家了。

例如地址：https://www.ixigua.com/6981346230844686862

唐王李世民 · 发表于 2021-7-7 19:44:53

在本地使用浏览器的另存为，可以下载完整的源码，但是在服务器上用PHP来读取却总是出错。

dollck · 发表于 2021-7-7 19:46:53

有些网页是先加载网页框架然后在通过js 来加载实际内容的

唐王李世民 · 发表于 2021-7-7 19:49:37

dollck 发表于 2021-7-7 19:46
有些网页是先加载网页框架然后在通过js 来加载实际内容的

那应该如何获取内容呢？谢谢了

yjsx86 · 发表于 2021-7-7 20:01:47

你能说说你是怎么模拟浏览器的post和get么?
file_get_contents直接返回空状态码是多少? 返回的response header中有什么内容?

alk19t · 发表于 2021-7-7 20:03:33

给个目标url 看看

gdtv · 发表于 2021-7-7 20:04:39

模拟 user agent了吗？

解憂雜貨店 · 发表于 2021-7-7 20:07:13

php发送请求的时候把 request headers 参数和浏览器一模一样提交过去。

唐王李世民 · 发表于 2021-7-7 20:11:03

yjsx86 发表于 2021-7-7 20:01
你能说说你是怎么模拟浏览器的post和get么?
file_get_contents直接返回空状态码是多少? 返回的response he ...

没留意返回状态码，网页上返回error几个字母或者空白，调试了几个UA，都是返回301，header我截图发原文中，谢谢您了。

唐王李世民 · 发表于 2021-7-7 20:16:05

alk19t 发表于 2021-7-7 20:03
给个目标url 看看

地址已发1楼，谢谢您了

		自动登录	找回密码
密码			注册