PHP无法获取网页源码的问题

解憂雜貨店

不要随便在网上复制代码后就直接运行，每个网站的http request header都不一样，如果没有反爬虫机制，又不需要鉴权，那就可以。如果有哪怕一点点的反爬虫机制，你复制的代码就没有办法得到你预期的效果了。

唐王李世民

xuliliang 发表于 2021-7-7 20:43
做了反爬虫拦截吧，反向操作就行了

  骄傲的说一句，不懂

谢谢您了

kosuo

唐王李世民 发表于 2021-7-7 20:38
cookies是指定一个就可以了吗？ 谢谢您了

不是，进页面的时候会到无感知盾，这边加载一个cookie然后302到真实的页面，你要取的是这个cookie

唐王李世民

解憂雜貨店 发表于 2021-7-7 20:43
不要随便在网上复制代码后就直接运行，每个网站的http request header都不一样，如果没有反爬虫机制，又不 ...

谢谢，明天我改了试一试。

唐王李世民

kosuo 发表于 2021-7-7 20:44
不是，进页面的时候会到无感知盾，这边加载一个cookie然后302到真实的页面，你要取的是这个cookie ...

应该如何取cookies呢？谢谢您了

kosuo

唐王李世民 发表于 2021-7-7 20:47
应该如何取cookies呢？谢谢您了

浏览器进到正常首页，在header里就有，直接复制用就行

唐王李世民

kosuo 发表于 2021-7-7 20:48
浏览器进到正常首页，在header里就有，直接复制用就行

好的，谢谢您了

无知灰灰

西瓜的需要referer，而且请求是个ajax地址才可以获取到作品列表。。。
我这几天 准备写个西瓜视频监控的软件 。。。

ighook

下面是仅仅带UA访问返回的内容，从内容可以看出关键代码就是生成__ac_signature、__ac_nonce等cookie后然后跳转，只是单纯的做了简单的防爬 ，你只要把这个cookie生成逻辑弄懂完全可以用PHP模拟生成出来！

1. 
   
2.                               function _f1(e, t) {
   
3.                                              if ("string" != typeof t) return;
   
4.                                              var o, n = e + "=",
   
5.                                                             r = t.split(/[;&]/);
   
6.                                              for (var e = 0; e < r.length; e++) {
   
7.                                                             for (o = r[e];
   
8.                                                                            " " === o.charAt(0);) o = o.substring(1, o.length);
   
9.                                                             if (0 === o.indexOf(n)) return o.substring(n.length, o.length)
   
10.                                              }
    
11.                                              return ""
    
12.                               }
    
13. 
    
14.                               function _f2(e) {
    
15.                                              return _f1(e, document.cookie)
    
16.                               }
    
17. 
    
18.                               function _f3(e, t, o) {
    
19.                                              try {
    
20.                                                             o && (window.sessionStorage && window.sessionStorage.setItem(e, t), window.localStorage && window.localStorage.setItem(e, t));
    
21.                                                             var n = 31536e6;
    
22.                                                             document.cookie = e + "=; expires=Mon, 20 Sep 1970 00:00:00 UTC; path=/;", document.cookie = e + "=" + t + "; expires=" + new Date((new Date).getTime() + n).toGMTString() + "; path=/;"
    
23.                                              } catch (e) {}
    
24.                               }
    
25.                               window.byted_acrawler.init({
    
26.                                              aid: 99999999,
    
27.                                              dfp: !0
    
28.                               });
    
29.                               var __ac_nonce = _f2("__ac_nonce"),
    
30.                                              __ac_signature = window.byted_acrawler.sign("", __ac_nonce);
    
31.                               _f3("__ac_signature", __ac_signature), _f3("__ac_referer", document.referrer || "__ac_blank", !0);
    
32.                               try {
    
33.                                              sessionStorage.setItem("__ac_ns", performance.timing.navigationStart)
    
34.                               } catch (e) {};
    
35.                               window.location.reload();
    

复制代码

gdtv

ighook 发表于 2021-7-7 21:22
下面是仅仅带UA访问返回的内容，从内容可以看出关键代码就是生成__ac_signature、__ac_nonce等cookie后然后 ...

那么问题来了，怎么把cookie生成逻辑的函数改成php来实现呢？
我在采集另一个网站的时候也遇到同样的问题，后来我用headerless浏览器去运行cookie生成的相关js代码，获取跳转后的url，再用php去抓取这个url，不过这样比较麻烦也比较慢。