注册 | 登陆
您的位置:阿里西西 > 编程技术 > PHP教程 > 详细内容

PHP通过伪造和模拟客户端COOKIE登陆来采集抓取远程网址

  稿源:本站整理   2018-09-14   点击:   撤稿纠错
平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。

以下讨论的是和伪造 模拟 客户端 COOKIE 登陆 采集 抓取 远程网址 相关的PHP通过伪造和模拟客户端COOKIE登陆来采集抓取远程网址页面内容的方法教程文章,内容是本站精心挑选整理的教程,希望对广大的网友给到帮助,下面是详细内容:

php模拟登陆

  平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来的这个cookies再次发送请求来获取页面内容,下面我们直接上代码

  1. <?php 
  2. /** 
  3.  * @Brief PHP读取Curl模拟登陆, 获取cookie, 带cookie进行请求 
  4.  * @Date: 2016/10/20
  5.  * @Time: 9:41 
  6.  */ 
  7. //设置cookie保存位置 
  8. $cookieFile = dirname(__FILE__).'cookie.curl.tmp'
  9. //第一步:获取cookie 
  10. $url = 'http://www.aseoe.com'
  11. $data = array
  12.     'username'  => 'aseoe'
  13.     'password'  => 'aseoe'
  14. ); 
  15. //curl初始化 
  16. $ch = curl_init(); 
  17. curl_setopt($ch, CURLOPT_URL, $url); 
  18. //设置为post请求 
  19. curl_setopt($ch, CURLOPT_POST, true); 
  20. //设置附带返回header信息为空 
  21. curl_setopt($ch, CURLOPT_HEADER, 0); 
  22. //post数据 
  23. curl_setopt($ch, CURLOPT_POSTFIELDS, $data); 
  24. //cookie保存文件位置 
  25. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookieFile); 
  26. //设置数据返回作为变量储存,而不是直接输出 
  27. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
  28. //执行请求 
  29. $ret = curl_exec($ch); 
  30. //关闭连接 
  31. curl_close($ch); 
  32. //第二步:附带cookie请求需要登陆的页面 
  33. $url = 'http://www.aseoe.com'
  34. //curl初始化 
  35. $ch = curl_init(); 
  36. curl_setopt($ch, CURLOPT_URL, $url); 
  37. //设置为post请求 
  38. curl_setopt($ch, CURLOPT_POST, true); 
  39. //设置附带返回header信息为空 
  40. curl_setopt($ch, CURLOPT_HEADER, 0); 
  41. //设置cookie信息文件位置, 注意与第二步中的获取不同,这里是读取 
  42. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieFile); 
  43. //设置数据返回作为变量储存,而不是直接输出 
  44. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
  45. //执行请求 
  46. $ret = curl_exec($ch); 
  47. //关闭连接 
  48. curl_close($ch); 
  49. //打印抓取内容 
  50. var_dump($ret); 

  这样我们就抓取到了需要登陆才能访问页面的内容, 注意上面的地址只是一个示例,需要换成你想要抓取页面的地址。

 平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来


End. 教程到这里讲完了,阅读是否有所收获呢?本站还提供有伪造 模拟 客户端 COOKIE 登陆 采集 抓取 远程网址 相关的内容,欢迎继续阅读。

相关阅读

相关排行总榜

ASP教程

PHP教程

.NET教程

ASP采集功能WinHttp.WinHttpRequest.5.1的
AspJpeg图片处理组件属性的详细中文使用说
通过ASP生成html纯静态页面的简单示例
ASP开发中一个把GB2312转UTF-8编码的函数
推荐几个ASP开发中常用的fso操作文件图片
ASP读取操作生成excel文件的实例代码教程
使用ASP进行网站开发防范ASP木马的10条建
通过ASP调用MSSQL数据库视图和存储过程的
通过aspupload上传组件实现的ASP实现远程
ASP调用MSSQL存储过程进行分页的两种方式
PHP解决HTTP和HTTPS跨域共享session的方法
php程序判断来访客户端是手机端还是电脑P
用PHP来获取当前页面所有url参数信息的教
配置好环境后,进行php代码调试的方法总结
教您使用php代码实现上传图片或文件到服务
PHP开发中推荐十款最出色的安全开发工具库
PHP基础学习之数组介绍
浅谈JSP与ASP.PHP的各种平台应用比较
php制作一个万年历查询的实例代码教程
制作简单安全的php验证码类代码实例
ASP.NET环境配置中几种身份验证方式及权限
记录一次对ASP.NET网站漏洞的入侵和防范教
Asp.net在mvc环境下实现上传头像加剪裁功
对 ASP.NET 异步编程的一点理解与分析
ASP.NET读取与操作Session的代码案例教程
ASP.NET将大文件数据分成较小的部分进行分
讲解.Net组件程序设计之异步调用
AS脚本与Asp.net通过UrlRequest进行前端交
一组常用的.NET命名空间中文解释
asp.net解决url地址栏传递中文参数出现乱