平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。
以下讨论的是和伪造 模拟 客户端 COOKIE 登陆 采集 抓取 远程网址 相关的PHP通过伪造和模拟客户端COOKIE登陆来采集抓取远程网址页面内容的方法教程文章,内容是本站精心挑选整理的教程,希望对广大的网友给到帮助,下面是详细内容:
平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来的这个cookies再次发送请求来获取页面内容,下面我们直接上代码
- <?php
- /**
- * @Brief PHP读取Curl模拟登陆, 获取cookie, 带cookie进行请求
- * @Date: 2016/10/20
- * @Time: 9:41
- */
- //设置cookie保存位置
- $cookieFile = dirname(__FILE__).'cookie.curl.tmp';
- //第一步:获取cookie
- $url = 'http://www.aseoe.com';
- $data = array(
- 'username' => 'aseoe',
- 'password' => 'aseoe',
- );
- //curl初始化
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, $url);
- //设置为post请求
- curl_setopt($ch, CURLOPT_POST, true);
- //设置附带返回header信息为空
- curl_setopt($ch, CURLOPT_HEADER, 0);
- //post数据
- curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
- //cookie保存文件位置
- curl_setopt($ch, CURLOPT_COOKIEJAR, $cookieFile);
- //设置数据返回作为变量储存,而不是直接输出
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
- //执行请求
- $ret = curl_exec($ch);
- //关闭连接
- curl_close($ch);
- //第二步:附带cookie请求需要登陆的页面
- $url = 'http://www.aseoe.com';
- //curl初始化
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, $url);
- //设置为post请求
- curl_setopt($ch, CURLOPT_POST, true);
- //设置附带返回header信息为空
- curl_setopt($ch, CURLOPT_HEADER, 0);
- //设置cookie信息文件位置, 注意与第二步中的获取不同,这里是读取
- curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieFile);
- //设置数据返回作为变量储存,而不是直接输出
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
- //执行请求
- $ret = curl_exec($ch);
- //关闭连接
- curl_close($ch);
- //打印抓取内容
- var_dump($ret);
这样我们就抓取到了需要登陆才能访问页面的内容, 注意上面的地址只是一个示例,需要换成你想要抓取页面的地址。
平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆。 大致思路:需要先请求提取 cookies 并保存,然后利用保存下来
End. 教程到这里讲完了,阅读是否有所收获呢?本站还提供有伪造 模拟 客户端 COOKIE 登陆 采集 抓取 远程网址 相关的内容,欢迎继续阅读。
相关阅读
编程教程LIST>>返回首页
相关排行总榜
ASP教程
PHP教程
.NET教程
ASP采集功能WinHttp.WinHttpRequest.5.1的
AspJpeg图片处理组件属性的详细中文使用说
通过ASP生成html纯静态页面的简单示例
ASP开发中一个把GB2312转UTF-8编码的函数
推荐几个ASP开发中常用的fso操作文件图片
ASP读取操作生成excel文件的实例代码教程
使用ASP进行网站开发防范ASP木马的10条建
通过ASP调用MSSQL数据库视图和存储过程的
通过aspupload上传组件实现的ASP实现远程
ASP调用MSSQL存储过程进行分页的两种方式
PHP解决HTTP和HTTPS跨域共享session的方法
php程序判断来访客户端是手机端还是电脑P
用PHP来获取当前页面所有url参数信息的教
配置好环境后,进行php代码调试的方法总结
教您使用php代码实现上传图片或文件到服务
PHP开发中推荐十款最出色的安全开发工具库
PHP基础学习之数组介绍
浅谈JSP与ASP.PHP的各种平台应用比较
php制作一个万年历查询的实例代码教程
制作简单安全的php验证码类代码实例
ASP.NET环境配置中几种身份验证方式及权限
记录一次对ASP.NET网站漏洞的入侵和防范教
Asp.net在mvc环境下实现上传头像加剪裁功
对 ASP.NET 异步编程的一点理解与分析
ASP.NET读取与操作Session的代码案例教程
ASP.NET将大文件数据分成较小的部分进行分
讲解.Net组件程序设计之异步调用
AS脚本与Asp.net通过UrlRequest进行前端交
一组常用的.NET命名空间中文解释
asp.net解决url地址栏传递中文参数出现乱
AspJpeg图片处理组件属性的详细中文使用说
通过ASP生成html纯静态页面的简单示例
ASP开发中一个把GB2312转UTF-8编码的函数
推荐几个ASP开发中常用的fso操作文件图片
ASP读取操作生成excel文件的实例代码教程
使用ASP进行网站开发防范ASP木马的10条建
通过ASP调用MSSQL数据库视图和存储过程的
通过aspupload上传组件实现的ASP实现远程
ASP调用MSSQL存储过程进行分页的两种方式
PHP解决HTTP和HTTPS跨域共享session的方法
php程序判断来访客户端是手机端还是电脑P
用PHP来获取当前页面所有url参数信息的教
配置好环境后,进行php代码调试的方法总结
教您使用php代码实现上传图片或文件到服务
PHP开发中推荐十款最出色的安全开发工具库
PHP基础学习之数组介绍
浅谈JSP与ASP.PHP的各种平台应用比较
php制作一个万年历查询的实例代码教程
制作简单安全的php验证码类代码实例
ASP.NET环境配置中几种身份验证方式及权限
记录一次对ASP.NET网站漏洞的入侵和防范教
Asp.net在mvc环境下实现上传头像加剪裁功
对 ASP.NET 异步编程的一点理解与分析
ASP.NET读取与操作Session的代码案例教程
ASP.NET将大文件数据分成较小的部分进行分
讲解.Net组件程序设计之异步调用
AS脚本与Asp.net通过UrlRequest进行前端交
一组常用的.NET命名空间中文解释
asp.net解决url地址栏传递中文参数出现乱