php爬虫教程(二)数据请求分析
来源:互联网 发布:淘宝网买药提交需求 编辑:程序博客网 时间:2024/06/08 16:21
可以看到这个请求返回的就是整个页面的html,如果我们需要这里的某一个数据就可以通过正则匹配的方式匹配出来/<title>(.*?)<\/title>/ 这样title就被匹配出来了
这是我实际应用的一个代码段仅供参考。
foreach($arr as $v=>$k){ $str = ''; $res = $client->get("http://waimai.xxxxx.com/waimai/shop/$v"); $res = str_replace(array("\r\n", "\r", "\n"), "", $res); preg_match_all('/<h3 data-title="(.*?)".*?<span class="sales-count">月售(.*?)份<\/span>/',$res,$arr2); unset($arr2[0]); for($i=0;$i<count($arr2[1]);$i++){ $str .= $k.",".$arr2[1][$i].','.$arr2[2][$i]."\n"; } if(empty($str)) echo "error\n"; $file = fopen("./xxx.txt",'a+'); fwrite($file,$str); fclose($file);}
总结:很多时候我们抓数据的时候都可以很直观的抓取出来,无论是正则还是json,只要页面上有的东西我们都可以获取出来,然后就可以存储或者走自己的逻辑。
最主要的是我们要知道去请求哪个请求,这个请求有多少个参数都是做什么的,get或者post都需要你分析出来然后通过代码的方式来模拟出来。
1 0
- php爬虫教程(二)数据请求分析
- php爬虫教程(三)规则分析
- php爬虫教程(四)抓取数据并进行处理
- pyspider 爬虫教程(二)
- 用 PHP 爬虫做旅游数据分析
- python爬虫(二)之get请求
- python3 网络爬虫(二)利用get请求获取网页的动态加载数据
- php爬虫教程(五)提高爬虫抓取效率
- Apache Spark数据分析教程(二):Spark SQL
- Apache Spark数据分析教程(二):Spark SQL
- Apache Spark数据分析教程(二):Spark SQL
- php爬虫:知乎用户数据爬取和分析
- 使用java 爬虫 抓取youtube,youku,facebook 等视频网站的视频数据(请求规则的分析)
- Python网络爬虫(二)-----发送数据
- 新闻数据爬虫分析
- scrapy专利爬虫(二)——请求相关
- 数据分析(二)
- 数据分析(二)
- day11_python多线程实例代码——02
- python爬虫(一)
- C#之哈希表学习案例
- 5.0学习计划--Palette详解
- selector——点击按钮后变成不一样的图片
- php爬虫教程(二)数据请求分析
- caffe 参数介绍
- 【数据结构】快排 【递归&&非递归】
- Codeforces Round #369
- Java并发编程:深入剖析ThreadLocal
- VC++ GUID随机字符串生成
- 公开的海量数据集 Public Research-Quality Datasets
- Android_ScrollView嵌套ListView会出现的ListView底部会自动出现在屏幕上
- C++句子翻转(my hometown is hubei⇒hubei is hometown my)