抓取百度搜索结果
来源:互联网 发布:sql substr函数 编辑:程序博客网 时间:2024/04/23 21:41
抓取百度搜索结果,但是用file_get_content会出现false
后来找到一个函数
function curlPost($url, $data=array(), $timeout = 30){ // $interface = "eth0:" . rand(1, 4); //避免GG封IP // curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // $cookie_file = dirname(__FILE__) . "/temp/google.txt"; //存储cookie值 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); // curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);//获取浏览器类型 // curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 GTB5"); // curl_setopt($ch, CURLOPT_INTERFACE, "$interface"); //指定访问IP地址 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); $contents = curl_exec($ch); curl_close($ch); return $contents;}
用这个函数就可以(没注释),后来想弄明白到底是需要哪一项,于是就注释成了上面的样子,还是ok的,是因为cookie?
0 0
- 抓取百度搜索结果
- python抓取百度搜索结果
- 正则抓取百度搜索结果
- 使用HtmlUnit抓取百度搜索结果
- Python抓取百度图片搜索的结果
- PHP多进程抓取百度搜索结果
- PHP多进程抓取百度搜索结果
- 抓取百度搜索结果——解密百度狗
- 如何抓取谷歌,百度里面特定的搜索结果
- 分别使用Python和Java抓取百度搜索结果
- java正则表达式的使用-抓取百度搜索的结果
- 抓取百度查询结果
- 抓取百度查询结果
- 抓取 google 搜索结果
- PHP抓取百度搜索结果对应的第一个百度快照的链接
- 百度搜索结果爬虫
- python抓取google搜索结果
- C#抓取百度和谷歌的搜索结果(标题和链接) 代码整理
- GRE考试写作需要掌握的技巧
- mysql运行状态管理,查看连接数状态,定位和杀掉有问题的连接线程
- vs2013下qt工程设置exe图标
- SAT数学练习题实例讲解
- windows下安装memcached
- 抓取百度搜索结果
- uva 10391复合词compound words(Trie+set)
- Ubuntu 14.04(32位)安装Oracle 11g(32位)全过程
- windows下安装redis
- Android中使用Handler造成内存泄露的分析和解决
- C++注释转化为C语言注释
- Android软件开发之获取通讯录联系人信息 + android联系人信息的存储结构 + Android联系人读取操作笔记
- 深入JAVA对象深度克隆的详解
- hadoop常见错误及解决