利用Http Analyzer与RCurl抓取脚本中隐藏的数据
来源:互联网 发布:cnki是什么数据库 编辑:程序博客网 时间:2024/05/16 17:56
转载请注明出处啊喂!
http://write.blog.csdn.net/postedit/38684445
续上文【用HTTP analyzer找出网页脚本不可见的信息】http://blog.csdn.net/jansii/article/details/38123071
将xls中的"https://hq.sinajs.cn/?_=0.8689907682128251&list=gb_msft"
复制到浏览器地址栏,enter发现是打不开的,果然加密了。
今天研究腾讯财经中的恒生指数http://stock.qq.com/hkHSI
发现脚本中有以下部分
点进去一看⊙﹏⊙赫然就是恒生实时数据,当天时间对应恒生指数以及交易量。
一看URL,并没有https?
现在数据都不怎么需要加密吗?
于是受到启发,把前面谷歌数据网址的s去掉,在浏览器上尝试,可以了……
用R抓抓看
没什么问题!终于拿下!再用字符串处理一下即可。
注意到后面是goog,那换成别的行吗?查一下微软的编号是MSFT
改成MSFT,跑跑看
不错,甚满意~~
0 0
- 利用Http Analyzer与RCurl抓取脚本中隐藏的数据
- RCurl抓取
- RCurl来了--从数据抓取讲起
- 利用RCurl包完成自己感兴趣的团购信息【批量】抓取
- 一个RCurl抓取美团网信息的实例
- Rcurl抓取NCBI信息
- 用HTTP analyzer找出网页脚本不可见的信息
- Charles抓取http与https数据
- RCurl汽车之家抓取
- RCurl抓取团购信息
- GridView中利用隐藏的TemplateFied来进行数据访问
- GridView中利用隐藏的TemplateFied来进行数据访问
- Node入门训练【5】【利用http请求抓取网页数据】
- 利用python抓取京东的数据
- http 抓取数据问题
- php中利用http的长链接实现接收数据
- 利用RCurl实现爬虫实战
- RCurl爬虫抓取验证码例子
- ASP.NET 安全认证(三)—— 用Form 表单认证实现单点登录(Single Sign On)
- Notification通知
- WP7 使用高德地图的ZOOM的问题
- 学习Javascript闭包(Closure)
- 大数的阶乘
- 利用Http Analyzer与RCurl抓取脚本中隐藏的数据
- js 小结
- 缓存技术
- ASP.NET 安全认证(四)——巧妙实现 Form 表单认证跨站点、跨服务器的单点登录(Single Sign On)
- Android开发者必知的5个开源库
- Objective C 之文件管理
- android 报错 java.lang.IllegalStateException: Could not find a method next(View)
- Otsu Thresholding
- jetty