不会编程也能爬数据!3个爬虫小工具教你实现~
来源:互联网 发布:网络养羊平台靠谱吗 编辑:程序博客网 时间:2024/06/14 12:50
来源:DataCastle数据城堡
本文经「DataCastle数据城堡」授权转载,禁止二次转载
本文长度为1144个字,建议阅读5分钟
本文为你分享3个爬数据的小工具,零技术基础也能学会呦!
当前的主流爬虫手段是用Python编程,Python的强大毋庸置疑,但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢?答案是有的,我们为你准备了如下小工具,对于每个小工具你只需要花十几分钟时间,跟着我的步骤走一遍就可以掌握它啦~
一、Microsoft Excel
首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~
1. 新建Excel,打开它,如下图所示
2. 点击“数据”——“自网站”
3. 在弹出的对话框中输入目标网址,这里以全国实时空气质量网站(http://www.pm25.in/rank)为例,点击转到,再导入
选择导入位置,确定
4. 结果如下图所示,怎么样,是不是很赞?
5. 如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可
二、Google Sheet
使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话,下面我们就开始吧~
1. 打开Google Sheet网站:http://www.google.cn/sheets/about/
2. 在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格
新建的表格如下:
3. 打开要爬取的目标网站,一个全国实时空气质量网站http://www.pm25.in/rank,目标网站上的表格结构如下图所示
4. 回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表
对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://www.pm25.in/rank","table",1),回车后就爬得数据啦
5. 将爬取好的表格存到本地
是不是感觉超级简单?
三、you-get
这是一个程序员基于python 3开发的项目,已经在github上面开源,支持64个网站,包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方,即使是名单上没有的网站,当你输入链接,程序也会猜测你想要下载什么,然后帮你下载。
当然you-get要在python3环境下进行安装,用pip安装好后,在终端输入“you
get+你想下载资源的链接”就可以等着收藏资源了。
这里给一个you-get的中文使用说明(http://dwz.cn/4rb53l),按照说明上写的按步骤操作就可以啦。
- 不会编程也能爬数据!3个爬虫小工具教你实现~
- 不会编程也能爬数据!3个爬虫小工具教你实现~
- 爬虫小工具合集 | 不会编程也能爬数据
- 爬虫小工具合集|不会编程也能爬数据
- 使用node.js的http模块实现爬虫小工具
- 编程小工具,让你的编程之路如虎添翼!
- JDK5个小工具
- httpscan 爬虫扫描小工具
- 数据标定小工具
- 免费学习编程的10个小工具
- 发布个归档小工具
- ssrf爬虫扫描小工具ssrf_scan
- sqlite数据导入小工具
- 01-教你写一个web远程控制小工具
- Coding Tools Online(在线编程小工具),第一个Google Application Engine作品
- 写了个MySQL数据备份小工具,放出来跟大家分享一下,欢迎拍砖。
- 今天写了个小工具
- 分享个android开发小工具类
- 50个人围成一圈数到3和3的倍数时出圈,问剩下的人是谁?
- 团队天梯赛L1-028. 判断素数
- System.out.println(System.getenv("PATH"));
- 实现Android监控任意控件或按键双击事件方法
- 我认识的运维工作
- 不会编程也能爬数据!3个爬虫小工具教你实现~
- JavaEE 网页传输压缩方法
- 路由器工作原理与第三层交换
- 从架构理解价值-我的软件世界观
- java 如何实现一个字符串的反转 (转自网络)
- Android Framework学习笔记 -- 在framework添加system service
- 什么叫方法
- Django网络框架使用(二)
- 没什么卵用的第一篇CSDN博客