Python网络爬虫学习scrapy(一)
来源:互联网 发布:怎么用农村淘宝买东西 编辑:程序博客网 时间:2024/04/27 05:19
总结一个今天的学习过程
1,上午继续尝试昨天的问题:客户端putty登陆远程windows不能输入命令的问题:
可以说是坎坷的不行:原因是安装freesshd软件时,最后一个是否选择问题:是否以系统服务的方式启动,这里选择否,千万不要选择是,这样就可以在登陆后在输入框中输入命令了(这事王师兄替我尝试安装,他本人潜意识不喜欢系统服务的方式,尝试成功了,才找到原因,也是醉了)
接下来又面临了一个坑:使用bat操作js脚本调用客户端的putty链接远程windows,能登陆,但不能将命令脚本发送到putty窗口上,哎 悲催
结果:选择搁置,大脑受不了了
2,下午以及晚上就继续尝试学习Python
复习了隔了好几天没学的数据库编程:SQLIT、MongoDB、MySQL
安装scrapy
scrapy是一个大的整体(个人认为),参考安装连接http://blog.csdn.net/qy20115549/article/details/52528896
自己的安装过程
注意安装pywin32时,对于Python3.6的朋友来说:可能会因为找不到注册表信息
安装pywin32
到网址下载https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe
注意221这个对于3.6版本的好用 220这个不好使
使用scrapy bench命令验证自己的安装是否齐全
3,学习了Python的基本概念
按着网上的教程尝试写了一个小的爬虫案例,并将结果存储到sss.csv文件中,json等其他文件格式,大该七八中格式
4 使用scrapy创建一个工程
cd到一个目录
scrapy startproject tutorial
cd tutorial
scrapy genspider csdn_spider blog.csdn.net
编写items、csdn_spider piplines没有修改
scrapy crawl dmoz_spider可惜的是csdn好像不能爬虫下来文章
shell
先进入网页
scrapy shell http://blog.csdn.net/system/newarticle.html
使用response.xpath('/html/body/div[5]/div[1]/div[1]/dl[1]/dd/div[1]')
课查看验证爬取的内容
5 使用了xpath css re extract四种方法尝试抓取不同标签的文本
6,piplines:数据去重、数据清洗、数据存储如json、MongoDB。只是仅仅了解了概念,还没实践
明天加油,又是美好的一天
阅读全文
0 0
- Python网络爬虫学习scrapy(一)
- Python网络爬虫框架scrapy的学习
- Python网络爬虫学习scrapy(二)
- Python网络爬虫框架:Scrapy
- Python学习(8)---Scrapy框架下的网络爬虫
- 基于Scrapy框架的python网络爬虫学习(2)
- 基于Scrapy框架的python网络爬虫学习(3)
- 基于Scrapy框架的python网络爬虫学习(3)
- 我的Python学习笔记(6) 初探网络爬虫scrapy
- python爬虫 scrapy框架学习
- Python爬虫框架Scrapy学习一记——认识Scrapy
- 学习python写网络爬虫(一)
- 学习Python之网络爬虫(一)
- Python 网络爬虫学习(一)
- Python网络爬虫学习笔记(一)
- 开源python网络爬虫框架Scrapy
- python Scrapy 轻松定制网络爬虫
- 开源python网络爬虫框架Scrapy
- %5B%5D jquery param 数据参数序列化
- 【c语言小项目】通讯录-文件版
- 实验一线性表的基本操作实现及其应用
- 在win7旗舰版上用telnet模拟HTTP协议
- 没有个人文档中心 不愿意在这待了
- Python网络爬虫学习scrapy(一)
- SpringCloud(第 015 篇)电影Ribbon微服务集成Hystrix增加隔离策略控制线程数或请求数来达到熔断降级的作用
- Docker中配置简单的Nginx+Tomcat的web负载均衡
- 一步步封装Retrofit + RxJava2
- 第十二章 与Spring集成(二) JavaWeb应用
- troubleshooting之解决yarn-client模式导致的网卡流量激增问题
- HDU 2196 Computer (树型dp/树直径)
- 最小表示法/最大表示法 O(n)
- 乱写c++ serverno+timestamp+threadid生成制定长度字符串