python爬虫scrapy框架基础知识

来源:互联网 发布:金融行业数据分析报告 编辑:程序博客网 时间:2024/05/21 11:34

基础知识

1、爬取网页时要分析网页结构

如:https://www.cnblogs.com/#p2,p2是灵活的每一页

2、xpath支持正则表达式,可以选择两个方式,一是通过chrome选择Xpath,二是选择class