使用python如何开始练习爬虫

来源:互联网 发布:js非负整数正则 编辑:程序博客网 时间:2024/04/28 03:33


1 当然是选择一个可以解析html的包了
这个包,首先推荐的就是lxml, 用xpath的方式来解析html


2. 什么HTMLParser, SGMLParser, 

就算了吧,很难学,也很难用



3. Beautiful Soup? 

这个可以作为一个候选,毕竟beautiful Soup基于lxml开发的



4. PyQuery 

这个也很好,类似与jQuery的工具,也是基于lxml的


5. Scrapy 

这个也是基于lxml的,使用xpath提取html dom的信息。


综上所述, 建议使用lxml和pyquery或者scrapy(毕竟scrapy提供了一揽子爬虫解决方案)

0 0
原创粉丝点击