网络爬虫开发

来源:互联网 发布:满档宠物数据 编辑:程序博客网 时间:2024/06/08 07:02
最近开始开发网络爬虫,我的设想是先将网页中链接抓取,然后保存到文本文件,但是一开始就碰到了问题,网页后缀名千奇百怪,不知道怎么去提取有用的网页链接,比如说,后缀名为JS的文件根本就可以掉,但是非网页的文件太多了,不知道怎么区分,而且很多网页做了防盗链技术,导致无法正确区分网页与文件,那位大侠指点指点,在下谢过
原创粉丝点击