多线程爬虫爬取电影天堂资源

先来简单介绍一下，网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点，所以需要精心选取一些URL作为起点，然后我们的爬虫从这些起点出发，抓取并解析所抓取到的页面，将所需要的信息提取出来，同时获得的新的URL插入到队列中作为下一次爬取的起点。这样不断地循环，一直到获得你想得到的所有的信息爬虫的任务就算结束了。我们通过一张图片来看一下。

　　好的 下面进入正题，来讲解下程序的实现。

　　首先要分析一下电影天堂网站的首页结构。

　　从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。

　　①解析首页地址 提取分类信息

[py] view plaincopy

1. #解析首页  
2. def CrawIndexPage(starturl):  
3. print "正在爬取首页"  
4. page = __getpage(starturl)  
5. if page=="error":  
6. return  
7. page = page.decode('gbk', 'ignore')  
8. tree = etree.HTML(page)  
9. Nodes = tree.xpath("//div[@id='menu']//a")  
10. print "首页解析出地址",len(Nodes),"条"  
11. for node in Nodes:  
12. CrawledURLs = []  
13. CrawledURLs.append(starturl)  
14. url=node.xpath("@href")[0]  
15. if re.match(r'/html/[A-Za-z0-9_/]+/index.html', url):  
16. if __isexit(host + url,CrawledURLs):  
17. pass  
18. else:  
19. try:  
20. catalog = node.xpath("text()")[0].encode("utf-8")  
21. newdir = "E:/电影资源/" + catalog  
22. os.makedirs(newdir.decode("utf-8"))  
23. print "创建分类目录成功------"+newdir  
24. thread = myThread(host + url, newdir,CrawledURLs)  
25. thread.start()  
26. except:  
27. pass  

在这个函数中，首先将网页的源码下载下来，通过XPath解析出其中的菜单分类信息。并创建相应的文件目录。有一个需要注意的地方就是编码问题，但是也是被这个编码纠缠了好久，通过查看网页的源代码，我们可以发现，网页的编码采用的是GB2312，这里通过XPath构造Tree对象是需要对文本信息进行解码操作，将gb2312变成Unicode编码，这样DOM树结构才是正确的，要不然在后面解析的时候就会出现问题。

　　②解析每个分类的主页

[py] view plaincopy

1. # 解析分类文件  
2. def CrawListPage(indexurl,filedir,CrawledURLs):  
3. print "正在解析分类主页资源"  
4. print indexurl  
5. page = __getpage(indexurl)  
6. if page=="error":  
7. return  
8. CrawledURLs.append(indexurl)  
9. page = page.decode('gbk', 'ignore')  
10. tree = etree.HTML(page)  
11. Nodes = tree.xpath("//div[@class='co_content8']//a")  
12. for node in Nodes:  
13. url=node.xpath("@href")[0]  
14. if re.match(r'/', url):  
15. # 非分页地址 可以从中解析出视频资源地址  
16. if __isexit(host + url,CrawledURLs):  
17. pass  
18. else:  
19. #文件命名是不能出现以下特殊符号  
20. filename=node.xpath("text()")[0].encode("utf-8").replace("/"," ")\  
21. .replace("\\"," ")\  
22. .replace(":"," ")\  
23. .replace("*"," ")\  
24. .replace("?"," ")\  
25. .replace("\""," ")\  
26. .replace("<", " ") \  
27. .replace(">", " ")\  
28. .replace("|", " ")  
29. CrawlSourcePage(host + url,filedir,filename,CrawledURLs)  
30. pass  
31. else:  
32. # 分页地址 从中嵌套再次解析  
33. print "分页地址 从中嵌套再次解析",url  
34. index = indexurl.rfind("/")  
35. baseurl = indexurl[0:index + 1]  
36. pageurl = baseurl + url  
37. if __isexit(pageurl,CrawledURLs):  
38. pass  
39. else:  
40. print "分页地址 从中嵌套再次解析", pageurl  
41. CrawListPage(pageurl,filedir,CrawledURLs)  
42. pass  
43. pass  

打开每一个分类的首页会发现都有一个相同的结构（点击打开示例）首先解析出包含资源URL的节点，然后将名称和URL提取出来。这一部分有两个需要注意的地方。一是因为最终想要把资源保存到一个txt文件中，但是在命名时不能出现一些特殊符号，所以需要处理掉。二是一定要对分页进行处理，网站中的数据都是通过分页这种形式展示的，所以如何识别并抓取分页也是很重要的。通过观察发现，分页的地址前面没有“/”,所以只需要通过正则表达式找出分页地址链接，然后嵌套调用即可解决分页问题。

③解析资源地址保存到文件中

[py] view plaincopy

1. #处理资源页面 爬取资源地址  
2. def CrawlSourcePage(url,filedir,filename,CrawledURLs):  
3. print url  
4. page = __getpage(url)  
5. if page=="error":  
6. return  
7. CrawledURLs.append(url)  
8. page = page.decode('gbk', 'ignore')  
9. tree = etree.HTML(page)  
10. Nodes = tree.xpath("//div[@align='left']//table//a")  
11. try:  
12. source = filedir + "/" + filename + ".txt"  
13. f = open(source.decode("utf-8"), 'w')  
14. for node in Nodes:  
15. sourceurl = node.xpath("text()")[0]  
16. f.write(sourceurl.encode("utf-8")+"\n")  
17. f.close()  
18. except:  
19. print "!!!!!!!!!!!!!!!!!"  

这段就比较简单了，将提取出来的内容写到一个文件中就行了

　　为了能够提高程序的运行效率，使用了多线程进行抓取，在这里我是为每一个分类的主页都开辟了一个线程，这样极大地加快了爬虫的效率。想当初，只是用单线程去跑，结果等了一下午最后因为一个异常没处理到结果一下午都白跑了！！！！心累

[py] view plaincopy

1. class myThread (threading.Thread): #继承父类threading.Thread  
2. def __init__(self, url, newdir,CrawledURLs):  
3. threading.Thread.__init__(self)  
4. self.url = url  
5. self.newdir = newdir  
6. self.CrawledURLs=CrawledURLs  
7. def run(self): #把要执行的代码写到run函数里面 线程在创建后会直接运行run函数  
8. CrawListPage(self.url, self.newdir,self.CrawledURLs)  

以上只是部分代码，全部代码可以到GitHub上面去下载（点我跳转）

最后爬取的结果如下。