Extract HTML Title, Description, Keywords（Chilkat/Python学习二 ）

 
既然自己要学习Chilkat，那就接着写他的东西吧；

好了，开始吧！
首先你要学习这篇内容你必须了解python语法，python很简单，但是做的事不简单，这也是我学习他的原因；还有你必学安装Chilkat，具体细节去看我的

 Getting Started Spidering a Site使用Chilkat（python）练习的一个爬虫（from :http://www.example-code.com）

http://blog.csdn.net/Xiao_Qiang_/archive/2008/08/23/2820293.aspx


一、源码

1. from extra import  chilkat
2. # The Chilkat Spider component/library is free.
3. spider = chilkat.CkSpider()
4. 
   
5. # The spider object crawls a single web site at a time.  As you'll see
6. # in later examples, you can collect outbound links and use them to
7. # crawl the web.  For now, we'll simply spider 10 pages of chilkatsoft.com
8. spider.Initialize("http://www.vtchina.com/")
9. 
   
10. # Add the 1st URL:
11. spider.AddUnspidered("http://www.vtchina.com/")
12. 
    
13. 
    
14. # Begin crawling the site by calling CrawlNext repeatedly.
15. 
    
16. for i in range(0,10):
17. 
    
18.     success = spider.CrawlNext()
19.     if (success == True):
20.         # Show the URL of the page just spidered.
21.         print spider.lastUrl()
22. 
    
23.         # The HTML META keywords, title, and description are available in these properties:
24.         print spider.lastHtmlTitle()
25.         
26.         info = spider.lastHtmlDescription()
27.         HtmlDescription = unicode(info,"utf-8")
28.         print HtmlDescription
29.         print spider.lastHtmlKeywords()
30. 
    
31.         # The HTML is available in the LastHtml property
32.     else:
33.         # Did we get an error or are there no more URLs to crawl?
34.         if (spider.get_NumUnspidered() == 0):
35.             print "No more URLs to spider"
36.         else:
37.             print spider.lastErrorText()
38. 
    
39.     # Sleep 1 second before spidering the next URL.
40.     spider.SleepMs(1000)

注意我这里是爬网站http://www.vtchina.com/，是一个中文的网站，程序执行下来，语句print spider.lastHtmlTitle()输出的是乱码，处理方法到调用chilkatPython的目录下，先把chilkat.cpy修改一下文件名，反正不要是chilkat就可以了，防止调用他而不去调用chilkat.py；然后我们再修改chilkat.py；在chilkat.py中找到  def lastHtmlTitle(*args):函数，修改为

1.     def lastHtmlTitle(*args):
2.         utfchar = _chilkat.CkSpider_lastHtmlTitle(*args)
3.         info = unicode(utfchar,"utf-8")
4.         return info

这样输出的就不是乱码了。

由于是很入门的例子，代码没啥具体可说的，就是取页面title的功能。