python进行爬虫

转自：http://i-421-163-com.iteye.com/blog/252981

项目组要得到这个http://kalug.linux.org.tw/~shawn/project/thesis/目录网址下面的所有文件以及这个文件目录的下层目录以及更下层目录的文件包括这个，用迅雷，flashget好像都没这样的功能：找到给一个链接，然后再递归爬取这个链接下的所有链接的。    于是自己写了一个，好像还行o(∩_∩)o...呵呵 下面是代码，这里主要爬取pdf与doc文件。 Python代码  收藏代码# -*- coding: utf-8 -*-  import urlparse,urllib,re,os  """ this class is mainly used to crawl the deep url in the urls do this work for 242 """  class SpiderMulti:                def read(self,url):          urlli=self.analy(url)          urldic = {}          cutli=urlli[1:]          for x in cutli:              urldic.update(x)          for url in [x.keys()[0] for x in cutli]:              if self.islink(url,urldic):                  print url                  self.read(url)              else:                  self.download(url,urldic)                          def analy(self,url):          urlli=[]          try:              html=urllib.urlopen(url).read().split('\n')              orignalUrl = url    #re.search(r'<h2>(.*?)</h2>',url,re.I|re.DOTALL)              for eachline in html:                  #print eachline                  currentFind = re.search(r'href="(.*?)"',eachline,re.IGNORECASE|re.DOTALL)                  if currentFind:                      urldic = {}                      curUrl = urlparse.urljoin(orignalUrl,currentFind.group(1))                      dirFind = re.search(r'class="t".*?>(.*?)<',eachline,re.IGNORECASE|re.DOTALL)                      curDir = dirFind.group(1)                      urldic[curUrl]=curDir                      urlli.append(urldic)          except:              print 'can not open ',url              pass                    #print urlli          return urlli            def islink(self,url,urldic):          if urldic[url] == 'Directory':              return True          else:              return False                def download(self,url,urldic):          print '=====:',url,urldic[url]          if (self.isfile(url)):              name = os.path.join(r'd:\data',url.split('/')[-1])              print 'dowm:',url,name              try:                  f=urllib.urlretrieve(url,name)              except:                  print 'can not writtofile'                  pass        def isfile(self,url):          if re.search(r'doc$|pdf$',url,re.IGNORECASE|re.DOTALL):              return True          else:              return False                                                if __name__=='__main__':      t=SpiderMulti()      url='http://kalug.linux.org.tw/~shawn/project/thesis/'      t.read(url)  解释一下： 1、主函数是read()，在这里面实现递归。 2、analy(url)函数分析传入的url，提取出该页的url链接，当然如果你要用你自己的url这里需要改变的是正则表达式的匹配规则。返回一个列表，列表的元素是字典，key是当前的链接地址，值是该地址对应的类型（这里主要是针对该类网站这样设计的，大家可以打开看看网页 的结果）。 3、islink()函数是判断输入的url是不是目录，如果是则递归执行read()函数 4、download()函数是：输入的链接对应的是个文件，但是不一定是我们想要的pdg或者doc文件，所以先用isfile()函数判断一下，然后再进行下载，完成任务。呵呵