[python] spider 01

入門：

爬蟲分為三步；1.抓取網頁html 

    2.分析語義，各取所需

    3.儲存數據 / 展示成果

1. 網頁抓取

import reimport urllibdef getHtml(url):    page = urllib.urlopen(url)    return page.read()

2. 分析語義

def getImg(html):    reg = r'<img src="(.*?\.png)">'    imgre = re.compile(reg)    imglist = re.findall(imgre,html)    x=0    for imgurl in imglist:        urllib.urlretrieve(imgurl,'%s.png' % x)        print '%s.png' % x        x+=1

這裡面涉及很多問題，正則表達式是一環，解析網頁還有BeautifulSoup這類工具。

3. 儲存數據 / 展示應用

//上述代碼已完成//

簡單的調用就可以了。

html = getHtml("http://www.ifeng.com")getImg(html)

當然有些網頁會做一些保護措施，不讓別人爬，可惡，那我們要在代碼裡做一些改動吧？！！

有個哥們的連接 看看

http://blog.csdn.net/column/details/why-bug.html