Python网络爬虫（1）

爬虫三步：请求 解析 存储

import requests   #导入requests 库

r=requests.get('http://www.wise.xmu.edu.cn/people/faculty')

html=r.content    #获取网页全部内容

print r.status_code,r.encoding   #返回请求状态 字码形式

from bs4 import BeautifulSoup#利用bs4进行解析

soup=BeautifulSoup(html,'html.parser')

div_people_list=soup.find('div',attrs={'class':'people_list'})

a_s=div_people_list.find_all('a',attrs={'target':'_blank'})

for a in a_s:

url=a['href']

name=a.get_text()

print name,url#直接打印出来，就当存储了