python爬虫

来源:互联网 发布:广州金针软件 编辑:程序博客网 时间:2024/06/10 06:18
import requestsfrom bs4 import BeautifulSoupimport sysimport jsonreload(sys)sys.setdefaultencoding("utf-8")url = "http://bbs.fobshanghai.com/catdisplay.php?fid=11"res = requests.get(url)res.encoding = 'utf-8'soup = BeautifulSoup(res.content, "html.parser")elements = soup.select('.f_title')fname = "F:/a666.txt"
注意用res.content,这样不会出现中文乱码,如果用res.text会中文乱码