python爬虫写文件编码

情况介绍

　　最近需要爬取网页上的内容，并且保存下来，在把抓取到的信息写入文件的时候，会出现乱码，需要做转码等处理，用的是python

　　解决的思路大概是这样的：

　　1.　requests.get()获取网页的内容
　　2.　根据网页，获取编码方式
　　3.　解码后，统一用utf-8的编码写入文件内，因为gbk编码的时候，查看文件均是乱码

代码

import requestsfrom bs4 import BeautifulSoupimport codecs#get contentdef getContent(url):    r = requests.get(url)    return r.content#get code setdef getCodeSet(content):    soup = BeautifulSoup(content,'html.parser')    return soup.original_encoding#writedef writeToFile(content,path,codeSet):    f = codecs.open(path,'w',codeSet)    f.write(content.decode(codeSet).encode('utf-8').decode('utf-8'))    f.close()if __name__ == '__main__':    content = getContent('http://item.jd.com/1076647290.html')    codeSet = getCodeSet(content)    writeToHtml(content,'test.html',codeSet)

　　上面代码是抓取一个京东上的商品的网页，爬虫不一定是抓取一个网页，一般多是抓取某些重要的信息，此时只需要用beautifulsoup或者正则表达式找到信息后，把writeToFile函数传参的content改成相对应的信息就可完成正常信息的写入。

　　用utf-8统一是因为编辑器用gbk打开的时候会出现乱码，所以某些gbk编码的网页都转成utf-8的形式写入文件中，方便查看信息录入是否正确