Golang实战【网页转码】

来源:互联网 发布:cmpp3.0协议java开发 编辑:程序博客网 时间:2024/06/02 03:10

今天遇到帮公司爬小说遇到了点小问题。。。。。。。。。。。。。 加上今天公司网不好·····比较蛋疼

爬下来的网页是乱码一般有两种情况 最常见的就是编码问题如何解决呢?很简单·········· 由于被墙的原因找的是github 上的fork

使用mahonia包

地址:https://github.com/Tang-RoseChild/mahonia

安装过程不在赘述了

dec := mahonia.NewDecoder("gbk")rd := dec.NewReader(res.Body)因为这里要用到goquery  所以上面以流的方式读取dom,err:= goquery.NewDocumentFromReader(rd)

就是这么简单·······

还有一种原因是请求会来的内容是被压缩过的,这样是需要人工解压的··········方法就自己百度吧 ,因为我也没遇到过········
只是要清楚为什么乱码就ok 了