Golang实战【网页转码】
来源:互联网 发布:cmpp3.0协议java开发 编辑:程序博客网 时间:2024/06/02 03:10
今天遇到帮公司爬小说遇到了点小问题。。。。。。。。。。。。。 加上今天公司网不好·····比较蛋疼
爬下来的网页是乱码一般有两种情况 最常见的就是编码问题如何解决呢?很简单·········· 由于被墙的原因找的是github 上的fork
使用mahonia包
地址:https://github.com/Tang-RoseChild/mahonia
安装过程不在赘述了
dec := mahonia.NewDecoder("gbk")rd := dec.NewReader(res.Body)因为这里要用到goquery 所以上面以流的方式读取dom,err:= goquery.NewDocumentFromReader(rd)
就是这么简单·······
还有一种原因是请求会来的内容是被压缩过的,这样是需要人工解压的··········方法就自己百度吧 ,因为我也没遇到过········
只是要清楚为什么乱码就ok 了
阅读全文
0 0
- Golang实战【网页转码】
- golang语言实战篇
- Golang实战【简易爬虫】
- Golang实战【web服务器】
- golang解析html网页
- Go实战--gopherjs/gopherjs让你的golang代码在浏览器中执行(Golang转JavaScript)
- goLang 多线程抓取网页数据
- Go实战--golang中使用图片和验证码(dchest/captcha)
- Golang实战群:日志的处理机制
- golang实战-nsq集群入门与坑
- golang实战--实现短地址服务
- Golang实战-一个聊天室的实现
- Golang实战-一个聊天室的实现二
- Go实战--golang中使用MongoDB(mgo)
- golang 正则匹配regexp接口实战学习
- 网页抓取实战总结
- 网页学习之实战
- Go实战--golang中使用gRPC和Protobuf实现高性能api(golang/protobuf、google.golang.org/grpc)
- JVM性能调优
- 使用flume+hive采集Web服务器的access日志
- 测试mybatis里foreach用法
- 一个可以DIY的智能插座 stm32+8266
- 面经整理-Java基础
- Golang实战【网页转码】
- How to Reset the Root Password 5.5
- hibernate使用报错
- 测试常用Linux命令
- springmvc-Ajax-Objec返回值为Object
- 很多时候df查看磁盘容量为什么比du统计所有目录大小高
- C#中转换JS的Escape()和Unescape()
- SpringBoot+Gradle实现AOP
- 一次 string的 GC 探寻