httpclient 4.0读到的网页乱码问题
来源:互联网 发布:开淘宝入门 编辑:程序博客网 时间:2024/05/18 00:54
用了httpclient写了一个抓取网页源码的代码,抓取的sina博文很正常,但是163的确全是乱码,折腾了一天终于搞定,结果真是让人哭笑不得。
一开始怀疑字符编码设置的不对,分别设了utf,gb2312,gbk都没有作用,在看了一下乱码,里面没有一个字符能认得出,如果是字符编码的问题,起码英文应该不会是乱码吧。
然后就觉得是不是httpclient的问题,查了很多资料都没有答案,而且网上httpclient4.0的也很少,大部分都是3。0的代码。
只好又试着使用java.net包里提供的方法简单的试了一下,结果这个小程序得到的网页没有乱码。那就应该是httpclient哪里没有设置好吧。
又在网上找了个httpfox抓包下来分析,比较来比较去,终于给我发现一个不一样的地方,
只有在请求163网址时,服务器头信息有这么一行:Content-Encoding gzip,原来服务器返回的是压缩后的数据,难怪是乱码。
查了相关资料后才明白 “服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据“,看了看程序果然有个地方设置成了httppost.setHeader("Accept-Encoding","gzip,deflate"); 去掉之后,成功读出数据。
看来要对这些http协议还是要知道才行,不然问题出在哪里都不清楚。
- httpclient 4.0读到的网页乱码问题
- 一个关于InputStream读到乱码的小问题
- HttpClient抓取网页返回乱码的解决办法
- 网页的乱码问题
- httpclient自动获取页面编码,解决网页抓取乱码问题
- httpclient 的 doPost请求中文乱码问题
- HttpClient乱码问题
- HttpClient乱码问题
- HttpClient乱码问题
- httpclient中文乱码问题
- httpclient中文乱码问题
- httpclient中文乱码问题
- 网页的title乱码问题
- 通过HtmlParser和HttpClient抽取网页关键字并解决乱码问题
- httpclient解决中文乱码问题
- HttpClient POST 中文乱码问题
- 解决httpClient中的乱码问题
- Android 与 HttpClient 通讯出现乱码问题的解决
- 注册(创办)公司的手续过程
- 非常实用的生活常识
- 哈7
- 小故事2
- 哲学小故事
- httpclient 4.0读到的网页乱码问题
- 生活中的安全知识
- 一篇对技术人员的十大忠告
- 经典100签名
- 搞笑
- 什么是通货膨胀?还有什么是经济危机?
- AT指令3
- AT指令2
- Eclipse remote debug introduction