Java抓取网页乱码解决
来源:互联网 发布:淘宝开店要交保证金吗 编辑:程序博客网 时间:2024/05/16 19:34
昨天用java抓取html文件,获取下来的html文件打开总是带有乱码,弄了半天搞定了。其实要避免乱码的一个好方法:没有必要去判断页面的编码方式,只要读取的数据按字节(而不是按字符)保存起来就可以了,后缀为html文件,然后用浏览器打开,肯定是正常的。
分析的原因:在网络上传送的数据是基于字节流的,我们要在屏幕上显示的时候要将字节流按某种字符集解码成String的形式,在java中就是将字节流按某种格式解码成Unicode,在将数据写入文件的时候,又要将String按某种格式编码成字节流,当两次的编码不一致的时候,就会造成乱码。所以在抓取网页进行保存的时候,可以直接将得到的字节流保存到文件中就可以了。
字节流与字符流主要的区别是他们的的处理方式:
字节流是最基本的,所有的InputStream和OutputStream的子类都是,主要用在处理二进制数据,它是按字节来处理的。
实际中很多的数据是文本,又提出了字符流的概念,它是按虚拟机的encode来处理,也就是要进行字符集的转化。
在实际开发中出现的乱码问题实际上都是在字符流和字节流之间转化不统一而造成的。
注:
对于我们常用的GBK中,英文是占用1个字节,中文是2个;
对于UTF-8,英文是1个,中文是3个;
对于Unicode,英文中文都是2个。
下面一段代码是用来抓取http://idachen123.taobao.com并保存到本地的java程序。
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;
public class Test {
public static void main(String[] argc) {
URL url = null;
FileOutputStream fos = null;
InputStream is;
try {
for (int i = 0; i < 1; i++) {
url = new URL("http://idachen123.taobao.com");
byte bytes[] = new byte[1024 * 1000];
int index = 0;
is = url.openStream();
int count = is.read(bytes, index, 1024 * 100);
while (count != -1) {
index += count;
count = is.read(bytes, index, 1);
}
fos = new FileOutputStream("test.html");
System.out.println(index);
fos.write(bytes, 0, index);
is.close();
fos.close();
}
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
- Java抓取网页乱码解决
- Java网页抓取网页内容时,乱码问题的解决
- Java、C#双语版HttpHelper类(解决网页抓取乱码问题)
- Java抓取网页乱码问题解决
- 抓取网页保存时候的乱码解决
- file_get_contents抓取网页乱码的解决
- java 抓取网页乱码问题处理
- java抓取网页保存的乱码问题解决
- 网页抓取出现乱码
- 真正解决HtmlAgilityPack抓取网页 中文乱码问题
- 真正解决HtmlAgilityPack抓取网页 中文乱码问题
- python 解决抓取网页中的中文显示乱码问题
- httpclient自动获取页面编码,解决网页抓取乱码问题
- 用file_get_contents抓取网页乱码的2种解决方式
- 用file_get_contents抓取网页乱码的2种解决方式
- python抓取中文网页乱码
- Java抓取https网页数据,解决peer not authenticated异常
- JAVA 抓取网页内容
- 【揭秘VC CRT库Intel模块】-- strlen
- dialog及gdialog命令测试
- 怎样花两年时间去面试一个人
- strlen 和 sizeof 的区别
- 【動態規劃】導彈攔截
- Java抓取网页乱码解决
- 爱情测试
- SQLHelper数据库通用访问类(第三版)
- 12月又是忙碌的一个月
- 鸟哥私房菜基础网络概念2
- How browsers work - 浏览器是怎么工作的
- 第二章 啊哈!算法
- Java Memory Model--学习小结
- 农民工买房子 更多热点和冷笑话