网页抓取小结
来源:互联网 发布:网络倾听者app如何加入 编辑:程序博客网 时间:2024/05/19 10:35
网页抓取步骤:
1.将页面转化为流(或字符串)
2.将流保存为.xml文件(主要目地是为了处理中文乱码问题,xml文件为临时文件)
3.将xml转化为流,用Jtidy进行html格式化处理,并将处理好后的流转化为dom树
4.将dom树转化为xpath可以解析的InputSource
5.用xpath进行解析
代码暂不演示。
补充:
1.如果要使用文件保存,可利用线程名来命名文件,避免出现IO异常。另外可将流直接转化为String,再将String转化流供Jtidy处理。
2.如果服务器为IBM AIX,则要注意啦,在此机器下虽经Jtidy处理,但是仍然有些标签不会封闭,没有封闭的标签Xpath是会出现解析异常的。
3.AIX对某些标签的处理和windows及linux不同,需要多加注意。有些标签在windows下解析没问题,但是在AIX下就会出问题。
1.将页面转化为流(或字符串)
2.将流保存为.xml文件(主要目地是为了处理中文乱码问题,xml文件为临时文件)
3.将xml转化为流,用Jtidy进行html格式化处理,并将处理好后的流转化为dom树
4.将dom树转化为xpath可以解析的InputSource
5.用xpath进行解析
代码暂不演示。
补充:
1.如果要使用文件保存,可利用线程名来命名文件,避免出现IO异常。另外可将流直接转化为String,再将String转化流供Jtidy处理。
2.如果服务器为IBM AIX,则要注意啦,在此机器下虽经Jtidy处理,但是仍然有些标签不会封闭,没有封闭的标签Xpath是会出现解析异常的。
3.AIX对某些标签的处理和windows及linux不同,需要多加注意。有些标签在windows下解析没问题,但是在AIX下就会出问题。
0 0
- 网页抓取小结
- 网页抓取小结
- 使用PHP进行网页数据抓取小结
- 网页抓取:PHP实现网页爬虫方式小结
- 网页抓取:PHP实现网页爬虫方式小结
- 网页抓取
- 网页抓取
- 抓取网页
- 网页抓取
- 抓取网页
- 网页抓取
- 网页抓取
- 抓取网页
- 网页抓取
- 抓取网页
- 网页抓取
- 网页抓取
- 网页抓取
- weblogic输出或下载文件未设定contentLength异常
- 网页抓取小结
- 第一周周四
- Unix中的僵尸进程
- 没计划的生活就是浪费时间
- 网页抓取小结
- 乔布斯的10大管理诫律
- codevs contest #1 3945 完美拓印 kmp
- 乔布斯的10大管理诫律
- JAVA基础针对自己薄弱环节总结02(循环)
- HDU 5318 The Goddess Of The Moon (矩阵快速幂)
- Spring Boot 使用
- 意志力为何如此薄弱
- Jeecms之固定取消不了