Atitit.网页爬虫的架构总结
来源:互联网 发布:如何自学seo 编辑:程序博客网 时间:2024/05/17 21:41
Atitit.网页爬虫的架构总结
1. 总数的结构..(接口方法) 1
2. 获得页数 1
3. 跳页处理(接口方法) 2
4. 单个的页面处理(接口方法) 2
4.1. 获得页面url 3
4.2. 获得页面html 3
4.3. 获得list 3
4.4. 处理单个的数据条目 3
5. 调用 4
6. 日志的实现 4
7. 参考 4
1. 总数的结构..(接口方法)
public String exec( ) throws IOException {
fx=new filex(fileName);
int pages=getpage();
for(int i=1;i<=pages;i++)
{
if(i<pageStart)
continue;
try {
singlePage(i);
} catch (Exception e) {
e.printStackTrace();
}
}
fx.close();
2. 获得页数
getpage();
作者:: 老哇的爪子 Attilax 艾龙, EMAIL:1466519819@qq.com
转载请注明来源: http://blog.csdn.net/attilax
3. 跳页处理(接口方法)
if(i<pageStart)
continue;
4. 单个的页面处理(接口方法)
*/
private void singlePage(int page) throws ConnEx, NoRztEx, ParseLsitEx {
String html = null;
try {
String api = (String) getCurPageUrl(page);
//http://www.czvv.com/k5bu6562Rp0c0cc0s0m0e0f0d0.html
websitex wc = new websitex();
wc.refer="
html = wc.WebpageContent(api, "utf-8", 15);
} catch (Exception e) {
e.printStackTrace();
throw new ConnEx(e.getMessage());
}
//================trace
if (new File("C:\\traceOk").exists())
filex.save_safe(html, "c:\\rztTrace.html");
List li=getList(html);
for(Object obj:li)
{
try {
processItem(obj);
} catch (Exception e) {
e.printStackTrace();
}
}
4.1. 获得页面url
4.2. 获得页面html
4.3. 获得list
private List getList(String html) throws NoRztEx, ParseLsitEx {
try {
Document doc = null;
doc = Jsoup.parse(html);
Elements tabs = doc.getElementsByTag("ol");
return tabs;
} catch (Exception e) {
e.printStackTrace();
//System.out.println("norzt:" + addr);
throw new ParseLsitEx("noRzt");
}
4.4. 处理单个的数据条目
private void processItem(Object obj) {
Element item=(Element) obj;
String name=item.getElementsByClass("resultName").get(0).text();
Element e= item.getElementsByClass("l_r").get(0);
String tel=e.child(0).text();
String lyesyiren=e.child(1).text();
String addr=e.child(2).text();
String line = name+","+tel+","+lyesyiren+","+addr;
fx.appendLine_flush_safe(line);
System.out.println( line);
}
5. 调用
WebInfoX x=new WebInfoX();
x.fileName=args[0];// "c:\\r2.csv";
x.pages=Integer.parseInt(args[1]);
x.pageStart=Integer.parseInt(args[2]);;
x.exec( );
System.out.println("--fi");
}
6. 日志的实现
使用默认的console最简单的..或者使用queue+textarea....麻烦的
7. 参考
paip.c++ qt 网页爬虫 的 网络编程 总结 - attilax的专栏 - 博客频道 - CSDN.NET.htm
- Atitit.网页爬虫的架构总结
- Atitit 架构的原则attilax总结
- atitit.系统架构图 的设计 与工具 attilax总结
- python爬虫抓网页的总结
- python爬虫抓网页的总结
- Atitit 延迟绑定架构法attilax总结
- Atitit 组织架构的如何划分 划分方法attilax大总结
- paip.c++ qt 网页爬虫 的 网络编程 总结
- 爬虫的网页
- atitit.attilax的软件 架构 理念.docx
- atitit.attilax的软件 架构 理念.docx
- 爬虫的基本架构
- 爬虫的架构
- Atitit.收银系统模块架构attilax 总结
- Atitit数据库层次架构表与知识点 attilax 总结
- Atitit.ati orm的设计and架构总结 适用于java c# php版
- Atitit 软件架构方法的进化与演进cs bs soa roa msa attilax总结
- Atitit .html5刮刮卡的gui实现总结
- 多文件上传 iOS
- atitit.seo 发帖关键词以及链接的制作.doc
- 用express命令创建项目
- 淘宝mysql技术分享
- Android Studio 快捷键
- Atitit.网页爬虫的架构总结
- 【BST】把搜索二叉树转化成双链表
- 【深入浅出IOS开发】彩票-NavigationController
- 主機板 BIOS 嗶聲判讀詳解
- 对所给的斜率场求解方程,并将所给程序进行注释。
- Android Notification下拉样式
- SpringMVC-Day5
- 三十、纯虚函数、抽象类、多态、简单工厂模式
- ip地址与域名的关联