java爬虫--jsoup简单的表单抓取案例
来源:互联网 发布:电脑随机抽签软件 编辑:程序博客网 时间:2024/05/22 01:42
分析需求:
某农产品网站的农产品价格抓取
网站链接:点击打开链接
页面展示如上:
标签展示如上:
分析发现每日价格行情包括了蔬菜,水果,肉等所有的信息,所以直接抓每日行情的内容就可以实现抓取全部数据。
软件环境:eclipse,Jsoup包
下载地址:点击打开链接
密码:bmrr
抓取表单比较简单,直接用select选择标签即可。
实现:
完整代码如下:
package com.jsoup;import java.io.BufferedWriter;import java.io.FileWriter;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class Shichang {public static void main(String[] args) throws IOException {String url = "";Document doc=null;BufferedWriter bw = null;//文件输出路径String path="f:\\cai.txt";for (int i = 1; i <= 10; i++) {url = "http://www.xinfadi.com.cn/marketanalysis/0/list/" + i + ".shtml";//测试用的url// url = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml";//模拟浏览器doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").timeout(6000 * 1000).get();//找到名为hq_table的tableElements el = doc.select("table.hq_table");// System.out.println(el);//遍历hq_table中的trfor (Element el2 : el) {Elements el3 = el2.select("tr.tr_color");//遍历tr中的tdfor (Element el4 : el3) {Elements el5 = el4.select("td");String rs = el5.text().toString().replace(" ", "\t");//输出到控制台System.out.println(rs);//输出到本地文件bw = new BufferedWriter(new FileWriter(path,true));bw.write(rs);bw.newLine();bw.flush();bw.close();}}}}}参考:http://www.open-open.com/jsoup/
http://blog.csdn.net/getchance/article/details/40423103
阅读全文
0 0
- java爬虫--jsoup简单的表单抓取案例
- JAVA爬虫--Jsoup的简单运用
- JAVA简单爬虫例子--Jsoup的运用
- java爬虫实战简单用Jsoup框架进行网页爬虫(如抓取网页图片)
- Jsoup实现简单的爬虫
- java写的一个简单的爬虫(jsoup)
- 【1】用jsoup来实现简单的java爬虫
- Jsoup网页爬虫案例
- Java爬虫,信息抓取的实现(Jsoup)转载,仅用于学习
- java爬虫(使用jsoup设置代理,抓取网页内容)
- 简单的jsoup抓取html代码
- 使用Jsoup 简单抓取页面的数据
- 使用jsoup爬虫抓取页面
- Jsoup 爬虫 抓取网络图片
- 使用jsoup爬虫抓取页面
- 使用jsoup爬虫抓取页面
- Java爬虫学习:利用HttpClient和Jsoup库实现简单的Java爬虫程序
- Jsoup网页数据抓取案例
- ssh项目心得
- 对角线
- 数组
- hadoop-2.7.4-翻译文档-联邦HDFS
- JS中的邮箱验证
- java爬虫--jsoup简单的表单抓取案例
- 怎么设置可以使数字加减的数字选择器
- Java回调机制是什么意思?
- 数据结构-栈(1)
- Java 9 正式发布,终落地 Jigsaw 项目
- MySQL批量SQL插入各种性能优化
- 程序员须知:面试中最容易被问到的18个算法题(附答案!)
- IT界最真实的面试实录(第一弹)
- java-微信支付-微信退款