程序博客网 > 2017淘宝客推广技巧

Java爬虫技术

来源：互联网 发布：2017淘宝客推广技巧 编辑：程序博客网 时间：2024/06/05 00:23

    Jsoup解析html方法，通常被人称之为爬虫技术。（个人认为可能是返回的数据，只有一小部分是我们需要的，造成了数据

的冗余，和网络延迟）。

1，下载Jsoup架包，小编在网上找了一个资源下载jsoup架包。（添加到libs后，add to path，其中jsoup-1.9.2-sources.jar的

作用是，当我们需要查看源码的时候，指定到这个包就可以了）


2，Jsoup的应用Api

      2.1生成Document文件（本身继承Element）。

      A，html字符串转换成一个Document对象：

   String html = "<html><head><title>First parse</title></head>"  + "<body><p>Parsed HTML into a doc.</p></body></html>";   Document doc = Jsoup.parse(html);
      B，将一个网页html转换成一个Document对象。(常用的两种方法)     

   Document doc1 = Jsoup.parse(new URL("http://www.baidu.com"), 5000);
   Document doc = Jsoup.connect("http://jingyan.baidu.com/article/e2284b2b60aceee2e6118d3b.html").get();//也有post方法，基本雷同
      C，将本地的一个html文件，转换成一个Document对象。

   File file = new File("C:/Users/songbinwang/webspace/web/WebContent/index/index.html");   Document doc1 = Jsoup.parse(file, "UTF-8");

       2.2，遍历一个文档Document。

       A，DOM方法

查找元素

  • getElementById(String id)
  • getElementsByTag(String tag)
  • getElementsByClass(String className)
  • getElementsByAttribute(String key) (and related methods)
  • Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()
  • Graph: parent(), children(), child(int index)

元素数据

  • attr(String key)获取属性attr(String key, String value)设置属性
  • attributes()获取所有属性
  • id(), className() and classNames()
  • text()获取文本内容text(String value) 设置文本内容
  • html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
  • outerHtml()获取元素外HTML内容
  • data()获取数据内容（例如：script和style标签)
  • tag() and tagName()

       B，选择器语法查找数据（其实如果只是抓取数据，掌握前面几种就够用了，但小编还是全粘贴了出来，万一真用上了呢哈）

Selector选择器概述

  • tagname: 通过标签查找元素，比如：a
  • ns|tag: 通过标签在命名空间查找元素，比如：可以用 fb|name 语法来查找 <fb:name> 元素
  • #id: 通过ID查找元素，比如：#logo
  • .class: 通过class名称查找元素，比如：.masthead
  • [attribute]: 利用属性查找元素，比如：[href]
  • [^attr]: 利用属性名前缀来查找元素，比如：可以用[^data-] 来查找带有HTML5 Dataset属性的元素
  • [attr=value]: 利用属性值来查找元素，比如：[width=500]
  • [attr^=value], [attr$=value], [attr*=value]: 利用匹配属性值开头、结尾或包含属性值来查找元素，比如：[href*=/path/]
  • [attr~=regex]: 利用属性值匹配正则表达式来查找元素，比如： img[src~=(?i)\.(png|jpe?g)]
  • *: 这个符号将匹配所有元素

Selector选择器组合使用

  • el#id: 元素+ID，比如： div#logo
  • el.class: 元素+class，比如： div.masthead
  • el[attr]: 元素+class，比如： a[href]
  • 任意组合，比如：a[href].highlight
  • ancestor child: 查找某个元素下子元素，比如：可以用.body p 查找在"body"元素下的所有p元素
  • parent > child: 查找某个父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body标签下所有直接子元素
  • siblingA + siblingB: 查找在A元素之前第一个同级元素B，比如：div.head + div
  • siblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h1 ~ p
  • el, el, el:多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo

伪选择器selectors

  • :lt(n): 查找哪些元素的同级索引值（它的位置在DOM树中是相对于它的父节点）小于n，比如：td:lt(3) 表示小于三列的元素
  • :gt(n):查找哪些元素的同级索引值大于n，比如： div p:gt(2)表示哪些div中有包含2个以上的p元素
  • :eq(n): 查找哪些元素的同级索引值与n相等，比如：form input:eq(1)表示包含一个input标签的Form元素
  • :has(seletor): 查找匹配选择器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素
  • :not(selector): 查找与选择器不匹配的元素，比如： div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
  • :contains(text): 查找包含给定文本的元素，搜索不区分大不写，比如： p:contains(jsoup)
  • :containsOwn(text): 查找直接包含给定文本的元素
  • :matches(regex): 查找哪些元素的文本匹配指定的正则表达式，比如：div:matches((?i)login)
  • :matchesOwn(regex): 查找自身包含文本匹配指定正则表达式的元素
     2.3，从元素中抽取属性，文本和html。

  • 要取得一个属性的值，可以使用Node.attr(String key) 方法
  • 对于一个元素中的文本，可以使用Element.text()方法
  • 对于要取得元素或属性中的HTML内容，可以使用Element.html(), 或 Node.outerHtml()方法

  • Element.id()
  • Element.tagName()
  • Element.className() and Element.hasClass(String className)

3，Jsoup应用实例：

实例一：

try {Document doc = Jsoup.connect("http://www.baidu.com").get();System.out.println("Document:\n" + doc);//打印整个百度首页的htmlElement form = doc.getElementById("form");//通过id找到元素formSystem.out.println("form:\n" + form);Elements es = form.getAllElements();System.out.println("Elements:");for(Element e: es){//遍历整个元素System.out.println("tag:"+e.tagName() + ",type:"+e.attr("type")+",name:"+e.attr("name") + ",value:"+e.attr("value"));}} catch (Exception e) {// TODO: handle exception}

实例二：

try {Document doc = Jsoup.connect("http://www.baidu.com").get();System.out.println(doc);//Element form = doc.select("form[name]").first();Element form = doc.select("#form").first();System.out.println(form);//Elements es = doc.select(".s_ipt");//Elements es = doc.select("[^hr]");//System.out.println(es);//Elements es = form.getAllElements();//for(Element e: es){//System.out.println("tag:"+e.tagName() + ",type:"+e.attr("type")+",name:"+e.attr("name") + ",value:"+e.attr("value"));//}Element img = doc.select("img").first();System.out.println(img.attr("abs:src"));//获得绝对地址} catch (Exception e) {// TODO: handle exception}

由于篇幅原因，只给出实例一的结果（相信大家多试几遍，很快就能掌握的）：

Document:
<!doctype html>
<!--STATUS OK-->
<html>
 <head>
  <meta http-equiv="content-type" content="text/html;charset=utf-8">
  <meta http-equiv="X-UA-Compatible" content="IE=Edge">
  <meta content="always" name="referrer">
  <link rel="stylesheet" type="text/css" href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css">
  <title>百度一下，你就知道</title>
 </head> 
 <body link="#0000cc"> 
  <div id="wrapper"> 
   <div id="head"> 
    <div class="head_wrapper"> 
     <div class="s_form"> 
      <div class="s_form_wrapper"> 
       <div id="lg"> 
        <img hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270" height="129"> 
       </div> 
       <form id="form" name="f" action="//www.baidu.com/s" class="fm"> 
        <input type="hidden" name="bdorz_come" value="1"> 
        <input type="hidden" name="ie" value="utf-8"> 
        <input type="hidden" name="f" value="8"> 
        <input type="hidden" name="rsv_bp" value="1"> 
        <input type="hidden" name="rsv_idx" value="1"> 
        <input type="hidden" name="tn" value="baidu">
        <span class="bg s_ipt_wr"><input id="kw" name="wd" class="s_ipt" value maxlength="255" autocomplete="off" autofocus></span>
        <span class="bg s_btn_wr"><input type="submit" id="su" value="百度一下" class="bg s_btn"></span> 
       </form> 
      </div> 
     </div> 
     <div id="u1"> 
      <a href="http://news.baidu.com" name="tj_trnews" class="mnav">新闻</a> 
      <a href="http://www.hao123.com" name="tj_trhao123" class="mnav">hao123</a> 
      <a href="http://map.baidu.com" name="tj_trmap" class="mnav">地图</a> 
      <a href="http://v.baidu.com" name="tj_trvideo" class="mnav">视频</a> 
      <a href="http://tieba.baidu.com" name="tj_trtieba" class="mnav">贴吧</a> 
      <noscript> 
       <a href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login" class="lb">登录</a> 
      </noscript> 
      <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> 
      <a href="//www.baidu.com/more/" name="tj_briicon" class="bri" style="display: block;">更多产品</a> 
     </div> 
    </div> 
   </div> 
   <div id="ftCon"> 
    <div id="ftConw"> 
     <p id="lh"> <a href="http://home.baidu.com">关于百度</a> <a href="http://ir.baidu.com">About Baidu</a> </p> 
     <p id="cp">©2016&nbsp;Baidu&nbsp;<a href="http://www.baidu.com/duty/">使用百度前必读</a>&nbsp; <a href="http://jianyi.baidu.com/" class="cp-feedback">意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src="//www.baidu.com/img/gs.gif"> </p> 
    </div> 
   </div> 
  </div>   
 </body>
</html>
form:
<form id="form" name="f" action="//www.baidu.com/s" class="fm"> 
 <input type="hidden" name="bdorz_come" value="1"> 
 <input type="hidden" name="ie" value="utf-8"> 
 <input type="hidden" name="f" value="8"> 
 <input type="hidden" name="rsv_bp" value="1"> 
 <input type="hidden" name="rsv_idx" value="1"> 
 <input type="hidden" name="tn" value="baidu">
 <span class="bg s_ipt_wr"><input id="kw" name="wd" class="s_ipt" value maxlength="255" autocomplete="off" autofocus></span>
 <span class="bg s_btn_wr"><input type="submit" id="su" value="百度一下" class="bg s_btn"></span> 
</form>
Elements:
tag:form,type:,name:f,value:
tag:input,type:hidden,name:bdorz_come,value:1
tag:input,type:hidden,name:ie,value:utf-8
tag:input,type:hidden,name:f,value:8
tag:input,type:hidden,name:rsv_bp,value:1
tag:input,type:hidden,name:rsv_idx,value:1
tag:input,type:hidden,name:tn,value:baidu
tag:span,type:,name:,value:
tag:input,type:,name:wd,value:
tag:span,type:,name:,value:
tag:input,type:submit,name:,value:百度一下

       




0 0
2017淘宝客推广技巧 2017淘宝客推广技巧
原创粉丝点击
热门IT博客
网络用语66是什么意思网络用语66是什么意思
js 实现高斯模糊效果js 实现高斯模糊效果
执业药师网络课程
js手机拍照裁剪
淘宝钻石买家极速退款
域名管理后台
ubuntu php5 安装路径
js缺少对象什么意思
网络学位证有用吗
web数据库安全防范
数组下标越界什么意思
dota淘宝交易
奥索卡鞋子怎么样知乎
眼镜试戴软件
收购淘宝网店
淘宝访客显示其他来源
杭创软件 股票
付费软件大全
网狐源码分析
阿法狗 人工智能
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 江苏高考成绩 江苏高考总分 江苏高考 江苏高考难度 江苏高考总分多少 江苏高考时间 江苏省教育网 江苏省教育考试院成绩查询 江苏教育考试 江苏教育考试网 jseea 江苏教育考试院网 江苏教育考试院 江苏教育网 江苏教育网首页 江苏省考试院网 赛高酱图片 赛高酱写真 赛高福利 萝莉赛高 小高赛图片 小高赛 赛高小学生私密全部照片 赛高酱写真90套2700多张图片 赛高酱穿超短裙 赛高酱私密照 赛高什么意思二次元 芭芭拉小魔仙 小魔仙巴拉拉 2018魔兽世界快速升级小宠物 魔兽小精灵改建 魔兽世界变小了 魔兽世界怎么抓小宠物 魔兽世界 小宠物属性 魔兽世界 小乌达 魔兽世界小德 魔兽世界小卡 小魔卡套餐 小吧 小魔女蒙娜 飞天小魔女

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里