网页的获取和解析

网页的获取&解析

---

使用JAVA编写，需要的包和工具：Jsoup、PhantomJS
目标：能获取到完整的异步加载网页，使用Jsoup解析获得的网页

---

1.准备工作

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

下载 Jsoup

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGPhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。

下载 PhantomJS

2.Jsoup获取静态网页

Jsoup的connect方法能够直接获取静态网页
例如：

Document doc=Jsoup.connect("https://www.zhihu.com/question/19551007")                .userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)")//模拟火狐浏览器                .get();

对获取到的Document进行解析

String content = doc.html();  //得到该静态网页源码String tilte = doc.title();   //得到title//Jsoup的优点在于能使用像这样类似于jQuery的操作//对我来说，比用正则式方便多了 = =Elements writer = doc.select(".UserLink-link");Elements contents = doc.getElementsByClass("RichText CopyrightRichText-richText");  //输出for (Element span : contents) {           String cText = span.text();           System.out.println("\n"+cText);        }

Jsoup的优点是解析网页很方便，但也有缺点：connect方法得到的是静态的网页，除非是用parse从本地文件加载文档，不然就没办法得到完整的异步加载的网页内容。

详细参考：Jsoup Cookbook

想得到完整的异步加载网页，这时候就该PhantomJS上场了。

3.PhantomJS的简单使用

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。

也就是说，我们可以用PhantomJS实现任何浏览器可以做到的事情，包括浏览一个异步请求加载的网页，据说模拟点击按钮也能实现，更多好玩的用法以后再说，在此只用它来搞到完整的网页。

使用Webpage模块的Open方法，GET和POST data都可以实现

JScode.js 代码如下：

system = require('system')  //首先引用系统模块address = system.args[1];   //通过 JS文件名+网址  的方式将网址输入var page = require('webpage').create();  //引用Webpage模块并创建一个实例var url = address;phantom.outputEncoding = "gbk";          //输出的编码方式设为gbk，编码不对会出现中文乱码的情况page.open(url, function (status) {    //Page is loaded!      if (status !== 'success') {        console.log('Unable to post!');    } else {        window.setTimeout(function () {            //page.render("test.png");  //截图            console.log(page.content);  //输出GET到的内容            phantom.exit();             //退出        }, 5000);                       //等待5秒    }});

调用PhantomJS执行上面的JS文件，即可得到网页内容
通过Runtime.exec()方法来执行调用命令

以下是声明java.lang.Runtime.exec()方法：

public Process exec(String command)

参数：
command – 指定的系统命令

那么，此处的系统命令应该为：

String execc = "F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\phantomjs  F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\JScode.js " + url;//前一个地址是phantomjs所在的位置，后一个地址是JScode.js所在的位置

封装为一个方法：

   /**     * 输入网址，返回该网页的Document     * @param url     * @return Document     * @throws IOException     */    public static Document getHtml(String url) throws IOException{        Runtime rt = Runtime.getRuntime();        String execc = "F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\phantomjs  F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\JScode.js " + url;        Process p = rt.exec(execc);        InputStream getW = p.getInputStream();        Document doc = Jsoup.parse(getW, "gbk", url);        return doc;    }

完成，可以直接使用这个getHtml()方法来获取指定的网页了
调用的这个方法的时候需要try/catch

…………………………………………………………………………………………………..

其实，只用PhantomJS也可以实现对网页的解析操作
PhantomJS的详细使用参考：PhantomJS API