Java爬虫--利用HttpClient和Jsoup爬取博客数据并存入数据库

  由于今日头条等头条类产品的出现，以今日头条为代表所使用的爬虫技术正在逐渐火热，在爬虫领域具有良好性能和较好效果的Python在最近一年的时间里逐渐火热起来，同时因为Python良好的数据分析和机器学习的能力，Python的应用越来越广泛。不过，今天我们要提到的是基于java 的简单爬虫，为使用java作为开发语言的人做一个参考。

爬虫实现

HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

httpClient操作代码,值得注意的是，我们将html存入数据库的时候，最好将数据库对应的字段设置为text类型或者是longtext类型。存入的时候使用setString即可。否则可能 出现。Data too long for row错误。

public class pachongMain {    public static void main(String[] args) throws Exception {        for (int j = 2000; j >0; j = j - 1) {            CloseableHttpClient client = HttpClients.createDefault();            HttpGet get = new HttpGet("http://www.bysocket.com/?p=" + j);            HttpResponse response = client.execute(get);//          System.out.println(response.getStatusLine().getStatusCode());            if (response.getStatusLine().getStatusCode() !=200 ) {                continue ;            }            HttpEntity entity = response.getEntity();            String content = EntityUtils.toString(entity, "utf-8");                        // 使用Jsoup解析网页            Document doc = Jsoup.parse(content);            Elements element3 = doc.select("h1[class=entry-title]");            String title = element3.text();            Elements element2 = doc.select("div[class=entry-content]");            String article =element2.html();           new StoreData().store(j,article,title);        }    }}

数据存储类

public class StoreData {    public void store(Integer id, String content, String  title) throws Exception {        String driverClassName = "com.mysql.jdbc.Driver";        String url = "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8";        String username = "root";        String password = "123456";        // 加载驱动类        Class.forName(driverClassName);        Connection con = (Connection) DriverManager.getConnection(url, username, password);        // 创建sql语句模板        String sql = "INSERT blog VALUES(?,?,?)";        // 创建一个声明对象        PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql);        // 用循环将数据添加到sql模板中            pst.setInt(1, id);            pst.setString(2, content);            //pst.set            pst.setString(3, title);        pst.addBatch();        // 将sql语句发送到mysql上        int[] res = pst.executeBatch();        System.out.println(res);        pst.close();    }}

爬取的效果：

但是只是这种普通的爬取会出现请求超时的情况，
出现这种请求头设置有误，使用浏览器，分析请求信息，对于url请求，将请求头信息添加到java的程序中即可。

爬取博客： 泥瓦匠BYSocket