Java爬虫拉勾网招聘信息生成Excel表格

项目地址
https://github.com/ishare20/JobInformation

思路：
- 明确需要爬取的信息
- 分析网页结构
- 分析爬取流程
- 优化

明确需要爬取的信息

职位名称
工资
职位描述
公司名称
公司主页
详情网页

分析网页结构

目标网站 拉勾网

网站使用json作为交互数据，分析json数据，需要的json关键数据

totalCount :查询总数，用来算页数，每个页面显示15条，总数/15得到页数，大于30只能显示30页
positionId :位置id，用来进入详情页，详情页网址结构为https://www.lagou.com/jobs/positionId.html

详情页网页分析：查看需要的信息所在的位置，使用Jsoup来解析网页

分析爬取流程

1.获取所有的positionId生成详情页，存放在一个存放网址列表中List joburls
2.获取每个详情页并解析为Job类，得到一个存放Job类的列表List jobList
3.把List jobList存进Excel表格中

Java操作Excel需要用到jxl

关键代码实现

public List<String> getJobUrls(String gj,String city,String kd){        String pre_url="https://www.lagou.com/jobs/";        String end_url=".html";        String url;        if (gj.equals("")){            url="http://www.lagou.com/jobs/positionAjax.json?px=default&city="+city+"&needAddtionalResult=false&first=false&pn="+pn+"&kd="+kd;        }else {            url="https://www.lagou.com/jobs/positionAjax.json?gj="+gj+"&px=default&city="+city+"&needAddtionalResult=false&first=false&pn="+pn+"&kd="+kd;        }        String rs=getJson(url);        System.out.println(rs);        int total= JsonPath.read(rs,"$.content.positionResult.totalCount");//获取总数        int pagesize=total/15;        if (pagesize>=30){            pagesize=30;        }        System.out.println(total);       // System.out.println(rs);        List<Integer> posid=JsonPath.read(rs,"$.content.positionResult.result[*].positionId");//获取网页id        for (int j=1;j<=pagesize;j++){  //获取所有的网页id            pn++;  //更新页数            url="https://www.lagou.com/jobs/positionAjax.json?gj="+gj+"&px=default&city="+city+"&needAddtionalResult=false&first=false&pn="+pn+"&kd="+kd;            String rs2=getJson(url);            List<Integer> posid2=JsonPath.read(rs2,"$.content.positionResult.result[*].positionId");            posid.addAll(posid2); //添加解析的id到第一个list        }        List<String> joburls=new ArrayList<>();        //生成网页列表        for (int id:posid){            String url3=pre_url+id+end_url;            joburls.add(url3);        }        return joburls;    }

    public Job getJob(String url){  //获取工作信息        Job job=new Job();        Document document= null;        document = Jsoup.parse(getJson(url));        job.setJobname(document.select(".name").text());        job.setSalary(document.select(".salary").text());        String joball=HtmlTool.tag(document.select(".job_bt").select("div").html());//清除html标签        job.setJobdesc(joball);//职位描述包含要求        job.setCompany(document.select(".b2").attr("alt"));        Elements elements=document.select(".c_feature");        //System.out.println(document.select(".name").text());        job.setCompanysite(elements.select("a").attr("href")); //获取公司主页        job.setJobdsite(url);        return job;    }

void insertExcel(List<Job> jobList) throws IOException, BiffException, WriteException {       int row=1;        Workbook wb = Workbook.getWorkbook(new File(JobCondition.filename));        WritableWorkbook book = Workbook.createWorkbook(new File(JobCondition.filename), wb);        WritableSheet sheet=book.getSheet(0);        for (int i=0;i<jobList.size();i++){   //遍历工作列表，一行行插入到表格中            sheet.addCell(new Label(0,row,jobList.get(i).getJobname()));            sheet.addCell(new Label(1,row,jobList.get(i).getSalary()));            sheet.addCell(new Label(2,row,jobList.get(i).getJobdesc()));            sheet.addCell(new Label(3,row,jobList.get(i).getCompany()));            sheet.addCell(new Label(4,row,jobList.get(i).getCompanysite()));            sheet.addCell(new Label(5,row,jobList.get(i).getJobdsite()));            row++;        }        book.write();        book.close();    }

优化

在爬取比较多数据的时候，很慢，分析整个流程：
从网址详情页列表List joburls中获取第一个网址————>获取网页并解析————>添加到工作列表List jobList中;

从网址详情页列表List joburls中获取第二个网址————>获取网页并解析————>添加到工作列表List jobList中;

……循环到网页列表结束，每次执行都需要等待前一个执行完才可以重新发起请求获取网页，这时可以使用多线程来优化，开启多线程获取网页，主线程等下获取网页的子线程结束后，再执行写入Excel表格操作。

遇到的问题

有时候抓取太快，直接返回错误信息
抓取次数太多，被禁止访问，隔了一段时间才可以
网站有反爬虫机制
忘了一个重要的问题，还要分析这些数据

参考资料：

https://jsoup.org/
http://www.cnblogs.com/raymond19840709/archive/2008/06/26/1230289.html
https://github.com/json-path/JsonPath