【实践】nodeJS写个简单的爬虫程序

写在前面

经常说SEO却从来没有写过爬虫，今天很有幸看到了关于nodeJS的爬虫程序的实现，模仿着写了个demo，权当砖头抛给大家了。

程序架构

因为是基于nodeJS，我们所需准备的架构很简单，用express4.x生成一个项目，然后再安装request和cheerio模块就可以。项目的package.json是这样的：

{  "name": "spider",  "version": "0.0.0",  "private": true,  "scripts": {    "start": "node ./bin/www"  },  "dependencies": {    "body-parser": "~1.13.2",    "cookie-parser": "~1.3.5",    "debug": "~2.2.0",    "express": "~4.13.1",    "jade": "~1.11.0",    "morgan": "~1.6.1",    "serve-favicon": "~2.3.0"  },  "devDependencies": {    "cheerio": "^0.19.0",    "request": "^2.67.0"  }}

当然你也可以直接 copy这个package.json到你自己的项目里，然后 npm install 就可以了。

cheerior模块介绍

用最简单的一句话概括 —— ”cheerior是运行在node服务端的jQuery“，也就是说 cheerior可以像jQuery一样提供简单的API去操纵DOM树。

它的API和jQuery操纵DOM的ＡＰＩ基本一致，如果你想更深入地学习ｃｈｅｅｒｉｏｒ，不妨去看看它在ｎｐｍ的官网的标准API文档：https://www.npmjs.com/package/cheerio 。不过是英文版的哦，如果觉得看不太懂，这里还有个中文精简版的：https://cnodejs.org/topic/5203a71844e76d216a727d2e

抓取网站的源码

安装完所有的node_modules，我们就可以开始我们的抓取之旅了。当然在抓取之前我必须声明：不是每个网站的所有信息都可以爬，我们必须遵循robots协议，否则可能会涉及到法律问题。

举个例子，比如京东的robots文件：

Disallow的东西你是不能爬的，如果你去篡改这个文件那京东就可以告你侵权了。

下面再举个实际的例子，这是我抓取我们八爱网首页的一些信息，代码很简单：

app.js (为了方便我改了原本的app.js)

var express=require('express');var request=require('request');var cheerio=require('cheerio');var app=express();app.get('/',function(req,res){  res.charset='utf-8';  request('http://www.baai.com/',function(err,response,body){    if(!err && response.statusCode==200){      $=cheerio.load(body); //当前$相当于整个body的选择器      var proInfos=$('.pro-info>h4');      var imgs=$('.pro-img>img');      var imgsTemp=[],proInfosTemp=[];      for(var i=0,len=imgs.length;i<len;i++){        imgsTemp.push(imgs.eq(i).attr('data-original'));        proInfosTemp.push(proInfos.eq(i).html());      }      res.json({        'productImage':imgsTemp,        'proInfosName':proInfosTemp      });    }  });});app.listen(3000);

接下来用 supervisor 启动这个node服务，对supervisor有疑问的同学欢迎出门左转翻一翻我前一篇【实践】express搭建nodeJS中间层（三），那里有比较详细的介绍。

好了，成功启动之后控制台可以看到这样的信息：

接下来我们打开浏览器，输入 127.0.0.1:3000 ，就启动这个爬虫程序了，抓取到的数据是这样的：

后话

今天就先写个简单的demo吧，感兴趣的同学可以继续研究 如何抓取 ajax 返回的内容。