node并发控制

当我们在做一些爬虫小程序的时候，如果我们一次性爬的数据条较多，那么相关软件也许会有限制或者是认为我们是非法的。那么我们就需要一些机制去限制获取数据的条数。而且node为我们提供的并发获取数据都是异步的。

• eventproxy控制并发
  思路：

  1. 先var ep = new eventproxy();得到一个实例；
  2. 告诉他们你要监听的时间，并给它一个回调函数，ep.all(‘event1’, ‘event2’, function (result1, result2) {})；

  3. 在适当的时候ep.emit(‘event_name’, eventData)；

     ep.all('data1_event', 'data2_event', 'data3_event', function(data1, data2, data3){    //监听三个事件，每当一个源数据抓取完成时，就通过emit来告诉ep自己    var html = fuck(data1, data2, data3);    render(html);});$.get('http://data1_source', function(data){    ep.emit('data1_event', data);});$.get('http://data2_source', function(data){    ep.emit('data2_event', data);});$.get('http://data3_source', function(data){    ep.emit('data3_event', data);});

• async控制并发
  主要是使用到了async模块的mapUrl(arr, limit, iterator, callback)接口；

  async.mapLimit(urls, 5, function(url, callback){  //}, function(err, result){  //});