NodeJs学习 -- 异步机制

半懒的状态去写了只小爬虫，想把其他网站的视频爬下来传到其他服务器上，没想到搞了两天，Nodejs的异步机制真是让人又爱又恨。。

异步机制导致的问题

当前遇到nodejs的异步机制最大的问题是跟循环配合一起使用的时候，循环会一下并发所有的函数，举个例子

// 抓取单个视频并添加水印，上传数据库等操作function getId(id) { ... }// 抓取id为0 - 4000的视频for(var id = 0;id <= 4000;++ id) {    getId(id);}

这样会一下子将几千个请求同时发送出去，造成后面的请求无响应，本地loading过高，服务器还可能会封ip等严重后果。

最终解决方案

最后的解决方案，用的是async.mapLimit,

var ids = [];for(var id = 0;id <= 10000;id ++) {    ids.push(id);}var async = require('async');async.mapLimit(ids,1, function(id,spCallback) {    getId(id,spCallback);});

async的文档

（忍不住想吐槽下nodejs相关的文档，对新手一点也不友好。。或者是我我太弱了！？）
github:@caolan/async
官方文档:http://caolan.github.io/async/

mapLimit接口描述这里