nodejs中实现sleep功能,暂停几秒.
来源:互联网 发布:华夏基金怎么样 知乎 编辑:程序博客网 时间:2024/05/21 19:33
一 背景
在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制,
这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,
我的想法就是程序暂停10分钟或者更长的时间,继续爬取.
这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,
我的想法就是程序暂停10分钟或者更长的时间,继续爬取.
二 方法
其实使用setTimeout就可以实现,只是nodejs异步已经很金字塔了,再加一层会更恐怖,所以
本文使用nodejs的第三方模块async来实现,async的目的就是让多个异步的程序,按照开发者
想要的顺序来执行,代码书写符合同步风格,其实运行还是异步的,也解决了回调金字塔的问题.
async基础使用 : http://blog.csdn.net/zzwwjjdj1/article/details/51857959
async基础使用 : http://blog.csdn.net/zzwwjjdj1/article/details/51857959
三 正常代码
访问3个网站,百度,优酷,腾讯为例.不暂停的代码.
var async = require('async');var http = require('http');var task = [];task.push(function(callback){ console.time('访问3个网站时间统计'); http.get('http://www.baidu.com/', function(res) { console.log("百度访问结果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("百度访问结果: " + e.message); callback(e); });})task.push(function(callback){ http.get('http://www.youku.com/', function(res) { console.log("优酷访问结果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("优酷访问结果: " + e.message); callback(e); });})task.push(function(callback){ http.get('http://www.qq.com/', function(res) { console.log("腾讯访问结果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("腾讯访问结果: " + e.message); callback(e); });})async.waterfall(task, function(err,result){ console.timeEnd('访问3个网站时间统计'); if(err) return console.log(err); console.log('全部访问成功');})
四 测试
执行访问网站需要时间,3个网站访问时间统计254ms.
五 暂停代码
比如,访问第一个网站后暂停5秒,访问第二个网站后暂停10秒.
var async = require('async');var http = require('http');var task = [];task.push(function(callback){ console.time('访问3个网站时间统计'); http.get('http://www.baidu.com/', function(res) { console.log("百度访问结果: " + res.statusCode); setTimeout(function() { callback(null); }, 5000); }).on('error', function(e) { console.log("百度访问结果: " + e.message); callback(e); });})task.push(function(callback){ http.get('http://www.youku.com/', function(res) { console.log("优酷访问结果: " + res.statusCode); setTimeout(function() { callback(null); }, 10000); }).on('error', function(e) { console.log("优酷访问结果: " + e.message); callback(e); });})task.push(function(callback){ http.get('http://www.qq.com/', function(res) { console.log("腾讯访问结果: " + res.statusCode); callback(null); }).on('error', function(e) { console.log("腾讯访问结果: " + e.message); callback(e); });})async.waterfall(task, function(err,result){ console.timeEnd('访问3个网站时间统计'); if(err) return console.log(err); console.log('全部访问成功');})
六 测试
从打印中能看得出,访问第二个网站等待了5秒,访问第三个网站等待了10秒.OK!
更多nodejs分享,我的博客 http://blog.csdn.net/zzwwjjdj1
0 0
- nodejs中实现sleep功能,暂停几秒.
- Javascript中暂停功能(sleep)的实现
- js中自定义方法实现停留几秒sleep
- js实现停留几秒sleep
- js实现停留几秒sleep
- MFC中让函数暂停几秒在运行
- Javascript中暂停功能的实现
- Javascript中暂停功能的实现
- [转贴]Javascript中暂停功能的实现
- Javascript中暂停功能的实现
- Javascript中暂停功能的实现
- Javascript中暂停功能的实现
- nodejs中实现路由功能
- nodejs中实现路由功能
- javascript实现像java、c#之类的sleep暂停的函数功能
- 在Qt 中实现Sleep的功能
- QT Gui程序中实现 sleep功能
- javascript中实现Sleep函数的功能
- RMAN命令详解
- win7 64位系统 开机登录后 黑屏+仅有鼠标 弹出对话框“无法找到脚本文件c:\windows\run.vbs”
- PowerDesign将数据库从SQL Server数据库转换为MySQL
- Redex 初探与 Interdex:Andorid 冷启动优化
- 向用户发送账户激活链接,send activication link using PHPmailer
- nodejs中实现sleep功能,暂停几秒.
- mongodb insert time mongo插入时间解决方案
- 乒乓球拍底品牌
- Java数据爬取——爬取携程酒店数据(二)
- IDF实验室ASCLL码而已
- 接口备份和双机热备份配置与管理——1
- Android四大基本组件介绍与生命周期
- (转)Palantir: 神秘的大数据公司
- Windows网络编程-简单的多线程聊天室