麻麻我也会用nodejs写爬虫啦!!!
来源:互联网 发布:java多线程什么意思 编辑:程序博客网 时间:2024/06/06 16:43
首先感谢博主http://blog.csdn.net/yezhenxu1992/article/details/50820629
照着这篇文章说的之后我成功 的爬取了网页。人生第一次啊!!开森~~
1.安装Nodejs。
原文里面是要求首先安装nodejs和webstorm的,其实webstorm只是一个文本编辑工具,没有必须安装,你可以用你喜欢的编辑器,sublime text 、atom,你要是高兴用记事本我也不拦着你。
2.新建一个文件夹放代码
在新建的文件夹中打开命令行,
npm init
里面会出一些配置选项,要是没啥特别的,一路enter也没有问题
3.安装第三方包
在这里安装两个包一个cheerio 一个request
npm install cheerio –save
npm install request –save
4.安装好后就可以开始写代码了~
新建一个index.js 在里面敲
var http = require('http');var fs = require('fs');var cheerio = require('cheerio');var request = require('request');var i = 0;var url = "http://www.ss.pku.edu.cn/index.php/newscenter/news/2391"; //初始url function fetchPage(x) { //封装了一层函数 startRequest(x); }function startRequest(x) { //采用http模块向服务器发起一次get请求 http.get(x, function (res) { var html = ''; //用来存储请求网页的整个html内容 var titles = []; res.setEncoding('utf-8'); //防止中文乱码 //监听data事件,每次取一块数据 res.on('data', function (chunk) { html += chunk; }); //监听end事件,如果整个网页内容的html都获取完毕,就执行回调函数 res.on('end', function () { var $ = cheerio.load(html); //采用cheerio模块解析html var time = $('.article-info a:first-child').next().text().trim(); var news_item = { //获取文章的标题 title: $('div.article-title a').text().trim(), //获取文章发布的时间 Time: time, //获取当前文章的url link: "http://www.ss.pku.edu.cn" + $("div.article-title a").attr('href'), //获取供稿单位 author: $('[title=供稿]').text().trim(), //i是用来判断获取了多少篇文章 i: i = i + 1, }; console.log(news_item); //打印新闻信息 var news_title = $('div.article-title a').text().trim(); savedContent($,news_title); //存储每篇文章的内容及文章标题 savedImg($,news_title); //存储每篇文章的图片及图片标题 //下一篇文章的url var nextLink="http://www.ss.pku.edu.cn" + $("li.next a").attr('href'); str1 = nextLink.split('-'); //去除掉url后面的中文 str = encodeURI(str1[0]); //这是亮点之一,通过控制I,可以控制爬取多少篇文章. if (i <= 500) { fetchPage(str); } }); }).on('error', function (err) { console.log(err); });} //该函数的作用:在本地存储所爬取的新闻内容资源function savedContent($, news_title) { $('.article-content p').each(function (index, item) { var x = $(this).text(); var y = x.substring(0, 2).trim(); if (y == '') { x = x + '\n'; //将新闻文本内容一段一段添加到/data文件夹下,并用新闻的标题来命名文件 fs.appendFile('./data/' + news_title + '.txt', x, 'utf-8', function (err) { if (err) { console.log(err); } }); } })}//该函数的作用:在本地存储所爬取到的图片资源function savedImg($,news_title) { $('.article-content img').each(function (index, item) { var img_title = $(this).parent().next().text().trim(); //获取图片的标题 if(img_title.length>35||img_title==""){ img_title="Null";} var img_filename = img_title + '.jpg'; var img_src = 'http://www.ss.pku.edu.cn' + $(this).attr('src'); //获取图片的url//采用request模块,向服务器发起一次请求,获取图片资源 request.head(img_src,function(err,res,body){ if(err){ console.log(err); } }); request(img_src).pipe(fs.createWriteStream('./image/'+news_title + '---' + img_filename)); //通过流的方式,把图片写到本地/image目录下,并用新闻的标题和图片的标题作为图片的名称。 })}fetchPage(url); //主程序开始运行5.新建一个data和image文件夹保存爬取的内容
6.命令行中执行 node index.js
好了 good luck
0 0
- 麻麻我也会用nodejs写爬虫啦!!!
- 个性代码注释 哇哈哈 麻麻再也不用担心我的注释啦
- 麻麻~我会用小黑鸟自动生成SQL啦 mybatis-generator的使用
- ScrollView+Fragment+ListView嵌套ListView,麻麻再也不用担心我不会写嵌套
- 我要写博客啦!
- 我开始写博客啦
- 我开始写博客啦!
- 我要开始学习爬虫啦
- 使用nodejs写一个简易的爬虫
- 我要开始写游戏啦~~~~
- 我开始写博客啦··
- 我也要开始写博客啦
- 今天我要开始写博客啦
- 我要开始写博客啦!
- 我要开始写博客啦 哈哈哈
- [日推荐]麻麻再也不用担心你忘记密码啦!
- nodejs 爬虫
- nodejs 爬虫
- libodb编译过程
- printf在终端输出时改变颜色
- 复制服务器的图片并且重命名
- 语法tips 3(结构体传参)
- LibEvent中文帮助文档-第6章【创建Event_base】
- 麻麻我也会用nodejs写爬虫啦!!!
- Deep Learning(深度学习)
- python数据类型-元组(tuple)
- 魔镜VR,如何使UI在视野中左右静止,上下旋转
- RefreshLayout让你半小时以内完成一个列表界面
- 删除表的字段时,ID值同时也能删除
- 对于C语言中int main(int argc,char **argv)的理解
- Android自定义控件实现底部导航
- Java String.split()用法小结