python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
来源:互联网 发布:金盾软件 编辑:程序博客网 时间:2024/04/29 11:51
从安装过程到可视化工具可查看数据信息,历时两天,昨天坐了一天的火车,今天早上才到的青岛–>放松心情
前天说是要学习如何使用mongoDB的链接与安装。
到今天过去了将一天, 不过还是在函兮的唠叨下慢慢的安装好了,确实来之不易,一脸懵逼
安装环境: wind10 还是盗版的 磁盘分析:只有一个C盘,
步骤:
1 . 下载
http://www.mongodb.org/downloads
这里下载了对应的msi文件,貌似.zip文件没有了
2 我默认把mongoDB安装到c盘下的目录:C:\Program Files\MongoDB\Server\3.4\bin
3 一开始是没有进行mongdb dbpath 和dblog的配置项,所以会出现 :
由于目标计算机积极拒绝,无法连接
上述问题主要是mongdb没有配置好的原因
4 mongodb 目录文件的配置
cd : C:\Program Files\MongoDB\Server\3.4\bin
到该bin下
输入:mongod.exe –dbpath=C:\data\db
这里的路径可以自由设置
5 再进行dblog的配置,
也是在bin目录下:mongod.exe –dbpath=C:\data\log\mongodb.log
6 检查一下配置是否正常
当然也是在bin下进行:mongo
配置成功的标志:
7最后再把mongoDB添加到Windows Service里面
同样也是cd到bin下:
输入:cd D:\mongodb\bin目录下,执行
mongod.exe –dbpath=C:\data\db –logpath=c:data\log\log.txt –install –serviceName “MongoDB”
进行查看:
启动,关闭服务:
关闭服务:net stop mongodb
这里用的可视化工具:对比了下:
MongoChef
觉着这个应该挺不错的,虽然现阶段我只会一个查看数据的操作:
以上就是mongodb的简单配置,在python3中代码可见的部分:
基础存储部分:
#encoding=utf8import requestsimport re# 导入mongo 数据库import pymongoimport json# 打开数据库连接,mongodb默认端口为27017conn = pymongo.MongoClient(host='localhost',port=27017)# 选择或创建数据库toutiao = conn['toutiao']# 选择或者创建数据集合newsdata = toutiao['news']toutiaoUrl = 'http://www.toutiao.com/api/pc/focus/'reqData = requests.get(toutiaoUrl).textprint(reqData)jsonData = json.loads(reqData)newsData = jsonData['data']['pc_feed_focus']# 存储到数据库for new in newsData: title = new['title'] img_url = new['image_url'] url = new['media_url'] data = { 'title':title, 'img_url':img_url, 'url':url } # 插入一行数据 newsdata.insert_one(data)for i in newsdata.find(): # 从数据库中读取出来 print('i'+str(i))
以上的注释都清楚,以后用的mongodb更多功能再进行扩展。
这就是基本的mongodb数据存储,接下来要学习selenium 和 scraper进行数据爬取操作,加快脚步。
- python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
- python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
- python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
- python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
- python3 [爬虫入门实战]爬虫之selenium 安装设置与初步使用
- python3 [爬虫入门实战] 爬虫之使用selenium 爬取百度招聘内容并存mongodb
- python3 [爬虫入门实战]爬虫之scrapy爬取织梦者网站并存mongoDB
- python3 [爬虫入门实战]爬虫之scrapy爬取织梦者网站并存mongoDB
- python3 [爬虫入门实战]爬虫之scrapy爬取游天下南京短租房存mongodb
- python3 [入门基础实战] 爬虫入门之xpath的学习
- Python3[爬虫实战] 爬虫之scrapy爬取爱上程序网存MongoDB(android模块)
- python3 [入门基础实战] 爬虫入门之智联招聘的学习(一)
- python3 [入门基础实战] 爬虫入门之智联招聘的学习(一)
- python3 [入门基础实战] 爬虫之四季花果园的采果模块
- Python3网络爬虫快速入门实战解析
- python3 [爬虫入门实战] 爬虫之爬取盘多多文档(百万数据)
- python3 [爬虫入门实战] 爬虫之selenium 模拟QQ登陆抓取好友说说内容(暂留)
- python3 [爬虫入门实战]爬虫之scrapy爬取传智播客讲师初体验
- 在立即执行函数内组合使用构造函数模式和原型模式创建对象,实现模块化开发(以daterangepicker.js为例)
- iOS 获取系统相册的方式与坑点
- cookie 和session 的区别详解
- Unity3D研究院之Time.timeScale、游戏暂停(七十四)
- 【转发】JS实现密码加密
- python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
- UnityShader入门精要学习笔记(四):光照模型理论
- Thrift之c++实例
- poj题目详细分类及算法推荐题目
- python3效率优化笔记
- 往jar包里面添加内容并且添加后jar包能正常加载运行
- opencv获取多个摄像头名字和编号
- 怎么判断java中一个元素存在list集合中
- 20170705