Centos7.2下安装Pyspider
来源:互联网 发布:js删除对象属性 编辑:程序博客网 时间:2024/06/14 16:32
本来一直使用的python3.X的,之前一直弄的Python3.6.1,不知道为啥,搭建了好几次都没有成功,不知道是什么地方的问题,后面再找一下问题。还有就是在Windows上搭建Pyspider环境,会出现各种各样的意想不到的问题,之前不知道这个,一步一个坑啊,浪费了很多时间,所以建议大家尽量使用Linux服务器来操作学习!
为了搭建Pyspider的环境也是浪费了很多时间,下面分享一下成功的步骤,希望可以帮到需要的同学:
1、yum 更新 #yum update
2、安装wget命令 #yum install wget
3、首页安装扩展源 #yum -y install epel-release
4、安装开发编译工具 #yum install gcc gcc-c++
5、安装依赖库(系统自带版本为python2.7.5)
#yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel
6、升级pip #pip install –upgrade pip
7、安装pyspider #pip install pyspider
8、设置防火墙
开放5000(pyspider默认打开5000端口,如果启动指定了其它端口请对应修改)端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步
firewall-cmd --zone=public --add-port=5000/tcp --permanentfirewall-cmd --reload
9、启动 pyspider #pyspider
启动时如果报错如下:
[root@VM_162_135_centos ~]# pyspiderTraceback (most recent call last): File "/usr/bin/pyspider", line 5, in <module> from pkg_resources import load_entry_point File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 3011, in <module> parse_requirements(__requires__), Environment() File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 630, in resolve raise VersionConflict(dist,req) # XXX put more info herepkg_resources.VersionConflict: (chardet 2.2.1 (/usr/lib/python2.7/site-packages), Requirement.parse('chardet>=3.0.2,<3.1.0'))
解决办法:# pip install –upgrade chardet
10、测试:http://localhost:5000
数据库安装:
1、系统默认是 mariadb-server 替换mysql 所以命令如下:#yum install mariadb mariadb-server
2、安装完依赖包后 默认自动安装。安装完成后 启动mariadb:#systemctl start mariadb
3、设为开机启动: #systemctl enable mariadb
4、mysql的默认安全检查 设置mysql 的root密码等相关:#mysql_secure_installation
初始的默认密码为空直接按回车键即可,后面一直选择y下一步直到安装结束。
5、完成后 输入如下命令,测试数据库服务:#mysql -uroot -p
百度百科:MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可 MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。在存储引擎方面,使用XtraDB(英语:XtraDB)来代替MySQL的InnoDB。 MariaDB由MySQL的创始人Michael Widenius(英语:Michael Widenius)主导开发,他早前曾以10亿美元的价格,将自己创建的公司MySQL AB卖给了SUN,此后,随着SUN被甲骨文收购,MySQL的所有权也落入Oracle的手中。MariaDB名称来自Michael Widenius的女儿Maria的名字。
- Centos7.2下安装Pyspider
- CentOS7.2安装pyspider
- Linux下安装pyspider 系统版本为centos7 【总结版】
- ubuntu下安装pyspider
- redhat下pyspider安装
- Pyspider windows下的安装
- win7(64bit)下pyspider的安装
- pyspider安装
- pyspider 安装
- CentOS7.2下安装pdf2htmlEX
- centos7.2下安装pip
- CentOS7.2下安装Mysql
- Windows下Python爬虫框架pyspider的安装与使用
- anaconda 安装pyspider出错
- Pyspider的安装使用
- python2.7安装pyspider
- Python:安装pyspider
- ubuntu 安装 pyspider
- HDU4542小明系列故事——未知剩余系 (反素数+DFS+打表)
- Java项目经验——让我明确学习方向的好文章
- Android-------DrawerLayout实现简单侧滑
- JAVA系列课程讲座一:使用Socket通信实现网络通信程序(TCP方式)
- codeforces 828A. Restaurant Tables(水题)
- Centos7.2下安装Pyspider
- 基于maven的ssh框架一步一步搭建(一)
- http-关于application/x-www-form-urlencoded等字符编码的解释说明
- Jface的CheckboxTreeViewer扩展类
- Linux探究记之学习笔记
- 拖拽式生成CMS和在线商店:Microweber
- Maven(一) 简介
- spring boot 搭建环境入门
- Velocity 获取Request的请求URL