Anaconda3.4.2配置pyspark环境,win7无hadoop
来源:互联网 发布:access2000数据库修复 编辑:程序博客网 时间:2024/06/05 15:58
(一)安装Anaconda3.4.2
你也可以安装别的版本的,只要查好支持pyspark就行。Anaconda的各种版本下载在参考http://blog.csdn.net/cymy001/article/details/78107240 。下面按我自己配置环境时使用的Anaconda3.4.2为例进行说明。
安装完Anaconda3.4.2之后,配置系统变量
D:\PYTHON35\Anaconda3.4.2;D:\PYTHON35\Anaconda3.4.2\Scripts;D:\PYTHON35\Anaconda3.4.2\Library\bin;
注意,我这里由于安装了两个Python,所以设置系统变量时注意下顺序,不然可能出现覆盖(这类似于Java的jdk和jre包分开放一个道理)
配置完系统变量之后,从命令行窗口输入ipython查看是否出现:
(二)下载安装spark
去spark.apache下载版本格式类似spark-1.6.0-bin-hadoop2.6.tgz的文件,解压即可,去spark.apache下载你用的版本http://spark.apache.org/downloads.html
解压缩之后:
(1)添加系统环境变量
变量名:SPARK_HOME;变量值:E:\spark
变量名:PATH;变量值:%SPARK_HOME%\bin
(注意:变量名如果之前有,只需要对应设置变量值,和之前的路径用分号“;”隔开就可以,下同;SPARK_HOME的变量值是你的spark放置位置)
(2)添加系统环境变量
变量名:PYSPARK_DRIVER_PYTHON;变量值:ipython
变量名:PYSPARK_DRIVER_PYTHON_OPTS;变量值:notebook
(3)添加系统环境变量
变量名:PYTHONPATH;
变量值:%SPARK_HOME%\python\lib\py4j;
%SPARK_HOME%\python\lib\pyspark
真相在这(注意看路径):
(4)修改spark\conf下的spark-env文件最后加入如下三行:
(5)将E:\spark\python路径下的pyspark文件夹复制到Anaconda3.4.2的模块包识别目录site-packages下D:\PYTHON35\Anaconda3.4.2\Lib\site-packages
(三)下载安装sbt(scala编译器)
下载地址:http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Windows.html
这个地方下载windows版本的sbt国内网网页总跳转失败,可以利用google访问助手,通过google的服务器访问下载:
下载完,正常安装就可以;安装之后同样设置系统环境变量
变量名:PATH;变量值:E:\sbt\bin;
(四)安装差不多完了,在命令行运行pyspark就可以弹出来jupyter notebook了。
我在上述操作之前,配置安装了Java;在命令行输入java和javac都可以给出正常信息输出,不知道是否对后续有用。
此外,有没有人考虑过,为什么spark这么麻烦安装,不像其余包一样直接在命令行窗口pip install package就可以了,又需要依赖scala有需要Java,这里涉及到一个问题——spark的并行工作机制中,需要调用java和scala工作,大致原理如下图:
本篇参考http://blog.csdn.net/zhuiqiuuuu/article/details/72809680;
http://ju.outofmemory.cn/entry/171843
C:\ProgramData\Oracle\Java\javapath;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\system32\wbem;
E:\GNUC++\bin;E:\GOW\bin;
D:\PYTHON35\Anaconda3.4.2;D:\PYTHON35\Anaconda3.4.2\Scripts;D:\PYTHON35\Anaconda3.4.2\Library\bin;
D:\PYTHON35\idle\;D:\PYTHON35\idle\selenium;
E:\sbt\bin;
%SPARK_HOME%\bin
- Anaconda3.4.2配置pyspark环境,win7无hadoop
- win10下Anaconda3在虚拟环境python_version=3.5.3 中配置pyspark
- pyspark环境配置
- win7+eclipse+hadoop环境配置
- 在win7下配置 hadoop开发环境
- Eclipse配置hadoop开发环境(win7)
- WIN7下创建tensorflow环境[Anaconda3-4.2.0+tensorflow(gpu/cpu)+pycharm]
- windows10上配置pyspark工作环境
- 工作记录:win7下配置阅读hadoop源码环境
- Hadoop 2.0源码阅读环境配置--win7+Eclipse+Hadoop2.2.0
- 三:win7 下hadoop,eclipse开发环境配置
- anaconda3+win7+tensorflow
- Win7 pySpark安装
- Win7 pySpark安装
- Win7 pySpark安装
- Win7 pySpark安装
- Anaconda3 5.0.0中配置Python 3.6 + TensorFlow环境
- pcharm配置pyqt5(Anaconda3 python环境)做界面开发
- 【笔记】插入排序
- Oracle学习及常见问题的解决-day01
- Python-----集合
- 【unix学习】文件处理2—文件sort、cut命令
- 【Django】WIN10安装MySQL-python时遇到403 SSL is required
- Anaconda3.4.2配置pyspark环境,win7无hadoop
- Python学习教程(五)——语句之条件与循环
- mybatis(6)---mapper动态代理方式
- Qt5编写的一个推力传感器静态性能计算程序
- BST 练习のprintRange函数
- poi打印表格
- 3-6 字符串:单引号与双引号
- 二叉树最近公共父节点
- 虚拟机安装CentOS6.5下ifconfig报错问题