如何在windows下安装配置pyspark notebook

来源：互联网发布：java 线程死锁编辑：程序博客网时间：2024/05/16 15:25

第一步：安装anaconda

anaconda自带一系列科学计算包

接着配置环境变量：如我安装在D盘下

试一下命令行启动，确保ipython从anaconda启动

第二步：安装spark（需要提前安装JDK）

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本：

解压缩之后，不要忘记添加环境变量

SPARK_HOME=E:\spark

path=%SPARK_HOME%\bin

配置如下系统变量

接着需要在命令行键入(spark安装目录下：如D:\spark) > sbt package 进行编译

sbt下载与安装（不知道是否必须要）

下载地址：http://www.scala-sbt.org/0.13/docs/zh-cn/Installing-sbt-on-Windows.html

配置sbt环境变量

SBT_HOME

C:\sbt-0.13.8

配置到环境变量path中

;%SBT_HOME%\bin

安装sbt成功与否

这一步很重要拷贝 E:\spark\python\pyspark 到 D:\anaconda\Lib\site-packages 目录下

第三步：修改spark\conf下的spark-env文件（不知道是否必要）

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

第四步：启动pyspark

发现已启动成功，一般网页会自动打开http://localhost:8888/tree#

第五步：测试sc

成功！

阅读全文

0 0