python 安装spark_Spark环境搭建 (Python)
来源:互联网 发布:淘宝哪家的玉是真的 编辑:程序博客网 时间:2024/06/05 06:29
- 安装lib
材料:
spark : http://spark.apache.org/downloads.htmlhadoop : http://hadoop.apache.org/releases.htmljdk: http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.htmlhadoop-commin : https://github.com/srccodes/hadoop-common-2.2.0-bin/archive/master.zip (for windows7)
需要下载对应的版本
步骤:
a. 安装jdk,默认步骤即可b. 解压spark (D:\spark-2.0.0-bin-hadoop2.7)c. 解压hadoop (D:\hadoop2.7)d. 解压hadoop-commin (for w7)e. copy hadoop-commin/bin to hadoop/bin (for w7)
- 环境变量设置
SPARK_HOME = D:\spark-2.0.0-bin-hadoop2.7HADOOP_HOME = D:\hadoop2.7PATH append = D:\spark-2.0.0-bin-hadoop2.7\bin;D:\hadoop2.7\bin
- Python lib设置
a. copy D:\spark-2.0.0-bin-hadoop2.7\python\pyspark to [Your-Python-Home]\Lib\site-packagesb. pip install py4jc. pip install psutil (for windows: http://www.lfd.uci.edu/~gohlke/pythonlibs/#psutil)
- Testing
cmd -> pyspark 不报错并且有相应的cmd
阅读全文
0 0
- python 安装spark_Spark环境搭建 (Python)
- Python安装环境搭建总结
- 搭建环境,安装python+selenium
- Python安装环境搭建(python+pycharm+pid)
- windows安装Python环境(运行环境搭建)
- python安装与windows开发环境搭建
- 【python深度学习】theano环境搭建/安装
- python安装及开发环境搭建
- window下python环境搭建,theano安装
- Linux python 环境搭建+Scrapy安装
- sublime text3 安装及python环境搭建
- linux pycharm安装(Python环境搭建)
- win7搭建python开发环境(上篇--安装Python)
- windows环境下python安装、配置、开发环境搭建
- python虚拟环境搭建,虚拟环境迁移,三方库安装
- Python开发环境搭建
- 搭建Python开发环境
- python环境搭建
- android studio安装adb wifi调试应用
- Exception in thread "main" net.sf.json.JSONException: Unquotted string
- Android开发资源总结
- cocos2dx的注册时间监听事件
- 第八篇 elasticsearch的批量增删改查
- python 安装spark_Spark环境搭建 (Python)
- web前端学习开发
- 唐国史补·故囚报李勉
- git 提交代码
- 获取表单数据,js{的}serialize()方法乱码问题
- 欢迎使用CSDN-markdown编辑器
- Velocity遍历map与遍历list
- Non-negative Matrix Factorization 非负矩阵分解
- 2017IT最重要的证书