win10系统Pycharm配置spark环境
来源:互联网 发布:如何上妆 知乎 编辑:程序博客网 时间:2024/05/16 23:50
当时学Scala没怎么学好,先入为主,所以平时用python 写的比较多点,刚接触的小白失去觉得好难啊,想着我把我的过程总结下来,平时长看看比较好,每个人的情况都不同,但,,反正参考参考吧。
前提:配置好python ,Hadoop (win10),安装好pycharm.。
1. 下载-解压。首先下载spark,可以去官网去下,我这里是spark 2.2.0版本。然后解压到相应文件夹下
2. 复制-粘贴。将spark目录下的 ---> python目录下的 --> pyspark文件夹 复制粘贴到 python目录下的 -- >lib 目录下的 --> site-packges里面;
3. 在C:/Users/Administrator/下创建pip文件夹,在里面新建pip.ini,内容添加:
[global]
trusted-host=mirrors.aliyun.com
index-url=http://mirrors.aliyun.com/pypi/simple/
4. pip安装:pip install py4j ipython
5. 新建项目。在pycharm --->run -->edit configuration -->设置路径
PYTHONPATH F :\spark文件路径\python 和 SPARK_HOME F:\spark路径
注意:有时候打开edit configuration 里面没有文件,特别是新建完项目的时候。这时要跑一下py文件,然后再打开就有内容了。
6.spark\bin下更改pyspark2.cmd文件。第二十八行改为:
set PYSPARK_DRIVER_PYTHON=ipython
- win10系统Pycharm配置spark环境
- win10 64位系统下,搭建spark环境,并配置python+pycharm开发环境
- PyCharm配置Spark开发环境
- pycharm 配置spark运行环境
- Windows+Pycharm+Spark环境配置
- win10 系统 eclipse配置scala+spark开发环境
- Ubuntu 16.04 + PyCharm + spark 运行环境配置
- 在windows上pycharm配置spark环境
- 使用PyCharm配置Spark的Python开发环境(基础)
- Pycharm+Spark开发配置
- pycharm配置spark
- win7 环境整合pycharm+spark
- pycharm环境配置opencv
- win10下 anaconda安装tensorflow,pycharm环境配置(gpu版)
- win10安装Anaconda+TensorFlow+配置PyCharm
- 在win10下Anaconda+Tensorflow+pycharm配置
- Windows7+Pycharm搭建Spark的开发环境
- Win10系统环境下caffe的Python接口Anaconda2配置
- 2年后的创业计划
- 详解ConstraintLayout,Google官方API文档翻译
- 并查集
- 数字时钟设计
- 中国剩余定理 韩信点兵
- win10系统Pycharm配置spark环境
- selenium爬取人民微博
- 嵌入式linux裸板开发--点亮LED
- SPOJ LCS2
- 一篇来自码农女票的READ ME
- 学习笔记--Linux系统
- AngularJS 模糊查询的基本使用
- 小东吖 之 java 类的多态
- 【知了堂学习笔记】_JavaScript之DOM操作(英语在线翻译)