pycharm 配置spark运行环境
来源:互联网 发布:vb语言基本代码 编辑:程序博客网 时间:2024/05/16 15:58
Date Fri 04 March 2016 TagsSpark /PyCharm /Python /pyspark
在本地搭建好Spark 1.6.0后,除了使用spark-submit提交Python程序外,我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单,在stackoverflow上搜索到的。同时,IntelliJ IDEA加入Python插件后也可以使用Python开发Spark程序,配置步骤一致。转载请注明博客原文地址:http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html
0.安装PyCharm和py4j
我的系统环境(Ubuntu 14.04.4 LTS)
下载安装最新版本的PyCharm,官网地址:https://www.jetbrains.com/pycharm/download/ 。
安装步骤:
- Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz
- Run pycharm.sh from the bin subdirectory
安装py4j:
$ sudo pip install py4j
1.配置Pycharm
打开PyCharm,创建一个Project。然后选择“Run” ->“Edit Configurations” ->“Environment variables”增加SPARK_HOME目录与PYTHONPATH目录。- SPARK_HOME:Spark安装目录- PYTHONPATH:Spark安装目录下的Python目录
2.测试Pycharm
运行一个小的Spark程序看看:
"""SimpleApp"""from pyspark import SparkContextlogFile = "/home/tom/spark-1.6.0/README.md"sc = SparkContext("local","Simple App")logData = sc.textFile(logFile).cache()numAs = logData.filter(lambda s: 'a' in s).count()numBs = logData.filter(lambda s: 'b' in s).count()print("Lines with a: %i, lines with b: %i"%(numAs, numBs))
运行结果:
Lines with a: 58, lines with b: 26
0 0
- pycharm 配置spark运行环境
- Ubuntu 16.04 + PyCharm + spark 运行环境配置
- PyCharm配置Spark开发环境
- Windows+Pycharm+Spark环境配置
- win10系统Pycharm配置spark环境
- 在windows上pycharm配置spark环境
- pycharm 运行spark
- windows配置spark运行环境
- 使用PyCharm配置Spark的Python开发环境(基础)
- Pycharm+Spark开发配置
- pycharm配置spark
- win7 环境整合pycharm+spark
- pycharm环境配置opencv
- win10 64位系统下,搭建spark环境,并配置python+pycharm开发环境
- [win下pycharm运行spark]IOExcepti…
- Windows7+Pycharm搭建Spark的开发环境
- openfire-spark 二次开发-(二)运行环境配置
- Pycharm远程调试环境配置
- 正则表达式-元字符
- RxJava—组合操作符
- cte with as 用法
- Nginx 安装与配置
- Python针对特定服务定制的代理工具V2.0----------------(代码组织简介)
- pycharm 配置spark运行环境
- Python实现读取目录所有文件的文件名并保存到txt文件代码
- spring boot 处理多线程的解决方案
- Spring学习笔记(三十):关于org.slf4j.logger的日志打印log.info(string,object)
- 事务概念以及更新丢失的解决
- 二叉树的后序遍历
- Windows下安装Scikit-Learn
- AngularJS 依赖注入
- Hexo安装+github部署博客教程