Pycharm+Spark开发配置
来源:互联网 发布:java切面编程 编辑:程序博客网 时间:2024/06/05 18:04
1.安装py4j: pip install py4j。
2.python安装目录下site-packages下新建pyspark.pth文件,内容为:
C:\spark-1.6.2-bin-hadoop2.6\python\。
3.配置环境变量:SPARK_HOME,值为“C:\spark-1.6.2-bin-hadoop2.6”。
重新打开PyCharm。
既能运行Spark程序,又能解决python程序中“from pyspark import SparkContext”显示为找不到包的问题。
from pyspark import SparkContext
sc = SparkContext("local", "Test")
print d.count()
sc.stop()
0 0
- Pycharm+Spark开发配置
- PyCharm配置Spark开发环境
- pycharm配置spark
- Pycharm开发spark程序
- 使用PyCharm配置Spark的Python开发环境(基础)
- pycharm 配置spark运行环境
- Windows+Pycharm+Spark环境配置
- windows下 pycharm开发spark
- 配置Pycharm开发模板
- win10 64位系统下,搭建spark环境,并配置python+pycharm开发环境
- Ubuntu 16.04 + PyCharm + spark 运行环境配置
- win10系统Pycharm配置spark环境
- 在windows上pycharm配置spark环境
- Windows7+Pycharm搭建Spark的开发环境
- pycharm开发spark导入pyspark包
- windows下搭建Spark,Pycharm配置Spark测试
- pycharm 配置虚拟开发环境
- 配置pyqt4开发环境, 之 Pycharm配置
- StringBuffer,StringBuilder,ArrayList,Vector线程安全验证程序
- 第一章 对象导论 1.1
- 第一章 对象导论 1.10-1.13
- set的应用
- python单元测试unittest
- Pycharm+Spark开发配置
- linux下mysql的远程连接
- Java泛型限制
- Linux中QT编译遇到cannot find -lGL问题的解决方案
- poj1190 生日蛋糕 dfs
- Ruby设计哲学
- 刚创建了ubuntu虚拟机便忘记密码了
- Partical System
- ORACLE游标概念讲解