如何使用PyCharm编写Spark程序(pyspark)
来源:互联网 发布:p2p网络引擎删除电影 编辑:程序博客网 时间:2024/05/06 09:18
import osimport sys# Path for spark source folderos.environ['SPARK_HOME'] = "/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6"# You might need to enter your local IP# os.environ['SPARK_LOCAL_IP']="192.168.2.138"# Path for pyspark and py4jsys.path.append("/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6/python")sys.path.append("/Users/dustinchen/Documents/APP/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip")try: from pyspark import SparkContext from pyspark import SparkConf print ("Successfully imported Spark Modules")except ImportError as e: print ("Can not import Spark Modules", e) sys.exit(1)sc = SparkContext('local')words = sc.parallelize(["scala", "java", "hadoop", "spark", "akka"])print(words.count())
0 0
- 如何使用PyCharm编写Spark程序(pyspark)
- pycharm开发spark导入pyspark包
- 集群上如何跑pyspark程序--Running Spark Python Applications
- [Spark]Django项目中使用Spark(pyspark)
- Pycharm开发spark程序
- PyCharm 使用 Spark
- pyspark使用anaconda后spark-submit方法
- pycharm上写spark程序
- pycharm编辑器编写Python程序
- [pyspark] pyspark使用记录
- java编写spark程序
- java编写spark程序
- Spark 使用Python在pyspark中运行简单wordcount
- 在pycharm上配置pyspark
- 在pycharm调试pyspark-streaming
- Spark pyspark package
- Spark(1)-初识Pyspark
- pyspark-Spark编程指南
- HDU 1323 Perfection(公因子)
- Quartz学习笔记
- 选择排序
- EventBus使用详解(一)——初步使用EventBus
- 【java】 iText使用PDF模板生成输出PDF
- 如何使用PyCharm编写Spark程序(pyspark)
- redis持久化
- Python数据分析学习笔记六
- Matlab中uigetfile命令的应用
- Swift/OC 为View或ImageView设置聊天气泡的小三角
- NYOJ - Binary String Matching
- scala-04For与Function进阶实战、Lazy的使用
- 如何修改已经提交SVN的log
- 【Unity】广告牌(Billboard)材质