如何在Spyder中运行spark
来源:互联网 发布:淘宝店铺修改退货地址 编辑:程序博客网 时间:2024/06/05 15:49
最终成的配置方法如下:1.安装好JDK SPARK并设置环境变量。2.安装号spyder3.启动spyder在 tools ==> pythonpath manager 中加入如下2个路径/opt/spark/python/opt/spark/python/lib将/opt/spark 替换成自己的spark实际安装目录4.在SPARK_HOME/python/lib 下会有一个类似py4j-0.9-src.zip的压缩文件将其解压到当前目录下(SPARK_HOME/python/lib),否则会报错 找不到py4j重启spyder后就可以正常使用了。5.在运行时如果报错sc没有被定义。程序中要加入下面的一段即可。from pyspark import SparkContextfrom pyspark import SparkConfconf = SparkConf().setAppName("test")sc = SparkContext(conf=conf)
阅读全文
0 0
- 如何在Spyder中运行spark
- 如何在Anaconda中实现多版本python Spyder共存
- 如何在spyder中查看python内置函数的源码
- 在spyder中安装winpdb
- 在R中运行Spark
- 在spark中运行HiveContext
- 使用Anaconda3安装tensorflow,opencv,使其可以在spyder中运行
- 如何在Spark下运行python文件
- Windows系统基于anocanda安装tensorflow以及如何在notebook,spyder等中使用tensorflow
- 在eclipse中运行Mapreduce & spark
- 在IDEA中调试运行Spark SQL
- 在Docker中运行Hadoop+Spark集群
- Spark提交作业的流程以及作业是如何被触发在集群中运行的
- python __new__和__del__方法 spyder中运行结果不一致
- 如何在Spark中记录日志
- 如何在idea里面直接运行spark streaming程序
- 如何在CDH上编译运行spark application
- PyQt4在spyder中使用,程序只能运行一次,第二次运行报错:It seems the kernel died unexpectedly. Use 'Restart kernel' to cont
- 11g SPA (sql Performance Analyze) 进行升级测试
- 人的感知和思维
- 系统应用被杀死?android:persistent="true"帮你走向光明大道
- 原生Ajax和Jquery的Ajax使用示例
- 添加依赖报错
- 如何在Spyder中运行spark
- 数独问题
- webView的简单实际使用
- spring-data-redis scan 中的cursor关闭
- java安全沙箱(四)之安全管理器及Java API
- 高性能MYSQL--第一章
- sort-cut-wc用法详解
- POJ 2356 Find a multiple【鸽巢原理】
- android jni中将大数据回调到java层的时候用法,比如视频流,音频流等,图片流等 比如我用ffmpeg解码好视频流,想送到java层使用opengGL进行显示,opencv进行人脸识别等等