如何在Spyder中运行spark

来源:互联网 发布:淘宝店铺修改退货地址 编辑:程序博客网 时间:2024/06/05 15:49
最终成的配置方法如下:1.安装好JDK SPARK并设置环境变量。2.安装号spyder3.启动spyder在 tools ==> pythonpath manager 中加入如下2个路径/opt/spark/python/opt/spark/python/lib将/opt/spark 替换成自己的spark实际安装目录4.在SPARK_HOME/python/lib 下会有一个类似py4j-0.9-src.zip的压缩文件将其解压到当前目录下(SPARK_HOME/python/lib),否则会报错 找不到py4j重启spyder后就可以正常使用了。5.在运行时如果报错sc没有被定义。程序中要加入下面的一段即可。from pyspark import SparkContextfrom pyspark import SparkConfconf = SparkConf().setAppName("test")sc = SparkContext(conf=conf)
阅读全文
0 0
原创粉丝点击