mac下使用spyder运行pysprk详解

mac下可以通过terminal执行./pyspark运行pyspark，但是很多时候我们希望在一些诸如spyder之类的IDE中运行pyspark。

但是，我们直接通过

import pyspark

会提示错误：ImportError: No module named pyspark

具体使用方法如下：

1. 添加PYTHONPATH环境变量并使之生效

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

source ~/.bashrc

2. 移动到spyder目录下，复制一份文件

如：

cd /anaconda/bin

cp spyder spyder.py

3. 在spyder.py的目录下启动spyder.

spark-submit spyder.py

此时，我们已经可以启动spyder的IDE了。

在该IDE下，我们可以通过

import pyspark

来正常引入pyspark。

但是，在使用sc.*等命令时，系统会抛出异常。

NameError: name 'sc' is not defined

原因时因为在spark-shell后，有自动初始化sc，但是通过spark-submit启动时则需要收到引入。

具体方法如下：

from pyspark import SparkContext

from pyspark import SparkConf

conf = SparkConf().setAppName("test")  ＃名字可以自定义

sc = SparkContext(conf=conf)

至此，pyspark已经可以在spyder等IDE中正常使用。