pyspark开发环境搭建

包依赖问题解决

方法一：使用findspark库自动识别spark依赖包

1. 安装findspark

pip install findspark

2. 使用findspark初始化pyspark的依赖

import findsparkfindspark.init()

3. 导入依赖的pyspark模块

from pyspark import SparkContextfrom pyspark import SparkConf

方法二：动态加载依赖文件

import osimport sysos.environ['SPARK_HOME'] = "/opt/apache-spark-1.6.2-bin-hadoop2.7"sys.path.append("/opt/apache-spark-1.6.2-bin-hadoop2.7/python")sys.path.append("/opt/apache-spark-1.6.2-bin-hadoop2.7/python/lib/py4j-0.9-src.zip")try:    from pyspark import SparkContext    from pyspark import SparkConf    print ("success")except ImportError as e:    print ("error importing spark modules", e)    sys.exit(1)

方法三：设置环境变量

若服务器上是组内共用的账号，不推荐此种方法

修改.bashrc，增加如下内容

# 若已有环境变量，可忽略此步SPARK_HOME=/opt/apache-spark-1.6.2-bin-hadoop2.7 # 添加python环境变量export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.9-src.zip:${PYTHONPATH}