在pycharm上配置pyspark
来源:互联网 发布:程序员人才需求 编辑:程序博客网 时间:2024/05/17 01:39
因为想在pycharm上使用pyspark,可是怎么配也不成功,花了一个下午才弄好。
1 前提:已经安装了pycharm,下载了spark(官网下载,我下的是spark-2.1.1-bin-hadoop2.7.tgz,解压缩后为文件夹spark-2.1.1-bin-hadoop2.7,我将文件放在了/Applications/spark/下,这个文件夹里面有python文件,python文件下还有两个压缩包py4j-some-version.zip和pyspark.zip,之后会用到)
2 在网上 我搜了很多网页,但是只解决了运行环境的问题,使用pyspark时from pyspark import SparkContext,代码依然划红线,运行依然显示没有该模块。
3 不管对不对,在pycharm上的project interpreter上下载py4j,因为很多博客说pyspark依赖这个模块。
4 随便打开一个project,pycharm右上角“run”三角形的左边有一个run configurition,打开它。
5 设置configurition---Environment--- Environment variables ---点击“...”,出现框框,点击+,输入两个name,一个是SPARK_HOME,另外一个是PYTHONPATH,设置它们的values,SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径,PYTHONPATH的value是该绝对路径/python,例如我的SPARK_HOME的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7,那么我的PYTHONPATH的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7/python 。设置好了保存。(注意不管是路径的哪里,都不能有空格!!尤其是结尾!!今天下午就因为一个空格折磨我好久)
6 关键的一步,还要去配置其他的。很多网页上都只有到第5步。在perferences中的project structure中点击右边的“add content root”,添加py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)
7 完成,from pyspark import SparkContext,红线消失,运行正常。
- 在pycharm上配置pyspark
- 在Linux上配置PySpark
- 在mac上安装下pySpark,并且在pyCharm中python调用pyspark
- 在Mac OSX上配置PySpark
- 在pyspark上配置ipython notebook
- 在pycharm调试pyspark-streaming
- Pycharm调用Pyspark API配置,小记
- 总结pyspark在windows7环境下的搭建方法,pycharm的配置方法
- 在windows上pycharm配置spark环境
- windows10上配置pyspark工作环境
- 在cloudera VM上设置PySpark
- Windows上在Pycharm配置Kivy开发环境
- pycharm 在windows上编辑代码用linux执行配置
- pyspark DecisionTreeModel不能在RDD上直接使用
- 在PyCharm里配置SubVersion
- 在PyCharm里配置SubVersion
- 在PyCharm里配置SubVersion
- 在pycharm中配置Anaconda
- Rails 中的异步任务
- 人工神经网络之激活函数总结
- 计蒜之道-2017复赛-腾讯消消乐(状压DP)
- 【机器学习杂货铺】——正则项(暂缺)
- EXPDP JOB失败
- 在pycharm上配置pyspark
- 0029_Divide Two Integers
- js 绑定回车事件
- BZOJ 2144 跳跳棋 (lca 模型转换)
- java static关键字
- 单片机时钟程序(10)timing.c
- JNI简单实现Java调用C++/C的HelloWorld
- 求幂级数展开的部分和 / 求分数序列前N项和 / 特殊a串数列求和
- 杂七杂八的总结