Mac 配置Spark环境scala+python版本(Spark1.6.0)
来源:互联网 发布:矢量数据特点 编辑:程序博客网 时间:2024/06/06 14:02
1. 从官网下载Spark安装包,解压到自己的安装目录下(默认已经安装好JDK,JDK安装可自行查找); spark官网:http://spark.apache.org/downloads.html
2. 进入系统命令行界面,进入安装目录下,如"/安装目录/spark-1.6.0-bin-hadoop-2.6.0 ",输入命令"./bin/pyspark"验证pyspark能否运行,再输入命令“./bin/spark-shell”,查看scala环境能否运行。成功的话会显示Spark图形,并能输入python或scala命令行。如下图(python版):
3. 对于python版,先下载pycharm,点击完成安装。新建一个工程,打开Edit configuration,找到Environment variables,点击后面的编辑框,在变量栏目中依次添加PYTHONPATH,值为spark目录/python,SPARK_HOMR,值为spark安装目录,点ok退出。
4. 如果是用python的话还要下载py4j包,用在命令行输入“easy_install py4j”命令就行。然后进入spark安装目录中的python文件夹下,打开lib文件夹,把里面的py4j压缩包复制到上一级python文件夹下,解压。
5. 在pycharm中写好demo,点击运行即可。demo示例如下:
"""SimpleApp.py"""from pyspark import SparkContextlogFile = "/Spark/spark-1.6.0-bin-hadoop2.6/README.md" # Should be some file on your systemsc = SparkContext("local", "Simple App")logData = sc.textFile(logFile).cache()numAs = logData.filter(lambda s: 'a' in s).count()numBs = logData.filter(lambda s: 'b' in s).count()print("Lines with a: %i, lines with b: %i" % (numAs, numBs))
6. 如果用scala环境,那么需要下载IntelliJ IDEA,和Pycharm是同一个公司出品,直接去搜名字去官网下 免费版。在第一次打开时会提示安装插件,这时候选择安装scala插件,spark1.6对应scala2.10版本,大概47M。插件下载好之后就可以新建一个scala工程。
7. 单击Intellij IDE菜单栏上File选项,选择Project Structure,在弹出的对话框中单击左侧Libraries,之后单击中间上方绿色“+”号,添加spark中的lib文件夹下的assembly jar包,点击应用。
8. 然后从Spark官网上找一个demo,把里面的spark路径换成自己的。打开Edit configuration,点击左上角加号,选择Application,进入设置运行配置的对话框,按照下图配置,其中Program arguments手动输入local,然后右键选择main 函数地址,系统会自动添加。VM options 的值是设置单机运行,不设置会报错。
9. 点击ok完成配置,运行程序即可。
- Mac 配置Spark环境scala+python版本(Spark1.6.0)
- Spark 开发指南(版本spark1.1.1)
- Hadoop,Scala,Spark环境配置
- Spark RDD编程(Python和Scala版本)
- Spark本地开发环境scala版本
- Windows环境下配置python spark(windows7+python+spark)
- jupyter配置scala和Spark学习环境
- inteliJ scala和spark环境配置
- IDEA部署Spark1.5.2开发环境--Spark学习(基础)
- mac 安装scala 配置 scala eclipse开发环境
- Spark1.4.1 编程指南 (Scala/Java/Python)
- mac osx配置spark in scala with intellij idea备忘
- Mac配置单节点Spark环境
- Spark+Scala环境搭建
- Pycharm-python初始环境搭建常见问题(Mac版本)
- mac配置python开发环境
- Mac Python环境的配置
- mac python Pycharm环境配置
- DevExpress ChartControl控件实现图表
- Hive
- Android Studio如何打包签名
- Springmvc 配置thymeleaf 和jsp 双模板引擎
- 委托
- Mac 配置Spark环境scala+python版本(Spark1.6.0)
- HighlightingSystem插件使用(边缘发光)
- 富文本
- C语言之函数使用
- 世界上最大的 SOA
- 文本域限定输入500,显示目前可以输入多少字
- 编写可读性代码的艺术(四)
- java 修饰符全解
- Android系统信息之Linux内核版本信息获取