Spark系列1 Spark 安装

一、 Spark安装

---

环境要求

Spark可以在Windows和类Unix系统（例如Linux， Mac OS）上运行。
运行Spark需要系统中先安装Java环境，并设置JAVA_HOME环境变量为Java的安装目录。
Spark运行在Java8+，Python2.7+/3.4+ 和R 3.1+。 对于Scala API， Spark 2.2.0 使用Scala 2.11。

安装  

    下载Spark：http://spark.apache.org/downloads.html    直接下载编译好的Spark包即可，如果需要源码编译，下载源码包， 交易教程请戳：http://spark.apache.org/docs/latest/building-spark.html        将下载的压缩包spark-2.2.0-bin-hadoop2.7.tgz解压到某个目录下即可。

二、运行示例和Shell

---

Spark自带了一些示例程序，包括Scala、Java、Python和R语言的相关示例代码在examples/src/main目录下。如果要运行Scala或Java示例程序，直接在Spark安装根目录下下运行命令 bin/run-exmple <class> [params]即可。例如：

1

./bin/run-example SparkPi 10

也可以通过Scala Shell运行Spark交互shell，如下：

1

./bin/spark-shell --master local[2]

上例中--master指定分布式集群的master URL，或本地运行的线程数， local[N]即本地运行并且线程数为N。完全的参数李彪，可以运行Spark shell --help查看。

Spark 也提供了一个Python API。使用bin/pyspark可以以Python解释器的方式与Spark交互，如下：

1

./bin/pyspark --master local[2]

示例程序也提供了python版的，示例：

1

./bin/spark-submit examples/src/main/python/pi.py 10

Spark自1.4版本开始也提供了实验性的R API，以R语言解释器运行Spark交互，如下：

1

./bin/sparkR --master local[2]

示例代码也包括R语言示例：

1

./bin/spark-submit examples/src/main/r/dataframe.R

三、相关问题

---

问题1  Spark不能绑定端口

    运行命令./bin/run-example SparkPi 10 报如下错误：

1

17/08/30 05:52:18 WARN Utils: Service 'sparkDriver' could not bind on a random free port. You may check whether configuring an appropriate binding address.

   解决方法：

    将 /spark/conf/spark-env.sh.template 拷贝为spark-env.sh， 并在该文件中添加

1

export  SPARK_MASTER_IP=127.0.0.1

2

export  SPARK_LOCAL_IP=127.0.0.1

    执行 spark-env.sh

阅读全文

0 0

• 【spark系列1】spark安装
• Spark系列1 Spark 安装
• Spark系列(1)—Spark单机安装与测试
• 【Spark系列1】Windows下Spark单机版的安装
• spark学习系列1
• spark系列博客-（1）初识spark
• Spark 教程系列1--Spark介绍
• spark系列
• Spark简要教程系列（一） Mac安装Spark
• Spark(1)——Spark的安装
• hive on spark安装---安装系列七
• spark 1.6.1安装
• Spark基础知识系列（1）
• 从无到有系列之spark-安装部署01
• spark报错---安装系列八
• 【Spark系列3】Spark优化
• Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
• Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
• 洛谷P1848 [USACO12OPEN]书架Bookshelf
• Spring Bean的生命周期
• Java编程思想之I/O系统
• Html5实现自己的分页加载
• python入门基础
• Spark系列1 Spark 安装
• Java并发编程艺术 5 Java中的锁
• springboot入門（一） helloworld
• session与cookie的区别与联系
• [Tensorflow]基于slim框架下inception模型的植物识别
• c++中非静态函数不能用类名调用，为什么CWnd的成员函数GetDC()可以直接调用啊？
• 反射获取属性值
• 版权声明：本文为博主原创文章，未经博主允许不得转载。 今天重写一个delphi7的CS架构的软件，原本自带的控件是Indy9。现在升级到Indy10，用delphi XE5开发。发现idTcpSer
• 职责链模式