Spark on Yarn部署
来源:互联网 发布:淘宝联系店家 编辑:程序博客网 时间:2024/05/11 20:07
环境:CentOS 6.4, 8G 内存,60G 硬盘,Hadoop 2.2.0,Spark 1.0.0, Scala 2.10.3
1. 安装Hadoop Yarn 集群
http://blog.csdn.net/zlcd1988/article/details/36008681
这篇Blog很详细的介绍了如何部署Hadoop Yarn 集群。
2. 安装Scala
http://www.scala-sbt.org/download.html
下载 scala-2.10.3.tgz
$ tar -zxvf scala-2.10.3.tgz$ mv scala-2.10.3 /usr/scala
3. 安装Spark
$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz$ tar -zvxf spark-1.0.0-bin-hadoop2.tgz$ mv spark-1.0.0-bin-hadoop2 /usr/spark
4. 配置环境变量
在~/.bash_profile 添加环境变量
export SPARK_HOME=/usr/spark
export SCALA_HOME=/usr/scala
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.0.0-hadoop2.2.0.jar
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
运行 source .bash_profile 使环境变量立即生效。
5. 编辑 $SPARK_HOME/conf/spark-env.sh 末尾添加:
export SPARK_HOME=/usr/spark
export SPARK_JAR=/usr/spark/lib/spark-assembly-1.0.0-hadoop2.2.0.jar
6. 测试Spark是否能够在Yarn上运行
$ spark-submit --master yarn-cluster \--deploy-mode cluster \/usr/spark/lib/spark-examples-1.0.0-hadoop2.2.0.jar \--class org.apache.spark.examples.JavaSparkPi \--name "PI TEST" \--num-executors 1 \--driver-memory 1G \--executor-memory 1G \--executor-cores 1
4 0
- Spark on Yarn部署
- Spark on YARN 部署
- spark on yarn部署
- Spark on Hadoop Yarn 部署
- Spark on YARN 部署实验
- spark集群安装部署(spark on yarn)
- Spark On YARN 集群安装部署
- Spark On YARN 集群安装部署
- Spark On YARN 集群安装部署
- Spark On YARN 集群安装部署
- Spark on YARN分布式部署文档
- 【转载】Spark On YARN 集群安装部署
- Spark On YARN 集群安装部署
- Spark On YARN 集群安装部署
- Spark2.0.0集群环境部署(Spark On Yarn)
- Hadoop 分布式配置及Spark on yarn部署
- Spark On YARN部署模式下的内存分配情况
- Spark2.0.1 on yarn with hue 集群搭建部署(二)spark on yarn搭建
- C#使用DataAdapter.Update(dt)方法,无法批量插入数据的原因及解决
- BeeFramework
- 1.利用android提高的的insert,query,update,deleteAPI与execSql,rawQuery函数执行原生的插入,查询,更新,删除语句操作花费时间的对比结果
- 拨打电话总结
- Hadoop连载系列之三:HBase分布式安装
- Spark on Yarn部署
- VS2010中,无法从“const char [N]”转换为“LPCWSTR” 的一点总结
- Window_Open详解
- C++标准库对字符串操作的支持是糟糕的
- gsoap开发service
- SQL性能优化
- ios开发中如何隐藏各种bar
- 精通UIPasteboard 粘贴板
- Hadoop连载系列之四:Hadoop分布式文件系统HDFS