Spark(1)
来源:互联网 发布:什么是挂机软件 编辑:程序博客网 时间:2024/06/09 18:24
本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好。
我的博客原文地址链接:http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.html
0.Spark的安装准备
Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的:
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
我的电脑环境是Ubuntu 14.04.4 LTS,还需要安装:
jdk-8u73-linux-x64.tar.gz
hadoop-2.6.0.tar.gz
scala-2.10.6.tgz
spark-1.6.0-bin-hadoop2.6.tgz
1.安装jdk
解压jdk安装包到任意目录:
cd /home/tom$ tar -xzvf jdk-8u73-linux-x64.tar.gz$ sudo vim /etc/profile
编辑/etc/profile文件,在最后加上java环境变量:
export JAVA_HOME=/home/tom/jdk1.8.0_73/export JRE_HOME=/home/tom/jdk1.8.0_73/jreexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
保存并更新/etc/profile
:
$ source /etc/profil
查看是否成功:
$ java -version
2.配置ssh localhost
确保安装好ssh:
$ sudo apt-get update$ sudo apt-get install openssh-server$ sudo /etc/init.d/ssh start
生成并添加密钥:
$ ssh-keygen -t rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys
如果已经生成过密钥,只需执行后两行命令。
测试ssh localhost
$ ssh localhost$ exit
3.安装hadoop2.6.0
解压hadoop2.6.0到任意目录:
$ cd /home/tom$ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz$ tar -xzvf hadoop-2.6.0.tar.gz
编辑/etc/profile
文件,在最后加上java环境变量:
export HADOOP_HOME=/home/tom/hadoop-2.6.0export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh
文件
$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在最后加上:
export JAVA_HOME=/home/tom/jdk1.8.0_73/
修改Configuration文件:
$ cd $HADOOP_HOME/etc/hadoop
修改core-site.xml
:
<configuration><property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value></property></configuration>
修改hdfs-site.xml
:
<configuration><property> <name>dfs.replication</name> <value>1</value></property><property> <name>dfs.name.dir</name> <value>file:///home/tom/hadoopdata/hdfs/namenode</value></property><property> <name>dfs.data.dir</name> <value>file:///home/tom/hadoopdata/hdfs/datanode</value></property></configuration>
第一个是dfs的备份数目,单机用1份就行,后面两个是namenode和datanode的目录。
修改mapred-site.xml
:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
修改yarn-site.xml
:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
初始化hadoop:
$ hdfs namenode -format
启动
$ $HADOOP_HOME/sbin/start-all.sh
停止
$ $HADOOP_HOME/sbin/stop-all.sh
检查WebUI,浏览器打开端口:http://localhost:8088
port 8088: cluster and all applications
port 50070: Hadoop NameNode
port 50090: Secondary NameNode
port 50075: DataNode
hadoop运行后可使用jps
命令查看,得到结果:
10057 Jps9611 ResourceManager9451 SecondaryNameNode9260 DataNode9102 NameNode9743 NodeManager
4.安装scala
解压scala安装包到任意目录:
$ cd /home/tom$ tar -xzvf scala-2.10.6.tgz$ sudo vim /etc/profile
在/etc/profile
文件的末尾添加环境变量:
export SCALA_HOME=/home/tom//scala-2.10.6export PATH=$SCALA_HOME/bin:$PATH
保存并更新/etc/profile
:
$ source /etc/profil
查看是否成功:
$ scala -version
5.安装Spark
解压spark安装包到任意目录:
$ cd /home/tom$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz$ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0$ sudo vim /etc/profile
在/etc/profile
文件的末尾添加环境变量:
export SPARK_HOME=/home/tom/spark-1.6.0export PATH=$SPARK_HOME/bin:$PATH
保存并更新/etc/profile
:
$ source /etc/profil
在conf目录下复制并重命名spark-env.sh.template
为spark-env.sh
:
$ cp spark-env.sh.template spark-env.sh$ vim spark-env.sh
在spark-env.sh
中添加:
export JAVA_HOME=/home/tom/jdk1.8.0_73/export SCALA_HOME=/home/tom//scala-2.10.6export SPARK_MASTER_IP=localhostexport SPARK_WORKER_MEMORY=4G
启动
$ $SPARK_HOME/sbin/start-all.sh
停止
$ $SPARK_HOME/sbin/stop-all.sh
测试Spark是否安装成功:
$ $SPARK_HOME/bin/run-example SparkPi
得到结果:
Pi is roughly 3.14716
检查WebUI,浏览器打开端口:http://localhost:8080
- Spark(1)
- spark-1
- 【spark系列1】spark安装
- Spark系列1 Spark 安装
- Spark源码编译---Spark学习笔记1
- spark系列博客-(1)初识spark
- spark学习笔记1 spark算子
- Spark 教程系列1--Spark介绍
- Spark笔记(1)-Spark初体验
- Spark Streaming-1:Spark Streaming编程指南
- Spark(1)——Spark的安装
- Learning Spark笔记1-Spark介绍
- Spark学习笔记1:Spark概览
- Histogram in Spark (1)
- Spark streaming-1
- Spark知识要点(1)
- Spark 1.3.1 部署
- spark学习1
- Java实现MD5加密与解密
- Struts2 拦截器中实现对数据进行数据库操作
- Ubuntu12.04增加屏幕分辨率选项
- Eclipse 3.7手工安装Maven2的插件(包含POM图形编辑工具)
- 查找文件位置的方法-find,grep,locate
- Spark(1)
- 用C#获取局域网内所有机器
- lua学习笔记二--函数
- Spring3.1包详解与依赖关系
- 侧滑(以Activity为页面)
- [DUBBO] Decode rpc invocation failed: null, dubbo version: 2.8.4, current host: 127.0.0.1
- 关于Android中MD5加密算法
- 查漏补缺——表达式
- Java NIO Path