【Hadoop／Spark】Hadoop、Spark安装详解

前言

之前有安装过Hadoop，最近想学学spark，因为spark需要和Hadoop版本统一，索性就卸了Hadoop重新装，折腾了几个小时终于都弄好了，现在把安装步骤整理出来。

系统／环境

Mac os

已经安装的软件：python3.6、jdk1.8.0_121

ssh设置

1.开启Mac系统的远程登陆

系统偏好设置——共享——远程，如下图设置：

2.在terminal中输入下面语句，然后一直回车。当执行完这条指令之后你可以在前往到~/.ssh目录下发现id_rsa、id_rsa.pub两个文件

ssh-keyagent -t

当出现这两个文件之后，再在终端执行如下代码（该代码用于ssh免登录设置）:

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

3.验证ssh

在terminal中输入

ssh localhost

出现下面提示说明成功

安装Hadoop

我是通过下载安装的，也可以用brew install安装，在官网下载安装包后解压，之后将文件夹移到相应路径，我移到了/usr/local/Cellar/hadoop路径

进入/hadoop/etc/hadoop路径，执行一下操作：

hadoop-env.sh
加入配置信息：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

注意按照你自己的jdk版本更改。

core-site.xml

<configuration>        <!-- 指定HDFS老大（namenode）的通信地址 -->    <property>        <name>fs.defaultFS</name>        <value>hdfs://0.0.0.0:9000</value>    </property>    <!-- 指定hadoop运行时产生文件的存储路径 -->    <property>        <name>hadoop.tmp.dir</name>        <value>/Library/hadoop-2.7.3/temp</value>    </property></configuration>

hadfs-site.xml

<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property>　　 <property>        <name>dfs.namenode.name.dir</name>        <value>file:/Library/hadoop-2.7.3/tmp/hdfs/name</value>    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>file:/Library/hadoop-2.7.3/tmp/hdfs/data</value>    </property>    <property>        <name>dfs.webhdfs.enabled</name>        <value>true</value>    </property>    <property>        <name>dfs.http.address</name>        <value>0.0.0.0:50070</value>    </property></configuration>

mapred-site.xml

<property>          <name>mapreduce.framework.name</name>          <value>yarn</value>      </property>      <property>          <name>mapreduce.admin.user.env</name>          <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>      </property>      <property>          <name>yarn.app.mapreduce.am.env</name>          <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>  </property>  

yarn-site.xml

<property>      <name>yarn.nodemanager.aux-services</name>      <value>mapreduce_shuffle</value>  </property>  

配置Hadoop环境

sudo vim /etc/profile

添加：

export HADOOP_HOME=/usr/local/Cellar/hadoop  export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存退出，执行：

source /etc/profile

运行Hadoop

//进入hadoop安装目录cd $HADOOP_HOME//初始化namenodehdfs namenode -format//启动hdfssbin/start-dfs.sh //启动yarnsbin/start-yarn.sh

如果都执行成功，说明Hadoop已经安装好了

安装Scala

我是通过brew直接安装的，一步搞定

brew install scala

配置环境：

sudo vim /etc/profile

添加：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.2export PATH=$PATH:$SCALA_HOME/bin

注意Scala版本，改一下

安装spark

终于到这一步了，在官网上下载之后解压，移动，我移动的路径为：/usr/local/spark
配置环境：

sudo vim /etc/profile

添加：

export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/bin

进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh并修改

之后修改slaves.template,

之后进入sbin路径，执行：

./start-all.sh

再执行：

至此，spark已经安装成功了，可以通过查看http://localhost:8080/