Hadoop3.0安装配置

1.在主机上安装java8（hadoop3.0需要Java8,操作细节见上篇）

2.下载hadoop安装tar包(ubuntu下可以使用wget命令直接下载路径)

$ wget mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha4/hadoop-3.0.0-alpha4.tar.gz

3.解压到/opt/

/Downloads/$ tar -zxvf hadoop-3.0.0-alpha4.tar.gz -C /opt/

4.创建hadoop3.0用户

添加用户

$ sudo useradd -d /home/hadoop3.0 -m hadoop3.0

-d指定用户home目录，-m指定用户名

设置密码

$ sudo passwd hadoop3.0

可以切换用户查看

修改/etc/passwd文件在hadoop：后面添加/bin/bash从而可以正常使用bash命令

修改/etc/sudoers文件%sudo一行下面添加如下一行，使得hadoop3.0用户可以使用sudo权限

5.移动下载文件夹里的文件(文件夹)到指定hadoop3.0用户根目录

$ sudo mkdir /usr/local/hadoop3$ cd /opt/$ sudo mv hadoop-3.0.0-alpha4/* /usr/local/hadoop3/

6.设置Hadoop环境变量

$ sudo vi ~/.profile

添加以下Hadoop生态系统的所有环境变量

#Hadoop 3.0export HADOOP_HOME=/usr/local/hadoop3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(整个生态系统以及Java8，.bashrc文件里的环境变量的设置，文件目录根据个人情况来定)

export JAVA_HOME=/usr/local/java/jdk1.8.0_101 export HADOOP_HOME=~/usr/local/hadoop/hadoop-3.0.0-alpha4export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:${HIVE_HOME}/libexport SCALA_HOME=~/usr/local/scala/scala-2.10.5export SPARK_HOME=~/usr/local/spark/spark-2.0.1-bin-hadoop2.7export SQOOP_HOME=~/usr/local/sqoop/sqoop-1.4.6export HIVE_HOME=~/usr/local/hive/hive-1.2.1export HBASE_HOME=~/usr/local/hbase/hbase-1.0.1.1export PATH=${SPARK_HOME}/bin:${SCALA_HOME}/bin:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SQOOP_HOME}/bin:${HADOOP_HOME}/lib:${HIVE_HOME}/bin:${HBASE_HOME}/bin:$PATH

7.配置文件

进入/usr/local/hadoop3/etc/hadoop下修改配置文件

需要先在/home/hadoop3.0目录下创建一些存放缓存数据的文件夹

$ mkdir hdfs$ mkdir tmp$ mkdir hdfs/name$ mkdir hdfs/data

<1>mapred-env.sh 与yarn-env.sh

文件末添加下面语句，指定JAVA_HOME

<2>core-site.xml

配置hdfs端口和地址，临时文件存放地址

hadoop-001为主机名

（主机名输入hostname命令查看）

<3>hdfs-site.xml

配置副本个数以及数据存放的路径

<4>mapred-site.xml

配置使用yarn框架执行mapreduce处理程序，与之前版本多了后面两部

不配置mapreduce.application.classpath这个参数mapreduce运行时会报错：

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

<5>yarn-site.xml

<6>workers

文件里添加workers的主机名

8.hadoop设置已基本完成，现在实现分布式

通过克隆linux或者复制hadoop文件夹的方式构建其它节点

scp -r /opt/hadoop3 root@hadoop-002:/opt

scp -r /opt/hadoop3 root@ hadoop-003: /opt

复制时候hadoop-002无法解析，此时需要我们在系统hosts文件中声明

此时再复制，发现需要输入节点的密码，则节点之间还没有设置免密码登录。
hadoop节点需要设置免密码登录。