Ubuntu 下hadoop 2.6.0集群搭建

1. 先配置好一个节点，剩下节点借助VMware中的克隆来进行复制就可以了。在安装ubuntu成功后，在terminal中执行：
   sudo apt-get update
sudo apt-get install ssh
   更新源，安装ssh.不然会遇到版本不一致，ssh localhost不成工等问题。
2. 安装JDK，设置好环境变量JAVA_HOME ，Ubuntu环境变量有三种方式：
   /etc/environment，/etc/profile,这两个文件相当于系统环境变量，但是系统先读取profile文件，再读取environment， 如果同一个变量在用户环境(/etc/profile)和系统环境(/etc/environment)有不同的值那应该是以用户环境为准了。第三种方式是~/.bashrc.这相当于用户环境变量。我的环境变量配置如下：

//我是在/etc/environment配置的PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/home/hadoopmaster/Documents/jdk1.8.0_40/bin"//设置后，在控制台执行source environment使其生效，然后执行java -version看看是否显示java版本信息。

3.配置hadoop（在官网上下载hadoop解压到/home/hadoopmaster/Docments下）
修改配置文件：

//etc/hadoop/hadoop-env.sh # set to the root of your Java installation  export JAVA_HOME=/home/hadoopmaster/Documents/jdk1.8.0_40/bin  # Assuming your installation directory is /usr/local/hadoop  export HADOOP_PREFIX=/home/hadoopmaster/Documents/hadoop-2.6.0

//etc/hadoop/core-site.xml:<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://hadoopmaster:9000</value>    </property></configuration>//我的master的主机名是hadoopmaster

//etc/hadoop/hdfs-site.xml:<configuration>    <property>        <name>dfs.replication</name>        <value>3</value>    </property></configuration>

环境变量/etc/profile：

export HADOOP_HOME=/home/hadoopmaster/Documents/hadoop-2.6.0export HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_YARN_HOME=$HADOOP_HOMEexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport PATH

4.这个时候就可以将虚拟机克隆了，我克隆了两份。
主机名****************IP************** 用户名
hadoopmaster 192.168.224.130 hadoopmaster
hadoopslave1 192.168.224.131 hadoopmaster
hadoopslave2 192.168.224.132 hadoopmaster
修改每个节点的主机名，在每个节点上的控制台执行：

$ sudo vim /etc/hostname//修改自己想要的主机名$ hostname//可以查看是否修改成功

然后修改每个节点的hosts文件
加入：
hadoopmaster 192.168.224.130
hadoopslave1 192.168.224.131
hadoopslave2 192.168.224.132

5.配置SSH。在每个节点执行

  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

在控制台输入ssh localhost不用输入密码则配置成功。

在hadoopmaster，也就是你想作为master的节点上把公钥追加到其他两个节点,然后修改~/.ssh文件夹的权限：

如果出现：The authenticity of host ‘192.168.+++,+++’ can`t be estabblished.解决方式如下：

6.修改hadoopmaster中$HADOOP_HOME/etc/hadoop/slaves文件，加入作为datenode节点的主机名：

hadoopmaster            hadoopslave1           hadoopslave2          

7.然后在hadoopmaster的控制台执行：

Format the filesystem:$ hdfs namenode -format$ start-all.sh$ jps//查看进程

结果如下：