hadoop集群初识安装

第一次接触大数据，在网上找了好多资料，自己搭建了一个集群，作为学习测试用。

环境：jdk:1.7.0_79  centos6.5(三台)  hadoop1.2.1

vm上安装了三台虚拟机 h1  0.73      h2 0.74       h3  0.77

一、安装jdk

1、查看自带版本，有就卸载了

a.查看：rpm -qa |grep java

b.卸载：rpm -e --nodeps java*****

2、安装jdk

a.将下载的jdk的安装文件拷贝到/usr/local下面（*.rpm）

b.运行  rpm -ivh *.rpm

c.进入 /usr/java 目录下可以看到安装的jdk

d.配置环境变量  vim /etc/profile

   最下面加入：（具体路径需要根据自己实际情况更改  hadoop提前写了）

export JAVA_HOME=/usr/java/jdk1.7.0_79
export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

e.source /etc/profile 生效

f.java -version 查看是否安装成功

二、H adoop安装

准备工作，安装虚拟就的时候hostname配置有问题，都配置的一样的。后面我配置好了出错，找了解决方法。修改hostname

vim /etc/sysconfig/network   三台机器分别修改 hostname为  h1  h2  h3   自定义吧，也可以修改成其他的。完事最好重启一下，不然还会出错。

1、修改hosts文件   vim /etc/hosts    加入三台主机的ip   hostname  如下：

2、为Hadoop建立专有账户（我没安装省去了，最好还是装一下）

3、配置ssh免密码登录

a.三台集群分别运行 ssh -keygen -t rsa 一路回车。中间会出现 save in +路径   路径看一下

b.进入上面的那个路径     cd    /*/.ssh    查看一下文件   有两个id_rsa和id_rsa.pub

c.cp id_rsa.pub authorized_keys    多了一个authorized_keys  

d. 将另外两台中id_rsa.pub文件内容都追加到authorized_keys这个文件中

e.将authorized_keys文件拷贝到其他两台机器，scp authorized_keys  你另外两台的ip： /*/.ssh/        会要求输入密码照做就行

f.两两ssh  ip  尝试一下有没有成功  退出ssh    输入  exit 即可

4、配置Hadoop

a.将下载下来的hadoop-1.2.1.tar.gz 拷贝到虚拟机 /usr/local/下

b.解压  tar xzvf hadoop-1.2.1.tar.gz   然后从命名一下  mv hadoop-1.2.1 hadoop

c.配置一下环境变量 上面写了

d.配置几个主要文件 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves

vim hadoop-env.sh     配置一下javahome

 

e.vim core-site.xml   在configuration中添加

        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.0.73:9000</value>
                <final>true</final>
         </property>
         <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/temp</value>
         </property>

      hadoop.tmp.dir的value  自己手动到那个路径创建一下   上面那个ip是master节点的ip  自己看着修改

f.vim hdfs-site.xml  同上加入

     <property>
         <name>dfs.data.dir</name>
         <value>/usr/hadoop/data</value>
    </property>
   <property>
        <name>dfs.replication</name>
        <value>2</value>
   </property>
  路径需要手动创建。具体字段含义后期专门来研究吧

g.vim mapred-site.xml  同上

<property>
        <name>mapred.job.tracker</name>
        <value>192.168.0.73:9001</value>
</property>

h.vim masters、slaves   分别在masters  写入 h1  ；slaves中写入   h2 回车 h3

j.将该配置好的hadoop复制到其他两台机器   scp命令

三、Hadoop启动

1、都是在master节点启动   进入hadoop/bin目录下

格式化namenode命令     ：   hadoop namenode -format     （不报错没警告 就启动成功了）

启动 ：   start-all.sh      （jps 查看各个节点是否启动成功，其他虚拟机也是）

关闭  ： stop-all.sh

2、相关页面  master：50030     50070

大半天下去终于配置成功了，后期进行简单例子运行 慢慢研究吧。。。。