分布式安装Hadoop

来源:互联网 发布:数控加工编程代码 编辑:程序博客网 时间:2024/06/09 23:16

1.配置hosts文件

所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip


修改每个节点的hostname,方法如下:


编辑/etc/hostname,将里面的名称改为你想要命名的名字

2.建立专门的运行hadoop的用户

比如新增用户:grid,密码设为:123456


给用户grid赋予root权限:

编辑 /etc/sudoers文件,找到下面一行,在root下面添加一行,如下所示:
root    ALL=(ALL)     ALL
grid   ALL=(ALL)     ALL


3.配置ssh免密码登录

注意要以grid用户登录,在grid用户的主目录下进行操作!每个节点做相同的操作即可


按照此方法配置其他节点的ssh无密码登录

4.分发ssh公钥

把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后覆盖原来的authorized_keys文件,然后就可以免密码彼此ssh连入了


5.下载Hadoop的安装包,并解压

下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz


开始配置Hadoop环境,如果没有配置java环境,先配置java环境

jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

配置教程:http://my.oschina.net/fhd/blog/335156

1.修改 hadoop-env.sh文件,在里面加入jdk的环境变量地址

export JAVA_HOME=/usr/local/java/jdk1.8.0_91

2.修改core-site.xml

<configuration>

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://h1:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/grid/hadoop-2.6.4/data/tmp</value>
</property>
<property>
      <name>dfs.name.dir</name>
      <value>/home/grid/hadoop-2.6.4/data/hdfslog</value>
</property>
<property>
     <name>dfs.data.dir</name>
     <value>/home/grid/hadoop-2.6.4/data/hdfsdata</value>
</property>

</configuration>

3.修改hdfs-site.xml

<configuration>

<property>
      <name>dfs.replication</name>
     <value>2</value>
 </property>

</configuration>

4.修改mapred-site.xml

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>h1:9001</value>
</property>
</configuration>


未完待续。。。

0 0
原创粉丝点击