Hadoop2.7.1 集群安装指南
来源:互联网 发布:网络通,浏览器打不开 编辑:程序博客网 时间:2024/05/16 11:56
官网下载hadoop-2.7.1.tar.gz,拷贝到多台Linux机器对应/opt目录下
openJDK 1.7
CentOS 6
修改Linux配置文件/etc/profile
HADOOP_PREFIX=/opt/hadoop-2.7.1
JAVA_HOME=/usr/lib/jvm/jre-1.7.0
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
export HADOOP_PREFIX PATH JAVA_HOME
保存后使用 source /etc/profile使环境变量生效
设置 JAVA_HOME=/usr/lib/jvm/jre-1.7.0
192.168.1.197 master
192.168.1.197 D1 【这一行,为本机主机名映射,本台机器hostname为D1,如果机器名已经改成master和slaveN就不需要这一行了】
192.168.1.198 slave1
192.168.1.199 slave2
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.1/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
<configuration>
<!--
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop-2.7.1/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop-2.7.1/data</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
</configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.acl.enable</name>
<value>false</value>
</property>
<property>
<name>yarn.admin.acl</name>
<value>*</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
useradd hadoop【系统会为新增的hadoop用户自动创建hadoop用户组】
chown -R hadoop:hadoop hadoop-2.7.1/
chmod -R 777 hadoop-2.7.1/ 【这里如果只希望hadoop用户组可以执行,可以更改为775】
passwd hadoop【输入两次密码,这里使用hadoop作为密码】
在Namenode节点上,切换至Hadoop用户目录:cd ~
生成NameNode节点密钥:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 得到 id_dsa.pub
将 id_dsa.pub 分别使用scp拷贝到 slave1和slave2机器的/home/hadoop/.ssh/下面【如果.ssh不存在,可使用ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa在/home/hadoop目录下执行,生成私钥,也会生成.ssh目录】
如果slave1和slave2机器不存在 /home/hadoop/.ssh/authorized_keys 文件,则直接将 id_dsa.pub 拷贝成 authorized_keys
如果存在则将公钥加入到authorized_keys文件:cat id_dsa.pub >> authorized_keys
1,先格式化文件系统(HDFS),在Namenode上执行命令:hadoop namenode -format
2,在Namenode上,执行,start-dfs.sh,和start-yarn.sh
3,关闭集群在Namenode上执行:stop-yarn.sh和stop-dfs.sh
0 0
- Hadoop2.7.1 集群安装指南
- Hadoop2.7.1集群安装
- hadoop2.2.0集群安装
- Hadoop2.5.1集群安装
- 安装hadoop2集群
- 安装hadoop2.6.1集群
- cdh hadoop2集群安装
- hadoop2.2集群安装
- Hadoop2.7集群安装
- hadoop2.4.1集群安装
- hadoop2.7.2集群安装
- Hadoop2.4.1集群安装
- hadoop2.7.3 集群安装
- hadoop2.x集群安装
- hadoop2.9安装指南
- Hadoop2.2.0集群安装配置
- Hadoop2.6.0集群安装部署
- hadoop2.x集群的安装
- C#程序只允许运行一个实例的解决方案
- android获取友盟渠道名以及获取application中的meta-data
- 如何减小iOS应用程序的大小?
- 关于STM32软件复位代码编写
- php定义二维数组以及和JavaScript传递json数据
- Hadoop2.7.1 集群安装指南
- SSH 不可以远程调试QEMU
- 数据类型的隐性转型和显性转型
- 黑马程序员——Java基础---集合框架
- C++STL学习(4)容器set和multiset
- GoogleCardsActivity 效果很好
- 黑马程序员--反射
- Java内省
- 版本管理--MyEclipse使用svn插件管理项目