hadoop2.6.3配置
来源:互联网 发布:java list排序 编辑:程序博客网 时间:2024/06/01 16:00
Hadoop2和Hadoop1的安装前序步骤基本一致,只是在配置文件上稍有变动。可以参考之前的一篇关于Hadoop1的安装文档,操作系统安装、SSH安装、关闭Linux防火墙、安装JDK以及启动Hadoop这些都是一样的,没有区别。只是在Hadoop的安装有所差异,本文档主要将差异之处指出。
hadoop1.2.1安装文档
注:本文档所用的Hadoop2为2.6.3版本。
hadoop2安装
下载并解压hadoop2.6.3,cd到hadoop解压目录下的etc/hadoop目录下,修改如下的文件:
1.core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:///usr/hadoop/tmp</value> #hadoop临时文件位置,可以先新建一个文件夹/usr/hadoop/tmp </property> <property> <name>hadoop.proxyuser.u0.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.u0.groups</name> <value>*</value> </property></configuration>
2.hdfs-site.xml
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///usr/hadoop/dfs/name</value> #hadoop namenode 文件位置,可以先新建一个文件夹/usr/hadoop/dfs/name </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///usr/hadoop/dfs/data</value> #hadoop 存放数据的 文件位置,可以先新建一个文件夹/usr/hadoop/dfs/data </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property></configuration>
3.mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property></configuration>
4.yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property></configuration>
5.hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
6.yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
7.slaves
masterslave1slave2
利用scp命令将hadoop的所有文件复制到其他机器的相同目录下。
之后在master上格式化namenode
cd /usr/local/hadoop/hadoop-1.2.1/bin/./hadoop namenode -format
输入Y完成格式化.然后启动Hadoop即可。
0 0
- Hadoop2.6.3 安装配置
- hadoop2.6.3配置
- Win7_64下Eclipse配置Hadoop2.6.3
- hadoop2.6.3配置及遇到的问题
- Hadoop2.0 配置详解
- hadoop2.0.5配置
- hadoop2.2.0 配置
- hadoop2.2安装配置
- hadoop2.2.0 singlenode 配置
- hadoop2.3.0安装配置
- Hadoop2 基本配置教程
- hadoop2.3.0 HA 配置
- HADOOP2简明配置
- hadoop2.x安装配置
- hadoop2.x HA配置
- 配置hadoop2.4.0记录
- 安装配置hadoop2.2.0
- hadoop2 完全安装配置
- git命令行
- 串的三种实现方式
- 动手实践 Linux VLAN - 每天5分钟玩转 OpenStack(13)
- hadoop集群安装以及Hive、sqoop的使用
- 字符串中第一次出现的字符
- hadoop2.6.3配置
- 台大机器学习笔记(7)——The VC Dimension
- Sublime Text 2编辑markdown文件
- This Handler class should be static or leaks might occur 解决办法
- 删除多余空格
- nyoj 1238最小换乘
- Android studio1.5.1 NDK配置开发
- LightOJ 1422 Halloween Costumes (区间DP)
- 浅谈虚拟机的基本原理