Hadoop2.6.0集群配置
来源:互联网 发布:网络错误代码-7 编辑:程序博客网 时间:2024/05/19 16:32
(1)java的jdk安装配置,ssh的免密登录安装配置ssh的免密登录安装配置
(2)区分主节点的功能:
130是resorcemanager和namenode—-由下面的配置决定
131是datanode,nodemanager
132是datanode,nodemanager
(3)JAVA_HOME内容添加
hadoop-env.sh
修改JAVA_HOME
yarn-env.sh
修改JAVA_HOME
(4)core-site.xml
属性”fs.defaultFS“表示NameNode节点地址,由”hdfs://主机名(或ip):端口号”组成。
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.255.130:9000</value> </property><property> <name>io.file.buffer.size</name> <value>131072</value> </property></configuration>
(5)hdfs-site.xml
属性“dfs.namenode.name.dir”表示NameNode存储命名空间和操作日志相关的元数据信息的本地文件系统目录,该项默认本地路径为”/tmp/hadoop-{username}/dfs/name”;
属性”dfs.datanode.data.dir“表示DataNode节点存储HDFS文件的本地文件系统目录,由”file://本地目录”组成,该项默认本地路径为”/tmp/hadoop-{username}/dfs/data”。
属性“dfs.namenode.secondary.http-address”表示SecondNameNode主机及端口号(如果无需额外指定SecondNameNode角色,可以不进行此项配置);
<property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/namenodedir,/home/hadoop/namenodedirbak</value> </property><property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/datanodedir,/home/hadoop/datanodedirbak</value> </property>
(6)yarn-site.xml
这是resourcemanager的配置定为130机子
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property><property> <name>yarn.resourcemanager.address</name> <value>192.168.255.130:18040</value> </property><property> <name>yarn.resourcemanager.scheduler.address</name <value>192.168.255.130:18030</value> </property><property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.255.130:18088</value> </property><property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>192.168.255.130:8025</value> </property>
(7)mapred-site.xml
为130机子注意和上面的配置一致
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property><property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property><property> <name>mapreduce.jobhistory.address</name> <value>192.168.225.130:10020</value> </property><property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.225.130:19888</value> </property>
(8)配置slaves
写入从节点的名称,这里为:slave1,slave2
(9)将配置好的hadoop文件copy到其它slave机器上—-不需要任何修改
scp -r hadoop/ hadoop@192.168.255.131:~/
(10)格式化namenode:——每台机器都需要进行格式化
./bin/hdfs namenode -format
(11)启动hdfs:—只需要在主节点进行
./sbin/start-dfs.sh
(12)启动yarn:—只需要在主节点进行
./sbin/start-yarn.sh
(13) jps查看—-在各节点分别查看,看是否和之前功能分配相符合
(14)查看集群状态:
./bin/hdfs dfsadmin -report
(15)查看hdfs:http://192.168.255.130:50070/
(16)查看RM:http://192.168.255.130:18088/——-即前面配置的yarn.resourcemanager.webapp.address
(17)运行wordcount程序
a、在hdfs创建/tmp/input目录
./bin/hadoop fs -mkdir /tmp ./bin/hadoop fs -mkdir /tmp/input
b、将f1、f2文件copy到hdfs /tmp/input目录
./bin/hadoop fs -put input/ /tmp
c、查看hdfs上是否有f1、f2文件
./bin/hadoop fs -ls /tmp/input/
d、执行wordcount程序
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /tmp/input /output
e、查看执行结果
./bin/hadoop fs -cat /output/part-r-0000
- Hadoop2.6.0集群配置
- hadoop2.6.0 集群配置
- hadoop2.6.0集群环境配置
- hadoop2.6.0集群环境配置
- Hadoop2.6.0分布式集群环境配置
- Hadoop2.6.0完全集群安装配置
- hadoop2 yarn 集群配置
- Hadoop2.2.0集群安装配置
- hadoop2集群搭建+HA配置
- Hadoop2.2.0 集群配置攻略
- Hadoop2.0集群安装配置
- hadoop2.7.1集群配置过程
- Hadoop2.6.4集群安装配置
- hadoop2.7.3集群安装配置
- Hadoop2.6.0集群搭建
- Hadoop2.6.0集群搭建
- Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)
- Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)
- MapReduce编程实例之自定义分区
- poj1011
- LIstView
- PHP数组的遍历
- 106.Oracle数据库SQL开发之 表——向表中添加注释
- Hadoop2.6.0集群配置
- 【编译器】使用Visual Studio编写C语言程序(附若干错误解决方案)
- [Leetcode]Search for a Range
- js中循环语句浅谈
- rk3288 camera cif分析
- 107.Oracle数据库SQL开发之 表——截断、删除表
- JS截取字符串substr 和 substring方法的区别
- CCNA学习笔记四 动态路由简介、OSPF动态路由配置
- 编程艺术【转】阅后有感