二、Hadoop集群的配置(Hadoop1.2.1,CentOS6.5)
来源:互联网 发布:fft算法 acm 编辑:程序博客网 时间:2024/06/06 13:44
三台机器配置(配置etc/hosts):
192.168.10.128 master
192.168.10.135 slave1
192.168.10.136 slave2
并修改三台机器的主机名:
# vi /etc/sysconfig/network
一、配置三台机器的SSH免密码登陆(Master要能够免密码登陆两台slave):
二、配置三台主机的Hadoop文件http://blog.csdn.net/gsying1474/article/details/49468727
1、环境hadoop变量配置
# vi conf/hadoop-env.sh添加如下内容
export JAVA_HOME=/usr/java/jdk1.6.0_27/
2、配置conf/core-site.xml文件,Hadoop的核心文件,配置的是HDFS的地址和端口号
3、配置conf/hdfs-site.xml,Hadoop中的HDFS的配置,配置的备份方式默认是3,在单机版的Hadoop中,需要设置为1<configuration><property><name>fs.default.name</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/tmp</value></property></configuration>
4、配置conf/mapred-site.xml,Hadoop中MapReduce配置文件,配置JobTracker的地址和端口(value中的配置,在master中写master,slave中,分别写slave1/slave2)<configuration><property><name>dfs.replication</name><value>2</value></property></configuration>
<configuration><property><name>mapred.job.tracker</name><value>master:9001</value></property></configuration>
5、启动Hadoop之前需要格式化Hadoop的文件系统HDFS
6、启动Hadoop# ./bin/hadoop namenode -format
7、访问地址确保启动成功了# ./bin/start-all.sh
http://192.168.10.128:50030http://192.168.10.128:50070或者执行命令查看# ./bin/hadoop dfsadmin -report
#####################################返回内容示例#####################################Datanodes available: 3 (3 total, 0 dead)Name: 192.168.10.135:50010Decommission Status : NormalConfigured Capacity: 18568990720 (17.29 GB)DFS Used: 28672 (28 KB)Non DFS Used: 2887614464 (2.69 GB)DFS Remaining: 15681347584(14.6 GB)DFS Used%: 0%DFS Remaining%: 84.45%Last contact: Thu Oct 29 04:39:13 CST 2015Name: 192.168.10.128:50010Decommission Status : NormalConfigured Capacity: 18568990720 (17.29 GB)DFS Used: 28687 (28.01 KB)Non DFS Used: 2888536049 (2.69 GB)DFS Remaining: 15680425984(14.6 GB)DFS Used%: 0%DFS Remaining%: 84.44%Last contact: Thu Oct 29 04:39:12 CST 2015Name: 192.168.10.136:50010Decommission Status : NormalConfigured Capacity: 18568990720 (17.29 GB)DFS Used: 28687 (28.01 KB)Non DFS Used: 2887630833 (2.69 GB)DFS Remaining: 15681331200(14.6 GB)DFS Used%: 0%DFS Remaining%: 84.45%Last contact: Thu Oct 29 04:39:13 CST 2015#####################################返回内容示例#####################################
0 0
- 二、Hadoop集群的配置(Hadoop1.2.1,CentOS6.5)
- 一、Hadoop单机版standalone的安装与配置(Hadoop1.2.1,CentOS6.5)
- Hadoop1.2.1集群配置
- Centos6.5安装Hadoop配置集群环境
- Hadoop1.2.1集群安装二
- CentOS6.5+hadoop1.2.1安装配置测试记录
- 【Hadoop】7、Hadoop1.2.1基于虚拟机中的CentOS6.6的Hadoop单节点安装
- 配置hadoop集群二
- CentOs6.5环境下Hadoop集群免密登录配置
- Hadoop1.2.1集群安装配置笔记
- CentOS的Hadoop集群配置(二)
- CentOS的Hadoop集群配置(二)
- Hadoop1.0.3 集群配置
- CentOS6.5搭建Hadoop集群
- Centos6.4 +Hadoop 1.2.1集群配置
- centos6安装hadoop1.2.1
- 我的Hadoop之路——VMWare8+Ubuntu12.04+Hadoop1.2.1集群搭建
- 【Hadoop】8、基于虚拟机的Hadoop1.2.1完全分布式集群安装
- 条件操作符和sizeof操作符
- jQuery-easyUI的使用:easyloader的使用解析
- c++读取csv文件
- 使用AndroidStudio一分钟实现Navigation Drawer 导航抽屉效果
- oc文件操作
- 二、Hadoop集群的配置(Hadoop1.2.1,CentOS6.5)
- c# 开发CAD 只初始化窗口一次,并修改其内的数据
- android用户界面之ProgressBar教程实例汇总
- 学习windows驱动(创建IO请求)
- SQLiteOpenHelper 使用方法
- (小知识点)android 获取json语句中数组的某一个值
- objc消息逆向分析
- ViewConfiguration 使用
- C++ map的基本操作和使用