CentOS6.4之图解配置Hadoop1.2单机伪分布式
来源:互联网 发布:域名再长狼也能记住 编辑:程序博客网 时间:2024/05/29 09:55
源文地址:http://qindongliang1922.iteye.com/blog/1962373
基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了
新版本解决了1.x中的NameNode,JobTracker单点故障问题,使用yarn统一了分布式开发的集群平台,给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop,那么散仙今天伪分布式的部署,使用的是Apache1.2的hadoop稳定版本,关于2.x的hadoop的部署,散仙会在后面的文章中给出例子。下面进入正题。hadoop的部署总共有3种类型,分别是单机版,单机伪分布式版,以及完全分布式集群三种类型,只要熟悉一些Linux的一些基本操作就能很快上手,当然前提是你还有一定的Java基础,毕竟Hadoop的就是用Java编写的。
关于JDK环境变量的设置及SSH无验证登陆的配置(可以参考的我的上一篇文章),散仙就不在这里详细说明了,
网上搜一下,有很多讲解的。单机版以及伪分布式的部署,只需要一个节点即可,首先我们要在在设置主机名,使用vi /etc/sysconfig/network 进行修改并保存。
然后,我们在hosts文件里配置,主机名与IP的映射关系
使用命令 vi /etc/hosts进行保存修改即可
然后拷贝已经下载的好的hadoop压缩包,至根目录,并解压,首先我们需要配置的是在conf下的hadoop-env.sh这个文件,使用vi hadood-env.sh进行取消注释的JAVA HOME,然后把我们自己的JDK路径设置上,并保存
接下来需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
下一步需要配置的是hdfs的副本个数,因为我们是单机的所以副本数应该为1,默认是3,如果节点数比3少那么hadoop会启动报错。编辑文件
hdfs.site.xml添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
到这一步,其实已经可以启动HDFS的集群了,但是为了演示完整,我们把JobTracke也配置一下。编辑文件mapred-site.xml添加
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
到此步,我们已经配置完毕,再准备启动我们的集群前,还有一项重要的工作要做,就是需要格式化我们的namenode,进行hadoop根目录,然后执行bin/hadoop namenode -format即可
现在就可以启动我们的hadoop了,执行命令,
bin/start-all.sh
使用JPS命令查看端口情况,检测启动是否成功
最后,为了方便测试,散仙把防火墙关闭了,如果是在生产环境中,可以在IP里设置Hadoop的对外开放端口,千万不能关闭防火墙,很危险的一件事,当然我们这里是测试,才这么做的,执行命令 service iptables stop
最后,我们在Win上访问Linux的服务,访问地址如下
:master:50030,以及master:50070,查看Hadoop的Web管理页面。
至此,我们的伪分布式模式就部署成功了,如果想要停止集群服务,可以使用bin/stop-all.sh命令,来停止服务。
0 0
- CentOS6.4之图解配置Hadoop1.2单机伪分布式
- CentOS6.4之图解Hadoop1.2.1完全分布式部署
- Centos6.4-Hadoop1.2.1-Hbase-0.95.2 配置分布式服务器
- Centos6.4-Hadoop1.2.1-Hbase-0.95.2 配置分布式服务器
- Hadoop1.2.1 伪分布式配置
- Ubuntu11.10下安装Hadoop1.0.1(单机伪分布式)
- hadoop1.x的单机与伪分布式部署
- Hadoop单机伪分布式配置
- Hadoop1.0版本伪分布式的配置
- Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置
- linux下Hadoop1.0.4_单机伪分布式部署和分布式部署
- Hadoop入门-单机伪分布式配置
- Hadoop入门-单机伪分布式配置
- Hadoop入门-单机伪分布式配置
- Hadoop2.2.0单机伪分布式安装配置
- ubuntu14.04 配置hadoop 单机+伪分布式
- HBase单机/伪分布式安装/配置笔记
- 单机伪分布式环境搭建(配置Hadoop)
- 利用AjaxPro2实现前后台数据交互
- VB打开excel,有密码验证,命令无法继续执行
- centos 下使用 java 程序
- ubuntu 上敲Android的一些坑
- android 集成第三方静态库的编译方法
- CentOS6.4之图解配置Hadoop1.2单机伪分布式
- NYOJ--中缀式变后缀式
- GPS数据格式转换
- c++类的基本概念
- HIVIEW新建svn仓库及用户
- Android clipboard setPrimaryClip
- 到底EJB是什么
- HttpURLConnection和HTTPClient的比较
- ubuntu下adsl拨号上网