hadoop2.0全分布环境搭建
来源:互联网 发布:three.js视频教程下载 编辑:程序博客网 时间:2024/05/26 19:18
本文转载自:http://www.iteblog.com/archives/817
经过好多天的各种折腾,终于在几台电脑里面配置好了Hadoop2.2.0分布式系统,现在总结一下如何配置。
(1)、首先在每台Linux电脑上面安装好JDK6或其以上版本,并设置好JAVA_HOME等,测试一下java、javac、jps等命令是否可以在终端使用,如何配置JDK这里就不说了;
(2)、在每台Linux上安装好SSH,如何安装请参加《Linux平台下安装SSH》。后面会说如何配置SSH无密码登录。
有了上面的前提条件之后,我们接下来就可以进行安装Hadoop分布式平台了。步骤如下:
1、先设定电脑的IP为静态地址:
由于各个Linux发行版本静态IP的设置不一样,这里将介绍CentOS、Ubunt、Fedora 19静态IP的设置步骤:
(1)、CentOS静态IP地址设置步骤如下:
里面的IPADDR地址设置你想要的,我这里是192.168.142.139。
设置好后,需要让IP地址生效,运行下面命令:
然后运行ifconfig检验一下设置是否生效:
可见IP地址已经设置为192.168.142.139了!
(2)、Ubuntu静态IP地址设置步骤如下:
同样需要让IP地址生效:
同样也是输入ifconfig来检验IP设置是否生效,这里就不说了。
(3)、Fedora 19静态IP地址设置步骤如下(Fedora其他版本的静态IP设置和19版本不一样,这里就不给出了):
设置好后,需要让IP地址生效,运行下面命令:
同样也是输入ifconfig来检验IP设置是否生效,这里就不说了。
2、设置各个主机的hostname
在步骤1中,我分别配置了CentOS、Ubuntu以及Fedora三台主机,我打算用它们作为集群中的电脑,其中Fedora主机作为master,其余的两台电脑作为slave。这步将说说如何修改这三台电脑的hostname:
(1)、Fedora19 设置hostname步骤如下:
(2)、Ubuntu设置hostname步骤如下:
(3)、CentOS设置hostname步骤如下:
3、在以上三台电脑的/etc/hosts添加以下配置:
其实就是上面三台电脑的静态IP地址和其hostname的对应关系。检验是否修改生效,可以用ping来查看:
如果上面的命令可以ping通,说明设置生效了。
4、设置SSH无密码登陆
在本博客里面已经介绍了如何安装SSH(《Linux平台下安装SSH》),和怎么设置SSH无密码登陆(《Ubuntu和CentOS如何配置SSH使得无密码登陆》),这里主要是想说一下需要注意的事项,首先在master主机上面设置好了SSH无密码登陆之后,然后将生成的id_dsa.pub文件拷贝到node和node1上面去,可以运行下面的命令:
要确保192.168.142.139主机的SSH服务是运行的。wyp@192.168.142.139的wyp是你需要登录192.168.142.139主机的用户名。同样,你也可以用上面类似的命令将id_dsa.pub拷贝到192.168.142.140主机上面去。
当然,你也可以用scp命令将文件拷贝到相应的主机:
检验是否可以从master无密码登录node和node1,可以用下面的命令:
第一次运行上面的命令会出现上述信息。上面[wyp@node ~]已经暗示了我们成功从master无密码登录node;如果在登陆过程中出现了需要输入密码才能登录node,说明SSH无密码登录没成功,一般都是文件权限的问题,解决方法请参照《Ubuntu和CentOS如何配置SSH使得无密码登陆》。
5、下载好Hadoop,这里用到的是hadoop-2.2.0.tar.gz,你可以用下面的命令去下载:
下面的操作都是在master机器上进行的。
运行完上面的命令之后,hadoop-2.2.0.tar.gz文件将会保存在/home/wyp/Downloads/hadoop里面,请解压它
之后将会在hadoop文件夹下面生成hadoop-2.2.0文件夹,运行下面的命令
显示出刚刚解压文件的文件夹。
6、配置Hadoop的环境变量
然后按:wq保存。为了让刚刚的设置生效,运行下面的命令
在终端输入hadoop命令查看Hadoop的环境变量是否生效:
如果显示上面的信息,说明环境变量生效了,如果显示不了,重启一下电脑再试试。
7、修改Hadoop的配置文件
修改Hadoop的hadoop-env.sh配置文件,设置jdk所在的路径:
依次修改core-site.xml、yarn-site.xml、mapred-site.xml和hdfs-site.xml配置文件
配置好Hadoop的相关东西之后,请将hadoop-2.2.0整个文件夹分别拷贝到node和node1主机上面去,设置都不需要改!
8、关掉master、node和node1的防火墙
如果在node上启动nodemanager,遇到java.net.NoRouteToHostException异常
说明了没有关闭防火墙,各个linux平台关闭防火墙的方法不一样,这里也分享一下:
(1)、对于ubuntu关闭防火墙
(2)、对于fedora关闭防火墙可以运行:
9、查看Hadoop是否运行成功
首先在master上面格式化一下HDFS,如下命令
在master中启动 namenode 和 resourcemanager
在node和node1中启动datanode 和 nodemanager
检查Hadoop集群是否安装好了,在master上面运行jps,如果有NameNode、ResourceManager二个进程,说明master安装好了。
在node(node1)上面运行jps,如果有DataNode、NodeManager二个进程,说明node(node1)安装好了。
- hadoop2.0全分布环境搭建
- hadoop2.4.1的伪分布环境搭建
- Hadoop2.6.0伪分布环境搭建
- Hadoop2.x伪分布环境搭建
- Hadoop2环境搭建(单机伪分布)
- hadoop2.4.1伪分布环境搭建
- Hadoop2.6.0伪分布环境搭建
- Hadoop2.7.3搭建单机、伪分布环境
- 高效5步走,快速搭建Hadoop2伪分布环境
- 1、Hadoop2.6.0 和 Hadoop1.2.1伪分布环境搭建
- vmvare上hadoop2.6的伪分布环境搭建
- hadoop2.6.0全分布实现
- hadoop2.2伪分布搭建
- hadoop2.2.0伪分布搭建
- Hadoop2.7.3全分布式环境搭建(非HA)
- ubuntu14.04的hadoop环境搭建(全分布模式)
- Hadoop+spark+hive全分布环境的搭建
- 伪分布环境下CentOS 7+Hadoop2.6.0+Eclipse开发环境搭建
- 关于vc tree控件的单击事件 延迟显示
- android 操作SD卡上的文件
- MySQL导入.sql文件及常用命令
- 一些第三方库的了解
- 禁用jquery ajax缓存
- hadoop2.0全分布环境搭建
- VB中使用系统注册表,DOS的使用简介
- poj1061
- HDU 2571 命运
- 设计模式一 工厂模式Factory
- Socket.IO 和 Node.js 入门(转)
- Linux下C++访问MySQL数据库
- NGUI的UITexture和UISprite的比较【NGUI3.5.8】
- Android 多线程操作之 Handler 与 HandlerThread