hadoop集群搭建攻略

来源:互联网 发布:淘宝宝贝下架后在哪里 编辑:程序博客网 时间:2024/06/05 20:55

本人是在vmware上使用的Ubuntu14.0 server镜像进行搭建的,一共4台构成一个集群。
配置中也走了一些弯路,下面使用个人总结后的经验进行介绍。
环境:
Ubuntu14.0 server
openjdk1.7
hadoop2.6.3
首先,只配置一台机器,配置好一台后,通过简单的复杂,进行少量修改,即可完成其他几台的配置,这样可以减少巨大的工作量。
1. 搭建一台Ubuntu14.0 server虚拟机
2. 建立登录虚拟机使用hadoop的用户
3. 安装ssh(包括client和server)
4. 安装jdk
5. 下载hadoop,解压,我是直接从windows下载,传到虚拟机上的
6. 新建日志和数据目录并配置到相关配置文件
7. 修改hadoop启动运行的Java——home
8. 计划好集群各节点的ip和名称,配置到hadoop相关文件
9. 配置虚拟机的hosts
10. 将虚拟机关掉,然后复制3份,一共4台
11. 逐一打开复制的4台虚拟机,在etc/network/interfaces文件中设置好固定ip和DSN服务器
12. 启动hadoop集群


到此,hadoop集群配置完成,网上很多文章说要配置ssh免密钥登录的,我没有配置也能正常访问,可能是我4台机器的密钥都相同,已经达到了这个目的,具体还不太清楚。


参考URL:
点击打开链接

0 0