Hadoop 部署 2
来源:互联网 发布:akg耳机 知乎 编辑:程序博客网 时间:2024/06/05 14:21
1.前言:
以前在window下部署hadoop项目,部署过程中出现不少问题,虽然基本上进行了排除解决,但总体上在windows上部署hadoop分布项目不象在linux下那么顺利.最后还是在linux下进行了部署.
2.部署软硬件设备:
软件:
1.java执行环境jdk1.5+,jre1.5+
2.hadoop软件,从http://lucene.apache.org/hadoop下载后通过ant对项目进行打包获取安装在各机器上的程序副本.
硬件:
三台机器 :一台实际的linux机器,另安装了两个linux虚拟机,总体为三台机器.
暂命名为:
10.0.0.1
10.0.0.2
10.0.0.3
3.运行布局
在10.0.0.1上运行名称节点(NameNode)以及工作跟踪节点(JobTracker)
10.0.0.2以及10.0.0.3上运行数据节点(DataNode)以及任务执行节点(TaskTracker)
4系统设置
4.1支撑环境设置JAVA
对JAVA_HOME,PATH,以及CLASSPATH进行设置
具体步骤如下:
Vi /etc/profile
在文件中添加环境变量
Source /etc/profile 重新加载环境变量
4.2 在系统中设置ssh访问控制通过rsa 方式验证.
SSH-keygen –t rsa
对产生的id_rsa.pub复制到authorized_keys中,然后把authorized_keys文件复制到
其他待访问机器的/user/home/.ssh下这样就建立了对于当前用户无密码访问其他机器的环境.
4.3 在各台及其上启动rsync服务。在启动过程中例如我们输入bin/start-all.sh这样在开始启动过程中待启动的机器会与当前及其进行同步.例如我们在10.0.0.1上启动在
屏幕上会看到
10.0.0.2 rsync from 10.0.0.1:/hadood目录
不配置的话在这里会出现错误.
4.4 slaves 设置
在部署目录下的conf中填写待启动的机器节点列表
例如10.0.0.2
10.0.0.3
通过以上部署直接在终端输入bin/start-all.sh
即可启动hadoop的分布文件系统以及分布计算系统环境。
- Hadoop 部署 2
- Hadoop运维(2) Hive部署
- 部署Hadoop
- Hadoop部署
- HADOOP部署
- hadoop部署
- hadoop 部署
- hadoop 部署
- hadoop 部署
- 部署hadoop
- hadoop分布式部署系列2:MR1
- Hadoop 2.5.2版本安装部署
- Hadoop 2.5.2版本安装部署
- CentOS集群部署hadoop-2.5.2
- CentOS7.2系统Hadoop集群部署
- 五、Hadoop 2.5.2分布式环境部署
- hadoop踩坑记2--伪分布式部署
- hadoop介绍 - Hadoop部署案例
- 对于IntelliJ IDEA 5.0 验证分析
- Struts原理与实践(2)
- 对日本汽车产业政策不宜评价过高
- 应该以静态方法访问类型DealString中的静态方法toGb(string)
- Struts原理与实践(3)
- Hadoop 部署 2
- Struts原理与实践(4)
- J2ME程序开发新手入门九大要点
- 告诉你办公司的手续过程(创业必备知识)
- Struts原理与实践(5)
- 记几个容易忘的oracle 函数
- Struts原理与实践(6)
- 超文标记语言简明导引
- C/C++程序员应聘常见面试题深入剖析