学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(2)
来源:互联网 发布:伍佰 白鸽 知乎 编辑:程序博客网 时间:2024/04/28 23:55
上周日(8月20日)接通了网络,做了一些准备工作。打铁趁热,周一(21日)完成hadoop完全分布式的全部。
简单梳理下主要步骤:
- 选定一台机器作为 Master
- 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
- 在 Master 节点上安装 Hadoop,并完成配置
- 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
- 修改各节点hostname,host, 配置ssh,实现无密码登陆(Master对Salve)
- 配置Master节点上的hadoop(slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml).
- 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
- 在 Master 节点上开启 Hadoop
主要参考:(感谢)
1.http://www.powerxing.com/install-hadoop-cluster/
2.http://www.cnblogs.com/laov/p/3421479.html
过程还算顺利,遇到的问题:有一台centos6.3的系统下载jdk有问题,(好像是软件源的问题,找了几个方法,无法解决,没有深究。换成了centos6.5系统,问题解决)。
附上过程中的图片:
集群简单介绍
阅读全文
0 0
- 学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(2)
- 学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(1)
- 学习记录---颤抖吧,hadoop!(三)----搭建伪分布式
- hadoop学习笔记:从零开始搭建hadoop集群(完全分布式)
- 从零开始搭建hadoop分布式集群环境:(五)hadoop完全分布式集群环境配置
- hadoop完全分布式集群搭建
- hadoop完全分布式集群搭建
- Hadoop完全分布式集群搭建
- Hadoop完全分布式集群搭建
- Hadoop完全分布式集群搭建
- 学习记录-----颤抖吧!hadoop(一)
- Hadoop分布式集群搭建(二 )完全分布式模式
- Hadoop系统完全分布式集群搭建方法
- hadoop-2.4.0完全分布式集群搭建
- 4台Hadoop集群完全分布式搭建
- Hadoop集群完全分布式搭建教程-CentOS
- Linux系统搭建完全分布式Hadoop集群
- Hadoop 2.7.1 完全 分布式 集群 搭建
- 机器人运动估计系列(二)——运动学方程(上)
- Servlet(2)
- 0823
- Tomcat 简介
- nui字典组件使用
- 学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(2)
- shell排序
- POJ
- android小白进阶MVP模式开发(三步曲),让你全面理解MVP(一)
- 年中总结
- 基于mybatis读写分离插件
- Android之Handle的使用原理解析
- Java-面向对象编程(OOP)
- 浅谈一下:运营网站的一些经历和故事