Java+大数据开发——Hadoop集群环境搭建(一)
来源:互联网 发布:矩阵论 方保镕 pdf 编辑:程序博客网 时间:2024/05/16 12:32
1集群简介
HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起
HDFS集群:
负责海量数据的存储,集群中的角色主要有 NameNode / DataNode
YARN集群:
负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager
本集群搭建案例,以3节点为例进行搭建,角色分配如下:
hdp-node-01 NameNode SecondaryNameNode ResourceManagerhdp-node-02 DataNode NodeManagerhdp-node-03 DataNode NodeManager
2服务器准备
本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本:
▨ Vmware 12.0
▨ Centos 7.0 64bit
3网络环境准备
▨ 采用NAT方式联网
▨ 网关地址:192.168.33.1
▨ 3个服务器节点IP地址:192.168.33.101、192.168.33.102、192.168.33.103
▨ 子网掩码:255.255.255.0
4服务器系统设置
▨ 添加HADOOP用户
▨ 为HADOOP用户分配sudoer权限
▨ 同步时间
▨ 设置主机名
◈ hdp-node-01
◈ hdp-node-02
◈ hdp-node-03
▨ 配置内网域名映射:
◈ 192.168.33.101 hdp-node-01
◈ 192.168.33.102 hdp-node-02
◈ 192.168.33.103 hdp-node-03
▨ 配置ssh免密登陆
▨ 配置防火墙
5JDK环境安装
▨ 上传jdk安装包
▨ 规划安装目录 /home/hadoop/apps/jdk_1.7.65
▨ 解压安装包
▨ 配置环境变量 /etc/profile
6HADOOP安装部署
▨ 上传HADOOP安装包
▨ 规划安装目录 /home/hadoop/apps/hadoop-2.6.5
▨ 解压安装包 tar –zxvf hadoop-2.6.5 –C apps/
▨ 修改配置文件 $HADOOP_HOME/etc/hadoop/
最简化配置如下:
vi hadoop-env.sh
# The java implementation to use.export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45
vi core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://hdp-node-01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/HADOOP/apps/hadoop-2.6.5/tmp</value></property></configuration>
vi hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><value>hdp-node-01:50090</value></property></configuration>
vi mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
vi yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
vi salves
hdp-node-02hdp-node-03
7启动集群
初始化HDFS
bin/hadoop namenode -format
启动HDFS
sbin/start-dfs.sh
启动YARN
sbin/start-yarn.sh
查看集群状态
jpsbin/hdfs dfsadmin -report
8测试——运行一个mapreduce程序
在HADOOP安装目录下,运行一个示例mr程序
cd $HADOOP_HOME/share/hadoop/mapreduce/hadoop jar mapredcue-example-2.6.5.jar wordcount /wordcount/input /wordcount/output
9HDFS使用
1、查看集群状态
命令: hdfs dfsadmin –report
可以看出,集群共有3个datanode可用
也可打开web控制台查看HDFS集群信息,在浏览器打开http://hdp-node-01:50070/
2、上传文件到HDFS
▣ 查看HDFS中的目录信息
命令: hadoop fs –ls /
▣ 上传文件
命令: hadoop fs -put ./ scala-2.10.6.tgz to /
出处:http://www.cnblogs.com/jerehedu/
版权声明:本文版权归烟台杰瑞教育科技有限公司和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
技术咨询:
- Java+大数据开发——Hadoop集群环境搭建(一)
- hadoop spark 大数据集群环境搭建(一)
- 【大数据】开发环境搭建(二):hadoop伪分布式集群环境搭建(上)
- 【大数据】开发环境搭建(三):hadoop伪分布式集群环境搭建(下)
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- 大数据1-hadoop、zookeeper、hbase、spark集群环境搭建
- 大数据---hadoop集群搭建
- 大数据集群环境搭建
- Hadoop环境搭建——集群篇
- Hadoop环境搭建——集群篇
- Hadoop集群搭建——环境配置
- 大数据入门之开发环境搭建之hadoop篇
- 【大数据】搭建简单的Hadoop集群
- hadoop集群搭建(二)——集群环境配置
- Apache Shiro 使用手册(四)Realm 实现
- AI开发实战4-文本输入框(TextBox)的定制1
- 4.IDA-导航(跳转到地址、导航按钮、栈帧、调用约定、局部变量布局、IDA的栈视图)
- .Net委托类型解析
- java怎样调用动态内部类
- Java+大数据开发——Hadoop集群环境搭建(一)
- hdu6165 FFF at Valentine【强联通缩点+拓扑排序】
- 图的基本存储的基本方式二
- codeforces 741B
- freemarker解决数字小数点格式化问题
- 5.IDA-文本搜索、二进制搜索(16进制字节序列)、替换16进制
- APM Server端Java探针调研
- 2017年8月22日训练日记
- SpringMVC+MyBatis+POI导入Excel