基于Docker搭建Hadoop集群之升级版
来源:互联网 发布:浏览器默认端口号 编辑:程序博客网 时间:2024/05/16 19:25
摘要: kiwenlau/hadoop-cluster-docker是去年参加Docker巨好玩比赛开发的,得了二等奖并赢了一块苹果手表,目前这个项目已经在GitHub上获得了236个Star,DockerHub的镜像下载次数2000+。总之,项目还算很受欢迎吧,这篇博客将介绍项目的升级版。
- 作者: KiwenLau
- 日期: 2016-06-12
一. 项目介绍
将Hadoop打包到Docker镜像中,就可以快速地在单个机器上搭建Hadoop集群,这样可以方便新手测试和学习。
如下图所示,Hadoop的master和slave分别运行在不同的Docker容器中,其中hadoop-master容器中运行NameNode和ResourceManager,hadoop-slave容器中运行DataNode和NodeManager。NameNode和DataNode是Hadoop分布式文件系统HDFS的组件,负责储存输入以及输出数据,而ResourceManager和NodeManager是Hadoop集群资源管理系统YARN的组件,负责CPU和内存资源的调度。
之前的版本使用serf/dnsmasq为Hadoop集群提供DNS服务,由于Docker网络功能更新,现在并不需要了。更新的版本中,使用以下命令为Hadoop集群创建单独的网络:
sudo docker network create --driver=bridge hadoop
然后在运行Hadoop容器时,使用”–net=hadoop”选项,这时所有容器将运行在hadoop网络中,它们可以通过容器名称进行通信。
项目更新要点:
- 去除serf/dnsmasq
- 合并Master和Slave镜像
- 使用kiwenlau/compile-hadoop项目编译的Hadoo进行安装
- 优化Hadoop配置
二. 3节点Hadoop集群搭建步骤
1. 下载Docker镜像
sudo docker pull kiwenlau/hadoop:1.0
2. 下载GitHub仓库
git clone https://github.com/kiwenlau/hadoop-cluster-docker
3. 创建Hadoop网络
sudo docker network create --driver=bridge hadoop
4. 运行Docker容器
cd hadoop-cluster-docker./start-container.sh
运行结果
start hadoop-master container...start hadoop-slave1 container...start hadoop-slave2 container...root@hadoop-master:~#
- 启动了3个容器,1个master, 2个slave
- 运行后就进入了hadoop-master容器的/root目录
5. 启动hadoop
./start-hadoop.sh
6. 运行wordcount
./run-wordcount.sh
运行结果
input file1.txt:Hello Hadoopinput file2.txt:Hello Dockerwordcount output:Docker1Hadoop1Hello2
Hadoop网页管理地址:
- NameNode: http://192.168.59.1:50070/
- ResourceManager: http://192.168.59.1:8088/
192.168.59.1为运行容器的主机的IP。
三. N节点Hadoop集群搭建步骤
1. 准备
- 参考第二部分1~3:下载Docker镜像,下载GitHub仓库,以及创建Hadoop网络
2. 重新构建Docker镜像
./resize-cluster.sh 5
- 可以指定任意N(N>1)
3. 启动Docker容器
./start-container.sh 5
- 与第2步中的N保持一致。
4. 运行Hadoop
- 参考第二部分5~6:启动Hadoop,并运行wordcount。
参考
- 基于Docker搭建多节点Hadoop集群
- How to Install Hadoop on Ubuntu 13.10
版权声明:转载时请注明作者KiwenLau以及本文地址:http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/
0 0
- 基于Docker搭建Hadoop集群之升级版
- 基于Docker搭建Hadoop集群之升级版
- 基于Docker搭建Hadoop集群
- 基于Docker搭建Hadoop集群(ubuntu操作系统)
- 基于Docker快速搭建Hadoop集群
- 基于docker的hadoop HA 集群搭建
- 基于Docker的Hadoop集群快速搭建
- Docker搭建hadoop集群
- 基于docker搭建hadoop分布式集群(一)
- 基于虚拟linux+docker搭建hadoop完全分布式集群
- 在基于docker的Hadoop集群上搭建Spark
- 如何基于Docker快速搭建多节点Hadoop集群
- 使用Docker搭建hadoop集群
- docker快速搭建hadoop集群
- docker搭建hadoop分布式集群
- 使用Docker搭建hadoop集群
- Docker之Hadoop普通集群搭建(五)
- 基于docker的hadoop分布式集群
- Android恢复出厂设置保存文件标志位到 persist 分区
- RAID
- [LeetCode]Course Schedule
- Ubuntu安装Eclipse-cpp教程(含java运行环境搭建)
- Unix网络编程(三)--套接字编程简介
- 基于Docker搭建Hadoop集群之升级版
- NT Service 编程 操作 NT 服务
- 【毒鸡汤】基层管理如果没有这些心态,难!
- matplotlib
- oracle数据库分页原理
- 微信检测开通号码软件|检测微信
- Error(一)
- oracle分区索引及循环插入
- [51nod1597] 有限背包计数问题