Hadoop2.6集群环境搭建(HDFS HA+YARN)
来源:互联网 发布:淘宝基础知识培训 编辑:程序博客网 时间:2024/03/29 15:12
Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次。
准备工作:
1、笔记本4G内存 ,操作系统WIN7 (屌丝的配置)
2、工具VMware Workstation
3、虚拟机:CentOS6.4共四台
虚拟机设置:
每台机器:内存512M,硬盘40G,网络适配器:NAT模式
选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成)
编辑虚拟机网络:
点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要。
NAT设置默认IP会自动生成,但是我们的集群中IP需要手动设置。
本机Win7 :VMnet8 网络设置
实验环境:
lspacing="0">
Ip
hostname
role
192.168.249.130
SY-0130
ActiveNameNode
192.168.249.131
SY-0131
StandByNameNode
192.168.249.132
SY-0132
DataNode1
192.168.249.133
SY-0133
DataNode2
Linux网络设置:
1、新建用户如:hadoop。不建议使用root用户搭建集群(root权限过大)
2、使得hadoop用户获得sudo权限。
[root@SY-0130 ~]# vi /etc/sudoers## Allow root to run any commands anywhereroot ALL=(ALL) ALLhadoop ALL=(ALL) ALL
3、查看当前虚机当前网络使用网卡设备
[root@SY-0130 hadoop]# ifconfigeth2 Link encap:Ethernet HWaddr 00:50:56:35:8E:E8 inet addr:192.168.249.130 Bcast:192.168.249.255 Mask:255.255.255.0 inet6 addr: fe80::250:56ff:fe35:8ee8/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:877059 errors:0 dropped:0 overruns:0 frame:0 TX packets:597769 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:865720294 (825.6 MiB) TX bytes:324530557 (309.4 MiB) Interrupt:19 Base address:0x2024 lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:1354 errors:0 dropped:0 overruns:0 frame:0 TX packets:1354 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:196675 (192.0 KiB) TX bytes:196675 (192.0 KiB)
[root@SY-0130 ~]# cat /proc/net/dev,当前网卡,我的为eth2
[root@SY-0130 ~]# cat /proc/net/devInter-| Receive | Transmit face |bytes packets errs drop fifo frame compressed multicast|bytes packets errs drop fifo colls carrier compressed lo: 196675 1354 0 0 0 0 0 0 196675 1354 0 0 0 0 0 0 eth2:865576893 875205 0 0 0 0 0 0 324425517 596433 0 0 0 0 0 0
4、查看当前网卡对应的Mac地址
[root@SY-0130 ~]# cat /etc/udev/rules.d/70-persistent-net.rules # This file was automatically generated by the /lib/udev/write_net_rules# program, run by the persistent-net-generator.rules rules file.## You can modify it, as long as you keep each rule on a single# line, and change only the value of the NAME= key.# PCI device 0x1022:0x2000 (vmxnet)SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:b5:fd:bb", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"# PCI device 0x1022:0x2000 (vmxnet)SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:50:56:35:8e:e8", ATTR{type}=="1", KERNEL=="eth*", NAME="eth2"
5、Network Configuration
[root@SY-0130 ~]# setup
选择eth2,进行设置,更改为当前网卡设备eth2,并且进行IP、网管、DNS设置。
DNS Server 与Win7的网络中的DNS Server一致,这样虚拟机也可以连接Internet网了,方便下载安装软件。
另外还有将防火墙关闭。
6、修改hostname
[root@SY-0130 ~]# vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=SY-0130
7、修改hosts
[hadoop@SY-0130 ~]$ sudo vi /etc/hosts
#添加如下内容
192.168.249.130 SY-0130192.168.249.131 SY-0131192.168.249.132 SY-0132192.168.249.133 SY-0133
- 本文来自:Linux教程网
- Hadoop2.6集群环境搭建(HDFS HA+YARN)
- Hadoop2+HA+YARN环境搭建
- Hadoop2.2.0集群搭建(HA,联邦,yarn)
- hadoop2.x新特性HDFS HA、YARN HA,分布式搭建
- 搭建hadoop2.6.0 HDFS HA及YARN HA
- hadoop集群搭建HDFS、HA、 YARN
- hadoop集群搭建HDFS、HA、 YARN
- 基于hadoop2.7.3搭建多机环境(YARN+HA)
- hadoop2.7.3 HA YARN 环境搭建
- Hadoop2.5的HDFS集群HA搭建(高可用集群)
- 搭建hadoop2.6.0 HA及YARN HA
- 搭建hadoop2.6.0 HA及YARN HA
- 搭建hadoop2.6.0 HA及YARN HA
- 搭建hadoop2.6.0 HA及YARN HA
- hadoop2.5.2HDFS HA搭建
- Hadoop2.7.3-HA 集群搭建(传智播客)
- Hadoop2.4.1集群搭建(YARN)
- HDFS集群搭建(HA)与启动
- titlemap在cocos2dx-2.x中的使用
- lucene索引文件存储在hadoop hdfs文件系统的疑问
- jquery的$.ajax async
- 用来理解 Java 编程语言的 8 个图表
- Omap4460内存映射简介
- Hadoop2.6集群环境搭建(HDFS HA+YARN)
- Perl 回调函数例子
- 2014年“任性”草根创造了哪些神话?
- Oracle “CONNECT BY” 使用
- ubuntu 编译源码包 dsc diff.gz orig.tar.gz
- HDOJ 题目2662 Coin(数学)
- 直接插入排序
- Android子线程创建Handler方法
- Mysql把第一个中文转换成字母。