企业大数据平台二：企业大数据平台环境准备

标签（空格分隔）： 企业大数据平台

---

一,Hadoop发型版本

1，apache版本–开源版本
2，Cloudera版本:解决各个框架的兼容性问题和版本选择，修复了企业中一些常见的问题

http://archive.cloudera.com/cdh5/cdh/5.3.x--最稳定CM 5.3.x:集群管理工具http://archive.cloudera.com/cm5/

3，hortonworks版本

zeppelin:http://zeppelin.apache.org/

二，准备工作

1，安装规划
a,IP地址，主机名，映射
b,防火墙，端口，selinux
c,目录
–HDFS
NN：/data01/dfs/nn /data02/dfs/nn—dfs.namenode.name.dir
DN：/data01/dfs/dn /data01/dfs/dn—dfs.datanode.data.dir
–Zookeeper
datadir
–Kafka
dataDir
–所有框架组件的日志目录

2，机器
–磁盘阵列
系统盘：安装系统以及相关软件数据（raid1:将2块硬盘映射成一块磁盘–系统备份）
数据盘：存储数据/JBOD(提高性能)/raid 0

3,操作系统
–CentOS 6.x 64位
–RedHat 6.4 64位

选择桌面版本语言选择英文（中文容易出现问题）

4,–ip地址：集群所有机器的IP地址
尽可能在同一个网段上
尽可能，交换机在同一个机架上

192.168.252.141192.168.252.142192.168.252.143

5,–设置主机名称

vi /etc/sysconfig/networkcdh001.cluster.com--192.168.252.141cdh002.cluster.com--192.168.252.142cdh003.cluster.com--192.168.252.143

6,–设置IP和hostname的映射

192.168.252.141 cdh001.cluster.com cdh001192.168.252.142 cdh002.cluster.com cdh002192.168.252.143 cdh003.cluster.com cdh003

7,禁用IPV6地址（生产环境）

vi /etc/modprobe.d/dist.confecho "          " >> /etc/modprobe.d/dist.confecho "alias net-pf-10 off" >> /etc/modprobe.d/dist.confecho "alias ipv6 off" >> /etc/modprobe.d/dist.conf

需要重启生效

8，创建普通用户

adduser clusterpasswd cluster

设置sudo权限

chmod u+x /etc/sudoers    //添加写权限

vi /etc/sudoers第一行输入：cluster ALL=(root)NOPASSWD:ALL

chmod u-x /etc/sudoers    //收回写权限

9,关闭防火墙

sudo service iptables stop   //临时生效sudo chkconfig iptables off  //永久生效

10,禁用sselinux

sudo vi /etc/sysconfig/selinuxSELINUX=disabled

需要重启生效

11,卸载系统自带的OpenJdk

sudo rpm -qa|grep javasudo rpm -e --nodeps xxxxxxxxxxx

12,设置文件打开数量和用户最大进程数

ulimit -a   //查看文件打开数量ulimit -u   //查看用户最大进程数

sudo vi /etc/security/limits.conf*               soft    nofile            32768*               hard    nofile            1048576*               soft    nproc            65536*               hard    nproc            65536*               soft    memlock            unlimited*               hard    memlock            unlimited

13,集群时间同步
–找一台服务器作为时间服务器：cdh001.cluster.com

sudo vi /etc/ntp.confrestrict 192.168.252.0 mask 255.255.255.0 nomodify notrap#server 0.centos.pool.ntp.org#server 1.centos.pool.ntp.org#server 2.centos.pool.ntp.orgserver  127.127.1.0     # local clockfudge   127.127.1.0 stratum 10

sudo vi /etc/sysconfig/ntpdSYNC_HWCLOCK=yes

sudo service ntpd startsudo chkconfig ntpd on

–在其他服务器上设置定时任务

crontab -e---------*/10 * * * * /usr/sbin/ntpdate cdh001.cluster.com---------service crond restart