大数据CDH5环境搭建
来源:互联网 发布:jquery 清空表格数据 编辑:程序博客网 时间:2024/05/16 10:07
相关包的下载地址:
Cloudera Manager地址:
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.6.1/
http://archive.cloudera.com/cm5/installer/5.6.1/
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/5.6.1/
由于我们的操作系统为CentOS6.5,需要下载以下文件:
CDH-5.6.1-1.cdh5.6.1.p0.5-el6.parcel
CDH-5.6.1-1.cdh5.6.1.p0.5-el6.parcel.sha1
manifest.json
JDBC:http://download.softagency.net/MySQL/Downloads/Connector-J/
一、基础环境准备(所有服务器都要做)
1.修改主机名和hosts
# vi /etc/sysconfig/network --修改主机名NETWORKING=yesHOSTNAME=bigdata01.nebuinfo.com# vi /etc/hosts --修改hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.128.51 bigdata01.nebuinfo.com192.168.128.52 bigdata02.nebuinfo.com192.168.128.53 bigdata03.nebuinfo.com
2.关闭服务器防火墙以及selinux
# service iptables stop# chkconfig iptables off# vi /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled验证:# iptables -L# getenforce
3.禁用IPv6
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
4.禁用“透明大页面”
5.6.1只要这一个命令,后面版本会多出一个命令,注意看警告即可# echo never > /sys/kernel/mm/transparent_hugepage/defrag# echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
5.调整Swappiness
# cat /proc/sys/vm/swappiness默认是60修改swappiness值为10sysctl vm.swappiness=10为保证重启有效# vi /etc/sysctl.conf添加下面一行vm.swappiness=10所有服务器重启后验证hostname 和 SELINUX
6.配置免秘钥
修改好主机名以后# ssh-keygen -t rsa -P '' --在本机生成公钥# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys --公钥写入自己的认证文件# chmod 600 ~/.ssh/authorized_keys主节点执行# scp ~/.ssh/id_rsa.pub root@bigdata02.nebuinfo.com:~# scp ~/.ssh/id_rsa.pub root@bigdata03.nebuinfo.com:~各个节点执行# cat ~/id_rsa.pub >> ~/.ssh/authorized_keys# chmod 600 ~/.ssh/authorized_keys# rm ~/id_rsa.pub各个节点执行(可不做)# cd ~/.ssh# ssh-copy-id -i id_rsa.pub root@bigdata01.nebuinfo.com
7.利用ntp配置服务器时间同步
先选定一台主服务器,其他服务器都同步这台主服务器的时间先修改时间# date -s '2017-10-24 12:48:30' +'%F %T'(实际改成当前时间)将修改后的时间写入硬件时钟,确保重启有效# hwclock -w配置开机启动# chkconfig ntpd on# chkconfig --list ntpd先配置主服务器 # vi /etc/ntp.conf (找到这一行,放开restrict的注释,并且修改ip地址) # Hosts on local network are less restricted. restrict 192.168.128.1 mask 255.255.255.0 nomodify notrap (找到这一行,注释下面的server) # Please consider joining the pool (http://www.pool.ntp.org/join.html). #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst 添加下面两行 server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10配置其他服务器 # vi /etc/ntp.conf (找到这一行,放开restrict的注释,并且修改ip地址) # Hosts on local network are less restricted. restrict 192.168.128.1 nomodify notrap noquery (找到这一行,注释下面的server) # Please consider joining the pool (http://www.pool.ntp.org/join.html). #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst 指定时间服务 server 192.168.128.51改好文件后所有机器重启ntp服务# service ntpd restart5-10分钟后验证时间是否同步# ntpstat synchronised to NTP server (192.168.128.51) at stratum 12 time correct to within 18 mspolling server every 64 s(显示上面内容说明同步成功)利用date命令再次验证# date
8.JDK1.8安装及配置
参考资料:http://www.cnblogs.com/shihaiming/p/5809553.html
下载jdk8
:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应jdk版本下载
- 登录Linux切换到root用户
卸载系统自带的JDK
[root@localhost java]# rpm -qa|grep java --查询目前已装的JDKjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64tzdata-java-2013g-1.el6.noarchjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 --卸载相应的JDK
在usr目录下建立java安装目录(必须要装在这个目录,否则后面会有找不到java_home的报错)
# mkdir /usr/java
将jdk-8u151-linux-x64.gz发送到java目录下
解压jdk到当前目录
# tar -zxvf jdk-8u151-linux-x64.gz
得到文件夹 jdk1.8.0_151编辑配置文件,配置环境变量
vi /etc/profile
添加如下内容:JAVA_HOME=/usr/java/jdk1.8.0_151CLASSPATH=$JAVA_HOME/lib/PATH=$PATH:$JAVA_HOME/binexport PATH JAVA_HOME CLASSPATH
执行命令 :
# source /etc/profile
查看安装情况
[root@localhost ~]# java -versionjava version "1.8.0_151"Java(TM) SE Runtime Environment (build 1.8.0_151-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)
9.挂载CenterOS镜像文件配置yum源
如果通互联网可以不做,否则必须做暂时没写,后面补上
二、CDH所需服务搭建
1.MySql安装及配置
查看并卸载已有的mysql(所有服务器都要做)# rpm -qa|grep -i mysql# rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64# mkdir /app/mysql(只在主节点安装)将mysql的安装包上传到/app/mysql MySQL-client-5.6.13-1.el6.x86_64.rpm MySQL-devel-5.6.13-1.el6.x86_64.rpm MySQL-server-5.6.13-1.el6.x86_64.rpm MySQL-shared-compat-5.6.35-1.el6.x86_64.rpm# cd /app/mysql# rpm -ivh * Preparing... ########################################### [100%] 1:MySQL-server ########################################### [ 33%]安装成功后启动# service mysql start查看root初始密码# cat /root/.mysql_secret例如:# The random password set for the root user at Tue Oct 24 17:01:46 2017 (local time): OYRocvL1# mysql -uroot -pOYRocvL1 (注意密码前面有个-p) mysql> SET PASSWORD = PASSWORD('123456'); --先要修改默认的root密码 否则无法进行下面的操作 切换到mysql的database中,里面存储了用户信息,可以修改密码 mysql> use mysql; 为其他客户端开启连接权限 mysql> grant all privileges on *.* to 'root'@'%' identified by '123456'; mysql> flush privileges;//刷新权限创建database和用户复制下面命令在mysql命令行下执行: create database hive; create database oozie; grant all on hive.* to 'hive'@'%' identified by 'hive' with grant option; grant all on oozie.* to 'oozie'@'%' identified by 'oozie' with grant option; flush privileges;创建hive和oozie用户后面会用到,用户名就是密码
2.Cloudera-Manager和CDH安装
开启Http服务(目的是为了提供yum源)# service httpd start将提供的cm文件夹放到/var/www/html目录下# ll /var/www/html/cm drwxr-xr-x 4 root root 4096 10月 24 19:30 5.6.1 -rw-r--r-- 1 root root 1690 10月 24 19:30 cloudera-manager-installer.bin -rw-r--r-- 1 root root 1690 10月 24 19:30 cloudera-manager.repo -rw-r--r-- 1 root root 1690 10月 24 19:30 RPM-GPG-KEY-cloudera通过浏览器访问http://192.168.128.51/cm/可以看到相应文件夹添加mysql驱动包mysql-connector-java.jar复制到/usr/share/java/创建目录mkdir -p /opt/cloudera/parcel-repo把cdh下的文件放到此目录下得到CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcelCDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1manifest.json把sha1文件改为sha# mv CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 DH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha给cloudera-manager-installer.bin赋予可执行权限# chmod u+x cloudera-manager-installer.bin配置cloudera-manager yum源# vi /etc/yum.repos.d/cloudera-manager.repo 修改为以下内容 [cloudera-manager] name = Cloudera Manager, Version 5.6.1 baseurl = http://192.168.128.51/cm/5.6.1/ gpgcheck = 0执行cloudera-manager-installer.bin开始安装# ./cloudera-manager-installer.bin会出现安装界面,用回车选Next,Yes即可
访问http://192.168.128.51
用户名:admin密码admin
选择免费版
根据域名搜索主机
bigdata[01-03].nebuinfo.com
点击搜索得到以下三台机器
使用Parcel安装
选择CDH5.6.1版本
选择自定义Cloudera Manager Agent
并且设置包路径(截图不太一样,理解原理就行)
http://192.168.128.51/cm/5.6.1/
不勾选单用户模式
选择root用户
并设置密码admin
等待安装完毕下一步
等待安装
如果上面的准备工作都做了应该不会有警告,其他警告要看具体情况
根据服务器的配置情况尽量分散各个服务器的压力
配置前面安装好的mysql数据库
默认配置即可
等待安装
完成后可以看到以下页面
参考
http://blog.csdn.net/jdplus/article/details/45920733
http://blog.csdn.net/xjkwq1qq/article/details/50394210
- 大数据CDH5环境搭建
- 大数据Hadoop测试环境搭建(CM、CDH5离线安装)
- CDH5离线文件大数据平台的搭建
- 大数据环境搭建
- 大数据环境搭建
- 大数据环境搭建
- 大数据环境搭建
- 大数据环境搭建
- 大数据测试环境搭建
- 大数据,环境搭建,基础;
- 大数据集群环境搭建
- 大数据环境搭建(测试)
- oozie-4.0.0-cdh5.3.1环境搭建
- ClouderaManger(CDH5.5.1)大数据安装
- 大数据分析实验环境搭建
- 大数据学习(一):实时处理环境搭建
- 初学大数据之环境搭建
- Ambari大数据的搭建环境准备
- 大型网站架构演变和知识体系
- Django 博客
- 用 Clonezilla 光盘备份硬盘分区
- ROS(一)关于创建一个工作空间并且编译一个package的两种方法
- vue小结笔记(3)之指令在表单上的应用
- 大数据CDH5环境搭建
- java 项目报错,查找错误的方法
- maven failed to read artifact decriptor for de.tototec:de.tototec.cmdoption:jar:0.42
- AndroidManifest.xml中android:name功能介绍
- startActivityForResult理解笔记
- 虚拟机的安装 管理及虚拟机快照
- RQPro 公募FOF策略实例——晨星基金筛选和风险平价配置
- 题目:编写一个手机类(Mobile),包括手机品牌(brand)、手机型号(type),方法包括显示手机信息,并编写测试类进行对象的创建 public class Mobile { String br
- C++&Pascal&Python——【USACO 5.3.4】——Big Barn