CDH5离线安装---使用的版本是5.11.1
来源:互联网 发布:网络售彩票最新消息 编辑:程序博客网 时间:2024/06/07 17:21
linux系统:centos 7
第一步 下载软件
需要下载的软件有下面5个,都已经表明下载地址:
cm5.11.1-centos7.tar.gz 的下载地址:http://archive.cloudera.com/cm5/repo-as-tarball/5.11.1/cm5.11.1-centos7.tar.gz
cloudera-manager-installer.bin 的下载地址:http://archive.cloudera.com/cm5/installer/5.11.1/cloudera-manager-installer.bin
CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json这三个文件的下载地址为:http://archive.cloudera.com/cdh5/parcels/5.11.1/下面,注意区别(有el7的代表的是centos7的),我们就下载含有el7的文件和manifest.json文件。
第二步 Linux基本配置(所有机器)
四台服务器(192.168.30.130 ----master.lwb.com,192.168.30.131---slave1.lwb.com,192.168.30.132---slave2.lwb.com,192.168.30.133-slave3.lwb.com),192.168.30.130 作为集群的master(包括NameNode和Hmaster),其他作为datanode和regionServer)。
1, 配置hostname
在192.168.30.130上执行:hostnamectl set-hostname master.lwb.com
在192.168.30.131上执行:hostnamectl set-hostname slave1.lwb.com
在192.168.30.132上执行:hostnamectl set-hostname slave2.lwb.com
在192.168.30.133上执行:hostnamectl set-hostname slave3.lwb.com
2,修改hosts文件(所有机器)
使用:vi /etc/hosts 打开hosts文件,把下面的内容添加到hosts文件中
192.168.30.130 master.lwb.com
192.168.30.131 slave1.lwb.com
192.168.30.132 slave2.lwb.com
192.168.30.133 slave3.lwb.com
3,关闭防火墙(所有机器):执行这两命令:(1)systemctl stop firewalld.service (2)systemctl disable firewalld.service
4,关闭selinux(所有机器), vi /etc/selinux/config,配置如下
5,配置ssh(所有机器)
1.在每台机器上面执行(ssh-keygen -t rsa),然后一路enter下去
2.把192.168.30.131,192.168.30.132,192.168.30.133三台服务器下面的/root/.ssh/ id_rsa.pub文件复制到192.168.30.130的/root/.ssh/ 的目录里面。
192.168.30.131 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave1
192.168.30.132 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave2
192.168.30.133 上执行:scp id_rsa.pub root@master.lwb.com:/root/.ssh/ id_rsa.pub.slave3
3,把每个id_rsa.pub都写入authorized_keys,在192.168.30.130上执行下面的命令
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave1 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave2 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub.slave3 >> /root/.ssh/authorized_keys
6 在192.168.30.130上面上安装httpd : yum install –y httpd 配置开机启动 :systemctl enable httpd.service 启动:systemctl start httpd.service
第三步 配置CDH5.11.1本地源
1,在/var/www/html下创建parcels目录,把刚才下载的CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel,CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1,manifest.json上传到/var/www/html/parcels目录下,
把CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1修改为CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha
访问以下:http://192.168.30.130/parcels 路径,看看是否列出刚才那三个文件的名称。
2,把cm5.11.1-centos7.tar.gz,cloudera-manager-installer.bin文件上传到192.168.30.130服务器上面,
在/var/www/html下创建cm5/redhat/7/x86_64/ 目录mkdir -p cm5/redhat/7/x86_64/
把cm5.11.1-centos7.tar.gz 解压到 /var/www/html/cm5/redhat/7/x86_64/目录下
访问一下:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/ 能列出文件目录,则安装成功。
3,配置本地yum源
vi /etc/yum.repos.d/cloudera-manager.repo,输入下面的内容:
[cloudera-manager]
name=cloudera-manager
baseurl=http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/
enabled=1
gpgcheck=0
保持退出,注意baseurl就是刚才能访问的那个路径
第四部:安装
1,给cloudera-manager-installer.bin添加执行权限
chmod 777 ./cloudera-manager-installer.bin
执行该文件: ./cloudera-manager-installer.bin 一路的选择next ,yes 安装下去,大概2到5分钟安装完成。
大概在等个2到5分钟(cloudera 服务启动比较慢),在浏览器上输入192.168.30.130:7180 出现下面的界面:
用户名和密码都是:admin
选择:
在这里把四个服务器的IP地址填进去,中间用逗号分开,也可以用刚才配置的hostname,点击搜索就会列出服务器的ip地址和hostname,点击继续
选择存储库,
我们选择使用Parcel,然后选择更多选项,出现如下图
在“远程Parcel存储库URL”中删除只留一个,点击后面的“-”号删除,修改为http://192.168.30.130/parcels(也可以是http://master.lwb.com),结果如下:
点击保存更改后,
然后界面变为这个,注意对比:
选择自定义存储库:输入:http://192.168.30.130/cm5/redhat/7/x86_64/cm/5.11.1/ ,也可以是http://master.lwb.com/cm5/redhat/7/x86_64/cm/5.11.1/ (推荐都使用IP地址)
后面的步骤都比较简单,按着提示就可以完成了,有时间再慢慢写出来,时间慢。。。
- CDH5离线安装---使用的版本是5.11.1
- CDH5 离线安装 记录
- 离线安装CDH5.12.1
- 【CDH5】-003CDH5.4.0 离线安装
- CDH5.7/5.8离线安装-使用CM5,基于CentOS 6.7
- cdh5使用cloudera-manager-installer.bin离线安装
- CDH5.5离线安装部署
- Centos6.5离线配置CDH5.1心得和遇到的问题(已安装成功)
- CDH5.7.2-Hadoop集群CentOS7下的搭建(离线安装)
- 离线安装 cloudera manager 5.3.1 和 cdh5.3.1
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- Cloudera Manager 5和CDH5离线安装,CDH-5.7.1
- 我的Hadoop安装——使用Cloudera部署,管理Hadoop集群(离线安装CDH5.7.0)
- 安装使用离线版本的维基百科(Wikipedia)
- Cloudera Manager 5和CDH5离线安装
- apt在线/离线安装CDH5.1.2
- 离线安装CDH5.4.5 on CentOS6.5
- C语言实现队列Queue
- 使用 Python 实现:对着电脑吼一声,自动打开浏览器中的默认网站。
- Codeforces 626E. Simple Skewness(三分)详细注释
- 数论小结+代码实现
- TF-IDF与余弦相似性的应用(一):自动提取关键词
- CDH5离线安装---使用的版本是5.11.1
- Oracle基础 物理备份 冷备份和热备份
- Linux (centos7) 防火墙命令
- set_exception_handler用法
- 为64位ARMv8架构开发板交叉编译openssl-1.0.2l
- SafeKit(DurexKit)实现原理
- retrofit2原理学习(未完待续)
- 剑指offer--平衡二叉树
- 矢量图标文件格式设计