大数据分布式集群搭建(1)
来源:互联网 发布:java base64 utf8 编辑:程序博客网 时间:2024/06/05 15:04
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案。
闲话不多说,进入正题。
一、环境及准备
因为只有一台电脑,所以需要用虚拟机来模拟环境。
本地机器用到软件:VMWare、SecureCRT
Linux上用到软件:CentOS6.7,jdk,mysql,tomcat,redis,zookeeper,hadoop,hbase,hive
对应版本如下:jdk-8u60-linux-x64.gz
apache-tomcat-7.0.63.tar.gz
MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar
redis-2.6.16.tar.gz
zookeeper-3.4.5.tar.gz
centos-6.5-hadoop-2.6.4.tar.gz
hbase-1.2.1-bin.tar.gz
apache-hive-1.2.1-bin.tar.gz
二、开始部署
准备好了上面提到的软件之后开始部署环境
我建立了一共4台虚拟机,hdp01,hdp02,hdp03,hdp04
用SecureCRT把它们都连接上
大数据集群需要一台master统领其余slaves,这里认定hdp01是master
Step1 :挂载光驱
必须把虚拟机上的光驱挂载到linux目录上面才能使后面陆续开展的步骤顺利执行
挂载光驱先在/mnt目录下面建一个文件夹cdrom
mkdir /mnt/cdrom
之后执行:mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/ 将设备/dev/cdrom挂载到 挂载点 : /mnt/cdrom中
对hdp1~4全都执行如上操作
全部挂载光驱完成之后开始下一任务
Step2:SSH免密登录
为了让机器之间相互登录无障碍我们配置免密登录,配置之前需要先将防火墙关掉
查看防火墙状态:service iptables status ①
关闭防火墙: service iptables stop ②
开启防火墙: service iptables start
直接执行②就好,也是要hdp1~4分别关闭
好了开始搞免密登录;
进入到 /etc/yum.repos.d/下面
红色箭头文件需要打开,其余的bak掉,打开media那个,更改路径与enable如下
保存文件,记得hdp1~4都要设置
之后开始配置SSH免密,首先安装ssh,通过yum源的方式
yum list|grep ssh
yum install 带有clients的那个文件复制下来
y确定
接下来
ssh-keygen 回车 回车 回车
vi /etc/hosts
配置映射关系如下,ip视机器而变
配置好了:wq保存退出 1~4同样
通过ssh-copy-id hdpxx 来配置映射 每台机器都要配置所有机器(xx代表数字01~04)
配置完成就可以用
ssh+机器名登录机器了
exit是退出
注:可以用配好的一个机器hdp01发文件给其他机器:
如发hosts文件给hdp02
scp /etc/hosts root@hdp02:/etc/
scp -r xxxxx root@hdp02:sdfx -r代表文件夹拷贝
- 大数据分布式集群搭建(1)
- 大数据分布式集群搭建(2)
- 大数据分布式集群搭建(插曲)
- 大数据分布式集群搭建(3)
- 大数据分布式集群搭建(4)
- 大数据分布式集群搭建(5)
- 大数据分布式集群搭建(6)
- 大数据分布式集群搭建(7)
- 大数据分布式集群搭建(8)
- 大数据分布式集群搭建(9)
- 【大数据】开发环境搭建(二):hadoop伪分布式集群环境搭建(上)
- 【大数据】开发环境搭建(三):hadoop伪分布式集群环境搭建(下)
- DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建
- 大数据教程(三) Hadoop集群分布式坏境搭建
- 大数据教程(三)—— Hadoop集群分布式坏境搭建
- 大数据教程(三)—— Hadoop集群分布式坏境搭建
- 大数据系列之Hadoop----(1)集群搭建
- 大数据_Kafka_搭建Kafka伪集群(本地集群)
- Java API之正则表达式
- 决策树随机森林adaboost理论实战
- Eclipse自带的各种bundle的添加
- fis3调试与发布
- C++基础-模板编程
- 大数据分布式集群搭建(1)
- 抽象工厂(AbstractFactory)
- HDU 1372 Knight Moves(BFS)
- POJ2139 解题报告
- 替换数据库中所有的表中含有某个字符串的字符
- spring boot 事务
- 前端JS知识要点总结(9)
- DOM的应用
- 通过ext3grep恢复误删除的文件和表