环境搭建-CentOS集群搭建
来源:互联网 发布:windows 关闭系统还原 编辑:程序博客网 时间:2024/05/22 14:41
环境搭建-CentOS集群搭建
写在前面
最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建。所以,想着,就写一篇博客,帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤,很详细的。你很快就会有一个自己的hadoop集群啦。
我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境。
实验环境
Windows 宿主机:Windows 10 (其余也是可以的)
VirtualBox 版本:VirtualBox 5.1.22
CentOS 版本:CentOS 6.9
Xshell 版本:Xshell 5
可能许多的小伙伴,会因为找软件比较麻烦。我这里直接分享在了我的百度云的链接,方便大家下载:
链接:http://pan.baidu.com/s/1c24gbUK 密码:8h1r
接下来,我们就开始创建虚拟机
使用VirtualBox创建虚拟机
使用VirtualBox创建三台CentOS作为项目实验集群。
跟着下面的步骤就好:
打开virtualBox软件,我们new一个:
接下来,我们点击设置按钮
设置我们的存储,把我们的镜像添加进去
设置我们的网络连接(很重要)
上面的设置完成之后,我们就可以开启,开始安装centos了
接下来的两项默认就好,这里需要注意一下
设置时区为亚洲,上海
设置密码,我这里为了方便,直接设置为123456
由于密码安全太低,这里选择不管如何都使用就好
磁盘分区,默认就好
等待它自己安装,这个时候,你也可以按照这个步骤再去新建两台机器
会出现reboot的按钮,重启就好
重启之后,我们输入账号密码,进入:
一开始是没有ip的,是需要我们设置的,
设置IP
设置 网卡onboot=yes即可,自动获取
[root@localhost ~]# cd /etc/sysconfig/network-scripts/[root@localhost network-scripts]# [root@localhost network-scripts]# vi ifcfg-eth0 DEVICE=eth0HWADDR=08:00:27:72:EC:EETYPE=EthernetUUID=6b262313-ddd5-4a97-bb75-771ea5621f91ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=dhcp#:wq 保存退出
重新启动网络
[root@localhost network-scripts]# service network restart
测试,去ping百度:
到这里我们的centos就安装好了,说明一下,网络一定要连通,不然,后面,会比较麻烦。
依据,这个操作,我们再重新新建两台机器。
使用Xshell连接我们的服务器
xshell这个软件还是很好用得,
新建连接
接下来,就是输入用户和密码,输入就好。
这里把下面的框选上,这样以后就不用输账号密码了
上面就表示登录成功了
安装常用软件
下面安装lrzsz这个软件,是用来传输文件的,比较实用的一个软件,当然,你也可以选择自己的方式
[root@localhost ~]# yum -y install lrzsz....Installed: lrzsz.x86_64 0:0.12.20-27.1.el6 Complete!
好啦,到这里我们就安装好了
安装JDK环境
在开始安装之前,
我们先新建一个目录,这样比较规范,这个看个人习惯就好
[root@localhost ~]# [root@localhost ~]# mkdir app[root@localhost ~]# mkdir softwares[root@localhost ~]# [root@localhost ~]# mkdir lib[root@localhost ~]# [root@localhost ~]# mkdir data[root@localhost ~]# #app软件安装的目录#softwares软件的存放目录#lib架包的存放目录#data测试的数据存放目录
接下来,我们把jdk文件上传到我们的服务器,
使用rz命令
上传完毕之后,就开始解压到app目录下
[root@localhost softwares]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C ../app/
解压完毕之后,就可以配置环境变量
[root@localhost ~]# vim ~/.bash_profile # .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then . ~/.bashrcfiexport JAVA_HOME=/root/app/jdk1.8.0_144export PATH=$JAVA_HOME/bin:$PATH
再source一下,使得我我们的环境变量生效,
[root@localhost ~]# source ~/.bash_profile[root@localhost ~]# [root@localhost ~]# java -versionjava version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)[root@localhost ~]#
到这里,我们就安装好了我们的JDK环境
至于,另外的两台,我们可以先不用配置,后面,我们可以直接scp过去。
补充说明一下,有的小伙伴可能会发现,我创建过程中的名称为hadoop004,这是因为,我之前做hadoop000的时候,做好了,忘记保存了,就丢失了,这是我补充的。码字不易,不洗勿喷。
到这里,我最终配置好的centos集群是:
hadoop000 192.168.1.61
hadoop001 192.168.1.62
hadoop002 192.168.1.63
,接下来,就可以开始Hadoop集群的搭建了,后面的地址是:
http://blog.csdn.net/liuge36/article/details/78613910
- 环境搭建-CentOS集群搭建
- zookeeper集群环境搭建(centos)
- CentOS搭建分布式集群环境
- 2.环境搭建-CentOS集群搭建
- CentOS环境下zookeeper集群的搭建
- CentOS环境下elasticsearch集群搭建
- Centos 6.x Hadoop集群环境搭建
- CentOS环境搭建zookeeper集群篇
- centos系统的zookeeper集群环境搭建
- 搭建hadoop集群环境准备centOS系统
- Kubernetes1.8.3 集群环境搭建(CentOS)
- 环境搭建-Hadoop集群搭建
- VirtualBox安装多个CentOs虚拟搭建集群环境
- VirtualBox+CentOs虚拟集群搭建配置hadoop2.2.0学习环境
- centos+hadoop2.5.1+hbase0.98集群环境搭建
- hadoop伪分布式集群环境搭建--基于CentOS
- Centos 下Storm集群的搭建及Java客户端环境
- 分布式存储 CentOS虚拟机环境搭建FastDFS集群
- android——高效调用系统图库
- insert /*+append*/
- react-router
- 树莓派编译FFMPEG
- 关于shrio在web校验权限时你所要知道的
- 环境搭建-CentOS集群搭建
- Oracle中trunc函数、round 函数、ceil函数和floor函数的使用
- 那些天纠结的BUG
- Oracle的REDO和UNDO
- React Navigation 入门(二)
- 当物联网成为主导后,产品经理将何去何从
- [TensorFlow学习手记] 2
- c++中几个需要注意的点
- NYOJ 硬币找零