Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备

来源：互联网发布：总管家软件编辑：程序博客网时间：2024/05/16 06:33

1、虚拟机安装

虚拟机安装工具：vSphere

登录虚拟服务器工具：SecureCRT

在虚拟机上装好3台服务器，环境情况：

内存：16G

CPU：两个四核

硬盘：320G

2、版本选择

组件版本安装服务器操作系统CentOS 6.53台JDK1.7.0_803台HADOOP2.6.33台SPARK1.6.03台SCALA2.10.43台R3.2.13台POSTGRESQL9.5.1 MasterZEPPELIN0.6.2Slave02

3、组件安装及测试

为避免权限问题，测试环境用户一律采用root，真实环境建议创新单独用户及组。

3.1修改ip地址

依次将新装好的3台虚拟机配置ip地址，网关地址及关闭ipv6.

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

HWADDR=00:0C:29:AD:A8:6C

TYPE=Ethernet

UUID=5f168497-fd8d-4f37-891d-28273cd5ecf7

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROT=none

IPADDR=192.168.50.228

GATEWAY=192.168.50.1

prefix=24

DNS1=218.2.135.1

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

修改完后重启生效 shutdown -r now

3.2配置hostname

vi /etc/sysconfig/network

增加本机hostname

3.3为3台服务器配置hosts

在进行Hadoop集群配置中，需要在"/etc/hosts"文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，而且还可以通过主机名进行通信。

3.4 为3台服务器关闭防火墙及SELinux

service iptables stop

vi /etc/sysconfig/selinux

SELINUX=enforcing 改成 SELINUX=disabled

执行setenforce 0

显示已成功关闭

3.5 SSH无密码登录

在Hadoop启动以后，namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。

3.5.1 在Master服务器上修改配置

vi /etc/ssh/sshd_config

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

保存更改重启SSH服务生效

service sshd restart

3.5.2 在Master上生成公钥、私钥对

执行ssh-keygen -t rsa -P ''

-P表示密码，-P '' 就表示空密码，也可以不用-P参数，这样就要三车回车，用-P就一次回车。

该命令将在/root/.ssh目录下面产生一对密钥id_rsa和id_rsa.pub。

id_rsa 私钥

id_rsa.pub 公钥

询问其保存路径时直接回车采用默认路径

3.5.3把id_rsa.pub新建并追加到授权的key里面去并赋予执行权限，然后删掉公钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

然后在slave01和slave02上创建/root/.ssh目录，将公钥从master上拷贝过去并改名为authorized_keys ，可以通过在master执行如下命令实现。

目的是被登录的机子上存有登录机子的公钥。

scp /root/.ssh/id_rsa.pub root@192.168.50.228:/root/.ssh/authorized_keys

现在master可以无密码登录slave了。【第一次登录需要密码验证】

3.5.4 将slave01和slave02按照master的方式配置一遍，实现3台服务器之间免密码登录

3.6JDK安装

需要在3台服务器上都安装jdk。首先通过sftp将下载下来的二进制的jdk包上传到Master，然后scp到另外两台slave上。

将jdk压缩包jdk-7u80-linux-x64.gz移动到/usr/local/program/目录下，使用tar zxvf jdk-7u80-linux-x64.gz 解压缩。

配置环境变量即可使用

vi /etc/profile

export JAVA_HOME=/usr/local/program/jdk1.7.0_80

export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre

export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出后source /etc/profile 使改动生效，然后输入java -version查看java -version 版本检验是否安装成功

0 0