alluxio

alluxio 集群模式安装

参考的官方文档

大致就是分发下安装包,然后改下配置文件就可以启动

 

这里讲一下会常出现的2个错误

1. 操作系统修改了ssh的默认22端口 alluxio ssh port change
2. java是手动安装的,不是使用系统自带的 alluxio no java
3. 用户需要密码的问题 passwd for user

 

 

 

首先把安装包分发到各个机器

解压后,修改配置文件

主要修改

alluxio-env

alluxio-site

master

workers

 

 

 

masters 和 workers 的配置和hadoop一样

配置主节点hostname

和work的hostname

用ip也一样

 

 

alluxio-env中的配置

 

 

alluxio-site中的配置

这里基本上都是按照默认

主要修改了存储路径和work的内存使用

 

 

修改 libexec/alluxio-config.sh 配置

如果手动配置过操作系统的jdk路径

那他这个检索java的脚本会出现找不到java的问题

这里建议手动指定一下

 

 

因为操作系统把ssh默认的端口改成了其他端口

像这里就把默认22的端口,改成了19222

 

启动的时候会出现如下错误

 

 

alluxio在启动的时候就会找不到端口

而且也不会像spark那样,可以在配置中加个ssh端口

在alluxio_env中加入下列端口配置是没用的

 

 

这官方没提供,最后只能找找启动脚本了

我指定的是alluxio-start.sh 去启动的

先检查检查这个里面

 

根据启动脚本的命令

alluxio-start.sh all Mount

找找main函数里的all部分

看脚本内容,应该是先去执行了 start_masters 然后再是 start_workers start_proxies

去看看start_workers里的内容

 

 

 

发现start_masters最终会调用启动master的脚本

我们再去看看master的启动脚本

 

 

发现问题所在了

master启动脚本中,使用的ssh默认端口连接

 

 

最后我们加上个端口配置

 

 

启动

alluxio-start.sh all SudoMount

 

 

查看页面,发现没有hadoop2

 

检查下日志

发现hadoop2创建的时候有问题

 

估计是visudo里配置的问题

如果没有加nopasswd

 

修改下配置

 

再重启看看网页

正常启动了