Tachyon高可用性集群模式的部署
来源:互联网 发布:淘宝账单生成器手机版 编辑:程序博客网 时间:2024/05/17 08:42
实验环境:Tachyon-0.64、Java-1.70、Hadoop-2.5.2、zookeeper-3.4.5、maven-3.3.3
主:worker01、worker02
从:worker05、worker06、worker07
1、从官网下载Tachyon的源码。为什么要下载源码,而不是已经编译好的Tachyon呢?我刚开始下载的是编译好的tachyon-0.6.4-bin.tar.gz。但是当格式化时出现了以下错误:
这是因为客户端的Hadoop版本与服务端的版本不同。也就是客户端是1.x版本,服务端是2.x版本。所以我们要下载源码,将它指定Hadoop的版本号。
2、编译Tachyon源码:
将下载好的源码解压:tar -zxvf tachyon-0.6.4.tar.gz
进入目录:cd tachyon-0.6.4
指定Java和Hadoop的版本,编译:
mvn clean package -Djava.version=1.7 -Dhadoop.version=2.5.2 -DskipTests
等待编译完成:
但是编译了近一个小时,却报了如下的错误:
重新尝试,令人惊喜的是,这次成功了:
而且时间只用了2分多钟。这主要是因为第一次编译时maven已经把大部分需要下载的jar包下载好了,所以大大缩短了第二次编译的时间。但是至于为什么第一次会失败而第二次成功了,暂时还不太清楚,猜想第一次可能由于网络问题,没有把jar包下载下来,导致编译失败吧。
3、修改配置文件:
在conf/目录下:cp tachyon-env.sh.template tachyon-env.sh
然后修改tachyon-env.sh:
配置从节点的ip(主机名),在conf/下的workers进行添加即可:
4、将tachyon-0.6.4复制到worker02、worker05、worker06、worker07上,因为worker02是作为另一个Master,所以修该worker02上的
export TACHYON_MASTER_ADDRESS=worker02
5、使用./tachyon format格式化
6、使用./tachyon-start.sh all Mount启动
7、确认是否启动成功:
jps查看进程是否已经存在
web界面查看:不是http://192.168.70.131:19999 (http://worker01:19999) 就是http://192.168.70.132:19999 (http://worker02:19999)
更详细的请参下列考网址:
http://www.tachyon-project.org/Fault-Tolerant-Tachyon-Cluster.html
http://www.tuicool.com/articles/eiaM7z
http://www.sxt.cn/u/756/blog/5410
- Tachyon高可用性集群模式的部署
- redis集群部署的高可用性
- Tachyon框架的Worker心跳及Master高可用性分析
- 集群部署 Tachyon
- 4. Tachyon安装-Tachyon集群模式搭建
- Alluxio(tachyon)集群安装部署
- RHCS之高可用性集群(MYSQL)部署文档
- 高可用性hadoop集群的搭建
- 高可用性hadoop集群的搭建
- Tachyon 的 安装部署
- 高可用性集群
- 集群高可用性
- Redis 高可用性部署
- 集群高可用性技术讨论
- MongoDB集群以及高可用性
- 高可用性hadoop集群问题
- Eureka Server 高可用性集群
- 基于LINUX的高可用性集群技术分析
- Unity3D入门——GUI之TextField和PasswordField控件
- javascript eq()用法
- java—基础篇——继承
- Java基础之String、StringBuffer、StringBuilder的区别
- 在XCode6.1如何新建一个空工程
- Tachyon高可用性集群模式的部署
- 【读书笔记】Linux高性能服务器编程(第一篇 第一章 1.2-1.6)
- hdu1796---How many integers can you find(容斥原理)
- 如果你胆敢import某个.m文件
- qt 登陆界面账号和密码的验证
- apache poi操作office文档----java在线预览txt、word、ppt、execel,pdf代码
- Qt编写自定义插件
- 通过Java访问指定url
- <leetcode>String to Integer (atoi)