Tachyon高可用性集群模式的部署

来源:互联网 发布:淘宝账单生成器手机版 编辑:程序博客网 时间:2024/05/17 08:42

实验环境:Tachyon-0.64、Java-1.70、Hadoop-2.5.2、zookeeper-3.4.5、maven-3.3.3

主:worker01worker02

从:worker05worker06worker07

1、从官网下载Tachyon的源码。为什么要下载源码,而不是已经编译好的Tachyon呢?我刚开始下载的是编译好的tachyon-0.6.4-bin.tar.gz。但是当格式化时出现了以下错误:


这是因为客户端的Hadoop版本与服务端的版本不同。也就是客户端是1.x版本,服务端是2.x版本。所以我们要下载源码,将它指定Hadoop的版本号。

2、编译Tachyon源码:

将下载好的源码解压:tar -zxvf  tachyon-0.6.4.tar.gz

进入目录:cd tachyon-0.6.4

指定JavaHadoop的版本,编译:

mvn clean package -Djava.version=1.7 -Dhadoop.version=2.5.2 -DskipTests

等待编译完成:

但是编译了近一个小时,却报了如下的错误:


重新尝试,令人惊喜的是,这次成功了:


而且时间只用了2分多钟。这主要是因为第一次编译时maven已经把大部分需要下载的jar包下载好了,所以大大缩短了第二次编译的时间。但是至于为什么第一次会失败而第二次成功了,暂时还不太清楚,猜想第一次可能由于网络问题,没有把jar包下载下来,导致编译失败吧。

3、修改配置文件:

conf/目录下:cp tachyon-env.sh.template  tachyon-env.sh

然后修改tachyon-env.sh


配置从节点的ip(主机名),在conf/下的workers进行添加即可:


4、将tachyon-0.6.4复制到worker02worker05worker06worker07上,因为worker02是作为另一个Master,所以修该worker02上的

export TACHYON_MASTER_ADDRESS=worker02

5、使用./tachyon format格式化


6、使用./tachyon-start.sh all Mount启动

7、确认是否启动成功:

jps查看进程是否已经存在


web界面查看:不是http://192.168.70.131:19999 (http://worker01:19999) 就是http://192.168.70.132:19999 (http://worker02:19999) 


更详细的请参下列考网址:

http://www.tachyon-project.org/Fault-Tolerant-Tachyon-Cluster.html

http://www.tuicool.com/articles/eiaM7z
http://www.sxt.cn/u/756/blog/5410


0 0