Tachyon简介及目前可用性分析
来源:互联网 发布:淘宝直通车删除计划 编辑:程序博客网 时间:2024/06/05 11:23
简介
翻译tachyon wiki上的介绍
“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。因此,Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来获得的次数。”
使用
鉴于Tachyon也是AMP实验室开发的项目,属Spark整个生态环境里的一部分,原本打算尝试让Spark/Shark在Tachyon上跑,看看速度/性能有没有一些提升。
Tachyon目前发布的release版本是0.2的,支持CDH3。支持CDH4的tachyon-0.3版本还未发布,不过可以在0.3-branch上下载到,需要自己编译打包,依赖的jdk是1.7的。想要部署cluster,让Spark和Shark在上面跑的话,可以参考下面几份wiki,
- https://github.com/amplab/tachyon/wiki/Running-Tachyon-on-a-Cluster
- https://github.com/amplab/tachyon/wiki/Running-Spark-on-Tachyon
- https://github.com/amplab/tachyon/wiki/Running-Shark-on-Tachyon
- ./start.sh SudoMount
- ./run-tests.sh
可用性
最近新发布的shark-0.8,发布的pre-built版本是默认不支持tachyon的,因为shark-0.8的标配是spark-0.8,scala-2.9.3和cdh4,而tachyon的支持cdh4的0.3版本如上所述还未正式发布,所以我在shark-0.8上基于tachyon create table的时候,提示版本不支持。具体在SharkBuild.scala里可以看到编译的时候没有enable:
- // Shark version
- val SHARK_VERSION = "0.8.0"
- val SPARK_VERSION = "0.8.0-incubating"
- val SCALA_VERSION = "2.9.3"
- // Hadoop version to build against. For example, "0.20.2", "0.20.205.0", or
- // "1.0.1" for Apache releases, or "0.20.2-cdh3u3" for Cloudera Hadoop.
- val DEFAULT_HADOOP_VERSION = "1.0.4"
- lazy val hadoopVersion = env("SHARK_HADOOP_VERSION") orElse
- env("SPARK_HADOOP_VERSION") getOrElse
- DEFAULT_HADOOP_VERSION
- // Whether to build Shark with Yarn support
- val YARN_ENABLED = env("SHARK_YARN").getOrElse("false").toBoolean
- // Whether to build Shark with Tachyon jar.
- val TACHYON_ENABLED = false
1 0
- Tachyon简介及目前可用性分析
- Tachyon简介及目前可用性分析
- Tachyon框架的Worker心跳及Master高可用性分析
- Tachyon学习及源码阅读:简介
- Tachyon简介
- Tachyon简介
- Tachyon简介
- Tachyon高可用性集群模式的部署
- Spark & Shark & Tachyon 简介
- Spark & Shark & Tachyon 简介
- 1.Tachyon简介
- 目前的一些技术(spark,shark,tachyon)
- Tachyon
- tachyon
- 超越可用性及性能监测的软件分析
- Handler简介及分析
- uboot简介及分析
- android.mk写法及分析--目前为止最全的
- IDA*——BZOJ1085/Luogu2324 [SCOI2005] 骑士精神
- centos 安装jdk并设置环境变量
- 第三章
- 六角填数
- 剑指Offer(16)______合并两个排序的链表
- Tachyon简介及目前可用性分析
- 递推递归练习 H
- myeclipse 左侧空间报Could not create the view: 2
- CIFAR10 代码分析详解——cifar10_train.py
- 剑指Offer(17)______树的子结构
- Spark-0.8新增Fair Scheduler资源调度
- 使用AndroidStudio配置OpenCV
- 【学术篇】oj.jzxx.net2701 无根树
- 设计模式系列(4)迪米特法则形象解释