tachyon方面转载
来源:互联网 发布:生产进度软件 编辑:程序博客网 时间:2024/05/21 08:57
参考文章,感谢作者共享
http://www.cnblogs.com/byrhuangqiang/p/3940017.html
http://blog.itpub.net/22268043/viewspace-1114449/
http://blog.csdn.net/colorant/article/details/22385763
http://www.csdn.net/article/2014-07-17/2820713
http://blog.csdn.net/oopsoom/article/details/38438321
Spark是一个高效的分布式计算系统,相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
Shark类似“SQL on Spark”,是一个在Spark上数据仓库的实现,在兼容Hive的情况下,性能最高可以达到Hive的一百倍。
Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。
Tachyon是AmpLab的Li Haoyuan所开发的一个基于内存的分布式文件系统,出发点是作为AMPLAB的BDAS的一个组成部分。其声称吞吐量超过HDFS 300多倍。
配置
首先使用tachyon 给的配置
$ cp conf/tachyon-env.sh.template conf/tachyon-env.sh
$ vim conf/tachyon-env.sh
配java_home
启动tachyon
$ ./bin/tachyon-start.sh local
查看是否启动成功,登录 http://localhost:19999
测试功能
$ ./bin/tachyon runTest Basic CACHE_THROUGH
你将会看到类似下面的 log
Basic_File_CACHE_THROUGH has been removed2014-02-02 09:32:02,760 INFO (TachyonFS.java:connect) - Trying to connect master @ localhost/127.0.0.1:199982014-02-02 09:32:02,791 INFO (MasterClient.java:getUserId) - User registered at the master localhost/127.0.0.1:19998 got UserId 102014-02-02 09:32:02,792 INFO (TachyonFS.java:connect) - Trying to get local worker host : hy-ubuntu2014-02-02 09:32:02,800 INFO (TachyonFS.java:connect) - Connecting local worker @ hy-ubuntu/127.0.1.1:299982014-02-02 09:32:02,819 INFO (CommonUtils.java:printTimeTakenMs) - createFile with fileId 18 took 60 ms.2014-02-02 09:32:03,194 INFO (TachyonFS.java:createAndGetUserTempFolder) - Folder /mnt/ramdisk/tachyonworker/users/10 was created!2014-02-02 09:32:03,198 INFO (BlockOutStream.java:<init>) - /mnt/ramdisk/tachyonworker/users/10/19327352832 was created!Passed the test!
关闭tachyon
聪明的你肯定已经知道了。
$ ./bin/tachyon-stop.sh小结
tachyon 是一款内存存储的系统,他将数据以block(默认1GB)的形式放入内存中,读写性能是HDD和SSD无法媲美的,问题就是耗内存,适合作为map reduce 框架的存储引擎,与spark协同作业是个不错的选择。
0 0
- tachyon方面转载
- Tachyon
- tachyon
- 转载:面向方面开发
- [转载] 算法方面的好书
- 转载-- 机器学习方面代码
- tachyon实探
- Tachyon简介
- tachyon 实例
- Tachyon简介
- spark && Tachyon
- Tachyon简介
- 工作流方面的文档(转载)
- ios转载的内存方面的知识
- 计算机视觉方面的公司-转载
- 生产管理方面SCI期刊(转载)
- 4. Tachyon安装-Tachyon本地模式搭建
- 4. Tachyon安装-Tachyon集群模式搭建
- Win32下利用_beginthread函数创建一个线程
- js jQuery中Ajax请求参数转义问题
- 数据挖掘笔记-分类-KNN-原理与简单实现
- 你必须知道的非常有用的9个php功能特性
- 程序猿才懂得幽默
- tachyon方面转载
- NSNotificationCenter使用方法
- 问题解答一
- 如何使用strace+pstack利器分析程序性能
- 各种数据库驱动下载以及连接方式
- Android 应用更新和在服务器下载android应用
- 使用Xcode和Instruments调试解决iOS内存泄露
- oracle把查出来列结果集用逗号隔开一行显示
- 重写ViewGroup注意事项