【BDTC讲师】Tachyon作者:大数据存储以及处理框架经验分享

来源:互联网 发布:医院网络咨询工资待遇 编辑:程序博客网 时间:2024/05/29 17:35

AMPLab
摘要:12月5-6日召开的2013中国大数据技术大会,两位来自UC Berkeley计算机系AMPLab的讲师将会带来分享,其中Tachyon系统和Spark Streaming系统作者李浩源将会探讨有关大数据存储以及处理框架方面的研发成果和心得。

两位来自UC Berkeley计算机系AMPLab的讲师——UC Berkeley计算机教授、AMPLab共同创始人Ion Stoica和Tachyon系统及Spark Streaming系统作者李浩源,将会在12月5-6日召开的2013中国大数据技术大会上带来分享。大会前期,我们陆续采访了AMPLab的几位核心成员,包括Ion Stoica、辛湜和李浩源,关于李浩源的采访实录如下:

CSDN:首先请介绍一下您自己

李浩源:我是UC Berkeley计算机系AMPLab的博士生,专注于计算机系统和大数据的研究,师从Dr. Scott Shenker和Dr. Ion Stoica两位教授。AMPLab正在开发一个大数据的处理平台叫做Berkeley Data Analytics Stack (BDAS),我是其中Tachyon系统和Spark Streaming系统的作者,也是Apache Spark系统的founding committer。

在伯克利开始博士研究之前,曾在Google和Conviva从事大数据处理挖掘的研发工作,所研发的PFP大数据挖掘算法已被Apache Mahout采用。我分别在北京大学和康奈尔(Cornell)大学获得计算机专业学士学位和硕士学位。

CSDN:请简要介绍下Tachyon项目以及Tachyon适用的应用场景

李浩源:Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。

CSDN:Tachyon目前的发展状况(比如实际应用的商业项目和贡献者等方面)是怎样的?未来的研究方向是什么?是否会考虑像Spark一样商业化?

李浩源:Tachyon是今天4月份开源的,到11月为止已有近20位贡献者,分别来自10家不同机构,其中包括Yahoo、Intel、Adobe等。对于未来的研究方向,一个比较重要的点是更好的与生态系统相结合。AMPLab的Mesos和Spark都已经商业化了,这是一种趋势,但Tachyon目前是否商业化还有诸多因素需要考虑。

CSDN:您目前主要从事哪方面的研究?

李浩源:专业方向为计算机系统和大数据的研究,具体专注于BDAS平台的建设,特别是Tachyon及其相关系统的研发与算法研究。

CSDN:您曾经获得过很多荣誉,尤其是在刚刚过去的SOSP2013上,您参与的两个项目都入选了,您认为自己拥有哪些特质使您在计算机界获得这么多荣誉?对于后辈您有哪些建议?

李浩源:这都是团队的成果,对我来说更是一种鼓励。也谈不上对后辈的建议,可以分享一点从同事和老师们那儿学到的东西,就是明确目标、刻苦工作。

CSDN:能否简要介绍下本次大数据技术大会上,您将给听众带来哪些分享?

李浩源:本次大会上将和大家探讨一些有关大数据存储以及处理框架方面的研发成果和心得。

欢迎关注 @CSDN云计算微博,了解更多云信息。 

第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。Spark核心设计者、Databricks创始人兼CEO Ion Stoica,Apache HBase项目管理委员会主席Michael Stack、百度大数据首席架构师林仕鼎、华为公司诺亚方舟实验室主任杨强、Apache Tez commiter Bikas Saha大数据技术专家领衔,来自腾讯、阿里巴巴、Hortonworks、LinkedIn、小米、Intel等50余位工程师带来近60场干货分享,更有《中国智能交通与大数据技术峰会》专场感受智能交通如何改变生活。