参加2013年hadoop技术大会总结

来源:互联网 发布:淘宝双十一品牌销量 编辑:程序博客网 时间:2024/05/02 04:53

总共听了5场报告,按顺序分别是:

1. 阿里开放数据平台ODPS(阿里巴巴)

2. 大数据存储与访问基准测试(西北工业大学科研项目)

3. Hadoop Virtualization ( VMware)

4. 腾讯大规模Hadoop集群实战(腾讯)

5. 构建移动场景下的个性化推荐引擎(搜狐)



总结如下:

1. 阿里的ODPS数据平台搞得热火朝天,不可谓不NB,单个集群5000节点,太有气魄了,但是不得不说此次做报告的大哥演讲水平有点。。。。,哈哈,你懂的!

整个报告更加倾向于介绍ODPS的相关架构设计和使用API,鉴于目前还没有真正接触该平台或使用该平台,所以个人感觉收获不是很大,算是增长了一些见识吧!

希望以后能领略哈整个ODPS平台的威力,那就无比万幸了,哈哈哈。。。。

2. “大数据存储和访问基准测试”这个报告其实更加符合公司目前的项目需求,因为想将我们自己的集群文件系统集成到Hadoop中,肯定需要跑一些基准的测试集,这样才能知道是否可行。但是不得不说这个讲座太过于学术化了,毕竟是大学讲授的研究项目嘛,一些东西仅仅是蜻蜓点水似的提一下,但是老师提到的专门针对Lustre的文件系统接口API测试和IO测试到是我以后在项目中应该会专门做的工作,也算是有所收获吧。

3. VMWare的基于Hadoop的虚拟化技术讲解,真是干货呀,关键是做报告的大哥是真心的NB人物,人家可是中国大陆第一个向Apache Hadoop项目贡献代码的人哦!所以讲解的东西都还是比较前卫的,基于Hadoop进行的虚拟化平台的建设,YARN和Cloud的结合,Hadoop的实际应用分析,Hadoop的发展趋势等等,真的很多,一听就是实战派的作风噻,不玩虚的!最后还一个劲儿地推荐大家参与Apache Hadoop的源码贡献,我们到是想呀,慢慢努力吧,希望有一天能做点事情。

毕竟是NB技术公司出来的,就是不一样,膜拜哈!真心希望到VMware去干干活!

4. 腾讯的Hadoop集群实战报告,真是充分展现了土豪的作风,不论是做讲解的大哥说话的气势还是人家实际的项目,真心让人觉得有钱真好,想干啥就干啥,而且还能搞得风风火火的。实际上,个人感觉今天的所有报告中除了那些偏向于搞学术研究型的就属阿里,VMware和腾讯的这三场报告是最有干货的了。大数据应用,得先有数据呀,所以像QQ的数据平台,实际需求在那摆着,必须滴。努力吧,希望以后也去QQ过过土豪瘾。

5. 最后搜狐移动平台推荐引擎的报告,当然也是多数时间都在讲解他们自己的系统是怎样的一个架构和设计,但是很明显,跟QQ,阿里和VMWare的完全不是一个量级呀,曾经的互联网大哥,得加把劲了!总之还是那句话,大数据大数据,得先有数据,加上如果是个土豪,真心就可以过过大数据的隐了。


写了这么多,最后的最后再啰嗦一下,国内目前的大数据应用和研究,探索只有在有钱的互联网公司才搞得比较火热,努力吧,希望大家都去这些个公司土豪一下,如果您也对大数据感兴趣的话。

洗洗睡了先,明儿继续写代码。。。。。




原创粉丝点击