Spark简介
来源:互联网 发布:迪杰斯特拉算法讲解 编辑:程序博客网 时间:2024/05/19 00:08
Hadoop Spark学习小结[2014版]Hadoop
Hadoop社区依然发展迅速,2014年推出了2.3,2.4, 2.5 的社区版本,比如增强 Resource Manager HA, YARN Rest API, ACL on HDFS, 改进 HDFS 的 Web UI…
Hadoop Roadmap 根据我的观察,主要更新在Yarn,HDFS,而Mapreduce几乎停滞了,还有一些feature 属于安全,稳定可靠性一方面是比较稳定了,但也可以说是瓶颈了。
Apache Hadoop Project Members
这个是Hadoop project member and committee, 里面好多来自Hortonworks,也有不少国人上榜。
SparkSpark 介绍Spark今年大放溢彩,Spark简单说就是内存计算(包含迭代式计算,DAG计算,流式计算 )框架,之前MapReduce因效率低下大家经常嘲笑,而Spark的出现让大家很清新。
Reynod 作为Spark核心开发者, 介绍Spark性能超Hadoop百倍,算法实现仅有其1/10或1/100
浅谈Apache Spark的6个发光点
Spark: Open Source Superstar Rewrites Future of Big Data
Spark is a really big deal for big data, and Cloudera gets it
其实起名字也很重要,Spark就占了先机,CTO说Where There’s Spark There’s Fire: The State of Apache Spark in 2014
Spark 起源2010年Berkeley AMPLab,发表在hotcloud 是一个从学术界到工业界的成功典范,也吸引了顶级VC:Andreessen Horowitz的 注资
AMPLab这个实验室非常厉害,做大数据,云计算,跟工业界结合很紧密,之前就是他们做mesos,hadoop online, crowddb, Twitter,Linkedin等很多知名公司都喜欢从Berkeley找人,比如Twitter也专门开了门课程Analyzing Big Data with Twitter 还有个BDAS (Bad Ass)引以为傲:The lab that created Spark wants to speed up everything, including cures for cancer
在2013年,这些大牛从Berkeley AMPLab出去成立了Databricks,半年就做了2次summit参会1000人,引无数Hadoop大佬尽折腰,大家看一下Summit的sponsor ,所有hadoop厂商全来了,并且各个技术公司也在巴结,cloudrea, hortonworks, mapr, datastax, yahoo, ooyala, 根据CTO说 Spark新增代码量活跃度今年远远超过了Hadoop本身,要推出商业化产品Cloud。
Spark人物- Ion Stoica: Berkeley教授,AMPLab 领军
- Matei Zaharia: 天才,MIT助理教授
- Reynold Xin Apache Spark开源社区的主导人物之一。他在UC Berkeley AMPLab进行博士学业期间参与了Spark的开发,并在Spark之上编写了Shark和GraphX两个开源框架。他和AMPLab同僚共同创建了Databricks公司
- Andy Konwinski
- Haoyuan Li
- Patrick Wendell
- Xiangrui Meng
- Paco Nathan
- Lian Cheng
- Hossein Falaki
- Mosharaf Chowdhury
- Zongheng Yang
- Yin Huai
- Committers
- RDD——Resillient Distributed Dataset A Fault-Tolerant Abstraction for In-Memory Cluster Computing弹性分布式数据集。
- Operation——作用于RDD的各种操作分为transformation和action。
- Job——作业,一个JOB包含多个RDD及作用于相应RDD上的各种operation。
- Stage——一个作业分为多个阶段。
- Partition——数据分区, 一个RDD中的数据可以分成多个不同的区。
- DAG——Directed Acycle graph,有向无环图,反应RDD之间的依赖关系。
- Narrow dependency——窄依赖,子RDD依赖于父RDD中固定的data partition。
- Wide Dependency——宽依赖,子RDD对父RDD中的所有data partition都有依赖。
- Caching Managenment——缓存管理,对RDD的中间计算结果进行缓存管理以加快整 体的处理速度。
目前还有一些子项目,比如 Spark SQL, Spark Streaming, MLLib, Graphx 工业界也引起广泛兴趣,国内Taobao, baidu也开始使用:Powered by Spark
Apache Spark支持4种分布式部署方式,分别是Amazon EC2, standalone、spark on mesos和 spark on YARN 比如AWS
Spark Summit2014 Summit
取代而非补充,Spark Summit 2014精彩回顾
拥抱Spark,机遇无限——Spark Summit 2013精彩回顾
Databricks Cloud Demo 今年最叫好的demo是Dtabricks Cloud, 把Twitter上面实时收集的数据做作为machine learning素材,用类似IPython notebook,可视化呈现惊艳,而搭建整个sampling系统就花了20分钟!
官方文档
Databricks Blog
Summit Training
Databricks upcoming training
Stanford Spark Class
CSDN Spark专栏
10月份还有个培训在湾区的培训,只不过3天就要1500刀,看来做个讲师也不错:)
第三方项目- Web interactive UI on Hadoop/Spark
- Spark on cassandra
- Spark Cassandra Connector
- Calliope
- H2O + Spark
- Shark - Hive and SQL on top of Spark
- MLbase - Machine Learning research project on top of Spark
- BlinkDB - a massively parallel, approximate query engine built on top of Shark and Spark
- GraphX - a graph processing & analytics framework on top of Spark (GraphX has been merged into Spark 0.9)
- Apache Mesos - Cluster management system that supports running Spark
- Tachyon - In memory storage system that supports running Spark
- Apache MRQL - A query processing and optimization system for large-scale, distributed data analysis, built on top of Apache Hadoop, Hama, and Spark
- OpenDL - A deep learning algorithm library based on Spark framework. Just kick off.
- SparkR - R frontend for Spark
- Spark Job Server - REST interface for managing and submitting Spark jobs on the same cluster.
Resilient Distributed Datasets
spark on yarn的技术挑战
Hive原理与不足
Impala/Hive现状分析与前景展望
Apache Hadoop: How does Impala compare to Shark
MapReduce:一个巨大的倒退
Google Dremel 原理 — 如何能3秒分析1PB
Isn’t Cloudera Impala doing the same job as Apache Drill incubator project?
Shark
Big Data Benchmark
How does Impala compare to Shark
EMC讲解Hawq SQL性能:左手Hive右手Impala
Shark, Spark SQL, Hive on Spark, and the future of SQL on Spark
Cloudera: Impala’s it for interactive SQL on Hadoop; everything else will move to Spark
Databricks – an interesting plan for Spark, Shark, and Spark SQL
Apache Storm vs Spark Streaming
Apache Spark源码走读
作者:董飞
链接:http://www.zhihu.com/question/23655827/answer/29611595
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
- spark简介
- spark简介
- Spark简介
- Spark简介
- spark简介
- Spark简介
- Spark简介
- Spark简介
- spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Unity3D 自带摇杆 拓展, CrossPlatformInputManager
- ACM-水题 吃糖果
- Tsinsen A1105 挖地雷
- 二叉树搜索
- Ruby语言基础学习九:Ruby范围、迭代器、
- Spark简介
- Cocos2d-x 3.9教程:6. 文字的显示
- 几种软负载均衡策略分析
- java中使用MongoDB
- 电子商务类网站CDN加速方案
- Nexus 6p刷机官方Rom Android 6.0
- 29.C语言字符串和字符数组
- Android设计模式应用---观察者模式
- CentOS安装中文支持包