大数据工程师技能图谱
来源:互联网 发布:手机淘宝购物车 html5 编辑:程序博客网 时间:2024/05/16 11:41
原文链接:http://toutiao.com/a6267290210372747522/
一、大数据通用处理平台
1、Spark
2、Flink
3、Hadoop
二、流式计算
1、Storm/JStorm
2、Spark Streaming
3、Flink
三、分布式存储
1、HDFS
四、资源调度
1、Yarn
2、Mesos
五、数据分析/数据仓库(SQL类)
1、Pig
2、Hive
3、kylin
4、Spark SQL
5、Spark DataFrame
6、Impala
7、Phoenix
8、ELK
8.1 ElasticSearch
8.2 Logstash
8.3 Kibana
六、消息队列
1、Kafka(纯日志类,大吞吐量)
2、RocketMQ
3、ZeroMQ
4、ActiveMQ
5、RabbitMQ
七、编程语言
1、Java
2、Python
3、R
4、Ruby
5、Scala
八、算法
(1)一致性
1、paxos
2、raft
3、gossip
(2)数据结构
1、栈,队列,链表
2、散列表
3、二叉树,红黑树,B树
4、图
(3)常用算法
1、排序:
1.1 插入排序,参见博文插入排序 Java
1.2 桶排序,参见博文桶排序 【Java】
1.3 堆排序,参见博文堆排序 Java
2、快速排序,参见博文快速排序 Java
3、最大子数组,参见博文分治算法之最长子段和问题(Java)
4、最长公共子序列,参见博文动态规划算法之最长公共子序列问题
5、最小生成树、最短路径
6、矩阵的存储和运算
九、机器学习
(1)机器学习基础
1、聚类
2、时间序列
3、推荐系统
4、回归分析
5、文本挖掘
6、决策树
7、支持向量机
8、贝叶斯分类
9、神经网络
(2)机器学习工具
1、Mahout
2、Spark Mlib
3、TensorFlow (Google 系)
4、Amazon Machine Learning
5、DMTK (微软分布式机器学习工具)
十、数据分析挖掘工具
1、MATLAB
2、SPSS
3、SAS
十一、数据可视化
1、R
2、D3.js
3、ECharts
4、Excle
5、Python
十二、日志收集
1、Scribe
2、Flume
附录
一、云计算
(1)云服务
1、SaaS
2、PaaS
3、IaaS
4、Openstack
5、Docker
- 大数据工程师技能图谱
- 大数据工程师技能图谱
- 大数据工程师技能图谱
- 大数据工程师技能图谱
- 大数据工程师技能图谱
- 大数据工程师必备技能图谱
- 大数据工程师必备技能图谱
- 大数据工程师必备技能图谱
- 大数据技能图谱
- 大数据技能图谱
- 大数据(StuQ 技能图谱)
- 大数据工程师知识图谱
- StuQ 发布的大数据工程师技能图谱(仅供参考)Big Data & Data Mining
- 大数据架构师技能图谱
- 0051 大数据架构师技能图谱
- 大数据架构师技能图谱
- 大数据架构师技能图谱
- 大数据工程师技能图
- 解决The VMware Authorization Service is not run的情况
- 关于xcode——模拟器
- java里线程同步方法一:同步线程块
- POJ3253-Fence Repair
- BZOJ 1487: [HNOI2009]无归岛
- 大数据工程师技能图谱
- vs2013调试技巧及快捷键
- 2016春季练习——母函数
- Android MVP的学习
- log4j集成mongodb
- Linux操作系统下/etc/hosts文件配置方法
- ubuntu server 12.04中文显示不完整
- android中如何使用ViewRootImpl这个类
- qt create 在windows下,不能debug