2016/10/19
来源:互联网 发布:java架构师工作 编辑:程序博客网 时间:2024/05/22 04:30
MapReduce的过程:把原来的数据分成块,一条一条记录使用MAP函数生成键值对,以键值把把键值对归类形成集合,再把这些集合进行排序。
开发者定义四个过程:输入-》键值对,MAP,REDUCE,键值对=》输出
炼数成金
- hadoop不是数据库,因为它不提供数据库的基本功能
- **hadoop不适用实时计算,因为有时间差?什么是实时计算?分析股票行情出发一些动作,红绿灯调度问题
Pro Apache Hadoop
- namenode:metadata
- Configuration file
- default file and site file -
- secondary namenode: not backup, housekeeping
- merge edit and fsimage
- edits: accumulate the change since the last changepoint
- fsimage:last checkpoing
- fstime: contains the timestamp of the last checkpoint
- Task Tracker:
- accepts requests for task such as map, reduce ad shuffle
- slota= cores on the machine
- ???多处理器和多核的区别???
- hearbeat: tell whether healthy and how many free slots are available
- Job Tracker:
- schedule: close to the data block
- determin number of taks
- YERN
- the idea is to have a global resource manager and a per-application Application Master.
- components
- global resouece mannager
- primaly a schedular
- ensure uptimal cluster utilization
- node manager
- local resource manager
- slave service.
- take requests form resource manager and allocates containers to application
- eachnode has its own node manager
- application-specific application master
- is the key defferentiatorbetween the older MapReduce v1 framework and YARN
- each type has an application master
- improved scalability
- a more generic framework
- scheduler
- container
- CPU and memory
-
- global resouece mannager
0 0
- CVPR 2016-10-19
- 2016/10/19
- 2016/10/19
- 2016/09/22 10:19
- 2016/10/19关于Oracle的使用
- 2016-10-19 node.js, web service
- 2016-10-19 新的开始
- 2016年1月13日19:10:43
- Hello World ! 2016-10-06 19:07:59
- 2016-10-19 今天试验的代码段
- 银行系统运维手记---2016-10-19-问题集
- C#笔记2016年10月19日
- 2016年10月30日11:23:19
- 纪念我的第一次问题回溯反思-2016-10-19
- 1622-5 孔富晨 总结《2016年10月19日》 【连续第19天总结】
- 10/19
- 2016-12-19 19:17
- 2016-01-19 FFC
- 开发笔记——检测键盘的弹出与消失
- 谷歌电子市场第4天总结
- [Android Studio 插件] AndroidPixelDimenGenerator 自动生成多种分辨率dimen文件
- 虚拟机和主机之间ping不通/开发板和虚拟机之间ping不通
- You need to run build with JDK or have tools.jar on the classpath.
- 2016/10/19
- HBase JAVA API 开发
- yii xss简单攻击
- Dlib人脸关键点检测顺序
- C#控制Excel格式的方法
- mybatis写兼容不同数据库的sql
- 生成二维码方法----C#
- 如何线程安全地遍历List:Vector、CopyOnWriteArrayList
- 基于Mongodb进行分布式数据存储