Hadoop学习笔记(不定期更新)
来源:互联网 发布:怎么导入org.apache 编辑:程序博客网 时间:2024/04/19 09:33
2017年10月15日起
《大数据技术基础——基于Hadoop与Spark》
JVM: JVM是Java Virtual Machine(Java虚拟机)的缩写
HDFS: Hadoop分布式文件系统(HDFS)
YARN: Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系 统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
MapReduce: MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。
PB: 数据单位,B.KB.MB.GB.TB.PB. 1PB=1024TB,依次类推
2017年11月12日
后来找到《Hadoop权威指南》于是开始看这本权威著作,发现,确实很深入浅出,讲问题很透彻。所以下面的笔记主要是这本书里的。
MapReduce:是一种线性的可伸缩编程模型。核心特征:数据本地化(data locality)。采用无共享框架。
限定用户使用有特定关联的键值对,mapper和reducer彼此间的协调非常有限。
mapreduce三大设计目标:(1)为只需要短短短几分钟或几个小时就可以完成的作业提供服务;(2)云星宇同一个内部有高速网络连接的数据中心内;(3)数据中心内的计算机都是可靠的。
网络带宽是数据中心环境最珍贵的资源,MapReduce通过显式网络拓扑结构来保留网络带宽。注意,这种方式并没有降低MapReduce对计算密集型数据的尽心分析的能力。
- Hadoop学习笔记(不定期更新)
- SQLite学习笔记(不定期更新)
- Pandas学习笔记(不定期更新)
- 不定期更新ML学习笔记
- angularjs学习笔记【不定期更新】
- const笔记(不定期更新)
- Scikit-learn(python)学习笔记 (不定期更新)
- H264学习笔记-名词解释(备忘+不定期更新)
- 【前端学习笔记】项目经验积累(不定期更新)
- 神经网络学习(不定期更新)
- 学习资料(不定期更新)
- Bootrap学习笔记——不定期更新
- 【安卓学习笔记】( 不定期更新)
- qt安装配置笔记(不定期更新)
- 日常开发笔记(不定期更新)
- 【leetcode】leetcode 刷题 笔记 (不定期更新)
- sphinx 笔记(不定期更新)
- node.js学习总结(不定期更新)
- 高数 01.[08-10]习题课
- Ubuntu安装deb时错误:“dpkg:错误:另外一个进程已经为 dpkg 状态数据库 加锁”解决
- TensorFlow学习笔记(二)
- C#构造函数
- 2017.10.25 今日总结
- Hadoop学习笔记(不定期更新)
- 入门数学----我真的学过数学了吗
- 创建登录界面
- HDU 1231(动态规划)
- 树和森林
- 写一个网页进度loading
- 安卓实现走马灯效果 textview 实现字体循环滚动效果
- DL | MXNet 学习笔记(一)
- Linux 自动备份mysql数据