hadoop学习笔记
来源:互联网 发布:解压缩软件下载免费版 编辑:程序博客网 时间:2024/05/14 21:26
hadoop生态环境包括:HDFS、MapReduce、HBase、Pig、Hive、ZooKeeper、Avro、Sqoop等。
Hadoop集群包括nameNode、secondaryNameNode、dataNode、jobTracker、taskTracker;
hbase集群包括hmaster、hregionserver、region、store、memstore、storeFile、HFile等;操作方式包括put get(一行、多行范围、SCAN全表扫描);
rowKey优化包括建立辅助索引(应对需要单独根据不同的条件查询,如根据学号或者身份证号查询学生信息),建立复合rowKey(应对需要同时按照多个条件查询的情况,如同时根据用户id和邮件编号查询用户发送的邮件);
HBase适用的场景主要是查询需求固化,主要查询最近一段时间的数据,大数据量写入,分布式存储;
MapReduce的典型应用案例如wordCount、气象数据求当年最大气温,实现的方式包括Java api编程、Pig(Pig Latin)、Hive(HiveQL)、Streaming等;
0 0
- Hadoop学习笔记-Hadoop初识
- hadoop学习笔记-hadoop起源
- hadoop学习笔记 Hadoop进程
- 【hadoop】hadoop学习笔记-回收站
- hadoop学习笔记hadoop学习笔记
- [转]Hadoop学习笔记
- Hadoop学习笔记
- [转]Hadoop学习笔记
- [转]Hadoop学习笔记
- [转]Hadoop学习笔记
- Hadoop学习笔记
- hadoop学习笔记
- Hadoop学习笔记汇总
- hadoop学习笔记
- hadoop学习笔记
- Hadoop 学习笔记
- Hadoop学习笔记
- Hadoop学习笔记
- 互联网金融四大暴富机会:P2P 征信 支付 供应链金融
- css浮动
- HDU 4804 Campus Design(经典轮廓线问题扩展)
- modprobe
- Oracle数据库查询优化方案(处理上百万级记录如何提高处理查询速度)
- hadoop学习笔记
- ACdream 1113 The Arrow (概率dp求期望)
- Uoj#9感想
- listView中监听冲突问题(以及view里tag的使用)
- 开篇记
- Java对象克隆
- POJ_2029_GetManyPersimmonTrees
- 使用Xcode实现第一个C语言程序——Hello world
- 【POJ 1442】 Black Box