hadoop 1
来源:互联网 发布:视频剪辑拼接软件app 编辑:程序博客网 时间:2024/04/29 22:47
1)
Hadoop 将 MapReduce的输入数据划分成等长的小数据块, 称为分片(split)。Hadoop为每个分片构建一个 map 任务,并由该任务来运行用户自定义的map函数从而处理分片中的每条记录
Map 的输出是写入本地的,不是HDFS
排序过以后的Map 输出会通过网络传输发送到运行reduce任务的节点
2) combiner 的使用
不是所有情况都适合使用,比如求平均值
3) HDFS
block: 小于一个块大小的文件不会占据整个块的空间
4) namenode 和 datanode
namenode: 管理者, 维护文件系统及系统内的文件和目录,损坏了即整个系统无法使用
datanode: 工作者,存储和检索数据块
目录作为元数据保存在namenode中,而非datanode中
5) java文件接口
通过FileSystem API 读取数据, 通过Hadoop Path 对象来代表文件(类似于java.io.File对象)
0 0
- hadoop(1)
- hadoop 1
- hadoop--1
- hadoop-1
- Hadoop(1)
- Hadoop(1)
- hadoop-1
- Hadoop入门(1):安装Hadoop
- Hadoop学习1:Hadoop概述
- Hadoop学习笔记1--Hadoop基础
- Hadoop 笔记 1——Hadoop架构
- Hadoop学习笔记(1) 认识Hadoop
- Hadoop 1与Hadoop 2的区别
- 《Hadoop权威指南》- 1、初识Hadoop
- hadoop 1.2.1 hadoop-env.sh
- Hadoop-2.4.1学习之配置管理Hadoop
- Hadoop-2.4.1学习之Hadoop命令
- Hadoop入门系列(1) -- Hadoop简介
- MIMO信道的容量
- Android NDK和Jni
- 交叉编译pjsip2.2.1至android平台
- DHT网络原理制作bt采集蜘蛛,开源版
- 如何分析ORACLE的SQL执行计划
- hadoop 1
- 实现在同一方法中获取当前方法中新赋值的session值解决方法
- POJ 2409 Let it bead 【裸polya】
- Linux常用命令大全
- POJ 3648 Wedding(2-SAT)
- 配置apache服务器的用户认证
- Matlab图像转换
- MYsql数据库基础
- lex 命令中的扩展的正则表达式