Hadoop源代码分析(一)源码结构
来源:互联网 发布:数据库迁移 编辑:程序博客网 时间:2024/04/28 22:23
Hadoop源代码分析(一)源码结构
本文并非完全原创,根据文章:http://caibinbupt.iteye.com/blog/262412
的一些学习心得。
首先给出源码包:
功能分析:
Dependences
tool
提供一些命令行工具,如DistCp,archive
mapreduce
Hadoop的Map/Reduce实现
filecache
提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度
fs
文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口
hdfs
HDFS,Hadoop的分布式文件系统实现
ipc
一个简单的IPC的实现,依赖于io提供的编解码功能
参考:http://zhangyu8374.iteye.com/blog/86306
io
表示层。将各种数据编码/解码,方便于在网络上传输
net
封装部分网络功能,如DNS,socket
security
用户和用户组信息
conf
系统的配置参数
metrics
系统统计数据的收集,属于网管范畴
util
工具类
record
根据DDL(数据描述语言)自动生成他们的编解码函数,目前可以提供C++和Java
http
基于Jetty的HTTP Servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志
log
提供HTTP访问日志的HTTP Servlet
- Hadoop源代码分析(一)源码结构
- Hadoop源代码分析(一)
- Hadoop源代码分析(一)
- Hadoop源代码分析(一)
- Hadoop源代码分析(二)IO结构
- Hadoop源码分析(一)
- MiniGUI源代码分析(2)--源码结构
- Hadoop源代码分析(一)总括
- hadoop 源码分析一
- Tomcat9源代码分析(一)-源码切入点
- Hadoop源码分析笔记(一)
- 【Hadoop】Avro源码分析(一):Schema
- Hadoop源码分析笔记(六):HDFS源代码结构和基于IPC调用接口
- Tachyon源码结构分析(一)
- Tomcat源码分析(一)--总体结构
- Tachyon源码结构分析(一)
- Tachyon源码结构分析(一)
- Tachyon源码结构分析(一)
- 微博(待)
- hadoop(1.1.2) eclipse plugin编译
- 第三次上机实验报告1
- mysql Can't create/write to file 'C:\WINDOWS\...
- Kinect SDK 1.7新特性
- Hadoop源代码分析(一)源码结构
- ios跑马灯
- 经验分享:CSS浮动(float,clear)通俗讲解
- 网络编程(待)
- 外部表(三)--解读通过sql*loader生成的创建外部表的日志
- 用过的库
- 已有git库上传到服务器的做法
- 递归算法简单总结
- QT记事本