hadoop-MapReduce使用的Java技术
来源:互联网 发布:用c语言编写杨辉三角 编辑:程序博客网 时间:2024/05/17 07:46
最近在自学MapReduce的知识,虽然是个初学者,但是里面用的Java技术对于我来说并不陌生,在阅读源码的同时我可以体会到hadoop的开发者是一个资深的Java开发者,对于架构和分布式的知识有深层次的研究,同时感觉自己任重而道远啊。好了,不扯淡。我就说一说学习MapReduce需要的Java知识。
1、Java 的CallBack机制
理解这个机制首先要对java多态有深层次的理解不简简单单的知识会用,要知道怎么使用,为什么这样用,在什么时候使用。具体的Callback是什么,我在博客中已经简单的写过,不做具体的说明,具体这个使用的妙处,需阅读源码体会。
2、Java 序列化
对象的序列化有两个目的:1)持久化对象–指的是持久化对象到文件。2)服务通讯例如:在RPC中的使用,就是为了通讯使用。
3、MapReduce 中通讯通过RPC 实现
RPC 中使用的Java 技术
1)动态代理
2)Java NIO技术
3)Java Socket技术
在系统之间的通信机制主要有两种:基于消息通信,基于调用;
RPC是基于消息的机制;基于调用的比较常见的是HTTP;
这是我阅读源码在一步步看出来的这些java基础知识,如果想深入学习MapReduce 我觉得最起码的你要对这些知识有深入的理解。具体我会在后面的博客中介绍这些基础知识。
0 0
- hadoop-MapReduce使用的Java技术
- Hadoop MapReduce 技术流程
- Hadoop学习--HBase与MapReduce的使用
- Hadoop学习--HBase与MapReduce的使用
- 使用maven开发hadoop的mapreduce应用
- hadoop系列三:mapreduce的使用(一)
- Hadoop环境搭建,以及mapreduce的使用
- hadoop的MapReduce在java驱动代码
- 【Hadoop】新旧Java MapReduce API的差异
- 使用Hadoop MapReduce 排序
- 数据挖掘(hadoop的mapReduce技术概念)
- Hadoop技术内幕之MapReduce作业的生命周期
- Hadoop MapReduce 任务设计的几个常用技术
- hadoop的mapreduce过程
- Hadoop的MapReduce
- Hadoop-简单的MapReduce
- Hadoop-MapReduce的格式
- Hadoop的MapReduce
- Loi test 单词总数以及最长长度
- Hadoop 2.7.3 完全分布式集群系统搭建
- 拟牛顿法
- SAP ECC 6.0有哪些增强功能
- Trafodion 标量UDF
- hadoop-MapReduce使用的Java技术
- MFC--定时器及系统时间
- Windows/Hyper-V使用摘记
- 余闲与稀缺的一些思考摘录
- nodejs 使用net模块进行tcp通讯示例
- Android 4.4文件管理器免ROOT破除外置SD卡限制
- 运用有道api接口写一个小翻译(简单版)
- 远程调试助手
- SqlServer express 2005 导入 excel表的SQL语句