hadoop入门（二）

来源：互联网发布：龙神契约神通进阶数据编辑：程序博客网时间：2024/06/08 17:22

1.HDFS shell
   1.0查看帮助
       hadoop fs -help <cmd>
   1.1上传
       hadoop fs -put <linux上文件> <hdfs上的路径>
   1.2查看文件内容
       hadoop fs -cat <hdfs上的路径>
   1.3查看文件列表
       hadoop fs -ls /
   1.4下载文件
       hadoop fs -get <hdfs上的路径> <linux上文件>

2.使用java接口操作HDFS
   见eclipse工程下的demo

3.hadoop通信机制
   不同进程之间的方法进行调用

4.HDFS源码分析
   FileSystem.get --> 通过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量
   在DFSClient构造方法里面，调用了createNamenode，使用了RPC机制，得到了一个NameNode的代理对象，就可以和NameNode进行通信了

   FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理

阅读全文

0 0

hadoop入门（二）
Hadoop入门（二）：ZooKeeper单机安装
Hadoop入门（二）集群安装
Hadoop入门（二）集群安装
hadoop入门(二)
分布式计算开源框架Hadoop入门实践（二）
分布式计算开源框架Hadoop入门实践（二）
分布式计算开源框架Hadoop入门实践（二）
分布式计算开源框架Hadoop入门实践（二）
分布式计算开源框架Hadoop入门实践（二）
Hadoop入门进阶步步高（二）-目录介绍
分布式计算开源框架Hadoop入门实践（二）
Hadoop入门的五个进程的理解（二）
分布式计算开源框架Hadoop入门实践（二）
Hadoop入门案例（二）单词去重
hadoop入门二（伪分布式环境搭建）
hadoop入门级总结二：Map/Reduce
hadoop入门级总结二：Map/Reduce
Linux--RH254---unit 7 Samba
44、45、46
Android APP一键退出的方法总结分析
[Leetcode] 190. Reverse Bits 解题报告
滑动插件Iscroll
hadoop入门（二）
scp
最长公共子串
实时Android语音对讲系统架构
git
Apache与Nginx的优缺点比较
memcached 常用命令及使用说明
双系统ubuntu下NTFS 分区无法访问解决方法
编程之美买书问题java