通过shell命令来控制hdfs
来源:互联网 发布:高级程序算法 编辑:程序博客网 时间:2024/05/16 12:04
1. hadoop文件系统权限简介
2.命令简介
3. 参考资料
<1>. hadoop文件系统权限简介
hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下面的命令来查看/tmp/目录下的所有文件及其权限:
其中对于文件而言,r表明的是读取该文件的权限,w是写该文件的权限;对于目录而言的话,r权限表明的是能够读取该目录下的文件列表,w权限表明的是能够在目录下创建或者是删除文件和目录,x权限表示能够从该目录进入其子目录中。和posix模型不同的是,在hdfs中是不存在所谓的sticky,setuid和setgid。
<2>. 命令简介
hdfs设计之处的主要目的是对海量数据进行处理,也就是说在其上能够存储很大量文件(可以存储TB级的文件),hdfs将这些文件分割之后,存储在不同的DataNode上,但是对外却提供了一个简单的事实:
这还是个简单完整的文件,只不过这个文件比较大。
hdfs处理文件的命令和linux上命令基本上是相同的,键入./bin/hadoop fs将输出能够支持的命令的列表:
如果熟悉linux的话,这些命令基本上就不怎么需要解释了。 但是下面还是列出了几个常用场景下的命令:
1. 增加文件和目录
./bin/hadoop fs -mkdir /newdir
ls查看一下:
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -ls /
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -put ./README.txt .
这里需要注意的是.代表的含义,在hdfs中对于每个登录的用户都会存在一个默认的工作目录/user/$LOGINNAME(类似于linux下的home目录),.代表的就是这个默认工作目录。
2. 下载文件
<3>. 参考资料
<<Hadoop In Action>>
作者:许强(就读于[哈尔滨工业大学(威海)软件学院]) 出处:[http://xuqiang.cnblogs.com]1. 本博客中的文章均是个人在学习和项目开发中总结。其中难免存在不足之处 ,欢迎留言指正。2. 本文版权归作者和博客园共有,转载时,请保留本文链接。
- 通过shell命令来控制hdfs
- 通过shell命令来控制hdfs
- 通过shell命令来控制hdfs
- 通过shell命令来控制hdfs
- 通过获取HDFS目录/文件夹大小来控制reduce个数
- Hadoop HDFS Shell 命令
- HDFS Shell 命令
- HDFS常见shell命令
- hdfs shell命令记录
- hdfs shell命令
- HDFS shell 命令
- [Hadoop]HDFS shell命令
- Hadoop HDFS Shell命令
- HDFS的Shell命令
- hdfs shell 命令
- HDFS Shell 命令
- hdfs的shell命令
- Hadoop2 HDFS shell命令
- Serializable兼容性问题及serialVersionUID的使用
- oracle字段拼接
- 怎么关闭wordpress评论
- 官方文档:Android应用程序运行的性能设计
- 使用java api操作Hadoop文件
- 通过shell命令来控制hdfs
- Hadoop常见问题及解决方法
- 冒泡排序
- 在Win7下如何发布Wcf服务
- Gaussian Smoothing Filter高斯平滑滤波器
- 堆排序(Heap Sort)
- 不同噪声选用什么滤波器
- 函数的增长
- ContentProvider(内容提供者)用法详解