hadoop-client命令使用
来源:互联网 发布:java中类的构造方法 编辑:程序博客网 时间:2024/05/02 01:18
1.hadoop-client命令的使用方法
hadoop-client的命令的使用,都是用{Hadoop_HOME}/bin/hadoop脚本来调用的。
2.常见的hadoop-client的工具命令
(1).FSShell
HDFS(Hadoop Distributed Filesystem)提供一个类似于Unix Shell的命令接口FSShell,通过FSShell可以和HDFS或者其他hadoop平台支持的文件系统进行数据交互。命令的格式为:
{Hadoop_HOME}/bin/hadoop fs [args]
命令举例说明:
(a)查看文件或目录的属性
hadoop fs -ls /user/hadoop/file1
(b)删除一个文件
hadoop fs -rm /user/hadoop/file1
(c)命令是将HDFS文件夹内的文件合并并保持到本地。
hadoop fs -getmerge -nl /src /opt/output.txt #将/src目录中的文件合并,然后写入到/opt/output.txt文件中。hadoop fs -getmerge-nl /src/file1.txt /src/file2.txt /output.txt
其中-nl选项在被合并的文件的结尾加上换行符
(2).DistCp工具
DistCp工具用来在同一个hadoop集群或不同hadoop集群间进行数据的拷贝操作。使用举例:
hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo
(3).jar工具
提交一个jar文件的hadoop任务
0 0
- hadoop-client命令使用
- Hadoop shell 命令使用
- hadoop的使用命令
- hadoop命令使用
- hadoop使用命令大全
- hadoop fs 命令使用
- mysql command line client 使用命令
- mysql command line client 使用命令
- mysql command line client 使用命令
- mysql command line client 使用命令
- mysql command line client 使用命令
- mysql command line client 使用命令
- HADOOP命令在getting client out of cache: org.apache.hadoop.ipc.Client卡一段时间的调试思路
- hadoop入门:hadoop使用shell命令总结
- hadoop distcp命令的使用
- hadoop------RPC的Client
- 【Hadoop】RPC Client Workflow
- hadoop ipc.Client
- Android工具Uitls
- 【知识点整理(java)】Java Thread简单使用注意点汇总(四)
- 递归实现 1+2+3+...100 php和java
- 第四次实验——栈和队列(二)
- Python:使用threading模块实现多线程(转)
- hadoop-client命令使用
- ARM9开发板FL2440移植Linux-3.0内核————添加USB驱动
- GCT这一路
- Ubuntu下Git安装-Git学习笔记
- Spark基本概念
- 台灣老街:每一次駐足都是為了與眾不同
- Struts2.xml文件中的常量、全局错误的配置及相关动态方法的调用
- 第八周-项目5-计数的模式匹配
- mingw下使用vs2010编译FFMPEG