hadoop 操作（二）

来源：互联网发布：自制数据库编辑：程序博客网时间：2024/05/29 03:33

hadoop 相关操作

在 Linux Shell 中操作 hadoop 文件系统（hdfs）

（1）查看（查看根目录 /）
```
[root@hadoop0 ~]# hadoop fs -ls /[root@hadoop0 ~]# hadoop fs -ls hdfs://hadoop0:9000/
```
注：根目录：/，是对hdfs://hadoop0:9000的省略
（2）递归查询
```
[root@hadoop0 ~]# hadoop fs -lsr /
```

（3）上传文件

[root@hadoop0 ~]# hadoop fs -put 文件 路径

（4）查看文件

[root@hadoop0 ~]# hadoop fs -text 文件

（5）递归删除

[root@hadoop0 ~]# hadoop fs -rmr 文件夹

（6）创建文件夹
```
[root@hadoop0 ~]# hadoop fs -mkdir 
```

hadoop jar

[root@hadoop0 ~]# hadoop **.jar args[0] args[1]                # 第一个参数即为 args[0]，而非agrs[1]

被打包的类文件（编译后的 .class 文件）需要 extends Configured implements Tool（覆盖run方法）。

public class MyClass extends Configured implements Tool{    @override    public int run(String[] args) throws Exception{        ...        Job job = new Job(...);        job.setJarClass(MyClass.class);        ...        return 0;    }    public static void main(String[] args){        ToolRunner.run(new MyClass(), args);    }}

0 0