java操作HDFS------Hadoop学习（3）

来源：互联网发布：中级程序员报考条件编辑：程序博客网时间：2024/05/22 00:49

1.HDFS中常用到的命令

hadoop fs -ls /hadoop fs -lsrhadoop fs -mkdir /user/hadoophadoop fs -put a.txt /user/hadoop/hadoop fs -get /user/hadoop/a.txt /hadoop fs -cp src dsthadoop fs -mv src dsthadoop fs -cat /user/hadoop/a.txthadoop fs -rm /user/hadoop/a.txthadoop fs -rmr /user/hadoop/a.txthadoop fs -text /user/hadoop/a.txthadoop fs -copyFromLocal localsrc dst 与hadoop fs -put功能类似。hadoop fs -moveFromLocal localsrc dst 将本地文件上传到hdfs，同时删除本地文件。

2.Java操作HDFS

public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {//文件配置项FileSystem fs = FileSystem.get(new URI("hdfs://192.168.3.145:9000"), new Configuration(),"root");//文件夹创建fs.mkdirs(new Path("/test"));System.out.println("文件夹创建成功");//文件上传FileInputStream in = new FileInputStream(new File("D:/hadoopWorkSpace/HDFSSpace/windows.txt"));FSDataOutputStream out = fs.create(new Path("/test/windows.txt"));IOUtils.copyBytes(in, out, 4096, true);System.out.println("上传文件成功");//文件夹删除fs.delete(new Path("/test"), true);fs.delete(new Path("/test"), true);System.out.println("文件夹删除成功");}

0 0