HDFS基本操作
来源:互联网 发布:医疗软件上市公司 编辑:程序博客网 时间:2024/05/16 05:21
一、HDFS的相关命令
-mkdir #在HDFS创建目录 hdfs dfs -mkdir /data
-ls #查看当前目录 hdfs dfs -ls /
-ls -R #查看目录与子目录
-put #上传一个文件 hdfs dfs -put data.txt /data/input
-moveFromLocal #上传一个文件,会删除本地文件:ctrl + X
-copyFromLocal #上传一个文件,与put一样
-copyToLocal #下载文件 hdfs dfs -copyToLocal /data/input/data.txt
-get #下载文件 hdfs dfs -get /data/input/data.txt
-rm #删除文件 hdfs dfs -rm /data/input/data.txt
-getmerge #将目录所有的文件先合并,再下载
-cp #拷贝: hdfs dfs -cp /data/input/data.txt /data/input/data01.txt
-mv #移动: hdfs dfs -mv /data/input/data.txt /data/input/data02.txt
-count #统计目录下的文件个数
-text、-cat #查看文件的内容 hdfs dfs -cat /data/input/data.txt
-balancer #平衡操作
二、HDFS的Java API
用Java API的方式在HDFS上创建一个目录:
在本地导入依赖的jar包:
/usr/hadoop/hadoop-2.7.3/share/hadoop/common/lib
/usr/hadoop/hadoop-2.7.3/share/hadoop/common/
/usr/hadoop/hadoop-2.7.3/share/hadoop/hdfs/lib
/usr/hadoop/hadoop-2.7.3/share/hadoop/hdfs/
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class TestMain { public static void main(String[] args) throws Exception { // 使用HDFS的API创建目录 //设置NameNode地址 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.222.100:9000"); //得到HDFS的文件系统 FileSystem fs = FileSystem.get(conf); fs.mkdirs(new Path("/folder1")); }}
- hdfs基本操作介绍
- HDFS基本操作
- HDFS API基本操作
- <hdfs>基本操作
- hive--hdfs基本操作
- HDFS的基本操作
- HDFS基本操作
- HDFS基本操作 javaApi
- HDFS Shell基本操作总结
- hadoop hdfs api基本操作
- HDFS的基本shell操作
- HDFS Shell基本操作总结
- HDFS 基本文件操作API
- hadoop的HDFS基本操作
- HDFS的Shell基本操作
- hadoop hdfs dfs基本操作
- hdfs基本操作-python接口
- 使用HDFS API实现hadoop HDFS文件系统的基本操作
- spring aop学习2:切面表达式(Pointcut express)
- python行与缩进
- ns3之PCAP tracing文件命名格式
- 线性时间选择问题
- 人机大战历程————思考与反思
- HDFS基本操作
- Java学习心得之JDK环境搭建
- fit_transform,transform
- XML的四种解析器(dom,sax,jdom,dom4j)原理及性能比较
- Xv6安装踩坑记
- string类型转换int类型
- 人工智能-超越经典搜索
- PCB电路板生产完成分析
- leetcode 643 Maximum Average Subarray I