HDFS常用操作
来源:互联网 发布:linux下vim环境配置 编辑:程序博客网 时间:2024/06/05 06:31
HDFS常用操作
hadoopdfs -ls 列出HDFS下的文件
hadoop dfs -ls in 列出HDFS下某个文档中的文件
hadoop dfs -put test1.txt test 上传文件到指定目录并且重新命名,只有所有的DataNode都接收完数据才算成功
hadoop dfs -get in getin 从HDFS获取文件并且重新命名为getin,同put一样可操作文件也可操作目录
hadoop dfs -rmr out 删除指定文件从HDFS上
hadoop dfs -cat in/* 查看HDFS上in目录的内容
hadoop dfsadmin -report 查看HDFS的基本统计信息,结果如下
hadoop dfsadmin -safemode leave 退出安全模式
hadoop dfsadmin -safemode enter 进入安全模式
添加节点
可扩展性是HDFS的一个重要特性,首先在新加的节点上安装hadoop,然后修改$HADOOP_HOME/conf/master文件,加入 NameNode主机名,然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新加节点主机名,再建立到新加节点无密码的SSH连接
运行启动命令:
start-all.sh
然后可以通过http://(Masternode的主机名):50070查看新添加的DataNode
负载均衡
start-balancer.sh,可以使DataNode节点上选择策略重新平衡DataNode上的数据块的分布
结束语:遇到问题时,先查看logs,很有帮助。
0 0
- HDFS文件常用操作
- HDFS常用操作
- HDFS常用操作
- HDFS的常用操作
- Hdfs常用操作
- HDFS的常用操作
- HDFS常用操作
- HDFS常用操作
- hdfs常用操作(一)
- HDFS 常用文件操作命令
- (六)、HDFS 常用 shell 操作
- hadoop,HDFS常用Shell操作
- HDFS 常用文件操作命令
- HDFS 常用文件操作命令
- HDFS 常用文件操作命令
- spark/hdfs..操作命令,常用
- HDFS 常用文件操作命令
- HDFS 常用文件操作命令
- 你知道的专利战,也许是错的
- 《Linux入门教程》学习总结
- C#生成随机汉字
- 手动将Apache注册为系统服务
- cocos2dx3.2 加载地图和读取数据的简单使用
- HDFS常用操作
- 【Android/java】3种时间获取方法的差异
- Android数据库操作
- QT中运行程序时出现错误“ QApplication: No such file or directory"
- 第十七周 项目7 电子词典结构体版
- 65Popupwindow的美化&&屏幕适配&&像素转dp的工具类的写法
- java 日期计算(几天前后)
- 嵌入式软件的重构思想
- Zernike矩及Opencv实现