hadoop2.2 hdfs
来源:互联网 发布:2017java的就业前景 编辑:程序博客网 时间:2024/06/14 16:04
- hdfs 变动
开始使用多个namenode,避免namenode的单点故障。多个namenode是不容许交互的。
block pool
每个namenode 都会有一个自己独立的block pool 用于存储集群上所有datanode的信息,也就是每个namenode都可以独立使用,所存储的数据是一个全集。 所以当一个datanode 产生一个block 时,正好一个namenode单点故障,但是这不会影响到该block。
Namespace Volume
block pool和namenode和一起称为Namespace Volume,这个是2.2新提出的概念。
ClusterID
用于标识该集群的唯一标识符,该ID在namenode format时产生或者指定。hdfs namenode -format -clusterid xxxxx。
- conf中新增配置
<configuration> <property> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <name>dfs.namenode.rpc-address.ns1</name> <value>nn-host1:rpc-port</value> </property> <property> <name>dfs.namenode.http-address.ns1</name> <value>nn-host1:http-port</value> </property> <property> <name>dfs.namenode.secondaryhttp-address.ns1</name> <value>snn-host1:http-port</value> </property> <property> <name>dfs.namenode.rpc-address.ns2</name> <value>nn-host2:rpc-port</value> </property> <property> <name>dfs.namenode.http-address.ns2</name> <value>nn-host2:http-port</value> </property> <property> <name>dfs.namenode.secondaryhttp-address.ns2</name> <value>snn-host2:http-port</value> </property> .... Other common configuration ...</configuration>
- hdfs 新增功能权限管理
该功能可以在hdfs-site.xml 中 dfs.permissions=false,可以禁用掉。
相关http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/FileSystemShell.html#du
- hadoop2.2 hdfs
- 【HDFS】hadoop2.x HDFS javaAPI
- hadoop2 hdfs命令
- Hadoop2 HDFS shell命令
- Hadoop2.X HDFS架构
- hadoop2.x之HDFS
- hadoop2.8.2HDFS架构
- maven+hadoop2.2 项目HDFS文件读取程序
- 云计算(六)-HDFS 用户手册(Hadoop2.2)
- 史上最牛hadoop2.2伪分布式hdfs数据迁移
- HDFS Federation(HDFS 联邦)(hadoop2.3)
- HDFS Federation(HDFS 联邦)(Hadoop2.3)
- 【HDFS】Hadoop2.x HDFS shell命令
- hadoop2.2.0 hdfs-site.xml
- Hadoop2.5.1 HDFS HA(QJM)
- hadoop2.x HDFS快照介绍
- Hadoop2.7.1---hdfs-over-ftp
- Hadoop2.x HDFS Shell命令
- eclipse安装freemarker插件
- 将博客搬至CSDN
- asp.net mvc4 中自动生成的权限管理表的说明
- birt 的library进行公用数据库连接设置
- 10个SQL注入工具
- hadoop2.2 hdfs
- Linux如何mount Usb盘
- JSP培训笔记
- 【ios开发】文件管理总结
- 全局变量、extern/static/const区别与联系
- C#编程入门,C#中控件(textBox、checkBox、listBox、listView等等)的应用
- 我们的管理:部门管理
- Android 新API 之 MediaCodec使用笔记 <一>
- Java 压缩图片