企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
来源:互联网 发布:开源php cms 微信 编辑:程序博客网 时间:2024/05/22 14:12
Hadoop核心配置文件的默认配置解读
9.1 默认配置文件
4个核心的默认配置文件在$HADOOP_HOME/share/hadoop/目录下:
hadoop-2.2.0\share\hadoop\common\hadoop-common-2.2.0.jar\core-default.xml
hadoop-2.2.0\share\hadoop\hdfs\hadoop-hdfs-2.2.0.jar\hdfs-default.xml
hadoop-2.2.0\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.2.0.jar\mapred-default.xml
hadoop-2.2.0\share\hadoop\yarn\hadoop-yarn-common-2.2.0.jar\yarn-default.xml
9.2 自定义配置文件
(1) 自定义配置文件位于$HADOOP_HOME/etc/hadoop/目录下,分别是:
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
(1) 自定义的配置文件来自于默认配置文件,在自定义配置文件中配置的信息将会覆盖默认配置文件中的某些配置。
如果用户想对某些配置进行自定义配置,不应该去修改默认配置文件,而是在自定义配置文件中进行覆盖。
9.3 实际生产环境中的配置
(1) core-site.xml的配置
参考默认配置文件core-default.xml,在$HADOOP_HOME/etc/hadoop目录下找到core-site.xml,进行用户自定义配置
- 配置NameNode
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-yarn.dragon.org:8020</value>
</property>
说明:对于默认文件系统的配置以前是下面的名称,但描述信息说明这种名称已被弃用
<property>
<name>fs.default.name</name> --过时了
<value>file:///</value>
<description>Deprecated. Use (fs.defaultFS) property instead</description>
</property>
- 配置临时目录
<property>
<name>hadoop.tmp.dir</name>
<value>/workDir/hadoop-2.2.0/data/tmp</value>
</property>
说明:
1> 这个临时目录在很多地方被引用
2> 如果指定了一个新的临时目录,需要确保该目录是存在的!如果不存在,请创建它先!
- 配置WebUI的登录用户名
<property>
<name>hadoop.http.staticuser.user</name>
<value>dragon</value>
</property>
(2) hdfs-site.xml的配置
参考默认配置文件hdfs-default.xml,在$HADOOP_HOME/etc/hadoop目录下找到hdfs-site.xml,进行用户自定义配置
- 配置NameNode节点WebUI的地址
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop-yarn.dragon.org:50070</value>
</property>
- 配置SecondaryNameNode主机地址
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-yarn.dragon.org:50090</value>
</property>
- 配置NameNode节点fsimage文件的存储目录
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///workDir/hadoop-2.2.0/data/dfs/nn/fsimage</value>
</property>
说明:需要确保该目录是存在的!如果不存在,请创建它先!
- 配置NameNode节点edits文件的存储目录
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///workDir/hadoop-2.2.0/data/dfs/nn/edits</value>
</property>
说明:需要确保该目录是存在的!如果不存在,请创建它先!
- 配置DataNode文件的存储目录
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///workDir/hadoop-2.2.0/data/dfs/dn</value>
</property>
说明:需要确保该目录是存在的!如果不存在,请创建它先!
- 配置SecondaryNameNode文件的存储目录(文件系统镜像文件)
因为SecondaryNameNode是用来辅助NameNode合并fsimage和edits文件的,所以需要为其配置文件存储目录。
另外,在生产环境下,SecondaryNameNode节点的机器硬件配置需要跟NameNode一样,因为,NameNode产生的fsimage和edits和SecondaryNameNode节点的要保存同步。
下面是具体的配置
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///workDir/hadoop-2.2.0/data/dfs/snn/fsimage</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:///workDir/hadoop-2.2.0/data/dfs/snn/edits</value>
</property>
说明:需要确保该目录是存在的!如果不存在,请创建它先!
- 配置副本数
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
- 配置用户权限检查
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
(3) yarn-site.xml
参考默认配置文件yarn-default.xml,在$HADOOP_HOME/etc/hadoop目录下找到yarn-site.xml,进行用户自定义配置
- 配置ResourceManager主机地址
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-yarn.dragon.org</value>
</property>
- 配置有效的服务名称
<property>
<description>thevalid service name should only contain a-zA-Z0-9_ and can not start withnumbers</description>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
(4) mapreduce-site.xml
- 配置MapReduce运行框架为yarn
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 配置历史服务器地址和webapp地址
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-yarn.dragon.org:10020</value>
<description>MapReduceJobHistory Server IPC host:port</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-yarn.dragon.org:19888</value>
<description>MapReduceJobHistory Server Web UI host:port</description>
</property>
(5) slaves.xml
slaves.xml文件用户配置DataNode节点
(6) 说明
配置文件修改后需要重新启动所有进程,使配置生效。
但是由于fsimage和edits的目已经发生改变,需要将原来目录下的文件移动到新的目录下。当然,如果在测试环境下最省事的办法就是重新格式化NameNode。
停止所以进程:
[hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/stop-dfs.sh
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/stop-yarn.sh
格式化NameNode:
[hadoop@hadoop-yarn hadoop-2.2.0]$ bin/hdfsnamenode -format
启动所以进程:
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-yarn.sh
当NameNode启动的时候就会重新产生fsimage和edits文件。可以到配置的目录下进行查看
- 企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
- 企业级Hadoop 2.x入门系列之三将Hadoop 2.x源码导入Eclipse中
- 企业级Hadoop 2.x入门系列之六HDFS的Shell操作与管理
- 企业级Hadoop 2.x入门系列之七YARN的Shell操作与管理
- 企业级Hadoop 2.x入门系列之八HDFS和YARN的启动方式
- 企业级Hadoop 2.x入门系列之二Hadoop 2.2.0源码编译
- 企业级Hadoop 2.x入门系列之十二入门视频分享
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- 企业级Hadoop 2.x入门系列之五Hadoop2.2 伪分布式安装
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- 企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式
- 企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本
- hadoop入门系列之三【hadoop的安装与配置】
- hadoop入门系列之三【hadoop的安装与配置】
- Hadoop系列--Hadoop核心之MapReduce的原理
- Hadoop多用户的配置(Hadoop 2.x)
- hadoop 2.x 配置
- Hadoop 1.x MapReduce 默认驱动配置
- 华为机试—替换字符串中的字母
- timus 1095 Nikifor 3【思路】
- Mysql-05-02_Insert,update,delete详解
- 类型编码(Type Encodings)
- IBM Synapse
- 企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
- Win下Eclipse提交Hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=D
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- 运行时版本与平台(Runtime Versions and Platforms)
- Collection集合分析
- OC隐藏和封装-合成存取方法二(重要)
- ECShop V2.7.3管理员密码加密方式
- 企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式
- struts2中超链接到另一个action