hadoop的配置文件
来源:互联网 发布:java数据导出到excel 编辑:程序博客网 时间:2024/06/04 00:49
要想正常使用hadoop系统,主要是配置core-site.xml,hdfs-site.xml以及mapred-site.xml这几个配置文件,如果使用yarn框架的话,还需要配置yarn-site.xml。值得一提的是,这几个配置文件都有对应的xxx-env.xml,这些环境的配置文件需要正确的配置jdk的环境。
以下仅为我所使用,并且能在本地正常运行的配置:
core-site.xml的配置
<configuration> <property> #配置hdfs文件系统的位置和端口,这里使用的是本地 #依据个人配置而定,使用hostname命令即可。 <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property> <property> #本地hdfs存放的位置 <name>hadoop.tmp.dir</name> <value>/opt/modules/hadoop-2.5.0/data/temp</value> </property></configuration>
hdfs-site.xml的配置
<configuration> <property> #hdfs文件系统的个数,目前我就使用1个,如果不配置就使用默认值3 <name>dfs.replication</name> <value>1</value> </property></configuration>
按照官方文档,配置到这里,就可以使用hadoop进行计算和数据分析。
下面介绍官方文档提供的伪分布式的配置:
yarn-site.xml的配置
<configuration> <property> #服务名称 <name>yarn.nodemanager.aux-services</name> #mapreduce的核心服务 <value>mapreduce_shuffle</value> </property> <property> #nodemanager的主机名,现在使用的是本地 <name>yarn.nodemanager.hostname</name> <value>localhost</value> </property></configuration>
mapred-site.xml的配置
<configuration> <property> #配置用于执行MapReduce的框架,默认是Localhost,现在配置在yarn框架上 <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
官方文档对应的配置到这集全都配置完成,有了这些配置,我们就能实现一个伪分布式的hadoop集群,下一遍文章就让我们开始尝试一下吧~
窗户外面蓝天白天的,美好的一天  ̄︶ ̄
阅读全文
0 0
- hadoop的配置文件记录
- Hadoop的配置文件
- hadoop的配置文件
- hadoop 的配置文件的修改
- Hadoop job配置文件的生成
- Hadoop的配置文件所在目录
- hadoop配置文件的加载机制
- hadoop配置文件的加载机制
- hadoop进程的配置文件解析
- hadoop 家族产品的配置文件
- 关于hadoop配置文件的注解
- hadoop配置文件
- HADOOP 配置文件
- Hadoop配置文件
- hadoop 配置文件
- Hadoop配置文件
- hadoop配置文件
- [Hadoop]配置文件
- GD2输出文字
- Tensorflow实战学习(四十一)【分布式并行】
- GD2实现给图像添加水印
- 快速学习Docker和容器技术
- GD2中文版水印
- hadoop的配置文件
- 安卓系统监听应用开启和关闭的实现和内存泄露记录
- 使用xshell链接vmware
- GD2使用图像处理技术生成验证码
- 最近用到BCM5338和TSI578哪位大神之前有所了解,能指导一下,或者分享一点经验吗,资料很少
- 机器学习策略
- 2 什么是神经网络(NN)?
- Jpgraph创建柱状图展示年度收支情况
- Jpgraph创建折线图统计图书走势