hadoop安装需要配置的文件
来源:互联网 发布:centos7网络配置 编辑:程序博客网 时间:2024/05/22 03:36
Yarn-site.xml
<name>yarn.nodemanager.aux-services</name>
<!--NodeManager上运行的附属服务-->
需配置成mapreduce_shuffle,才可运行MapReduce程序
<name>yarn.resourcemanager.hostname</name>
<!--主机名-->
<name>yarn.resourcemanager.address</name>
<!--ResourceManager 对客户端暴露的地址-->
客户端通过该地址向RM提交应用程序,杀死应用程序等。
<name>yarn.resourcemanager.scheduler.address</name>
<!--ResourceManager 对ApplicationMaster暴露的地址-->
ApplicationMaster通过该地址向RM申请资源、释放资源等。
<name>yarn.resourcemanager.resource-tracker.address</name>
<!--ResourceManager 对NodeManager暴露的地址-->
NodeManager通过该地址向RM汇报心跳,领取任务等
<name>yarn.resourcemanager.admin.address</name>
<!--ResourceManager 对管理员暴露的访问地址-->
管理员通过该地址向RM发送管理命令等。
<name>yarn.resourcemanager.webapp.address</name>
<!--ResourceManager对外web ui地址-->
用户可通过该地址在浏览器中查看集群各类信息。
<name>yarn.log-aggregation-enable</name>
<!--是否启用日志聚集功能-->
<name>yarn.log.server.url</name>
<!--指定查询日志的url-->
mapred-site.xml
<name>mapreduce.framework.name</name>
yarn运行mapreduce程序
<name>mapreduce.jobhistory.address</name>
<!--MapReduce JobHistory Server地址 -->
<name>mapreduce.jobhistory.webapp.address</name>
<!-- MapReduce JobHistory Server Web UI地址-->
<name>mapreduce.jobhistory.done-dir</name>
<!--MR JobHistory Server管理的日志的存放位置-->
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<!--MapReduce作业产生的日志存放位置-->
日志的级别: DEBUG /INFO /WARN /ERROR /FATAL
hdfs-site.xml
<name>dfs.namenode.name.dir</name>
<!--映射信息的保存路径-->
<name>dfs.datanode.data.dir</name>
<!--真正的datanode数据保存路径-->
<name>dfs.namenode.checkpoint.dir</name>
<!-- secondary namenode 节点存储 checkpoint 文件目录-->
<name>dfs.namenode.secondary.http-address</name>
<!-- secondary name node web 监听端口 -->
<name>dfs.permissions</name>
<!-- 在HDFS中启用权限检查 TRUE|FALSE。-->
Core-site.xml
<name>fs.trash.interval</name>
<!--HDFS垃圾箱设置,可以恢复误删除,分钟数,0为禁用,添加该项无需重启hadoop-->
<name>fs.defaultFS</name>
<!--HadoopMaster的URI和端口-->
Hadoop-env.sh/Yarn-env.sh
在/etc/profile中设置的是系统环境变量,记住,是系统的,最后你要被$PATH引用,那么不管是linux还是window下面,开机的时候或者调用java的相关组件的时候就会去读取PATH,但是这是系统自己的事,不是hadoop的,hadoop是独立的,所以在hadoop需要用到java的时候你需要给他指明jdk的路径
Hadoop是用JAVA编写的,没有JDK它怎么运行,所以要配置路径让它找到JDK而后运转
<name>yarn.nodemanager.aux-services</name>
<!--NodeManager上运行的附属服务-->
需配置成mapreduce_shuffle,才可运行MapReduce程序
<name>yarn.resourcemanager.hostname</name>
<!--主机名-->
<name>yarn.resourcemanager.address</name>
<!--ResourceManager 对客户端暴露的地址-->
客户端通过该地址向RM提交应用程序,杀死应用程序等。
<name>yarn.resourcemanager.scheduler.address</name>
<!--ResourceManager 对ApplicationMaster暴露的地址-->
ApplicationMaster通过该地址向RM申请资源、释放资源等。
<name>yarn.resourcemanager.resource-tracker.address</name>
<!--ResourceManager 对NodeManager暴露的地址-->
NodeManager通过该地址向RM汇报心跳,领取任务等
<name>yarn.resourcemanager.admin.address</name>
<!--ResourceManager 对管理员暴露的访问地址-->
管理员通过该地址向RM发送管理命令等。
<name>yarn.resourcemanager.webapp.address</name>
<!--ResourceManager对外web ui地址-->
用户可通过该地址在浏览器中查看集群各类信息。
<name>yarn.log-aggregation-enable</name>
<!--是否启用日志聚集功能-->
<name>yarn.log.server.url</name>
<!--指定查询日志的url-->
mapred-site.xml
<name>mapreduce.framework.name</name>
yarn运行mapreduce程序
<name>mapreduce.jobhistory.address</name>
<!--MapReduce JobHistory Server地址 -->
<name>mapreduce.jobhistory.webapp.address</name>
<!-- MapReduce JobHistory Server Web UI地址-->
<name>mapreduce.jobhistory.done-dir</name>
<!--MR JobHistory Server管理的日志的存放位置-->
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<!--MapReduce作业产生的日志存放位置-->
日志的级别: DEBUG /INFO /WARN /ERROR /FATAL
hdfs-site.xml
<name>dfs.namenode.name.dir</name>
<!--映射信息的保存路径-->
<name>dfs.datanode.data.dir</name>
<!--真正的datanode数据保存路径-->
<name>dfs.namenode.checkpoint.dir</name>
<!-- secondary namenode 节点存储 checkpoint 文件目录-->
<name>dfs.namenode.secondary.http-address</name>
<!-- secondary name node web 监听端口 -->
<name>dfs.permissions</name>
<!-- 在HDFS中启用权限检查 TRUE|FALSE。-->
Core-site.xml
<name>fs.trash.interval</name>
<!--HDFS垃圾箱设置,可以恢复误删除,分钟数,0为禁用,添加该项无需重启hadoop-->
<name>fs.defaultFS</name>
<!--HadoopMaster的URI和端口-->
Hadoop-env.sh/Yarn-env.sh
在/etc/profile中设置的是系统环境变量,记住,是系统的,最后你要被$PATH引用,那么不管是linux还是window下面,开机的时候或者调用java的相关组件的时候就会去读取PATH,但是这是系统自己的事,不是hadoop的,hadoop是独立的,所以在hadoop需要用到java的时候你需要给他指明jdk的路径
Hadoop是用JAVA编写的,没有JDK它怎么运行,所以要配置路径让它找到JDK而后运转
阅读全文
0 0
- 安装Hadoop需要配置的几个文件
- hadoop安装需要配置的文件
- 部署hadoop集群需要配置的文件
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- HBase/Hadoop 安装之前需要注意的配置问题
- Hadoop的安装配置
- Hadoop的安装配置
- Hadoop的安装配置
- Hadoop的安装配置
- hadoop的配置安装
- 在windows安装hadoop时的文件配置及注意事项
- 需要调整一些Hadoop的参数配置
- 各种需要配置的文件
- [Hadoop]Hadoop的安装与配置
- Hadoop的安装与配置
- hadoop集群的安装、配置
- HDU 2546 饭卡
- 加入信号量的简易卖票系统
- Counting Divisors HDU
- x264中的汇编:cpu-a.asm——003
- xsj的Java学习笔记——面向对象三大特征简单小结
- hadoop安装需要配置的文件
- Fibonacci(矩阵快速幂)
- SCTP
- x264中的汇编:DCT变换 dct-a.asm——004
- 11.Service的使用
- 【CodeForces】616D
- JS数字精度丢失详解
- UVALive
- 列表解析(推导)