hadoop安装需要配置的文件

来源:互联网 发布:centos7网络配置 编辑:程序博客网 时间:2024/05/22 03:36
Yarn-site.xml
<name>yarn.nodemanager.aux-services</name>
<!--NodeManager上运行的附属服务-->
需配置成mapreduce_shuffle,才可运行MapReduce程序
<name>yarn.resourcemanager.hostname</name>
<!--主机名-->
<name>yarn.resourcemanager.address</name>  
       <!--ResourceManager 对客户端暴露的地址-->
客户端通过该地址向RM提交应用程序,杀死应用程序等。
<name>yarn.resourcemanager.scheduler.address</name>  
<!--ResourceManager 对ApplicationMaster暴露的地址--> 
ApplicationMaster通过该地址向RM申请资源、释放资源等。
<name>yarn.resourcemanager.resource-tracker.address</name>  
<!--ResourceManager 对NodeManager暴露的地址-->
NodeManager通过该地址向RM汇报心跳,领取任务等
<name>yarn.resourcemanager.admin.address</name> 
       <!--ResourceManager 对管理员暴露的访问地址-->
管理员通过该地址向RM发送管理命令等。
<name>yarn.resourcemanager.webapp.address</name>  
<!--ResourceManager对外web ui地址-->
用户可通过该地址在浏览器中查看集群各类信息。
<name>yarn.log-aggregation-enable</name> 
        <!--是否启用日志聚集功能-->
<name>yarn.log.server.url</name>
<!--指定查询日志的url-->
mapred-site.xml
<name>mapreduce.framework.name</name>
yarn运行mapreduce程序
<name>mapreduce.jobhistory.address</name>  
<!--MapReduce JobHistory Server地址 -->
<name>mapreduce.jobhistory.webapp.address</name> 
 <!-- MapReduce JobHistory Server Web UI地址-->
<name>mapreduce.jobhistory.done-dir</name>
<!--MR JobHistory Server管理的日志的存放位置-->
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<!--MapReduce作业产生的日志存放位置-->
日志的级别: DEBUG /INFO /WARN /ERROR /FATAL 
hdfs-site.xml
<name>dfs.namenode.name.dir</name>  
<!--映射信息的保存路径-->
<name>dfs.datanode.data.dir</name>  
<!--真正的datanode数据保存路径-->
<name>dfs.namenode.checkpoint.dir</name>
 <!-- secondary namenode 节点存储 checkpoint 文件目录-->
  <name>dfs.namenode.secondary.http-address</name>
<!-- secondary name node web 监听端口 -->
<name>dfs.permissions</name>
<!-- 在HDFS中启用权限检查 TRUE|FALSE。-->
Core-site.xml
<name>fs.trash.interval</name>
<!--HDFS垃圾箱设置,可以恢复误删除,分钟数,0为禁用,添加该项无需重启hadoop-->
<name>fs.defaultFS</name>
<!--HadoopMaster的URI和端口-->
Hadoop-env.sh/Yarn-env.sh
 在/etc/profile中设置的是系统环境变量,记住,是系统的,最后你要被$PATH引用,那么不管是linux还是window下面,开机的时候或者调用java的相关组件的时候就会去读取PATH,但是这是系统自己的事,不是hadoop的,hadoop是独立的,所以在hadoop需要用到java的时候你需要给他指明jdk的路径
Hadoop是用JAVA编写的,没有JDK它怎么运行,所以要配置路径让它找到JDK而后运转