YARN 安装简介(未博客)

来源:互联网 发布:淘宝互刷如何安全 编辑:程序博客网 时间:2024/06/02 01:28
一 Hadoop的安装简介
Hadoop的各个组件均采用xml文件进行配置,这些配置文件都在etc/hadoop子目录中
core-site.xml文件用于配置通用属性。
hdfs-site.xml文件用于配置HDFS属性。
mapred-site.xml文件用于配置MapReduce属性。
yarn-site.xml文件用于配置YARN属性。

二 Hadoop的三种运行模式
单机模式
伪分布模式
全分布模式

三 单机模式
1 单机模式是Hadoop的默认模式。
2 因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。
3 所有程序都是在同一个JVM上执行。
4 该模式主要用于开发调试MapReduce程序的应用逻辑。

四 伪分布式模式
1 Hadoop守护进程运行在本地机器上,模拟一个小规模的集群
2 Hadoo的每个守护进程都运行在单独的Java进程中。

五 全分布式模式
1 Hadoop守护进程运行在一个集群中
2 例如:集群环境中,NameNode和ResourceManager各运行于一台单独的主机,作为master。而其他的主机作为DataNode和NodeManager,作为slave。

六 Hadoop与Java版本
Hadoop的开发和测试是在OpenJDK和OracleJDK上进行的
Hadoop支持java7和比较新的java6版本
原创粉丝点击