Hadoop 运行模式的设置

 Hadoop的配置文件主要有 4 个，存在于

$HADOOP_HOME/etc/hadoop：

• core-site.xml：用于配置通用属性。
• hdfs-site.xml : 用于配置hdfs属性。
• mapred-site.xml:用于配置mapreduce属性。
• yarn-site.xml：用于配置yarn的属性。

配置表：

Component Property Standalone Pseudodistributed Fully distributed Common fs.defaultFS (default) file:/// hdfs://localhost/ hdfs://namenode/ HDFS dfs.replication N/A 1 3(default) MapReduce mapreduce.framework.name lcoal(default) yarn yarn Yarn yarn.resourcemanager.hostname

yarn.nodemanager.aux-services N/A

N/A localhost

mapreduce_shuffle resourcemanager

mapreduce_shuffle

其中：fs.defaultFS 是用来设置默认的文件系统的。

 几种模式如下

1、伪分布式

• core-site.xml

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost/</value>    </property></configuration>

• hdfs-site.xml

<?xml version="1.0"?><configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration>

• mapred-site.xml

<?xml version="1.0"?><configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

• yarn-site.xml

<configuration>    <property>        <name>yarn.resourcemanager.hostname</name>        <value>localhost</value>    </property>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>

 2、完全分布式

 3、本地模式

默认是本地模式

配置完hadoop 运行模式之后要启动HDFS、YARN 和 MapReduce 守护进程。

% start-dfs.sh% start-yarn.sh% mr-jobhistory-daemon.sh start historyserver