hadoop 伪分布式搭建

hadoop 伪分布式搭建

• 将 linux自带的open jdk 卸载 安装 oracle jdk，并配置环境变量

$ vi /etc/profile#JAVA_HOMEexport JAVA_HOEM=/opt/modules/jdk1.7.0_67export PATH=$PATH:$JAVA_HOEM/bin

• 将hadoop中英文文档删除

rm -rf doc/

• 指定hadoop文件的 java变量

修改  hadoop-env.sh  mapred  yarn 这三个配置文件export JAVA_HOME=/opt/modules/jdk1.7.0_67配置完毕之后 使用 修改完毕之后 使用 bin/hadoop 查看是否生效

• 设置hdfs配置

 1 配置 core-site.xml     <!-- 指定文件系统及namenode所在机器端口 -->    <property>        <name>fs.defaultFS</name>        <value>hdfs://hadoop1.zx.com:8020</value>    </property>    <!-- 指定临时目录 -->    <property>        <name>hadoop.tmp.dir</name>        <value></value>    </property> 2 配置 hdfs-site.xml    <!-- 副本数 默认为3 -->    <property>        <name>dfs.replication</name>        <value>1</value>    </property> 3 配置 slaves    指定从节点位置  slaves 包括datanode和nodemanager 4 格式化namenode，对于元数据进行初始化，否则无法读取元数据     bin/hdfs namenode -formart     当初始化完毕之后，会在tmp目录下面生成元数据文件，    当hadoop启动的时候，会加载元文件中的fsimage_0000000000000000000 5 启动hadoop    sbin/hadoop-daemon.sh start namenode    sbin/hadoop-daemon.sh start datanode    HDFS外部管理界面端口号默认：50070

• 配置MapReduce

1.配置    mapred-site.xml    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>2.配置  yarn-site.xml    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>3.启动 yarn    sbin/yarn-daemon.sh start resourcemanager    sbin/yarn-daemon.sh start nodemanager    yarn外部管理界面端口号默认：8088