Hadoop基础教程-第2章 Hadoop快速入门(2.3 Hadoop单机配置)
来源:互联网 发布:json文件的注释 编辑:程序博客网 时间:2024/06/05 05:14
第2章 Hadoop快速入门
常见的Hadoop部署模式分为单机模式和集群模式,也称为伪分布式模式和分布式模式。
单机模式(伪分布式)模式是在一个节点上部署所有的Hadoop服务。在使用上,单机模式(伪分布式)模式跟集群模式(分布式模式)是一样的。
2.3 Hadoop单机配置
2.3节到2.5节内容参考官方文档:
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html
2.3.1 修改hadoop-env.sh
Hadoop的配置文件存放于Hadoop根目录下的etc/hadoop目录,进入该目录
通过vi hadoop-env.sh
命令来编辑hadoop-env.sh脚本文件
在第25行左右可以找到export JAVA_HOME=${JAVA_HOME}
内容
将改行修改为export JAVA_HOME=/opt/jdk1.8.0_112
然后保存退出
2.3.2 修改slaves文件
同样通过命令vi slaves
编辑slaves文件
将默认值localhost修改为node1,保存退出。
2.3.3 修改hdfs-site.xml
vi hdfs-site.xml
[root@node1 hadoop]# vi hdfs-site.xml
在<configuration>
和</configuration>
之间添加如下内容:
<property> <name>dfs.replication</name> <value>1</value></property>
保存退出
2.3.4 修改core-site.xml
vi core-site.xml
[root@node1 hadoop]# vi core-site.xml
在<configuration>
和</configuration>
之间添加如下内容:
<property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value></property>
保存退出
2.3.5 修改mapred-site.xml 文件
默认情况下该目录下没有mapred-site.xml文件,而是存在一个模版文件mapred-site.xml.template,因此首先将模版文件复制一份为mapred-site.xml。然后在通过vi编辑该mapred-site.xml文件 cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
[root@node1 hadoop]# cp mapred-site.xml.template mapred-site.xml[root@node1 hadoop]# vi mapred-site.xml
在<configuration>
和</configuration>
之间添加如下内容:
<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>
保存退出。
2.3.6 修改yarn-site.xml
vi yarn-site.xml
[root@node1 hadoop]# vi yarn-site.xml
在<configuration>
和</configuration>
之间添加如下内容:
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property>
保存退出
- Hadoop基础教程-第2章 Hadoop快速入门(2.3 Hadoop单机配置)
- Hadoop基础教程-第2章 Hadoop快速入门(2.4 Hadoop单机运行)
- Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)
- Hadoop基础教程-第2章 Hadoop快速入门(2.2 Hadoop下载与安装)
- Hadoop基础教程-第2章 Hadoop快速入门(2.5 WordContent简单应用)
- hadoop单机快速入门
- Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.3 Hive 快速入门)
- Hadoop入门基础教程 Hadoop之单机模式搭建
- Hadoop基础教程-第4章 HDFS的Java API(4.4 Windows+Eclipse+HDFS快速入门)
- Hadoop入门-Hadoop安装(单机)
- Hadoop入门-Hadoop安装(单机)
- 【Hadoop基础教程】2、Hadoop之单机模式搭建
- Hadoop基础教程-第8章 Zookeeper(8.3 Zookeeper单机模式)(草稿)
- Hadoop基础教程-第10章 HBase:Hadoop数据库(10.3 HBase安装与配置)(草稿)
- Hadoop入门-单机伪分布式配置
- Hadoop入门-单机伪分布式配置
- Hadoop入门-单机伪分布式配置
- Hadoop单机环境配置
- ArcGIS Web客户端开发(一)开发环境准备
- 指针和变量的值
- ros 参数服务器 消息发布和订阅 机器人避障
- 为什么说分布式事务不再适用于微服务架构
- 定位子串(一)
- Hadoop基础教程-第2章 Hadoop快速入门(2.3 Hadoop单机配置)
- Emoji 简介------阮老师的最新力作
- NIO Buffer
- 下载整个网站
- 一起艳恶学习电商项目
- MySQL登录与退出
- jdbc详解
- oracle 基本命令大全一
- 类 Collections集合的操作