hadoop单机伪分布式部署方法简单介绍
来源:互联网 发布:华为网络解决方案部 编辑:程序博客网 时间:2024/05/20 01:35
我是在Linux虚拟机上CentOS操作系统中部署hadoop集群
1、首先最好添加一个hadoop用户(我是直接在root用户下)
命令:useradd hadoop
passwd hadoop
2、安装配置jdk
- 上传jdk的tar包,并使用tar -xvf 进行解压
- 配置环境变量,使用vi/etc/profile 添加以下内容:
export JAVA_HOME=JAVA的安装路径
export JRE_HOME=$JAVA_HOME/jre
export CLASS_HOME=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
使用source /etc/profile更新配置
使用java -version 检测是否成功
3、将hadoop-2.6.2.tar.gz安装包上传到虚拟机上,并解压到hadoop用户下的摸个文件夹下
(可以自己新建一个文件夹,将安装的工具都放到该文件夹下)
4、修改配置文件
进入目录下
- 修改hadoop-env.sh&&hadoop-yarn.sh
vim hadoop-env.sh
添加:
export JAVA_HOME=JAVA的安装路径
vim hadoop-yarn.sh
添加:
export JAVA_HOME=JAVA的安装路径
:wq 保存退出
- 修改core-site.xml
- 添加以下内容:
- <!--指定hdfs的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!--指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoopdir/tmp</value>
</property>
<!--垃圾回收机制,这里设置保留一天,时间单位min -->
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
- 修改hdfs-site.xml
添加以下内容:
<!--指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--指定namenode的目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/app/ hadoopdir /dfs/name</value>
</property>
<!--指定datanode的目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/app/ hadoopdir /dfs/data</value>
</property>
- 修改maped-site.xml
使用cp mapred-site.xml.template mapred-site.xml修改名称
添加以下内容:
<!--指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 修改yarn-site.xml
添加以下内容:
<!--指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!--指定YARN的服务器 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的服务器 -->
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
5、配置hadoop环境变量
vi /etc/profile
添加以下内容:
HADOOP_HOME=/home/hadoop/app/hadoop-2.6.2
PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6、格式化namenode命令:hadoop namenode -format
7、启动hadoop
命令:start-all.sh(start-dfs.sh && start-yarn.sh)
8、验证是否启动成功
命令:jps
NameNode
Jps
SecondaryNameNode
NodeManager
ResourceManager
DataNode
- hadoop单机伪分布式部署方法简单介绍
- Hadoop单机伪分布式部署
- hadoop单机部署伪分布式系列1:HDFS
- hadoop单机部署伪分布式系列2:MR1
- hadoop单机部署伪分布式系列3:YARN
- hadoop之单机模式与伪分布式模式部署
- 单机伪分布式运行hadoop
- Hadoop 单机伪分布式运行
- 单机伪分布式运行hadoop
- Hadoop单机伪分布式模式
- Hadoop单机伪分布式配置
- Hadoop单机伪分布式安装
- hadoop单机部署 伪分布
- hadoop伪分布式部署
- hadoop伪分布式部署
- hadoop伪分布式部署
- hadoop 单机 伪分布式 完全分布式 区别
- Hadoop单机部署方法
- android webview 跨域问题
- Linux查看文件编码格式及文件编码转换
- android 实现静默安装、卸载
- js上下无缝滚动代码
- 详解Android动画之Tween Animation
- hadoop单机伪分布式部署方法简单介绍
- Android中的JSON详细总结
- (E)237. Delete Node in a Linked List
- 51nod 1719 数值计算(二分)
- Git中的Reference及其refspec概述
- 高斯混合模型
- IOC
- Gradle脚本基础全攻略
- linux命令iostat详解