hadoop3种集群方式
来源:互联网 发布:淘宝优惠券可以转赠吗 编辑:程序博客网 时间:2024/04/29 14:22
hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式
1独立模式
安装a)下载jdk-8u65-linux-x64.tar.gz
b)tar开
$>su centos ; cd ~
$>mkdir downloads
$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads
$>tar -xzvf jdk-8u65-linux-x64.tar.gz
c)创建/soft文件夹
$>sudo mkdir /soft
$>sudo chown centos:centos /soft
d)移动tar开的文件到/soft下
$>mv ~/downloads/jdk-1.8.0_65 /soft/
e)创建符号连接
$>ln -s /soft/jdk-1.8.0_65 /soft/jdk
f)验证jdk安装是否成功
$>cd /soft/jdk/bin
$>./java -version
配置jdk环境变量1.编辑/etc/profile
$>sudo nano /etc/profile
...
export JAVA_HOME=/soft/jdk
exprot PATH=$PATH:$JAVA_HOME/bin
2.使环境变量即刻生效
$>source /etc/profile
3.进入任意目录下,测试是否ok
$>cd ~
$>java -version
注意点
你创建文件夹一定和你登陆的用户一致
安装HADOOP软件1.安装hadoop
a)下载hadoop-2.7.3.tar.gz
b)tar开
$>su centos ; cd ~
$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads
$>tar -xzvf hadoop-2.7.3.tar.gz
c)无
d)移动tar开的文件到/soft下
$>mv ~/downloads/hadoop-2.7.3 /soft/
e)创建符号连接
$>ln -s /soft/hadoop-2.7.3 /soft/hadoop
f)验证hadoop安装是否成功
$>cd /soft/hadoop/bin
$>./hadoop version
2.配置hadoop环境变量
$>sudo nano /etc/profile
...
export JAVA_HOME=/soft/jdk
exprot PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3.生效
$>source /etc/profile
4.进入任意目录下,测试是否ok
$>cd ~
$>hadoop version
5.nothing !
不需要启用单独的hadoop进程。
6.hafs dfs -ls /home 和 linux中的ls效果一样
伪分布模式(Pseudodistributed mode)a)进入${HADOOP_HOME}/etc/hadoop目录
三种模式共存
1.创建三个配置目录,内容等同于hadoop目录
${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_home}/etc/full
2.创建符号连接
$>ln -spesudo hadoop
b)编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c)编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d)编辑mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml
f)配置SSH
- hadoop3种集群方式
- hadoop3种集群方式搭建---独立模式
- hadoop3
- hadoop3.0.0分布式集群安装过程
- CentOS 6.5下hadoop3.0集群搭建
- win7-eclipse-hadoop-plugins连接Linux hadoop3.0单机伪集群
- centos7(vm)下hadoop2.7.2完全分布式安装验证(x86)-hadoop3节点集群(2副本)
- 【云星数据---大数据部集群署系列005】:hadoop3.0全分布部署方案
- hadoop3.0
- 学习hadoop3
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- Mongodb集群搭建的三种方式
- eclipse安装checkstyle 不起作用配置方法
- 为什么说原型制作是产品经理必备的技能之一?
- fragment懒加载
- 1小时写一个分布式系统基础框架
- 实现1+2+3...+n,要求不能使用乘除法、循环、条件判断、选择相关的关键字
- hadoop3种集群方式
- vnc连接远程linux桌面
- 基本数据类型验证
- JavaScript HTML DOM
- 数据结构 — 实现二叉树的前序,中序,后序遍历(非递归)
- 并查集 平凡的测试数据
- ARM开发(4)基于STM32的矩阵键盘按键控制TM1629A LED显示
- 第二章 算法基础
- webapi 一个控制器,多个函数名之间的调用