Hadoop2.6.0单机伪分布式安装
来源:互联网 发布:阿里云cdn加速配置 编辑:程序博客网 时间:2024/06/06 00:37
一,环境准备
本教程使用Ubuntu 14.04 64位的操作系统。
Hadoop的版本是Hadoop-2.6.0。
IP地址:192.168.50.130
主机名:ubuntu
查看IP地址:命令 ifconfig
查看主机名:命令 hostname
在安装其他环境之前,我们先在/etc/host中配置IP和主机名之间的映射,为方便后续操作的访问。
通过命令# vi /etc/hosts
添加如下配置信息:
192.168.50.130 ubuntu
二,JDK 安装
1 去官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载jdk-8u111-linux-x64.tar.gz,解压到/usr/lib/jdk1.8.0_111。
2 在/root/.bash_profile中添加如下配置:
export JAVA_HOME=/usr/lib/jdk1.8.0_111export PATH=$JAVA_HOME/bin:$PATH
3 使环境变量生效,#source ~/.bash_profile
4 安装验证 # java -version
出现如下结果表示JDK环境安装成功:
三,配置ssh无密码登陆
如果没有安装ssh,请通过如下命令安装ssh。
# apt-get install openssh-server openssh-client$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。
四,安装Hadoop-2.6.0
1,解压并配置环境变量
(1)从官网http://hadoop.apache.org/#Download+Hadoop下载hadoop-2.6.0-tar.gz,复制hadoop-2.6.0-tar.gz到/root/hadoop目录下,然后使用命令 # tar –zvxf hadoop-2.6.0.tar.gz
解压,解压后目录为:/root/hadoop/hadoop-2.6.0
(2)创建目录
在/root/hadoop目录下,建立tmp、hdfs/name、hdfs/data目录,执行命令如下:
# mkdir /root/hadoop/tmp# mkdir /root/hadoop/hdfs# mkdir /root/hadoop/hdfs/data# mkdir /root/hadoop/hdfs/name
文件结构如下:
(3)配置环境变量
#vi ~/.bash_profile
添加以下配置:
# set hadoop pathexport HADOOP_HOME=/root/hadoop/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/bin
使环境变量生效,#source ~/.bash_profile
2,Hadoop配置
进入HADOOP_HOME/etc/hadoop目录,配置以下文件:
hadoop-2.6.0/etc/hadoop/hadoop-env.shhadoop-2.6.0/etc/hadoop/yarn-env.shhadoop-2.6.0/etc/hadoop/core-site.xmlhadoop-2.6.0/etc/hadoop/hdfs-site.xmlhadoop-2.6.0/etc/hadoop/mapred-site.xmlhadoop-2.6.0/etc/hadoop/yarn-site.xml
(1)配置hadoop-env.sh
# The java implementation to use.#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/usr/lib/jdk1.8.0_111
(2)配置yarn-env.sh
# some Java parameters# export JAVA_HOME=/home/y/libexec/jdk1.6.0/export JAVA_HOME=/usr/lib/jdk1.8.0_111
(3)配置core-site.xml
添加如下配置:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS的URI,文件系统://namenode标识:端口号</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>namenode上本地的hadoop临时文件夹</description> </property></configuration>
(4)配置hdfs-site.xml
添加如下配置:
<configuration> <property> <name>dfs.name.dir</name> <value>/root/hadoop/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据 </description> </property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <property> <name>dfs.replication</name> <value>1</value> <description>副本个数,配置默认是3,应小于datanode机器数量</description> </property></configuration>
(5)配置mapred-site.xml
添加如下配置:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
(6)配置yarn-site.xml
添加如下配置:
<configuration><!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>${yarn.resourcemanager.hostname}:8099</value> </property></configuration>
3,Hadoop启动
(1)格式化namenode
$ bin/hdfs namenode –format
(2)启动NameNode和DataNode守护进程
$ sbin/start-dfs.sh
(3)启动ResourceManager和NodeManager守护进程
$ sbin/start-yarn.sh
当然,这里(2)和(3)可以直接通过sbin/start-all.sh启动所有守护进程。
4,启动验证
(1)执行jps命令,有如下进程,说明Hadoop正常启动。
14141 Jps13663 ResourceManager13516 SecondaryNameNode13787 NodeManager13332 DataNode13181 NameNode
(2)在浏览器中输入:http://192.168.50.130:8099/ 即可看到 ResourceManager的界面。
至此,表明Hadoop已安装成功。
- Hadoop2.6.0单机/伪分布式安装
- hadoop2.6.0伪分布式单机全安装
- Hadoop2.6.0单机伪分布式安装
- Hadoop2.2.0单机伪分布式安装配置
- 单机/伪分布式Hadoop2.4.1安装文档
- 单机/伪分布式Hadoop2.4.1安装文档
- hadoop2.6.0伪分布式安装
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- Ubuntu 14.04安装Hadoop2.5.2单机+伪分布式
- 最新版hadoop2.7.1单机版与伪分布式安装配置
- 最新版hadoop2.7.1单机版与伪分布式安装配置
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0(转)
- 【Hadoop入门】Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- 如何用JAVA产生符合正态分布的随机数
- 转载 解密蓝牙mesh系列 | 第五篇 【好友(Friend)和低功耗节点(LPN)】【友谊(Friendship)参数】【友谊建立】【友谊(Friendship)消息传送】【安全性】【友谊终止】
- ROC、Precision、Recall、TPR、FPR理解
- springMVC中文乱码问题
- 动态内存管理
- Hadoop2.6.0单机伪分布式安装
- NYOJ1015 二部图(染色法判断二分图)
- Mac 笔记
- 事件流及其三阶段
- windows xp,32位,环境下,Eclipse+python平台搭建
- 从零基础认识jdbc
- 从Pycharm说起
- <c语言经典100例>c20 比赛顺序
- Java设计模式——单例模式(Singleton Pattern)