【Hadoop基础教程】2、Hadoop之单机模式搭建
来源:互联网 发布:保健品网络销售业务员 编辑:程序博客网 时间:2024/04/29 12:17
单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下,官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时,Hadoop完全运行在本地,不与其他节点交互,也不使用Hadoop文件系统,不加载任何守护进程,该模式主要用于开发调试MapReduce应用程序的逻辑,不与任何守护进程交互进而避免复杂性。以hadoop用户远程登录K-Master服务器,在K-Master服务器上安装Hadoop过程如下。
开发环境
硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点)
软件环境:Java 1.7.0_45、hadoop-1.2.1
1、安装Hadoop
1)以hadoop用户远程登录K-Master服务器,下载hadoop-1.2.1.tar.gz ,并将其拷贝到K-Master服务器的/home/hadoop/目录下。
2)解压hadoop-1.2.1.tar.gz
[hadoop@KVM-Master ~]$ su hadoop[hadoop@KVM-Master ~]$ cd /usr[hadoop@KVM-Master usr]$ sudo tar –zxvf /home/hadoop/hadoop-1.2.1.tar.gz
3) 重命名hadoop
[hadoop@KVM-Master usr]$ sudo mv hadoop-1.2.1/ hadoop/
4)将文件夹”hadoop”读权限分配给hadoop用户
很关键到一步,便于hadoop用户对该文件夹的文件拥有读写权限,不然后续hadoop启动后,无法在该文件夹创建文件和写入日志信息。
[hadoop@KVM-Master usr]$ sudo chown -R hadoop:hadoop /usr/hadoop
5)删除安装包
[hadoop@KVM-Master ~]$ rm –rf /home/hadoop/hadoop-1.2.1.tar.gz #删除”hadoop-1.2.1.tar.gz”安装包
2、配置环境变量
1)配置/etc/profile
[hadoop@KVM-Master ~]$ sudo vi /etc/profile#HADOOPexport HADOOP_HOME=/usr/hadoopexport PATH=$PATH:$HADOOP_HOME/bin export HADOOP_HOME_WARN_SUPPRESS=1
2)使得配置文件在当前终端立即生效
[hadoop@KVM-Master ~] $source /etc/profile
3、启动Hadoop
1)使用start-al.sh命令启动hadoop
[hadoop@KVM-Master ~] $start-all.sh
2)使用jps查看启动是否成功
[hadoop@KVM-Master ~] $jpsjps
因为是单机模式,NameNode和JobTracker等都没有启动,怎么知道安装是否成功了?
3)查看HDFS系统
[hadoop@KVM-Master ~] $ hadoop fs -ls /
通过hadoop fs -ls /命令查看Hadoop HDFS文件管理系统,显示的像Linux文件系统目录。若出现上述所示结果,表明Hadoop单机版安装成功。到目前为止,我们并没有对Hadoop的配置文件做任何修改,全是默认配置,即配置文件全为空,如下所示。
[hadoop@K-Master hadoop] vi conf/core-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration></configuration>
您可能喜欢
【Hadoop基础教程】1、Hadoop之服务器基础环境搭建
【Hadoop基础教程】2、Hadoop之单机模式搭建
【Hadoop基础教程】3、Hadoop之伪分布式环境搭建
【Hadoop基础教程】4、Hadoop之完全分布式环境搭建
- 【Hadoop基础教程】2、Hadoop之单机模式搭建
- Hadoop入门基础教程 Hadoop之单机模式搭建
- Hadoop单机模式搭建
- hadoop之单机模式
- hadoop之单机模式
- Hadoop单机模式集群搭建
- Hadoop单机模式环境搭建
- 初识Hadoop之Hadoop单机版搭建
- Hadoop配置之单机模式
- Hadoop 2.x环境搭建之单机运行模式配置
- Linux下Hadoop集群的搭建(2)—单机模式
- ubuntu 12.04 hadoop 单机模式平台搭建
- ubuntu 16.04 搭建hadoop (单机模式)
- Hadoop单机伪分布模式搭建
- Hadoop 运行模式之单机模式
- hadoop之单机伪分布式环境搭建
- hadoop学习之单机环境搭建
- hadoop单机环境搭建
- 【PHP】阿里云升级PHP到5.5详解
- mysql数据库优化
- 程序员应该投资的10件事
- 扫描死链接的工具xenu
- 关于JAVA httpclient connection reset的问题分析和解决
- 【Hadoop基础教程】2、Hadoop之单机模式搭建
- 文本自适应高度
- 欢迎使用CSDN-markdown编辑器
- 数字签名和数字证书
- ERROR/WindowManager(***): Activity *** has leaked window com.android.internal.policy.impl.PhoneWind
- struts2中的constant配置详解
- 面试题
- 阿里巴巴常考面试题及汇总答案
- 求逆元模板