Ubuntu13.04安装Hadoop集群环境
来源:互联网 发布:gta5第一人称视角优化 编辑:程序博客网 时间:2024/04/30 02:57
1.配置hosts
通过命令:sudo vim /etc/hosts,按照实际情况配置hosts
3.安装SSH:具体参考网上资料:http://blog.csdn.net/long1657/article/details/9266037
4.hadoop的安装和配置
<1>.下载并解压Hadoop安装包,选择0.20.2版本
把你的hadoop-0.20.2.tar.gz拷贝到你要安装hadoop的目录,通过下面的命令解压文件
tar zxvf hadoop-0.20.2.tar.gz
<2>.进入Hadoop的解压目录,编辑conf/hadoop-env.sh文件(注意在.23版本升级后配置文件位置有所变化)
#The java implmentation to use. Required.
export JAVA_HOME=/usr/lib/jvm/java
core-site.xml:
<!--core-site主要修改的是
fs.defualt.name:对应的是NameNode的IP地址和端口
-->
<configuration>
<property>
<name>fs.defualt.name</name>
<value>hdfs://localhost:9000</>
<!--value 如果是完全分布式这边需要为名称节点的真是IP-->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/long1657/hadoop/tmp</value>
</property>
</configuration>
<!--hdfs-site主要修改的是数据保存目录和-->
<configuration>
<property>
<!--dfs.data.dir保存的是hadoop数据保存的目录-->
<name>dfs.data.dir</name>
<value>/home/long1657/hadoop/data</value>
</property>
<property>
<!--dfs.replication:分布式文件系统里需要把数据备份,同时会往好几个节点里写,伪分布式为1-->
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml
存在name has been successfully formatted表示格式化成功
<5>.使用bin/start-all.sh启动Hadoop
判断启动是否成功
在namenode节点中通过:java_home/bin/jps来查看是否存在NameNode,JobTracker,SeconderyNameNode,三个进程,在datanode中,通过相同的命令查看(java_home/bin/jps)是否存在DataNode,TaskTracker进程,
最后,在浏览器中输入namenode节点的IP:50030,出现下面界面:
安装并启动成功。
<6>.使用bin/stop-all.sh关闭Hadoop
(注:本文章为Hadoop的完全分布式安装,重系统安装到Hadoop的安装,需要很多步骤,上文只是用来参考,不可完全照抄,否则容易引起失败)
- Ubuntu13.04安装Hadoop集群环境
- 虚拟机VirtualBox 中 ubuntu13.04 安装Hadoop 集群
- Hadoop集群环境安装
- hadoop 环境集群安装
- Virtualbox安装Ubuntu13.04并搭建Hadoop环境(单机模式+伪分布模式)
- UBUNTU环境安装hadoop集群
- Ubuntu13.04环境下安装Qt5.1.1
- Ubuntu13.04下搭建Hadoop+Eclipse开发环境
- Ubuntu13.04下搭建Hadoop+Eclipse开发环境
- ubuntu13.04下配置hadoop-1.2.1伪分布式环境
- Hadoop : Ubuntu14.04 amd64 安装伪分布式集群环境
- ubuntu13.04 编译环境
- hadoop集群后续:myeclipse编程环境安装
- CentOS环境下安装Hadoop集群
- Centos6.5安装Hadoop配置集群环境
- Ubuntu13.04下安装cocos2d-x(含环境配置)
- ubuntu13.04环境hadoop1.2.1单机模式安装
- ubuntu13.04安装openyoudao
- 三大范式
- Unity Clone技术
- R字符串替换:电话号码处理
- Java中Return和Finally执行顺序的实现
- Ubuntu12.10 下搭建基于KVM-QEMU的虚拟机环境(十三)
- Ubuntu13.04安装Hadoop集群环境
- VS2008 代码自动对齐(ctrl k+f)
- C#中内存中堆与栈的区别
- 虚拟机安装oracle报swap内存太小
- QUOTED_IDENTIFIER 与 ANSI_NULLS 的意义
- 《自控力》读书笔记
- linux系统工程师的前途在哪里?
- 三种形式化语言和方法
- apache cxf笔记之一个简单的JAX-WS服务程序