Ubuntu下搭建单节点hadoop环境

Ubuntu下搭建单节点hadoop环境

   Hadoop是一个分布式系统基础架构，主要由HDFS、Mapreduce和Hbase组成，分别为Google集群系统GFS、Mapreduce、Big Table的开源实现。

一．Hadoop安装

1.在VMware虚拟机下起了一台ubuntu系统，在该系统下搭建单节点hadoop环境。

2.将hadoop-0.20.2.tar.gz拷到/home/fyq/目录下。并解压。Tar –zvxf hadoop-0.20.2.tar.gz

3.默认解压到/home/fyq下

4.sudo gedit /etc/profile：

  Export HADOOP_HOME=/home/fyq/hadoop-0.20.2

  Export PATH=$HADOOP_HOME/bin:$PATH

 在执行 source /etc/profile

 

二．Hadoop配置

1.进到/home/fyq/hadoop-0.20.2/conf下。

（1）修改hadoop-env.sh

  

（2）修改/home/fyq/conf/slaves和/home/fyq/conf/slaves.前提是本机的ip要改为静态的。

  

（3）修改core-site.xml

  

（4）修改hdfs-site.xml

  

（5）配置Mapreduce。修改mapred-site.xml

三．启动

1.配置完了，先格式化。

  Hadoop namenode –format

2.启动。

 Start-all.sh

四．运行WordCount示例