Hadoop单机/伪分布式配置(Centos7/hadoop2.6)

来源:互联网 发布:python写文件 编辑:程序博客网 时间:2024/05/01 04:29

1 Hadoop简介
Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。

2Hadoop源码下载
由于hadoop是开源平台代码和源程序可以自由下载,官网提供两种源码,一种是源代码主要是未编译的源代码,可以进行源码学习,自行编译等, 如hadoop2.6的源代码下载地址:(http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5-src.tar.gz)。另一种是编译好的二进制程序,二进制程序可以直接放在系统上使用。如hadoop2.6的二进制程序下载地(http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz)。

3安装hadoop平台环境
1)创建hadoop用户,创建hadoop用户的命令为useradd,此命令需要有root用户权限(要知道root用户的密码,或者使用su命令进行权限切换)。

groupadd hadoopuseradd hadoop -g hadoop

2)安装SSH、配置SSH无密码登陆,由于hadoop是分布式平台,所以需要各主机无密码登陆。
3)安装Java环境,这个参考Java安装教程即可,注意配置环境变量。4)安装 Hadoop 2.6,目前使用的版本为Hadoop2.6,下载地址如2.3节所示。
5)Hadoop配置文件配置,配置文件的配置参考这个(http://blog.csdn.net/yangjl38/article/details/7583374)。

0 0